Основная задача лингвиста - выявлять недостатки лингвистики, типичные ошибки пользователей, решать их имеющимися средствами и (или) предлагать алгоритмы их исправления.
Обязанности
Анализировать поисковые запросов и выдачи: выявление ошибок пользователей, проблем релевантности и лингвистики, формирование гипотез по улучшению поиска;
Анализировать документы на соответствие запросам, выявление причин нерелевантности и их устранение;
Ведение и развитие словарей (словоформы, стоп-слова, синонимы, регулярные выражения), разработка и оптимизация правил обработки текста;
Разрабатывать и внедрять алгоритмов нормализации запросов, исправления ошибок и выделения значимых терминов;
Написание на Python утилит для массовой обработки запросов, анализа данных и работы со словарями (в т.ч. с интеграцией в Google Sheets);
Взаимодействие с разработчиками и использование ИИ-ассистентов (например, ChatGPT) для разработки, тестирования и улучшения лингвистических решений.
Требования
Понимание морфологии и словообразования, токенизации и нормализации текста, лемматизации / стемминга;
Опыт работы с морфологическими анализаторами, токенизаторами, спеллчекерами;