QA for LLM-based products

Привет, на связи команда hh.ru!

Мы ищем QA-инженера в команду AI Lab с опытом тестирования продуктов на основе LLM или желанием развиваться в этом направлении.

AI Lab это:

• Молодая команда на стадии формирования, поэтому ваш вклад будет иметь огромное значение и вы сможете наблюдать результаты своей работы в реальном времени.

• Своего рода спецназ в мире AI, задача которого - искать максимально эффективные точки применения LLM, AI, проверять большое количество гипотез и лучшие из них доставлять миллионам пользователей.

• Применение AI в широком смысле: распознание и синтез речи, фото и видео, понимание естественного языка и т.д.

• Возможность развиваться и расти в интересующем вас направлении и повлиять на результаты, которые изменят будущее технологий HRTech.

Мы стремимся сделать процесс поиска работы и найма максимально удобным и персонализированным для всех участников.

Наша цель - с помощью технологий AI создавать инновационные продукты HRTech, которые изменят игру в этой области.

Тебе предстоит:

• Обеспечение качества на всех этапах разработки и внедрения сервисов на базе LLM, side-by-side, end-to-end.

• Ручное тестирование web-приложений, чат-ботов, мобильных приложений в зависимости от поверхности на которую мы приземляем гипотезу.
• Разработка и выполнение тестовых сценариев.
• Выявление ошибок, предубеждений и непредвиденного поведения моделей.
• Исследование и выявление причин неожиданных результатов в работе моделей и связанных алгоритмов.
• Разработка тестовых сетов и бенчмарков.

• Тестирование промптов и участие в формировании инфраструктуры и процессов тестирования, включая автоматизацию через LLM.

• Опыт в тестировании от 3 лет.
• Опыт владения Python, знание SQL.
• Опыт тестирования web-приложений (frontend & backend).
• Опыт составления тестовой документации.
• Опыт работы с системами контроля версий.
• Гибкость мышления, любопытство и хорошие коммуникативные навыки.

• Опыт работы с LLM и prompt engineering.

• Опыт работы с системами оркестрации контейнеров - OS/K8s на уровне пользователя.

• Опыт работы с фреймворками автоматизации тестирования.

Мы хотим, чтобы каждый сотрудник был доволен своей работой, поэтому мы предлагаем:

• Гибкий график работы из дома или в офисе.

• Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно).

• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.

• Совместную постановку целей с руководителем и индивидуальный план развития.

• Кофемашина с зерновым кофе, чай, фрукты, йогурты на кухне.

• В офисе есть тренажеры, настольный теннис, кикер, пул, зона виртуальной реальности и массажные кресла.

• Куча корпоративных плюшек.