Мы строим DataPlatfrom и AI-инфраструктуру, в которой инженеры, аналитики и разработчики смогут использовать современные подходы Retrieval-Augmented Generation (RAG) без боли и ручных костылей.
Наша цель — сделать RAG таким же привычным компонентом платформы, как SQL, Spark или CI/CD.
Для этого мы ищем Platform Data Engineer, который поможет сформировать и стандартизировать RAG-pipeline — от загрузки данных и чанкирования до метрик качества и retrival-механизмов. Дополнительным вызовом будет создание агентов для целей Data Platform используя RAG.
⚙️ Задачи:
- Проектировать и внедрять RAG-пайплайны уровня платформы: ingestion данных, чанкирование, эмбеддинги, retrival, оценка качества ответов.
- Исследовать SOTA-методы RAG (chunking, reranking, hybrid retrival, eval frameworks — RAGAS, TruLens, Langfuse, etc.) и адаптировать их под инфраструктуру Data / Dev Platform.
- Создавать reusable компоненты (Python-библиотеки, API, Helm-чарты, шаблоны пайплайнов) для команд-потребителей.
- Встраивать RAG в экосистему платформы: от self-service интерфейсов до observability и developer experience.
- Разрабатывать метрики качества и мониторинг RAG-решений: faithfulness, groundedness, latency, coverage.
- Агрегировать и распространять практики подготовки данных для использования в RAG.
- Участвовать в воркшопах и кодлабах, обучать команды применению AI в продакшене.