Основные задачи:
Разработка и сопровождение ETL/ELT-процессов
Нормализация, дедупликация, унификация и консолидация данных из разных источников. Разработка схем данных и построение связей между сущностями.
Работа с Greenplum, PostgreSQL, Oracle Оптимизация SQL-запросов и создание представлений (views, materialized views).
Настройка оркестрации и автоматизации пайплайнов (Airflow и др.).
Контроль качества данных (Data Quality) Поддержка интеграций с аналитическими, ML- и LLM-сервисами.
Опыт работы с микросервисной архитектурой и шлюзами данных API Gateway.
Технические требования Основной стек: Python: опыт написания production-скриптов SQL уверенные знания PostgreSQL, Greenplum, Oracle ETL-инструменты: Airflow Базы данных: опыт проектирования и администрирования реляционных БД.
Работа с API: REST, JSON, XML.
Инфраструктура опыт работы в *Linux / nix-среде, знание Docker, Git. Мониторинг и логи: Grafana.
Будет плюсом: Опыт построения хранилищ данных (Data Lake, Data Warehouse).
Опыт интеграции с ML/LLM-сервисами или аналитическими платформами.
Знание архитектуры DWH (ODS, DDS, Staging).
Опыт работы с Kafka, Redis, MinIO, ClickHouse.
Опыт и квалификация От 2 до 4 лет опыта работы на позиции Data Engineer / ETL Developer / Python Developer.
• Практический опыт создания или оптимизации ETL-пайплайнов.
Участие в проектах по интеграции данных из нескольких источников.
• Понимание принципов качества, надёжности и воспроизводимости данных (DQ, lineage, validation)