Разработка, оптимизация и поддержка ETL-процессов с использованием Apache Airflow (Python), Azure Fabric (PySpark), Azure Data Factory.
Поддержка и развитие корпоративного DWH в среде Microsoft SQL Server и Azure Fabric.
Оптимизация производительности ETL-процессов, SQL-запросов и джобов; рефакторинг существующих решений, мониторинг и устранение узких мест; улучшение процессов разработки.
Подготовка и актуализация технической документации по новым и существующим ETL-процессам и data pipelines.
Взаимодействие с аналитиками и архитекторами данных для проектирования архитектуры DWH и обеспечения качества данных.
Взаимодействие с представителями IT и бизнес-подразделений для сбора и анализа требований, а также разработки оптимальных решений для поддержки бизнес-процессов.
Требования
Глубокое знание SQL и опыт работы с реляционными СУБД (SQL Server, PostgreSQL, Oracle).
Уверенные знания Python — разработка ETL-скриптов, парсеров и DAG’ов в Airflow.
Опыт работы с инструментами оркестрации данных (Apache Airflow, Dagster, Prefect), создание и поддержка ETL-процессов в production-среде.
Практический опыт работы с облачными решениями Microsoft Azure (Data Factory, Synapse Analytics или Fabric) либо с иными облачными платформами (AWS, GCP).
Опыт работы с Apache Spark (PySpark или Spark SQL) — разработка и оптимизация распределенных трансформаций данных.
Хорошее понимание принципов построения DWH, Data Lake, Lakehouse, а также ключевых аспектов data governance, data quality, data lineage и лучших практик управления данными.
Условия
Офис в центре города;
График работы: с 08:00 до 17:00;
Медицинская страховка;
Специальный тариф на авиаперелеты для Вас и 2-х близких родственников (в соответствии с действует «Положение о сервисных авиаперевозках»);
Программы лояльности (скидки на услуги компаний для партнеров).