ВАМ ПРЕДСТОИТ:

Проектирование и развитие Data Lakehouse на стеке S3 + Apache Iceberg: слои ODS → DDS → Data Marts;
Разработка и оптимизация трансформаций на Trino + dbt: модели, тесты, инкрементальные стратегии, SCD2;
Реализация DDS-слоя по методологии Business Data Vault (Hub / Link / Satellite);
Проектирование и сопровождение data marts в ClickHouse для аналитических и BI-запросов;
Разработка и поддержка DAG-ов в Apache Airflow: оркестрация пайплайнов, мониторинг, алертинг, retry-логика;
Интеграция источников данных: Kafka CDC из 1С и PIM, REST API, файловые выгрузки;
Обеспечение качества данных;
Оптимизация производительности запросов Trino и ClickHouse: партиционирование, сортировка, materialized views;
Участие в миграции существующих пайплайнов с текущего DWH (MSSQL Stage → DDS) на LakeHouse;
Code review, документирование архитектурных решений.

МЫ ОЖИДАЕМ:

Опыт в Data Engineering от 4 лет;
Глубокое знание SQL, опыт оптимизации сложных аналитических запросов;
Практический опыт работы с Apache Iceberg или Delta Lake в production;
Опыт с Trino (Presto) или аналогичными MPP-движками (Spark SQL, Impala);
Опыт с dbt: модели, макросы, тесты, инкрементальные стратегии, environments;
Уверенное владение Apache Airflow: разработка DAG-ов, Sensors, Custom Operators, XCom, dynamic task mapping;
Опыт с ClickHouse: проектирование таблиц, движки (MergeTree, ReplacingMergeTree), materialized views;
Опыт работы с Kafka / Kafka Connect / CDC-потоками;
Python на уровне написания production-кода (коннекторы, обработка данных, утилиты);
Понимание Data Vault 2.0 / Business Data Vault как методологии моделирования DDS;
Опыт работы с S3-совместимыми хранилищами (MinIO, AWS S3, Yandex Object Storage);
Git, CI/CD для data-пайплайнов.

МЫ ПРЕДЛАГАЕМ:

LIMÉ - это компания сильных и успешных!

Data Engineer