Команда DWH отвечает за формирование основных аналитических витрин компании
Наша цель: предоставлять качественные и своевременные данные по логистическим процессам компании в удобном для аналитики виде. Все ключевые SLA-метрики (pay-to-delivery, first-scan-to-delivery, мониторинг провайдеров и маршрутов и тд) считаются единообразно и на данных DWH
Чем предстоит заниматься:
* Выявление потребностей бизнеса и формализация требований к витринам данных в логистическом домене (мониторинг посылок, SLA-метрики, анализ провайдеров, маршруты, стадии доставки);
* Миграция и рефакторинг логистических витрин в контур DWH;
* Исследование источников данных: интеграции логистических потоков, Kafka-инкременты, справочники обогащения;
* Проектирование и разработка витрин данных;
* Разработка и поддержка Data Quality проверок (Soda DQ);
* Оркестрация ETL-пайплайнов в Airflow: DAG'и, сенсоры, зависимости, backfill-стратегии;
* Участие в разборе инцидентов с данными, расследование расхождений и консультация потребителей витрин;
* Поддержание документации и базы знаний команды.
Стек: Hadoop (HDFS/YARN), PySpark, ClickHouse, Airflow
Мы ожидаем от Вас:
* Продвинутый уровень владения SQL и понимание принципов построения хранилищ данных (моделирование, слои, grain, SCD);
* Опыт работы с большими объёмами данных (миллионы+ строк на партицию) от 2 лет в роли DWH/аналитика данных;
* Понимание ETL/ELT-процессов и опыт проектирования пайплайнов обработки данных;
* Умение формализовать бизнес-требования и переводить их в технические спецификации витрин;
* Ответственность, самостоятельность, навыки коммуникации с бизнес-заказчиками и смежными командами.
Будет плюсом:
* Опыт работы с Spark и Hadoop-стеком (HDFS, YARN, Hive);
* Опыт оркестрации в Apache Airflow (DAG'и, операторы, сенсоры);
* Опыт с Soda DQ или другими фреймворками Data Quality;
* Понимание логистических процессов e-commerce (доставка, last-mile, cross-border).
Условия:
* Сильная команда, с которой можно расти;
* Работу в одной из крупнейших в России компаний в сфере e-commerce;
* Официальное оформление в аккредитованную IT-компанию;
* Конкурентоспособную заработную плату;
* Ноутбук Mac или Windows на ваш выбор;
* ДМС и страхование от несчастных случаев (со 100% страхованием детей).