Data Engineer (Middle)

Бюджет: не указан
Москва
От 3 до 6 лет, Удаленная работа, Полная занятость
Дата публикации: 18.11.2025

Общее описание

«М.ТЕХ» - АККРЕДИТОВАННАЯ ИТ-КОМПАНИЯ В ГРУППЕ «М.ВИДЕО-ЭЛЬДОРАДО».

КОМАНДА «М.ТЕХ» разрабатывает более 100 инновационных ИТ продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России.

Мы работаем по принципам Agile, работаем на стеке технологий GreenPlum + ClickHouse + Tableau, занимаемся созданием ETL процессов, разработкой витрин, дашбордов, отчетов и других дата-продукты в рамках домена клиент. У нас много задач, много идей и действительно БОЛЬШИЕ объемы данных. Если ты имел опыт с инструментами/процессами из списка ниже и хочешь развиваться на нашем стеке, то подключайся к нашей команде - будем рады увидеть тебя!

МЫ В ПОИСКЕ СТАРШЕГО ИНЖЕНЕРА ДАННЫХ в команду разработки и поддержки инфраструктуры обработки данных: проводим миграцию с текущего стека (Greenplum + ClickHouse) на современный (Trino + Iceberg), оптимизируем ETL процессы, обеспечиваем надёжность и производительность pipeline.

ТЕБЕ ПРЕДСТОИТ:

  • Поддерживать и оптимизировать текущие ETLпроцессы на базе Greenplum и ClickHouse;
  • Проектировать и реализовывать миграцию данных и запросов с Greenplum на Trino, с ClickHouse — на Iceberg;
  • Разрабатывать и поддерживать пайплайны обработки данных (Airflow);
  • Обеспечивать качество данных: валидация, мониторинг, логирование;
  • Участвовать в проектировании Data Lake/Data Warehouse на основе Iceberg;
  • Автоматизировать рутинные операции (мониторинг, бэкапы, очистка).

ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:

  • Опыт работы Data Engineer от 3  лет;
  • Владение SQL продвинутый уровень: сложные запросы, оптимизация, работа с партициями, индексами;
  • Опыт работы на фреймворке Spark;
  • Уверенное владение Python (обработка данных, скрипты, API);
  • Опыт работы с Trino / Iceberg / ClickHouse / Greenplum;
  • Навыки работы с Airflow — разработка DAG, настройка исполнителей, мониторинг.

ЧТО ТЫ ПОЛУЧИШЬ:

  • Продукты, признанные на рынке (несколько премий за Лучший Интранет, хит-парад премий за лучшее ИТ-решение в ритейле) и имеющие амбициозные планы на развитие;
  • Конструктивный диалог и возможность внедрять свои идеи, если они способствуют достижению общего результата;
  • Команду увлеченных профессионалов, которая открыта к поиску нового;
  • Конкурентную заработную плату, гибкое отношение к рабочему месту (посещение офиса в Москве на гибриде (Сколково, БЦ Орбион), но ты можешь работать удаленно из любой точки РФ);
  • ДМС со стоматологией.