Data engineer

• Поддержка работоспособности и дальнейшее развитие платформы данных
• Интеграция ХД с различными источниками (FTP, API, сайты) с помощью Python
• Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python
• Разработка витрин данных с использованием SQL, Python, PySpark
• Разработка и доработка batch и real-time процессов загрузки данных в различные слои ХД в Hive, Vertica, PostgreSQL, ClickHouse, DB2
• Развитие системы мониторинга качества данныхСовершенствование и разработка новых внутренних процессов команды
• Декомпозиция и оценка трудозатрат по своим задачам
• Code-review
• Поддержка в актуальном состоянии базы знаний и технической документации ХД

• Законченное высшее образование
• Понимание теории и практики построения Хранилищ Данных на уровне data-инженера

• Опыт работы с HDFS и spark

• Уверенное владение SQL и Python
• Понимание принципов работы Git-систем и систем оркестрации
• Знание основных команд Linux на уровне пользователя
• Знание английского языка на уровне чтения технической документации

График работы:

• График 5/2 (1 день из офиса)

Преимущества работы в метро:

• Трудоустройство и работа в соответствии с ТК РФ
• Бесплатный проезд в столичном метро
• 42 дня отпуска
• Бесплатный проезд по железным дорогам в пригородном сообщении от места жительства до места работы и обратно в пределах Московской области
• Льготы на отдых в оздоровительном комплексе метрополитена
• Детский оздоровительный лагерь и детский клуб
• Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата

​​​​​