Data Engineer (JAVA), ОК

В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer.

Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus-стека технологий.

Задачи

• Построение новых и оптимизация старых ETL-процессов
• Участие в доработках платформы и фреймворка расчётов (Java, Spark)
• Разработка новых витрин данных для задач аналитики и A/B-экспериментов
• Разработка отчётов в SuperSet

• Опыт работы с SQL и большими объёмами данных
• Опыт построения сложных ETL-процессов
• Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки
• Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
• Обязателен опыт работы с Hadoop-стеком, ClickHouse, Spark, Java, Airflow
• Будет плюсом опыт работы с YTsaurus, YQL