Мы занимаемся обработкой данных в рамках проекта MyTracker. Это BigData и HighLoad — петабайты на дисках и сотни тысяч RPS.
Прямо сейчас заканчиваем переезд в собственную облачную платформу VK и интегрируемся с корпоративным DWH. Пишем код, разрабатываем архитектуру, занимаемся SRE/DevOps.
Основные технологии: PHP, Go, Kafka, ClickHouse, Tarantool, YTSaurus.
Задачи
- Разработка backend-части аналитической платформы MyTracker
- Поддержка существующих и разработка новых ETL-процессов, внедрение продвинутых ETL-технологий
- Интеграция с корпоративным DWH (на основе YTSaurus) и с облачной платформой
- Развитие OLAP-хранилища на основе ClickHouse
- Поддержание работоспособности высоконагруженного проекта, работающего 24x7x365, сотни тысяч RPS, петабайты данных
- Внедрение Go вместо PHP в высоконагруженных компонентах
- Развитие DevOps-практик
- Развитие мониторинга и внутренней автоматизации
- Интеграция с партнёрами, разработка сервисов обмена данными между MyTracker и рекламными площадками / сервисами монетизации