О проекте:
Мы создаём интеллектуальный модуль анализа и прогнозирования данных в составе системы автоматизации портовой инфраструктуры. Модуль обрабатывает миллионы событий в реальном времени, обучает модели, выявляет аномалии, оптимизирует процессы и помогает системе принимать решения автоматически.
Основные задачи:
- Разработка и обучение ML-моделей для классификации, прогнозирования и детекции аномалий.
- Построение end-to-end ML-пайплайнов: сбор → обработка → feature engineering → обучение → деплой.
- Работа с потоковыми данными (Kafka / MQTT) и реализация моделей в real-time режиме.
- Интеграция ML-модулей с backend-микросервисами (REST / gRPC).
- Оптимизация производительности моделей и inference.
- Настройка мониторинга моделей (MLOps, drifts, метрики качества).
- Разработка сервисов предиктивной аналитики и автоматизации планирования.
- Подготовка датасетов, валидация данных, контроль качества.
- Взаимодействие с backend-командой для внедрения вычислительных модулей в инфраструктуру.
Технический стек:
- Python 3.10+, FastAPI
- pandas, numpy, scikit-learn, PyTorch / TensorFlow
- Airflow / Prefect / Dagster
- Kafka / RabbitMQ, Redis
- Docker, Kubernetes, CI/CD
- Grafana, Prometheus, ELK для мониторинга
- MLflow / Weights & Biases для экспериментов и трекинга моделей