Николай Безносов - MLOps в билайн: как катить машинное обучение в production без ML-инженеров

В докладе обсудим:
- Как были устроены наши MLOps процессы и инфраструктура, когда команда была небольшой
- Какие при этом были проблемы
- Что мы поменяли, чтобы сделать процесс вывода ML решений в production гибче и эффективнее
- Как мы адаптировали MLFlow к стандартам корпоративной безопасности
- Как мы масштабировали наши процессы и инфраструктуру на большое количество команд в условиях Agile разработки
- Почему Airflow недостаточно гибок для ML-задач и какую альтернативу выбрали мы
- Как мы обеспечили непрерывный процесс мониторинга и дообучения ML-моделей
- О чем всегда нужно помнить при построении больших платформ
Наш стек – Python, Hadoop, Spark, K8S, Docker, JupyterHub, MLFlow, Airflow, Argo, Cookiecutter, Great Expectations и др.

Data Fest 2023:
https://ods.ai/events/datafestonline2023
Трек "MLOps":
https://ods.ai/tracks/df23-mlops

Наши соц.сети:
Telegram: https://t.me/datafest
Вконтакте: https://vk.com/datafest