Иван Санин. Разгоняем ML в проде

В нашей команде более 30 однотипных ml микросервисов, и их число постоянно растет. Перед бэкенд инженерами стоят задачи обеспечения максимального rps, оптимизации использования железа и централизованного распространения лучших практик и фич между сервисами. В результате решения этих задач появился фреймворк «Акведук», позволяющий описать пайплайн обработки данных, концентрируясь на его логическом устройстве, а не технических деталях. C технической точки зрения Акведук представляет собой легковесную python библиотеку, активно использующую возможности пакетов `multiprocessing` и `asyncio`. В своем докладе я подробно расскажу, как мы пришли к идее и усовершенствовали наш фреймворк, сравню с другими известными решениями и дам практические рекомендации по использованию Акведука.