Игнат Колесниченко — Планирование миллиардов задач каждый день

Ближайшая конференция SmartData: #SmartData #DataEngineering #IT #conference #jugrugroup Система YTsaurus позволяет сохранять и обрабатывать петабайты данных каждый день. На таком масштабе планировщик должен справляться с аллокацией миллиардов задач каждый день на кластере, состоящем более чем из 10 000 хостов. Спикер расскажет историю планировщика в системе YTsaurus: как он из небольшого приложения, в котором все решения об аллокациях принимаются в одном потоке исполнения, превратился в высоконагруженный распределенный сервис. Вы узнаете о вызовах, с которыми пришлось столкнуться, а также об идеях и подходах, которые применили в команде для масштабирования планировщика. Скачать презентацию с сайта —