Павел Сушин. Как вырастить динозавра масштабирование платформы YTsaurus от 200 до 20’000 хостов

YTsaurus — платформа для хранения и обработки больших данных Яндекса, adhoc аналитики, построения ETL задач и регулярных батч процессов. Первый кластер YTsaurus состоял из 200 хостов. Сегодня это гетерогенные кластера, доходящие в размере до 20К хостов и обрабатыващие данные самых разных сервисов — от поиска до погоды, и от такси до яндекс.облака. Мастер-сервер YTsaurus является сердцем кластера и выполняет целый ряд ключевых функций: обслуживание дерева метаинформации, авторизация, генерация таймстемпов, управление репликацией чанков. В докладе я расскажу про архитектурные решения, которые позволили мастеру не стать узким местом, несмотря на рост кластеров. Сайт –