YTsaurus SPYT: помогаем планировщику Apache Spark быть ещё эффективнее / Алексей Шишкин (Яндекс)

Приглашаем на конференцию HighLoad 2023, которая пройдет 27 и 28 ноября 2023 в Москве! Программа, подробности и билеты по ссылке: -------- Профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad 2023 Генеральный партнер конференции Garage Eight. Презентация и тезисы: При обработке больших данных с помощью Apache Spark наиболее трудозатратным этапом считается Shuffle stage, когда вся информация активно перемещается. А возникает он в вашем плане, как только вы задумываетесь о группировке или джойнах. Но всегда ли он необходим? Нет! ... -------- Нашли ошибку в видео? Пишите нам на support@