Денис Ефаров — Hadoop 3: Erasure coding catastrophe

Ближайшая конференция: SmartData 2023 — 6–7 сентября (online), 13–14 сентября (offline, Москва) Билеты – — — Представьте себе картину: ваши HDFS кластера близятся по объему к 100 Pb, вы каждый год заказываете машин на десяток петабайт, заводите их, месяцами балансируете и повторяете эту процедуру раз за разом. Затем выходит Hadoop 3, который обещает экономию места в два раза при тех же гарантиях — хочется немедленно применить это. Но вы опытны, не бросаетесь в latest сразу, дожидаетесь версии 3.1 , тестируете, последовательно выкатываете, еще раз тестируете. Но через полгода начинаете наблюдать за тем, как ваши данные превращаются в тыкву и далеко не только в полночь. Представляете себе исчезновение 100 Pb данных? Это очень больно! Команда прошла практически по краю этой пропасти и многое узнала. Этот доклад о находках и ошибках, новом опыте при работе с Hadoop и о том, как можно избежать подобных ситуаций. Аудитория: инженеры и разработчики в BigData, испол