Data Engineer тренирует System Design секцию. Собеседует @halltape | rzv_de | Aug 2024

— Больше контента по ссылкам — Канал Жени DE - Boosty Жени DE - Канал Лёши DE - Boosty Лёши DE - — Пояснение к видео — Публично тренируюсь проходить систем дизайн секцию собседеований на инженера данных. Копирование подхода из видео не является персональной карьерной рекомендацией :D Открыт к критике, дополнениям, комментариям. По любым личным вопросам и для записи совместного видео (технической секции или систем дизайна) пиши в тг: Компания Спортмастер выбрана для примера интервьюером, мы не являемся её представителями. — Таймкоды — 00:00 Приветствие и постановка задачи 05:30 Уточняю задачу 07:30 Рисую источники и приёмники 12:20 Прихожу к lambda architecture (временно) 15:10 Первые мысли про количество данных 24:48 Retention, aggregation, reduction 33:13 Вычисляю финальный объём хранилища 38:50 Начинаю подбор инструментов 44:48 Детализирую схему 52:15 Отказ от lambda arch 54:47 Хранение историчности в модели 58:15 Возвращаюсь к batch, частично 1:00:35 Масштабирование на клауде 1:03:35 Не успел проработать ... 1:04:15 Саммари 1:08:55 Не прощаемся — Music license — Haru by Roa | Music promoted by Creative Commons CC BY 3.0