Подготовка, хранение и анализ данных в Яндекс.Облаке

02:50 Выбираем данные 04:08 Планируем архитектуру 06:34 Обработка данных 20:29 Экспорт витрины 22:24 Обновление данных 27:09 DataLens Это был практический вебинар: мы показали, как настроить подготовку данных с помощью сервисов Yandex Cloud Functions и Yandex DataProc, формирование витрины данных на и визуализацию с помощью Yandex DataLens. Мы рассказали: - как выгрузить данные из внешнего источника, очистить, обработать и конвертировать их в формат Apache Parquet; - как написать функцию, которая будет ежедневно дополнять архив новыми данными; - как написать задание в Yandex Data Proc, которое будет каждый день строить агрегаты и выгружать их в кластер ClickHouse; - как визуализировать результат с помощью Yandex DataLens. Вебинар будет полезен тем, кто хочет ознакомиться с сервисами подготовки, хранения и анализа данных в Яндекс.Облаке. Уровень сложности: для специалистов со знанием кода.