Введение в Оркестрацию // Демо-занятие курса «Spark Developer»

На сегодняшний день, инструменты Оркестрации - это отраслевой стандарт для организации получения, обработки и сохранения данных из сотен и даже тысяч разнородных источников с разнообразной частотой обновления и природой. Сценарии использования платформ Оркестрации разнообразны: вы можете просто организовать регулярные select - group by - insert из production базы данных в “холодную“ реплику под аналитику, а можете написать целый сервис, который будет раз в час обновлять данные, дообучать ML-модель и поставлять актуальные прогнозные значения конечным пользователям. Данная технология - неотъемлемый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера. На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow. Приходите, будет интересно! «Spark Developer» - ​ Преподаватель: Максим Мигутин - более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов Подключайтесь к обсуждению в чате - ​ ​Следите за новостями проекта: ​- Telegram: ​- ВКонтакте: ​- LinkedIn: ​- Хабр: