4 лайфхака, которые помогут вам эффективно использовать конвейеры AirFlow • Александр Шелютин

На конференции Systems Design 2024 Александр Шелютин, опытный Data Engineer с 6-летним стажем, рассказал о важности создания шаблонных DAG на основе конфигурационных и коллективных файлов для повышения эффективности работы с AirFlow. Он также выделил значение генерации автоматических сущностей AirFlow и создания событийных пайплайнов AirFlow. 00:00 О спикере 01:09 Что такое AirFlow? 05:54 1. Создавайте шаблонные DAGи на основе конфигурационного файла 13:08 2. Создавайте шаблонные DAGи на основе коллективного файла конфигурации 18:20 3. Генерируйте автоматически, на основе сущностей AirFlow 23:45 4. Создавайте событийные (event-driven) пайплайны Airflow 29:50 В чем разница оркестрации и хореографии? 32:15 Что является событием в тестировании доменной безопасности? Почему не удавалось это сделать по расписанию? Основы проектирования интеграций ИТ-систем Проектирование интеграции с REST API Современные технологии хранения данных в микросервисной архитектуре Работа с очередями в RabbitMQ и Apache Kafka Моделирование предметной области и проектирование БД Основы ООП и разработка UML-моделей ____________________ 📌 ПОДПИСАТЬСЯ НА Systems Education: ➛Официальный сайт: ➛VK ➛Telegram - Новости Systems Education и расписание курсов ➛Telegram - Анонсы событий по системному анализу: ➛Telegram - Как стать системным аналитиком: