Гонта Виталий, Andersen Lab, Киев - ПОТОКОВАЯ ОБРАБОТКА ДАННЫХ В РЕАЛЬНОМ ВРЕМЕНИ

О ДОКЛАДЧИКЕ Гонта Виталий Andersen Lab, Киев Scala разработчик з опытом в BigData, High Load и DevOps. Разработал два больших проекта в сфере IoT (тачки и самолёты) и два в сфере Digital Marketing. Сейчас работаю на проекте Tinkoff Bank. ПОТОКОВАЯ ОБРАБОТКА ДАННЫХ В РЕАЛЬНОМ ВРЕМЕНИ С ПОМОЩЬЮ SPARK STRUCTURED STREAMING Хочу поделиться опытом разработки приложений на Spark в контексте Data Engineering. Тема, которую я представлю на докладе - это реальный проект, разработкой которого я занимался. Пример будет состоять из чтения данных из Kafka, обработки с помощью Spark Structured Streaming (включая stateful трансформации) и записи результатов в HDFS. Также расскажу нюансы по деплою проекта (Yarn, HDFS, Apache Oozie). Примеры будут на понятном для большинства слушателей подмножестве языка Scala (без монадных трансформеров и прочей живности). АУДИТОРИЯ СЛУШАТЕЛЕЙ ДОКЛАДА Java / Scala / Python разработчики уровня Middle и выше