Потоковая обработка BigData для МТС / Евгений Ненахов (МТС Digital)
Приглашаем на конференцию HighLoad 2024, которая пройдет 2 и 3 декабря в Москве!
Программа, подробности и билеты по ссылке:
--------
HighLoad Foundation 2022
Презентация и тезисы:
В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.
Нашли ошибку в видео? Пишите нам на support@
1 view
264
66
3 months ago 00:20:58 1
ЖИЗНЬ В ПОТОКЕ / МЫ ВСЕ НЕ ПРАВИЛЬНО ПОНИМАЛИ
3 months ago 00:05:17 1
Видеокурсы по 1С:Документообороту
3 months ago 00:09:36 13
Kafka БАЗА! Теория + Практика анализ данных !
4 months ago 00:38:06 301
Олимпиада по программированию: как дойти до финиша. Александр Межов, Infinnity Solutions, Техлид
4 months ago 00:45:55 161
Streaming Processing на данных Big Data для рекламных кампаний МТС. Евгений Ненахов
4 months ago 01:17:10 1
Презентация обновлений Битрикс24. 14 мая 2024 г.
4 months ago 00:08:03 4
Урок 4 – Обработка заявок
4 months ago 00:00:00 1
[Flow live] Введение в мир потоковых данных
5 months ago 00:05:43 1
Apache Kafka 3.6. New Features Improvements
5 months ago 00:33:37 1
Тактика маршрутного полёта на параплане. Поиск и обработка восходящих потоков #Крылья #Параплан
5 months ago 00:10:58 1
2.3 Архитектура DWH. Пакетная и потоковая обработка данных. VIDTAG#