Алексей Меркулов | Микрооптимизации парсинга в промышленных масштабах
Data Fest Online 2021
Data Collection track
Архитектура парсинга в промышленных масштабах. Парсинг нужно делить на разные итерации задач, а именно, краулинг, временное хранение данных (очереди, кафка), обработка данных, запись данных, прокси, контейнеры. Объясню, почему я считаю важным разделение каждой задачи на отдельные этапы и как это все между собой связывать, как подбирать инструменты и языки под исполнения каждой задачи.
Посмотреть эфир и список треков и организаторов:
Зарегистрироваться на фест и получить доступ к трекам:
Вступить в сообщество:
Соцсети Data Fest:
1 view
136
20
2 months ago 00:02:07 7
О!нет — Не переживай ( Remix) [Official Music Video]
2 months ago 00:54:08 1
Пусть творят! NONSNS SHOW гибридной самоорганизации NONSNS
2 months ago 00:03:41 1
МЫ все уже не те. Алексей Меркулов
2 months ago 00:04:01 2
Пройдут года. Алексей Меркулов
2 months ago 00:35:48 1
Евгений Замотаев - «Кискострадалец» | Стендап-концерт (2024)
2 months ago 00:07:13 5
Особый день (Special Day)
3 months ago 00:06:12 1
Про Миру и Гошу - Обидно.
3 months ago 00:05:35 1
ДЕНЬ ГОСТЕЙ (20 серия) — Дракошия — Мультфильмы для детей
3 months ago 00:11:02 1
Маис - Московский Шмурдяк
4 months ago 00:00:00 1
Узоры в убранстве дома и костюма
4 months ago 00:06:13 1
Время радости и ничегонеделания. Про Миру и Гошу
4 months ago 00:02:11 3
Учат в школе! Рок версия 😎 от OBANASH
4 months ago 00:39:20 4
Волшебство момента — Дракошия — Мультфильмы для детей
4 months ago 02:37:59 1
Подготовка и проведение русской свадьбы в современных условиях
4 months ago 00:01:52 1
Часть 2 Класс Молодых собак 18-24 мес суки часть 2
4 months ago 00:12:52 1
Разговор в редакции МК, об избавлении от стресса с помощью техник Кундалини и приглашение на ретрит
5 months ago 00:00:00 1
Дракошный досуг — Дракошия — Мультфильмы про летний отдых дракош
5 months ago 00:02:51 1
FmBand Promo Сентябрь 2023
5 months ago 00:30:41 2
Как парень на коляске стал звездой тик-тока | Интервью Ильи Кабины | ЛЕГКО СКАЗАТЬ
6 months ago 02:57:27 1
НОВИНКА 2023! ПРЕМЬЕРА ДЕТЕКТИВА! Абонемент на расследование. Опасные желания. ВСЕ СЕРИИ. Детектив
6 months ago 00:00:43 17
Тизер к Short Film - Человеческий голос ( Buzz Dubbing )
6 months ago 00:05:10 1
Москва. Музтеатр им. Н.Сац. Опера “Русалка“. Поклоны
6 months ago 04:13:18 1
2 тур IX Международного конкурса оперных артистов Галины Вишневской