Максим Пантелеев | Text deduplication on social media data
Data Fest Online 2021
NLP in Industry track
Всем привет! Меня зовут Пантелеев Максим и в этом докладе я хочу рассказать об одной часто встречающейся задаче в обработке естественного языка - дедупликация текстового массива. Эта задача часто встречается в анализе пользовательских обращений, твитов, так и как один из этапов подготовки данных для тренировки сложных моделей, н/п BERT/GPT и тд. Расскажу сходствах и отличиях этой задачи от задачи кластеризации, об основанных на поиске ближайших соседях подходах и не только, сравню качество работы выбранных методов дедупликации на некоторых известных датасетах, а так же ответить на вопрос как влияют на качество дедубликации существующие эмбеддинги текстов, н/п такие как USE/fasttext/word2vec/glove/tfidf и т.д.
Посмотреть эфир и список треков и организаторов:
Зарегистрироваться на фест и получить доступ к трекам:
Вступить в сообщество:
Соцсети Data Fest:
2 views
160
29
7 days ago 00:12:49 107
. Чемпионат мира. (HD) Россия - Латвия
2 weeks ago 00:16:55 60
[алена олейник] “Кажется, навсегда“ - короткометражный фильм о чувстве, которое вы будете помнить всю жизнь
2 weeks ago 00:55:12 330
Технологический саммит TNF в Тюмени
1 month ago 00:04:15 203
Переворот 1-4 Серия Сюжет и дата выхода Сериал Домашний
1 month ago 00:02:02 1
БИТВА ПАП I Трейлер I В кино с 10 октября
2 months ago 00:10:26 1
Она манит аномально | трейлер к... Самарской области
2 months ago 00:02:11 19
Осечка по буллитам: как прошла встреча ХК «Ростов» с «Нефтяником»
2 months ago 00:16:56 1
“Кажется, навсегда“ - короткометражный фильм о чувстве, которое вы будете помнить всю жизнь
2 months ago 00:03:53 1
Если Бог строит дом | ЮС 2023 | Wolrus Worship | Милеуша Шаламова (LIVE)
2 months ago 00:02:02 24.3K
Битва пап | Трейлер | В кино с 10 октября
2 months ago 01:30:07 10
СШ «Центр развития спорта» — JOKER TATTOO — 2:7. Чемпионат Иркутска, Группа A. 4 тур,
2 months ago 00:06:53 1
Совершенный Мир |Wolrus WORSHIP & Milleusha (LYRIC VIDEO)
2 months ago 00:04:14 873
Велобиатлон-2024
2 months ago 00:03:27 1.4K
Лучший по профессии - 2024. Работники железнодорожного комплекса
2 months ago 01:44:49 12
de-duplication in CV // Демо-занятие курса «Компьютерное зрение»
2 months ago 00:30:06 2
Максим Пантелеев | Text deduplication on social media data
2 months ago 00:30:28 1
Максим Пантелеев - Beyond global sentiment object aspect sentiments
2 months ago 00:01:06 3
Максим Пантелеев: Тext deduplication on social media data
3 months ago 00:02:16 86
Первая домашняя победа хоккейного «Ростова»
3 months ago 00:26:22 144
Обзор антологии о корона-вирусе (Covid-19) “Возврату не подлежит“