Векторизация текстов для практических задач // Курс «Natural Language Processing (NLP)»
Обсудим, как можно получать векторы текстов и использовать их в практических целях.
Вы узнаете, как быстро сделать рекомендательную систему для текстов - поищем похожие статьи на основе методов LSI, экстрактивной суммаризации и векторизации FastText.
Поищем похожие товары на основе векторизации TF-IDF.
Обсудим векторизацию текстов архитектурой BERT.
Результаты урока: Вы узнаете как делать текст короче, как искать похожие по смыслу и тематике тексты.
Кому подходит этот урок:
- IT-специалистам, которые хотят применить знание обработки текстов к практическим задачам.
- Аналитикам и руководителям контентных сервисов.
- Тем IT специалистам, кто хочет быстро и просто создать рекомендательную систему для контента.
«Natural Language Processing (NLP)» -
Преподаватель: Александр Брут-Бруляко - Ds инженер в СБЕР Neurolab
Пройдите опрос по итогам мероприятия -
Эпизоды:
00:00 - Начало трансляции
01:36 - О чем сегодня поговорим: способы построения векторизации текстов
02:50 - Основной шаг - это токенизация
06:10 - Лемматизация слов, приведение слов к нормальной форме
09:40 - One-hot encoding
13:27 - Что делать с потерей смысла?
15:50 - TF-IDF
21:20 - Все очень просто: мера близости текстов
22:36 - OKAPI BM25
23:54 - Минусы пословных векторов
27:50 - Word-to-Vec
36:10 - Проблемы word2vec
39:38 - FastText
45:12 - Работа с текстом
48:20 - Более умный способ (BERT эмбеддинги)
54:40 - GPT эмбеддинги
55:57 - Когда помогает абстрактивная суммаризация
59:42 - LSI или тематические векторы
1:03:40 - Практика в jupyter notebook
1:38:09 - Summarization (сравнение с Open AI)
1:45:26 - Карьерная информация
1:46:30 - Записывайтесь к нам на курс NLP
1:47:50 - С какого уровня открываются перспективы удаленной работы
Следите за новостями проекта:
- Telegram:
- ВКонтакте:
- LinkedIn:
- Хабр:
26 views
65
15
1 week ago 01:25:32 255
„Мы с Тамарой ходим парой“: векторные модели о персонажах русской литературы эпохи
2 months ago 00:49:31 24
Студеникина К.А. - Методы машинного обучения - 1. Многоклассовая классификация эмоций. Часть 1
2 months ago 01:45:40 58
Langchain - делаем AI chat бота поверх ваших документов // Курс «Machine Learning. Professional»
2 months ago 00:45:40 57
Введение в NLP + трансформеры
3 months ago 00:54:32 4
Студеникина К.А. - Нейронные сети в компьютерной лингвистике - 1. Классическое машинное обучение
3 months ago 01:02:50 23
Парсинг данных: собираем датасет своими руками // Курс «Natural Language Processing (NLP)»
3 months ago 01:26:46 7
Как работают доменно-ориентированные чат-боты // Курс «Natural Language Processing (NLP)»
3 months ago 01:33:15 13
ИИИ Спортивный анализ данных - 9 лекция - + YandexGPT =
3 months ago 01:07:44 4
ИИИ Спортивный анализ данных - + конспект от YandexGPT
3 months ago 00:59:28 4
Спортивный анализ данных - + конспект от YandexGPT
3 months ago 01:13:14 2
Спортивный анализ данных - + конспект от YandexGPT
4 months ago 00:24:12 1
Векторизация текстов на естественном языке
4 months ago 01:31:03 9
Рекомендательная система на основе контента // Демо-занятие курса «Рекомендательные системы»
4 months ago 01:51:00 27
Векторизация текстов для практических задач // Курс «Natural Language Processing (NLP)»
12 months ago 00:13:14 2
Представление текста в цифровом виде для нейросети | Нейросети для анализа текстов
1 year ago 01:11:12 1
Большой Бесплатный Курс по NLP (Обработке Естественного Языка): Часть 1 - Предобработка
1 year ago 00:02:35 3
Бесплатный редактор изображений с возможностями ИИ на вашем ПК
2 years ago 00:11:03 4
Плотные векторные представления слов для определение тональности | Обработка естественного языка
2 years ago 00:17:36 3
Word embeddings для векторизации текста | Обработка естественного языка
2 years ago 00:18:03 3
Векторизация русского текста на Python | Обработка естественного языка
2 years ago 00:07:52 2
Векторизация текста: простые методы | Обработка естественного языка
2 years ago 00:11:02 172
Определение тональности текстов с использованием продвинутых методов векторизации | Обработка естественного языка
2 years ago 00:14:02 188
Определение тональности текстов с использованием простых методов векторизации | Обработка естественного языка
2 years ago 00:07:51 234
Простые методы векторизации текста | Обработка естественного языка