Информационный поиск. Языковые модели. N-граммы. Цепи Маркова

Техносфера Group, МГУ им. М.В. Ломоносова. Курс “Современные методы и средства построения систем информационного поиска“. Лекция №5 “Языковые модели. N-граммы. Цепи Маркова“ Лектор - Алексей Воропаев. Цели распознавания языка. Языковые модели. Поиск с использованием языковых моделей. Фундаментальная проблема нехватки данных. Построение N-грамм. Метод максимального правдоподобия. Сглаживание. Валидация моделей. Линейное смешение моделей. Цепь Маркова. Матрица переходов. Последовательность состояний