Distilling Knowledge from Reader to Retriever for Question Answering

Информационный поиск является важной составляющей многих систем обработки естественного языка (например: question answering, fact checking). Традиционные методы поиска основывались на простых признаках (TF-IDF, BM25). Однако в последнее время конкурентные результаты позволяют получать признаки, полученные на основе нейронных сетей. Сложность использования нейросетевого подхода заключается в необходимости иметь данные для обучения, представляющие собой пары из запроса и набора вспомогательных документов. На семинаре будет разобрана статья “Distilling Knowledge from Reader to Retriever for Question Answering“, в которой предложили обучать retriever-модель с помощью дистилляции. Такой метод не требует размеченных пар запроса и документов, а использует оценки внимания (attention scores), получаемые из reader-модели. Авторы показали, что предложенный ими подход позволяет достигать state-of-the-art результатов в задаче Question Answering. Докладчик: Даниил Горбенко.