Открытая лекция «Как измерять качество ChatGPT и других авторегрессионных языковых моделей?» 31 мая

С лекцией выступит Мария Тихонова, кандидат компьютерных наук, главный инженер по разработке в SberDevices, преподаватель факультета компьютерных наук НИУ ВШЭ и образовательной платформы OTUS. Мария рассмотрит проблему определения того, что такое «хорошо» и что такое «плохо» в мире ChatGPT, Гигачата и других больших нейросетей типа Трансформер, способных понимать и порождать высказывания на естественном языке. Вы узнаете, какие «способности» больших языковых моделей — от математики до этики и здравого смысла — необходимо оценивать, каким образом составляются контрольные задания для оценки и что является мерой качества выполнения этих заданий. Также Мария расскажет о бенчмарке MERA, крупнейшем открытом проекте по автоматической оценке различных русскоязычных LLM, одним из ключевых разработчиков которого она является. Презентация доступна по ссылке Подписывайтесь на телеграм-канал Марии