Научно-технический вебинар «Расстояние Выготского: подход к оценке схожести интеллектуальных задач»
Оценка моделей играет значительную роль в современной обработке естественного языка. Большинство современных тестов NLP состоят из произвольных наборов задач, которые не гарантируют какого-либо потенциала обобщения для модели при применении модели вне набора тестов и не пытаются минимизировать потребление ресурсов, необходимых для оценки модели. Мы обсудим теоретический инструмент и практический алгоритм для вычисления сходства между заданиями, который мы называем “расстоянием Выготского“. Основная идея этого показателя сходства заключается в том, что он основан на относительных результатах “учеников“ на выбранном задании, а не на свойствах самой задачи. Если две задачи близки друг к другу с точки зрения расстояния Выготского, модели, как правило, имеют сходную относительную успеваемость по ним. Таким образом, зная расстояние Выготского между задачами, можно значительно сократить количество оценочных заданий при сохранении высокого качества валидации. Эксперименты с различными бенчмарками,
1 view
110
32
2 hours ago 00:07:08 1
Varwin Education — платформа для образования с 3D/VR/AR в школах и вузах
1 day ago 00:49:38 2
ОШИБКИ, которые стоят слишком дорого | Мнение эксперта косметолога
1 day ago 01:40:20 3
Как выбрать между ООП и ФП: научный подход // Демо-занятие курса «Computer Science»
2 days ago 00:01:45 1
#Наураша для организаций. ПРОМОролик
3 days ago 01:13:22 1
Экзамен для чатбота: как тестируют большие языковые модели?
3 days ago 00:37:09 1
Игорь Острецов и Хасай Алиев о смысле жизни и развитии Разума. Ответы на вопросы подписчиков.
7 days ago 00:13:20 2
Русский учёный сфотографировал душу?! Невероятные открытия Константина Короткова
1 week ago 00:00:17 1
Хватит стоять на таких локтях! #shorts
1 week ago 00:00:00 3
Сервисы межбиблиотечного абонемента и электронной доставки документов ГПНТБ России
2 weeks ago 01:12:10 3
К вопросу об офтальмодиабете
2 weeks ago 00:00:47 1
Международный научно-исследовательский Онлайн-Семинар «Тайная Доктрина Блаватской»
2 weeks ago 01:32:53 1
ИИ в научных библиотеках: тренд или необходимость?
2 weeks ago 01:11:43 1
Вебинар «Среда общих данных для контроля строительства: документация и процессы»
3 weeks ago 01:18:50 1
Алан Мамиев и Хасай Алиев. Простые техники, которые изменят вашу жизнь к лучшему!
3 weeks ago 01:55:51 1
Тревога и соматоформные расстройства – откуда ноги растут?
4 weeks ago 00:00:47 1
Международный научно-исследовательский Онлайн-Семинар «Тайная Доктрина Блаватской»
4 weeks ago 01:23:46 1
Игорь Острецов, профессор о своём детстве, юности, перспективах ЯРТ и будущем мира. Хасай Алиев
4 weeks ago 01:09:29 1
Как подготовиться к предстоящим переменам? Открытый диалог о сетевой революции.
1 month ago 00:33:50 1
ОБЗОР ИЗМЕНЕНИЙ В ТР ЕАЭС 040/2016. ИДЕНТИФИКАЦИЯ, КАЧЕСТВО И БЕЗОПАСНОСТЬ ПИЩЕВОЙ РЫБНОЙ ПРОДУКЦИИ
1 month ago 00:12:50 1
ОТВЕТЫ НА ВОПРОСЫ ПО ТР ЕАЭС 040/2016. ПИЩЕВАЯ РЫБНАЯ ПРОДУКЦИЯ.
1 month ago 00:18:33 1
Научно-методологические основы управления здоровьесбережением
1 month ago 01:04:45 1
Колмогоров: как создать шрифт на основе почерка ученого
1 month ago 00:38:41 1
История и современность Международного дня интеллектуальной собственности
1 month ago 02:07:23 6
Вебинар “Экспертиза и технический контроль узлов гидроизоляции“