Neural Program Synthesis, part 1 [in Russian]

Slides: Program Speaker: Nadia Chirkova, HSE University Языковые модели наподобие BERT и GPT-3 достигли высоких результатов во многих прикладных задачах, включая машинный перевод, генерацию текста и информационный поиск, и уже вышли за пределы обработки текста. Летом 2021 года компания OpenAI представила модель Codex, способную генерировать качественный программный код по описанию на естественном языке и контексту и встроенную в качестве ассистента программиста GitHub Copilot в редактор Visual Studio. Как и GPT-3, модель Codex была предобучена на огромном наборе данных, в данном случае содержащем исходный код, и далее дообучена на задачу генерации кода по текстовому описанию.