Parameter-Efficient Fine-Tuning больших языковых моделей сейчас и завтра. Влад Лялин - UMass Lowell

Мы живём в мире, где модели в 1 миллиард или даже 10 миллиардов параметров уже не считаются большими — вы буквально можете запустить их на вашем телефоне. Но тренировать или даже файтнюнить эти модели всё ещё может быть сложно и дорого. Методы Parameter-Efficient Fine-Tuning (PEFT) позволяют адаптировать огромные модели к конкретным задачам или кастомным доменам без десятков GPU. В этом докладе мы обсудим какие виды PEFT существуют и какие из них эффективны для тюнинга больших языковых моделей и о том что именно мы имеем в виду под эффективностью. Мы поговорим о конкретных методах, таких как Adapters, Prompt Tuning, LoRA (с псевдокодом!), а также о том как эти методы будут меняться в ближайшем будущем и можно ли применять их не только для файнтюнинга, но и для предтренировки. Выступает Владислав Лялин: research assistant в University of Massachusetts Lowell Запись выступления с конференции НейроSet от 14 июля 2023. За новостями конференции можно следить в ее телеграм канале или на официальном сайте.