Семинар LISA №1 по теме “Архитектура LLM-driven приложений“

Выступающие сотрудники LISA: • Никифорова Анна • Безгин Алексей Студенты программы «Языковые модели и ИИ» Приглашенные эксперты из Исследовательского центра “Сильный ИИ в промышленности“: • Ходорченко Мария - с.н.с. • Бутаков Николай - с.н.с. • Захарова Анастасия - инженер Обсудили на семинаре: 1. Есть ли общепринятая архитектура для LLM-driven приложений? 2. Имеет ли смысл поднимать LLM локально и встраивать в свой бэк или нужно использовать готовые фреймворки вроде vLLM? 3. Какие бэкенд-фреймворки лучше использовать для работы с LLM? 4. Как распределять нагрузку (или каким образом она распределяется в готовых фреймворках), если модель почти полностью забивает GPU, а пользователей много?