Кирилл Колодяжный — Добавляем большую языковую модель (LLM) в приложение на С++ с помощью на реальном примере
Ближайшая конференция C Russia:
#cpp #cpprussia #IT #conference #jugrugroup
Так как про ChatGPT и подобные ему системы рассказали уже много, расскажу про альтернативный вариант. Покажу, как использовать инструменты для обработки текста на основе LLM (large language model) на простых компьютерах, будь то ноутбук, ПК или сервер без GPU. Для этого нам не потребуется подключение к интернету, чтобы использовать онлайн API, так как все будет работать локально. Более того, я покажу, как это сделать на С , не используя другие языки (или почти не используя). Расскажу о наборе утилит и библиотек и их интеграции в свое приложение для использования современных LLM-моделей.
Что такое квантование и как оно помогает уместить LLM в оперативную память ПК. Как решить проблемы интеграции в приложение. Базовая математическая библиотека GGML и пример использования не только для реализации LLaMA, но и модели BERT. Как решить проблемы токенизации русского языка с использованием библиотеки ICU.
Будем использовать веса русскоязычных моделей LLaMA 2 и BERT и с их помощью научимся обобщать и сравнивать по смыслу сообщения из Telegram-каналов, чтобы формировать новостную картину.
Скачать презентацию с сайта —
804 views
183
61
1 day ago 00:01:15 42
Жвачка (2024)
2 days ago 01:34:58 6
Гала-концерт Рождество с гитарой 2023
2 weeks ago 00:03:10 1
Кирилл Мойтон - Фейки (Премьера клипа)
3 months ago 00:57:33 804
Кирилл Колодяжный — Добавляем большую языковую модель (LLM) в приложение на С++ с помощью на реальном примере
7 months ago 00:02:21 1
«Это важно для нас»: память «Повелителя ветра» почтили в Хабаровске каратисты из Японии
8 months ago 00:18:55 6
Raffaele Bellafronte - Suite no.1 for cello and guitar. Timur Kolodyazhny, Kirill Rusinov
1 year ago 01:22:01 2
Люди Ф #53. “Братина“
2 years ago 01:22:00 3.4K
Люди Ф #52. “Братина“
2 years ago 00:03:18 4
Видео от Антона Баркова
2 years ago 00:55:09 72
Концертная программа “Шлягеры“
2 years ago 00:01:46 5K
ТРИГГЕР (ПРОВОКАТОР) (2018) 1 сезон 16 серий. Титры и роли. В главной роли Максим Матвеев (АРТЕМ СТРЕЛЕЦКИЙ)
2 years ago 00:02:28 143
Интервью с Кириллом Колодяжным
3 years ago 02:51:31 1
RCC - S1600 Прямая трансляция 1 этапа RCC и S1600. 22 мая 2021г.