На стриме протестировал возможность запуска в режиме RPC-сервера на микрокомпьютере RepkaPi 3, с удивлением для себя обнаружил, что эта малютка неплохо справлятся с пусть и не самыми большими (:-) языковыми моделям.
-
В первой четверти стрима занимался обновлением прошивки RepkaPi 3 и установкой всего необходимого для запуска Docker-контейнеров, далее приступил к сборке специлазированного контейнера содержащего RPC-сервер и запуску оного на Репке, а llama-server (в режиме RPC-клиент) запустил у себя на локальной машине, после пробовал выполнить инференс.
Под конец стрима повторил процедуру ещё и на Raspberry Pi CM3 .
-
И собрал схему полноценного распределённого инференса.
Сделать пожертвование:
Ссылки:
6 views
1548
298
2 weeks ago 00:09:46 1
ДИНАМИЧЕСКИЙ СПУФИНГ : ПОДМЕНА GPS И ПЕРЕХВАТ ДРОНОВ В МОСКОВСКОЙ ОБЛАСТИ 2024
2 weeks ago 02:41:53 1
Брифинг М.В.Захаровой, Москва, 23 октября 2024 года
2 weeks ago 00:19:19 1
ИМПЕРИЯ НА МИЛЛИАРД | УТЯГИВАЮЩЕЕ БЕЛЬЕ Ким Кардашьян SKIMS | 2 млн $ за 2 минуты?
2 weeks ago 00:11:14 1
Жизнь Водолея уже не будет прежней. Открыты 6 ключей к счастью и благополучию на 20 лет вперед
2 weeks ago 00:18:34 1
The Sims 4. Спустя 10 лет... 🤨 Раньше было лучше? 🤣
2 weeks ago 00:22:00 7
План-факт анализ на Cubisio: #1 Загрузка данных
2 weeks ago 01:04:28 1
Шок! SOLARGROUP запустили «Дирижабли нового поколения», чтобы поскорее закрыть «Совэлмаш»
2 weeks ago 00:25:03 5
SENTENCE - БАЭС (2 тайм)
2 weeks ago 00:30:26 1
Электромотоцикл Rezon Bohemia, премиальный Китай для больший мальчиков ⚡ Обзор и Тест-драйв
2 weeks ago 00:30:25 151
Электромотоцикл Rezon Bohemia, премиальный Китай для больших мальчиков ⚡ Обзор и Тест-драйв
3 weeks ago 00:19:09 173
Как заработать на ТЕЛЕГРАМ-КАНАЛЕ в 2024 году Неочевидные фишки...
3 weeks ago 00:31:02 48
Открыли 11-й собственный киберклуб. Франшиза CyberX
3 weeks ago 00:26:48 1
Что не так с инопланетными мегаструктурами? / Мы будем есть астероиды? / Астрообзор #167
3 weeks ago 00:30:27 1
#110 | Первый запуск Audi Stage 4 | Mercedes 170S 1951 | ДВС Lamborghini Huracan
3 weeks ago 01:19:09 5
Вебинар “Новое в оценке персонала. На примере инновационного опросника по компетенциям FORecast“
3 weeks ago 01:18:02 1
СУРДИН: Главные открытия 2024 года — Зарождение звезд, Суперземля, Бетельгейзе и поиски жизни
3 weeks ago 00:30:00 22
[YOUR REST] ОТКРЫЛ ДВЕРЬ С ФИГУРОЙ ЖЕНЩИНЫ В Сайлент Хилл 2 Ремейк 2024 Silent Hill 2 Remake ЧАСТЬ 16
3 weeks ago 01:10:53 2
НАДЕЖНЫЙ, КАК СВД! ОПЕРАЦИОННАЯ СИСТЕМА РЕАЛЬНОГО ВРЕМЕНИ “НЕЙТРИНО“
3 weeks ago 01:16:06 4
Бизнес на тканях из Китая. Из однушки в Кемерово до склада 2 000 кв.м в Москве.
3 weeks ago 00:15:06 218
Новости из мира сельхозтехники и АПК. Итоги недели -
3 weeks ago 00:30:00 42
[YOUR REST] СЕЙФ С СИМВОЛАМИ ОТКРЫТ В БОЛЬНИЦЕ БРУКХЕЙВЕН В Сайлент Хилл 2 Ремейк 2024 Silent Hill 2 ЧАСТЬ 14
3 weeks ago 00:30:00 48
[YOUR REST] ОТКРЫЛ КОДОВЫЙ ЗАМОК В БОЛЬНИЦЕ БРУКХЕЙВЕН В Сайлент Хилл 2 Ремейк 2024 Silent Hill 2 ЧАСТЬ 11
3 weeks ago 00:30:00 36
[YOUR REST] ОТКРЫЛ СЕЙФ В МОТЕЛЕ ЛЕЙКВЬЮ В Сайлент Хилл 2 Ремейк 2024 Silent Hill 2 Remake ЧАСТЬ 09
3 weeks ago 00:30:00 12
[YOUR REST] ОТКРЫЛ СЕЙФ И НАШЕЛ МОНЕТУ МУЖЧИНА В Сайлент Хилл 2 Ремейк 2024 Silent Hill 2 Remake ЧАСТЬ 05