На стриме протестировал возможность запуска в режиме RPC-сервера на микрокомпьютере RepkaPi 3, с удивлением для себя обнаружил, что эта малютка неплохо справлятся с пусть и не самыми большими (:-) языковыми моделям.
-
В первой четверти стрима занимался обновлением прошивки RepkaPi 3 и установкой всего необходимого для запуска Docker-контейнеров, далее приступил к сборке специлазированного контейнера содержащего RPC-сервер и запуску оного на Репке, а llama-server (в режиме RPC-клиент) запустил у себя на локальной машине, после пробовал выполнить инференс.
Под конец стрима повторил процедуру ещё и на Raspberry Pi CM3 .
-
И собрал схему полноценного распределённого инференса.
Сделать пожертвование:
Ссылки:
33 views
1548
298
7 days ago 01:53:47 110
Проблема дефицита Водителей в России – новая Инвестиционная возможность!
1 week ago 00:15:21 26
Гайд запуска на Google Ads, гембла, Бангладеш - АРБИТРАЖ ТРАФИКА 2025 ВТОРАЯ СЕРИЯ
1 week ago 02:12:26 4.8K
Рассказ про «СКАЗ» | Кто здесь аниматор?
1 week ago 00:12:03 36K
Нас дразнят новой GTA 6! Assassin’s Creed Shadows улучшили? | Итоги недели
1 week ago 00:44:17 7.7K
Новости ТВК 22 ноября 2024: запуск «Орешника», опасное молоко и массовое отравление
1 week ago 01:24:15 919
ПЕРЕХОД зависит от НАС! Как пробуждаются в Индии | Инесса Картинцева
1 week ago 01:17:42 567
Консорциум как организация по стратегическому решению вопросов технологического суверенитета РФ
1 week ago 00:32:36 7
Открыла сезон 2024/стригу/ убираю/ Ленинградская область#сад#дача#идеидлясада
1 week ago 00:13:29 46
ЛУЧШИЕ RPG ШУТЕРЫ (2024) / ШУТЕРЫ С ЭЛЕМЕНТАМИ RPG / ШУТЕРЫ С ПРОКАЧКОЙ / ШУТЕРЫ С ОТКРЫТЫМ МИРОМ
1 week ago 00:11:50 31
Игры с открытым миром / Лучшие игры с открытым миром на ПК / Одиночные игры
1 week ago 00:23:08 184
20 ЛУЧШИХ игр с ОТКРЫТЫМ миром / Игры с открытым миром
2 weeks ago 00:41:44 166
Текущая ситуация и прогноз развития рынка ИЖС | Василий Пономаренко ТОП-ДЕВЕЛОП
2 weeks ago 00:04:42 132
Новости ноября: Реестр Военных, Повышение Пенсий, Узаконен Майнинг, Период Охлаждения по Кредитам!
2 weeks ago 00:41:40 761
Интервью с Ольгой Хасановой о премии URBAN, рынке недвижимости, девелоперах и не только.
2 weeks ago 00:17:27 27
Повышение ставок по семейной ипотеке, выделение лимитов, Смоленский мост
2 weeks ago 01:11:59 147
Отражение Рефлектора: Михаил Воронов (Рефлектор 5/2) — Открытая Встреча для Участников Сезона Глубины (09-11-2024)
3 weeks ago 00:59:40 1.9K
Сергей Герасимов: как зарабатывать на татуировках? Как открыть тату салон? (RB подкаст)
3 weeks ago 01:58:57 1.4K
МНК XXIV. Концерт-открытие Фестиваля. ПРОКОФЬЕВ.
3 weeks ago 00:52:48 2.4K
М.Видео: в 2022 году было гораздо хуже, чем сейчас
3 weeks ago 00:09:07 126
10 ЛУЧШИХ игр с ОТКРЫТЫМ миром / Игры с открытым миром
3 weeks ago 00:22:18 7
Обновление сборки Карт России и Ближнего Зарубежья ETS2 🚛 RusMap | SibirMap | Донбасс | Бонус
3 weeks ago 00:02:06 88
Путин о НОД практически открытым текстом Валдай
3 weeks ago 00:11:18 170
Бизнес на Авито! Как эффективно продвигать услуги на Avito? 🔥Полное руководство ✅ 2024
4 weeks ago 00:41:50 138
Как учитель на пенсии открыла бизнес и заработала в пандемию