Иеще, унас тут вмире локальных больших языковых моделей тоже событие: натой неделе вышла Yi-34B-Chat иеебазовая версия с

И еще, у нас тут в мире локальных больших языковых моделей тоже событие: на той неделе вышла Yi-34B-Chat и ее базовая версия с «контекстным окном в 200k» (помнит больше истории вашего общения и тп). Yi-34B-Chat протестировали в сообществе и она заняла первое место () среди всех опенсорсных моделей которые выходили — я обычно скептически отношусь к таким результатам но решил сам попробовать, и я честно скажу что офигел. Модель построена на llama2 архитектуре, но натренирована с нуля, в основном на английском. 34 миллиарда параметров и очень качественный датасет, оказались достаточным рецептом чтобы я два дня выходных вечером сидел и генерировал с ней разные истории с зомби-апокалипсисом – обычно я локальные LLM только настраиваю и дальше ухожу играться в GPT4, в этот раз такого не случилось. Очень советую ее потестировать (если любите когда компьютер вам пишет книжки). Дальше у меня по палану доучить с qlora эту модель на Гарри Поттере (и методах рационального мышлении тоже) и пропасть на две недели вообще, путешествуя во вселенной и выдуманных рассказов на мой вкус. — Модель () — Разные интерфейсы () для работы с локальными LLM (включая OSX аппы которые с клика ставятся) Лучшие настройки какие я нашел для задачи «креативного» написания рассказов (для нердов): —temp 1 \ —top-k 40 \ —top-p \ —min-p \ —repeat_penalty \ В видео показано с какой скоростью она пишет, что отдельно магия каждый раз. Очень жду доступа к Масковскому Grok чтобы сравнить 😈 👌🤖 Нейросети - РентРОП () 😉 Про Продажи - РентРОП () 👍▶️ YouTube - РентРОП (://)