Mini CPM-V: Семейство MLM для работы с изображениями и видео, в том числе на портативных устройствах. MiniCPM-V новое семейств

️ Mini CPM-V: Семейство MLM для работы с изображениями и видео, в том числе на портативных устройствах. MiniCPM-V новое семейство MLLM. Набор состоит из 3 моделей и их квантованных версий в int4 и GGUF:  MiniCPM-V 2 .6: самая производительная модель в серии MiniCPM-V, построена на основе SigLip-400M и Qwen2-7B и имеет 8 миллиардов параметров.  Эта модель улучшена новыми возможностями для понимания нескольких изображений и видео и поддерживает работу в режиме реального времени на сторонних устройствах, таких как iPad.  MiniCPM-V 2 .6 (16.2 Gb) MiniCPM-V 2 .6 Int4 () MiniCPM-V 2 .6 GGUFs в 4-bit () и 16-bit () MiniCPM-Llama3-V-2_5:  построена на основе SigLip-400M и Llama3-8B-Instruct и имеет 8 миллиардов параметров.  Модель ориентирована на задачи OCR, производительность, надежность и поддерживает 30 языков. Она способна работать на устройствах с ограниченными ресурсами, например, на смартфоне. MiniCPM-Llama3-V 2.5 (~17GB) MiniCPM-Llama3-V 2.5 Int4 () MiniCPM-Llama3-V 2.5 GGUF от 2-bit до 16-bit (от до 16.1 соответственно) MiniCPM-V 2 : самая легкая модель в серии MiniCPM-V с 2 миллиардами параметров. Она обрабатывает изображения с любым соотношением сторон и разрешением до 1,8 Mpx, например, 1344x1344. MiniCPM-V 2 Локальный запуск c GradioUI: git clone cd MiniCPM-V conda create -n MiniCPM-V python= -y conda activate MiniCPM-V pip install -r python —device cuda Лицензирование: код - Apache-2.0; модели - свободно для любых академических исследований. Коммерция - соблюдение этого соглашения . Tech Report MiniCPM-Llama3-V 2.5 Коллекция моделей на HF Demo MiniCPM-V 2 .6 Demo MiniCPM-Llama3-V 2.5 Demo