Stable Video 4D : Модель для динамической генерации видео с разных ракурсов
️ Stable Video 4D : Модель для динамической генерации видео с разных ракурсов.
Stable Video 4D - модель генерации видео от Stability AI, способная преобразовывать одиночное видео объекта в несколько новых видео с различных ракурсов с поддержкой согласованности внешнего вида объекта по пространственным и временным осям..
Модель использует комбинацию из четырех визуальных энкодеров (SigLIP, CLIP, DINOv2 и OpenCLIP ConvNeXt) и пространственный агрегатор зрения для создания 5 кадров для каждого из 8 ракурсов примерно за 40 секунд.
В Stable Video 4D пользователю доступны параметры:
Входное видео: загрузка одиночного видео объекта, которое будет использоваться как основа для генерации новых ракурсов. Поддерживаемые форматы — .gif, .mp4 или секвенция кадров в формате .png\.jpeg\.jpg;
3D-позиции камеры: указание конкретных ракурсов и углов обзора, с которых модель должна сгенерировать новые видео;
Количество кадров: по умолчанию модель генерирует 5 кадров для каждого ракурса, но этот параметр может быть изменен;
Количество ракурсов: стандартно модель создает 8 новых ракурсов, но пользователь может настроить это количество в зависимости от своих потребностей;
Количество шагов оптимизации: регулировка количества шагов, затрачиваемое на 4D-оптимизацию, чем больше шагов - тем лучше результат.
Технические рекомендации по запуску официально не публиковались, но в сообществе пользователей подтверждают о возможности запуска Stable Video 4D на 16 GB VRAM.
Для локального запуска необходимы модели:
Stable Video 3D_U
Stable Video 3D_P
Stable Video 4D
Локальный запуск Stable Video 4D :
с автозагрузкой моделей и дефолтными параметрами
python scripts/sampling/ —input_path assets/ —output_folder outputs/sv4d
с настраиваемыми параметрами
python scripts/sampling/ —input_path — — — —output_folder_path
Лицензирование :
бесплатно для исследовательского, некоммерческого и коммерческого использования организациями и частными лицами, получающими годовой доход в размере до 1 млн USD;
для коммерческого использования организациями и частными лицами, получающими годовой доход в размере, превышающим 1 млн USD - запрос-консультация через форму
Страница проекта
Модель на HF
6 views
27
12
5 months ago 00:03:44 1
Vaya con dios - Nah neh nah LIVE @ Night of the Proms 1996
5 months ago 00:12:45 1
Лучшие Бесплатные Нейросети для Генерации Картинок и Улучшения Качества Фото
5 months ago 00:00:59 1
Adventures of a boy with his adorable pony in the stable
5 months ago 00:13:23 1
ЭТО СЛУЧИЛОСЬ! НЕЙРОСЕТЬ ГЕНЕРИРУЕТ 3D МОДЕЛИ. ТЕСТИМ!
5 months ago 00:01:41 1
[Ai Art] FASHION SHOW LOOKBOOK MODELS, video AI LOOKBOOK aiart 19
5 months ago 00:20:33 1
Биология Китов-убийц. Самые опасные хищники океана - Косатки
5 months ago 00:04:15 1
PAIN - Shut Your Mouth (OFFICIAL MUSIC VIDEO)
5 months ago 00:02:28 10
SSO - !SPOILER! - New Selle Français, Ardennes and Mustang Colour
5 months ago 00:22:21 1
ComfyUI: Instruct Pix2Pix | Stable Diffusion | German | English Subtitles
5 months ago 00:09:21 1
MidJourney - Как Пользоваться Бесплатно и Без Ограничений ?! | Нейросеть Stable Diffusion
5 months ago 00:03:17 2
BORN OF OSIRIS - Cycles Of Tragedy (Official Music Video)
5 months ago 00:34:25 1
Master the Art of Background Replacement with Stable Diffusion: A Dual Technique Tutorial
5 months ago 00:01:11 1
{4K HOT} ❣️ Special Sleeping Spicy with latex Lingerie Fashion|| ai art lookbook #lookbook #bikini
5 months ago 00:02:13 1
Пиковая Роза | НАБОР ОТКРЫТ | Star Stable Online
5 months ago 00:26:20 1
Full Body Character Creation Mastery with Stable Diffusion!
5 months ago 00:11:17 1
Geng Zichen 耿子宸 4 meters 51 knivesfrom China
5 months ago 00:13:03 1
SORA: НАКОНЕЦ-ТО!? Нейросеть HAIPER - Новая РЕВОЛЮЦИЯ AI Видео!
5 months ago 00:08:02 25
A new Era in Photoshop! AI is changing everything
5 months ago 00:02:56 1
Armes du futur : La Russie produit la poudre à canon contre l`OTAN.