Снова за нейрорендеринг. Вот принес вам два видео из Люма и Креа. Смотрите, давайте немного разберемся
Снова за нейрорендеринг.
Вот принес вам два видео из Люма и Креа.
Смотрите, давайте немного разберемся.
Креа делает видео на основе кода AnimateDiff, то есть генерит последовательность картинок, которые ничего не знают друг про друга. Там нет временной согласованности между кадрами, но есть много ухваток как сгладить этот момент.
Плюсы - изумительное качество картинки. Минусы - то самое кипение и артефакты, родовой признак всех потомков Warp Diffusion.
Люма делает сразу видео. Очень грубо говоря, она рендерит его из своей world model. И как все рендеры, обеспечивает временную согласованность кадров.
Плюсы - нет кипения и мельтешения, минусы - качество самой картинки (пока) типа отстой. Пока.
Если еще грубее и проще. Креа Видео натренирована на картинках, Люма натренирована на видосах (хотя в Креа много сделано для хорошего сглаживания между кадрами).
Ну и тут можно порассуждать, что у генераторов видео, натренированных на видосах в мозгах возникает некая 3Д-сцена (хотя это не 3Д, а некое “ИИ-понимание как устроен наш трехмерный мир“), которую генератор рендерит по нашему запросу, мы просто “подлетаем“ к некоторому участку внутреннего мира модели с помощью промпта и говорим, полетай рядом и пошевели объекты - все как в классическом 3Д. И оно рендерит.
Ну и дальше я опять начну ныть, что в классическом 3Д у нас есть все инструменты для управления анимацией.
А теперь представьте, что их нет, и мы может анимировать объекты только таская их за вертексы, то есть перемоделивая их в ключевых кадрах. Нет ни рига, ни деформеров, только вертексы объектов, за которые можно таскать и то приблизительно, с помощью команд типа “немного вправо“.
И пока видеогенераторы, это такое 3Д без рига и контроля. Да уже есть ключевые кадры и референсные изображения на вход. И стрелки “немного вправо“ в виде Motion Brush. Но на этом пока все.
Зато они рендерят Согласованные кадры. Пусть в качестве Coarse, но скоро подвезут нейроантиалиасинг и ControlNet. Вопрос интерфейсных решений.
1 view
47
9
3 months ago 00:06:11 1
Разбор закона о ТОР, с новыми поправками
3 months ago 00:59:59 1
АНДРЕЙ ГАВРИЛОВ — ЛЕГЕНДА VHS ЭПОХИ | КУЛЬТОВЫЙ СИНХРОННЫЙ ПЕРЕВОДЧИК 90-Х
3 months ago 00:14:54 1
Что за дела, Обама? Куда делись вопли про нищую Россию-то?
3 months ago 00:04:57 16
Арбалет - Песня всё та же
3 months ago 00:03:09 1
«Роскосмос. Главное за неделю»: «Ангара-А5», «Союз МС-24», День космонавтики
3 months ago 01:12:36 1
ЛЕБЕДЕВ о победе Путина, оппозиции, Дуде, Собчак, тюрьмах, смерти Навального и большой войне с НАТО
3 months ago 00:07:14 1
КАК ПОПОЛНИТЬ СТИМ | ПОПОЛНИТЬ СТИМ | ПОПОЛНЕНИЕ СТИМА БЕЗ КОМИССИИ
3 months ago 00:03:15 1
ЗАЧЕМ КИДАТЬ НА БАБКИ?! Алистаров & Тимсан (Клип, 2024)
3 months ago 00:02:21 1
Время на СВО (FULL)
3 months ago 00:13:40 1
Книга II, глава 6 «ВИШЕНКА»
3 months ago 00:23:51 1
ПРОВЕРКА МАГАЗИНА!ДВЕРИ ЗАБЛОКИРОВАЛИ!ОХРАНА БЫКУЕТ!КЛИЕНТ-НАРКОМАН!ДИРЕКТОР ПЫТАЕТСЯ ДОГОВОРИТЬСЯ!
3 months ago 01:00:17 1
Как Выйти из КРИЗИСА? Большой ОБУЧАЮЩИЙ Выпуск! Депрессия Пандемия Возраст Долги Развод
3 months ago 01:38:47 1
ОТЛИЧНАЯ МЕЛОДРАМА НА ВЕЧЕР! СМОТРИМ! - Если бы я тебя любил... / Русские мелодрамы
3 months ago 00:03:48 1
Ирина Богушевская Рио-Рита Bogushevskaya Irina Rio Rita
3 months ago 03:01:46 6
Никита Кологривый : «Я хочу подождать пока люди скажут Никита возвращайся»
3 months ago 00:05:56 1
RADIO TAPOK - Мясной бор (Lyric video 2022)
3 months ago 01:13:30 1
Программа КХЛ ТВ «На связи». Live
3 months ago 07:21:07 1
Тернистый путь Ведьмака ⚔️ The Witcher 3 Wild Hunt #1
3 months ago 00:06:29 2
11 Моё море
3 months ago 00:03:52 1
Pacha, DANA & BRAGI - Опять одна
3 months ago 00:40:53 1
▷ РЕАКЦИЯ НА РЕАКЦИЮ REBORN PROJECT НА Обзор Shrek 2 (PC) Game | РЕАКЦИЯ на Sumochkin Production
3 months ago 02:57:06 1
ЖИЗНЕННЫЙ ФИЛЬМ КОТОРЫЙ СТОИТ ПОСМОТРЕТЬ КАЖДОМУ! Человек из дома напротив! Русский фильм
3 months ago 00:02:24 1
Двенадцать лет назад я подобрала на обочине дороги свою первую сбитую собаку.
3 months ago 00:03:48 1
SHAMAN - ВСТАНЕМ (Премия Music Box Gold «Золотой Хит»)