Давно хотел написать про LivePortraits , но подождал пока все проплачутся кипятком восторга типа вот оно как умеет
Давно хотел написать про LivePortraits , но подождал пока все проплачутся кипятком восторга типа “вот оно как умеет“.
Как по мне, это очень крутая штука, выходящая за рамки шевеляжа моны лизы с помощью вашего унылого видео.
Вообще говоря, это мета-нейромокап.
Смотрите, обычный лицевой мокап снимает данные с маркеров на лице актера и переносит их на 3Д\2Д-модель лица и ну шевелить его.
Нейромокап, вместо маркеров и костюма берет на вход видео и отдает тоже трехмерные траектории маркеров или датчиков, он их не считывает, он их считает (в уме). И тоже подает на скелет или модель лица в 3Д\2Д.
А тут получается захват данных с камера\видео и перенос их на нейроаватара. Без всякого 3Д. Нейро-нейро-мокап. Траектории движения, маркеры и вот это вот все просто не возникают и остаются неявными переменным в мозгах у ИИ.
Кстати, вы в курсе, что у них также есть видео-в-видео, а не только видео-в-картинку. То есть входное видео с шевелящимся лицом, шевелит лицо на другом видео - например человек шел молча, а потом вдруг заорал в соответствии с входным видео с орущим лицом.
Дальше еще круче - это опен-сорс (лицензия не айс) и это авторы Kling и Kolors!
Дальше еще круче. На выходе может быть не обязательно человек, это может быть аватар или аниме персонаж, которого вы хотите оживлять своим лицом.
И наоборот (и вот это уже мясо). На входе может быть 3Д или 2Д персонаж\аватар, который своим резиновым лицом будет драйвить вашу унылую кожаную морду. См видео с Ёхансон.
Неслучайно на почти всех демках на входе - видео этой безумной (талантливой) девушки с резиновой мимикой. Чтобы сделать хороший оживляж лица нужно сильно постараться. И все, кто работал с мокапом знают, как уныло выглядят обычные кожаные движения на персонажах.
Поэтому чтобы на выходе было живое интересное видео, а не просто шевеляж моны лизы, на входе должно быть очень живая мимика, которую, вообще-то говоря брать негде. У большинства из вас довольно тугая морда. И тут пригодятся либо 3Д-персонажи с преувеличенной мимикой либо... мимы. Про мимов - следующий пост.
Для гиков замечу, что в LivePortraits есть retarget - и это тоже круто, чтобы настраивать как раз выразительность мимики.
1 view
42
12
4 months ago 00:03:43 1
Замена приборной панели газель
4 months ago 00:35:03 1
ВЧЕРА УМЕРЛИ ВИДЕОСТОКИ! Нейросеть создает видео из текста. Полный разбор косяков Sora от OpenAI.
4 months ago 00:11:28 1
В городах будут массовые жертвы. Мои ощущения от СВЧ вышки 5G. Доктор Лопатин (Мытищи. Никадент)
4 months ago 00:59:20 1
ЖУТКОЕ МЕСТО. СТРАННЫЕ ЛИЧНОСТИ. СТРАШНАЯ ИГРА! - Night Grove [Хоррор Стрим, Прохождение]
4 months ago 00:03:53 1
ПОЛ ПУНШ- Полет Окончен Live
4 months ago 00:05:42 1
Мотор-Роллер - Я прилетел на Байконур (Премьера 2024, English Subtitles)
4 months ago 00:49:59 1
Самый модный скелет на районе #3 | The Elder Scrolls Online ПРОХОЖДЕНИЕ #3
4 months ago 00:03:18 1
АННА АСТИ | По барам ПАРОДИЯ
4 months ago 00:02:58 1
ЛЕРА ПТИЧКА - Просто уходи ( Премьера клипа 2024 )
4 months ago 00:07:07 1
Толкование Евангелия с митр. Антонием (Паканичем). Воскресенье, 14 апреля.
4 months ago 00:03:38 1
Мощная притча о желаниях: почему у кого-то есть всё, а у кого-то ничего
4 months ago 00:30:08 1
Италия. Равенна-столица Империй. #путешествиепоиталии #равенна
4 months ago 00:22:16 1
Как БЫСТРО закрыть кредит и избавиться от долгов? Выгодно ли гасить кредит досрочно? / Спецвыпуск
4 months ago 00:11:52 1
Бессмертные цитаты Черномырдина (полное собрание)
4 months ago 00:32:14 1
14 апреля, Воскресенье. Великий пост День 28. Евангелие дня 2024 короткое!
4 months ago 01:19:29 1
Шарезинка теперь ещё ПРЫГУЧЕЕ *-* / Метла на Прозрачность / Шармагеддон 11 / Peglin прохождение
4 months ago 00:00:41 1
Съели бы на ужин? 🤪 Артикул на аэрогриль “DEMIAND”: 162585563
4 months ago 00:00:41 1
Фильм 4547 Старинные деревья Обертайх #minihotelkautikapitananemo #nemosvetlogorsk
4 months ago 00:04:07 1
На Суре с Григоричем
4 months ago 00:05:35 1
Мотор - Роллер - Я прилетел на Байконур (Премьера 2024, English Subtitles)
4 months ago 00:03:29 1
Юрий Гуляев “Знаете, каким он парнем был!“ (1971)
4 months ago 00:03:25 1
[League of Legends RUS] BURN IT ALL DOWN (ft. PVRIS) | Worlds 2021 [COVER BY SONYAN]
4 months ago 00:03:46 1
ОТ ГЕРОЕВ БЫЛЫХ ВРЕМЕН Аккорды 🎸 фильм ОФИЦЕРЫ ♪ Разбор песни на гитаре Гитарный бой для начинающих
4 months ago 00:13:16 1
Путешествие по Золотому кольцу. Ярославль. Что посмотреть за 1 день