Давно хотел написать про LivePortraits , но подождал пока все проплачутся кипятком восторга типа вот оно как умеет

Давно хотел написать про LivePortraits , но подождал пока все проплачутся кипятком восторга типа “вот оно как умеет“. Как по мне, это очень крутая штука, выходящая за рамки шевеляжа моны лизы с помощью вашего унылого видео. Вообще говоря, это мета-нейромокап. Смотрите, обычный лицевой мокап снимает данные с маркеров на лице актера и переносит их на 3Д\2Д-модель лица и ну шевелить его. Нейромокап, вместо маркеров и костюма берет на вход видео и отдает тоже трехмерные траектории маркеров или датчиков, он их не считывает, он их считает (в уме). И тоже подает на скелет или модель лица в 3Д\2Д. А тут получается захват данных с камера\видео и перенос их на нейроаватара. Без всякого 3Д. Нейро-нейро-мокап. Траектории движения, маркеры и вот это вот все просто не возникают и остаются неявными переменным в мозгах у ИИ. Кстати, вы в курсе, что у них также есть видео-в-видео, а не только видео-в-картинку. То есть входное видео с шевелящимся лицом, шевелит лицо на другом видео - например человек шел молча, а потом вдруг заорал в соответствии с входным видео с орущим лицом. Дальше еще круче - это опен-сорс (лицензия не айс) и это авторы Kling и Kolors! Дальше еще круче. На выходе может быть не обязательно человек, это может быть аватар или аниме персонаж, которого вы хотите оживлять своим лицом. И наоборот (и вот это уже мясо). На входе может быть 3Д или 2Д персонаж\аватар, который своим резиновым лицом будет драйвить вашу унылую кожаную морду. См видео с Ёхансон. Неслучайно на почти всех демках на входе - видео этой безумной (талантливой) девушки с резиновой мимикой. Чтобы сделать хороший оживляж лица нужно сильно постараться. И все, кто работал с мокапом знают, как уныло выглядят обычные кожаные движения на персонажах. Поэтому чтобы на выходе было живое интересное видео, а не просто шевеляж моны лизы, на входе должно быть очень живая мимика, которую, вообще-то говоря брать негде. У большинства из вас довольно тугая морда. И тут пригодятся либо 3Д-персонажи с преувеличенной мимикой либо... мимы. Про мимов - следующий пост. Для гиков замечу, что в LivePortraits есть retarget - и это тоже круто, чтобы настраивать как раз выразительность мимики.