Вышла новая китайская модель для генерации видео по тексту 可灵 (или просто Kling)! Выпустила её Kuaishou Technology — китайская
Вышла новая китайская модель для генерации видео по тексту 可灵 (или просто Kling)!
Выпустила её Kuaishou Technology — китайская компания, которая разрабатывает одноимённую платформу для коротких видео (и довольно популярна в Китае).
Как заявляют авторы:
модель представляет собой Diffusion Transformer (DiT), работающий в латентном пространстве закодированных видео (при этом при обучении DiT берутся видео разного разрешения и соотношения сторон);
в качестве автоэнкодера видео используется специально обученный 3D VAE;
модель может генерировать Full HD видео (разрешение 1920 х 1080) длинной до 2 минут с частотой 30 кадров в секунду (время, за которое модель генерирует такое видео, авторы не уточняют); при этом Sora за один проход умеет генерировать только минутное видео.
Как водится в последнее время, авторы Kling утверждают, что модель способна отлично имитировать физические характеристики реального мира и создавать видеоролики, соответствующие законам физики (что сейчас так или иначе является целью каждой команды, которая создает собственные text-to-video модели). Хотя всё ещё видны артефакты генерации (даже на представленных черри-пиках).
Концептуально в этом подходе к генерации видео нет ничего нового по сравнению с последними сравнимыми по качеству моделями такими как Sora (OpenAI), Vidu (Tsinghua University and ShengShu Technology), Veo (DeepMind). Очень большую роль играют и значимо влияют на финальное качество:
данные, на которых обучалась модель, их количество и, самое главное, качество (в случае Kling эта информация неизвестна - как и в случае большинства других моделей генерации видео);
количество compute, затраченного на обучение (то есть фактически спецификация и размер кластера и время обучения); в частности, авторы Kling специально подчёркивают большую отдачу (с точки зрения финального качества модели) от масшабирования архитектуры и процесса оптимизации её обучения.
Модель Kling закрытая, есть только статья с примерами в блоге и ссылка на бета-тестирование (правда чтобы в нём поучаствовать, нужен китайский номер )
7 views
71
15
6 months ago 00:00:38 1
Селенга подтопила десятки частных домов в Бурятии. Людей пришлось экстренно спасать
6 months ago 00:01:00 1
Рыбалка вышла на новый уровень
6 months ago 00:01:00 1
Письмо Богу и ответ #shorts
6 months ago 00:01:08 110
Домушники вышли на новый уровень
6 months ago 00:10:26 32
ЛУЧШИЕ СЕРИАЛЫ 2024 | Топ 10 Русских сериалов с высоким рейтингом, которые уже вышли в 2024 году
6 months ago 00:08:06 2
Дамбы обрушены Наводнение в Оренбурге сегодня! Крик души жителей Оренбурга! Что делать людям?
6 months ago 00:01:05 2
️ Первая домашняя игра Академии футбола «Алания» в новом сезоне юношеской лиги «Юг»
6 months ago 00:02:40 13
’Beaute Cachee’ приносит Фрэнки Деттори первую топ-победу в Keeneland
6 months ago 00:59:23 17
Белград. Документальный фильм. (2024)
6 months ago 00:19:16 1
Фильм БРЕМЕНСКИЕ МУЗЫКАНТЫ (Лучше Советского мультфильма ❓😱) | ОБЗОР
6 months ago 00:00:32 16.3K
В Нигере прошел митинг с требованием немедленно вывести из страны американские войска
6 months ago 00:01:03 28
США должны принять неизбежное
6 months ago 00:22:55 95
10 НОВЕЙШИХ ФИЛЬМОВ 2024 ГОДА, КОТОРЫЕ УЖЕ ВЫШЛИ В ХОРОШЕМ КАЧЕСТВЕ!
6 months ago 00:55:08 5
Путь к цели - “Общественный центр“ [04]►House Flipper 2 😉 Хаус Флиппер 2 )►
6 months ago 00:24:23 1
Участники СВО обратились к руководителям всех силовых ведомств - угроза АНО “Защитники Детства&
6 months ago 00:00:07 17
В Телеграмм вышло новое обновление
6 months ago 00:00:13 634
Новости Казани и Республики Татарстан
6 months ago 00:00:44 15
Некоторые севастопольцы стали более беспечно реагировать на сигнал воздушной тревоги. К такому выводу пришли участники программы
6 months ago 00:01:51 1
Вышла СМУТА - Официальный релизный трейлер | Official Release Trailer
6 months ago 00:25:08 135
Отзыв Елены Федотовой - курс “10000 в день на ChatGPT“, вышла на заработок рублей в месяц!
6 months ago 00:02:40 49
Мигрант едва не задавил людей на «приоре» во время междоусобной драки в Саратове — машину побили следом за попыткой помирить дра
6 months ago 00:13:08 8
Норд Ост интервью Анны Политковской Владимиру Соловьеву 2003 год
6 months ago 00:03:09 670
14 апреля 2024 - 80 лет освобождения Судака от фашистов весной 1944
6 months ago 00:00:44 91
На субботник в Партизанском районе Минска вышли около сотни человек. Чистили дворы и установили новое оборудование