Elevenlabs просто берут пару кадров из инпут-видео, скармливают GPT-4, который пишет промпт для их свежей txt2sfx модели
Elevenlabs жестко тролит гугл.
Бедные работяги из DeepMind только выложили блогпост () о том, как они научились генерировать звук для видео, так ребята из Elevenlabs за сутки своротили похожую тулзу, да дали доступ к API, да еще и веса выложили.
Я уже было подумал, что последние просто разнесли гугл, лол. Посмотрел, что там да как, и просто орнул. Чуваки из Elevenlabs просто берут пару кадров из инпут-видео, скармливают GPT-4, который пишет промпт для их свежей txt2sfx модели. Рабоатет на удивление не так уж плохо - но хуже гугловской.
В целом, гугловская моделька имеет более фундаментальный подход, где сначала в диффузионную модель кормится текстовый промпт и все токены из видео, а по ним уже генерируется аудиодорожка. Модель хоть как-то да синхронизирует звук и видео - это видно на примерах. Особенно прикольный результат на видосе с гитарой.
Выше сравнение черепиков от DeepMind с моими zero-shot испытаниями Elevenlabs. Сами угадайте, где кто :) Качество видосов такое шакальное, потому что гугл их в таком виде выложили.
В методе Elevenlabs используются 4 кадра из первых 4-х секунд (поэтому последний подрезал в начале, иначе там просто шум), так что местами создается впечатление наличия какой-то синхронизации, особенно если выбрать лучший вариант из 4 предложенных.
video2sfx ElevenLabs ()
Код ()
txt2sfx ElevenLabs ()
Блогпост DeepMind ()
84 views
28
2
2 weeks ago 00:00:33 1
ElevenLabs Text Reader (https://elevenlabs.
3 weeks ago 00:00:33 1
ElevenLabs выпустили бесплатное топовое приложение
Оно действительно что угодно превратит в аудиокнигу.
3 weeks ago 00:00:33 8
Видео от Neuro-Media
3 weeks ago 00:23:04 14
MECHWEST - ЕП.1 РУССКИЙ ДУБЛЯЖ/ МУЛЬТФИЛЬМ
4 weeks ago 00:00:32 332
Elevenlabs просто берут пару кадров из инпут-видео, скармливают GPT-4, который пишет промпт для их свежей txt2sfx модели
4 weeks ago 00:04:43 1
Как перевести ВИДЕО с помощью НЕЙРОСЕТИ HeyGen (озвучка мемов)
1 month ago 00:25:54 1
⭐️ Видео-генератор Kling - 🔥 ДОСТУП ОТКРЫТ! Конец Luma Dream Machine, RunWay Gen 3 и прочим Sora.
2 months ago 00:05:32 21
ElevenLabs: генератор звуков на основе видео
2 months ago 00:23:18 180
Голос и аватары: HeyGen/ ElevenLabs / Обзор AI-сервисов / Нейрограмотность
2 months ago 00:06:17 1
Реалистичная Озвучка 2024 Нейросетью Как Сделать Паузы В Elevenlabs Текст В Голос 2024
2 months ago 00:13:11 155
Как отправить изменения с основной репозиторий на GitHub 2024
2 months ago 00:29:20 7
Как подключить оплату в Телеграм 2024
2 months ago 00:00:14 4
Интересно, как Eleven Labs выпускает фичу за фичей, становясь этаким ИИ-комбайном в области ИИ-звука
2 months ago 00:00:14 3
Удаляем ЛЮБОЙ посторонний шум из видео и аудио! ElevenLabs релизнула Voice Isolator — тулза хирургически вырежет весь ненужный ф
3 months ago 00:00:57 9
ElevenLabs научили ИИ генерировать любые звуки для видео
Просто загружаете ролик и получаете подходящий аудиоэффект.
3 months ago 00:00:08 15
Elevenlabs жестко тролит гугл. Бедные работяги из DeepMind только выложили блогпост о том, как они научились генерировать звук д
3 months ago 00:19:47 1
Автоматическое ОЗВУЧИВАНИЕ КОНТЕНТА на вашем сайте // Повышаем вовлеченность и поведенческий фактор
3 months ago 00:00:32 1
Очередной прорыв нейросетей ElevenLabs теперь умеет генерировать любые звуки для видео и всё это без промтов — просто грузите са
3 months ago 00:00:32 2
Техно Тусовка * IT * Программирование
3 months ago 00:00:32 1
Мощь: ElevenLabs научилась генерить любые звуки для видео. От вас не нужны навыки саунддизайнера и даже промпты — просто загрузи
3 months ago 00:01:08 1
ElevenLabs презентовал обновленный сервис: генерация любых звуков, музыки и речи бесплатно для всех пользователей!
3 months ago 00:01:08 1
ElevenLabs представила генератор абсолютно любых звуков. Он бесплатный и доступен для всех