Shape of Motion: Построение динамических 3D-сцен по видео. Shape of Motion представляет динамическую сцену как набор 3D-гауссиан
Shape of Motion: Построение динамических 3D-сцен по видео.
Shape of Motion представляет динамическую сцену как набор 3D-гауссианов, перемещающихся и вращающихся во времени.
Движение каждого элемента сцены параметризуется как линейная комбинация компактного набора базисных движений SE(3), что дает возможность разделить сцену на группы, движущиеся как жесткие тела.
Преодоление неоднозначности реконструкции достигается с помощью низкоразмерных структур 3D-движения через базисы SE(3) и комплексный набор априорных данных, на основе монокулярных карты глубины и долгосрочных 2D-треков.
Процесс финального построения 3D-сцены основан на комбинации статических и динамических гауссианов, с учетом прогноза реконструкции для цвета, глубины и масок и синтезированной согласованности этих соответствий во времени.
На тренировочном наборе данных (Iphone dataset, набор видео размером ~ 300GB) были построены более 40 тысяч динамических и более 100 тысяч статических гауссианов, 20 базисов SE(3).
Время обучения на 1хGPU A100 с использованием оптимизатора Adam разрешением 960x720 составило чуть более 2-х часов при скорости рендеринга 40 кадров в секунду.
По результатам тестов в процессе обучения, Shape of Motion показал хорошие результаты по качеству и консистентности построения сцен.
Однако, метод все еще требует оптимизации для каждой конкретной сцены и не может обрабатывать значительные изменения ракурса камеры. Также установлена критическая зависимость от точных параметров камеры и пользовательского ввода для создания маски движущихся объектов.
Локальный запуск Shape of Motion:
conda create -n som python=
conda activate som
pip install -r
pip install git
python —work-dir —data: —
Препроцессинговая обработка (построение карт глубины, маскирование объектов, 2D трекинг и оценка камеры) выполняется сторонними библиотеками. Внимательно ознакомьтесь с документацией
Лицензирование: MIT
Страница проекта
Arxiv
1 view
14
7
5 months ago 00:04:20 1
Still Here | Season 2024 Cinematic - League of Legends (ft. Forts, Tiffany Aris, and 2WEI)
5 months ago 00:05:03 1
Lose Double Chin & Face Fat in 10 Days - Lose Neck Fat | Slim Face Exercise | Double Chin Exercise
5 months ago 00:08:19 1
He Was the Rifleman, Now Chuck Connors’ Secrets Come to Light
5 months ago 00:08:58 1
Манник на Кефире БЕЗ МУКИ | SIMPLE PIE recipe # 4
5 months ago 00:11:26 1
Scott Ritter Exposes: Behind Israel’s Economic Collapse & Regional Standoff
5 months ago 00:06:27 1
Putin slaps Great Britain with a wet fish |
5 months ago 00:27:16 1
WIM HOF Guided Breathing Meditation - 35 Breaths 4 Rounds Slow Pace | Up to 1:45min
5 months ago 00:10:31 1
Marmalade is Missing (2023)
5 months ago 00:05:53 1
Что лечит иван чай?
5 months ago 00:06:58 1
What is a Protein? (from PDB-101)
5 months ago 00:17:14 1
Rotary Valves Make Normal Valves Look Silly - Why Aren’t We Using Them?
5 months ago 00:02:03 1
Destiny 2: The Final Shape - Official Gameplay Trailer
5 months ago 00:00:58 1
Fezzari Bicycles Announces Strategic Brand Evolution from ‘Fezzari’ to ‘Ari’
5 months ago 00:09:52 2
Dante Inferno: Honest & Precise Prototype Review. The only way for story-driven games to survive?
5 months ago 00:05:12 1
Peppa Pig | Health Check | Peppa Pig Official | Family Kids Cartoon
5 months ago 00:02:25 1
Alphabet Games | Find the Letter R
5 months ago 00:01:19 1
Thailand’s Temple on the Glass Cliff
5 months ago 00:55:03 1
Native American Traditional Cree Music
5 months ago 00:08:28 1
Wardruna - Lyfjaberg (Healing-mountain) Official music video
5 months ago 00:03:41 1
Sun, Moon, and Stars | The Singing Walrus | Songs for kids