VGGSfM: 3D-реконструкция на основе глубокого анализа структуры в движении
VGGSfM: 3D-реконструкция на основе глубокого анализа структуры в движении.
VGGSfM предлагает новый подход к процессу реконструкции трехмерной структуры сцены и положения камер по набору фотографий.
Вместо цепочки отдельных алгоритмов поиска ключевых точек, сопоставления их между кадрами, длительного восстановления положения камер относительно координат ключевых точек, была разработана модель, каждый компонент которой работает параллельным сквозным принципом.
Ключевые особенности метода:
Вместо поиска соответствий между парами изображений, модель сразу отслеживает точки через все кадры последовательности.
Положения всех камер оцениваются одновременно, а не последовательно.
Для финальной оптимизации используется дифференцируемый слой.
В ходе тестирования при обучении особенно хорошие результаты были получены на сложных сценах с большими изменениями ракурса между кадрами. Там, где традиционные методы часто терпели неудачу, VGGSfM справлялся с задачей.
Локальная установка:
source
Локальный запуск:
python SCENE_DIR=/path_to_images resume_ckpt=/path_to_models
pip install visdom
pip install git
visdom
python SCENE_DIR=/path_to_images resume_ckpt=/path_to_models visualize=True
VGGSfM поддерживает извлечение плотных карт глубины с помощью Depth-Anything-V2 (бета):
python
pip install scikit-learn
git clone git@:DepthAnything/ dependency/depth_any_v2
python SCENE_DIR=/path_to_images resume_ckpt=/path_to_models dense_depth=True
Страница проекта
Модели на HF
Demo
Github [ Stars: 529 | Issues: 16 | Forks: 33]
1 view
34
5
2 months ago 00:00:16 8
VGGSfM: 3D-реконструкция на основе глубокого анализа структуры в движении