Валерия Юшенко — Как найти место кота в 3D-мире с помощью PyTorch3D

Ближайшая конференция: PiterPy 2023 — 6–7 ноября (Online), 13–14 ноября (Санкт-Петербург, Offline) Подробности: — — В последнее время компьютерная графика активно используется для решения задач компьютерного зрения. В связи с чем мастодонты сферы разработки инструментов для глубокого обучения (Google и Facebook) расширяют функциональность своих фреймворков (TensorFlow и PyTorch), дифференцируемых графическими слоями. Как следствие разработаны две библиотеки TensorFlow Graphics и PyTorch3D, c помощью которых можно решать задачи, связанные с 3D-данными. В том числе найти положение камеры, с которого был захвачен кадр. В этом докладе спикер ответит на вопросы: — какие основные компоненты 3D-сцены и что такое рендеринг; — за что отвечают внутренние и внешние параметры камеры и как они влияют на итоговое изображение; — как рендерить с использованием Pytorch3D; — как определить положение камеры в 3D-пространстве по одной фотографии и трехмерной модели объекта с использованием Pytorch3D и где это может пригодиться; — особенности реализации того же решения с использованием TensorFlow Graphics; — какие трюки можно использовать для лучшей сходимости алгоритма.