Google представляет GameNGen, первый игровой движок, полностью основанный на нейронном ренднринге,

Google представляет GameNGen, первый игровой движок, полностью основанный на нейронном ренднринге, который позволяет взаимодействовать со сложным окружением в реальном времени с высоким качеством. GameNGen может интерактивно моделировать классическую игру DOOM со скоростью более 20 кадров в секунду на одном TPU. Предсказание следующего кадра достигает PSNR 29,4, На тестах дюди почти не отличают короткие ролики игры от роликов симуляции. GameNGen обучается в два этапа: (1) RL-агент учится играть в игру, и тренировочные сессии записываются, и (2) диффузионная модель обучается выдавать следующий кадр, основываясь на последовательности прошлых кадров и действий. ▪ статья: ▪ страница проекта: