Model-based Reinforcement Learning

В последнее время все большую популярность набирает model-based подход в обучении с подкреплением, который заключается в использовании обучаемой модели мира для обучения агента или планирования. Как оказалось, алгоритмы, получаемые при таком подходе, требуют значительно меньшего количества взаимодействий с окружением, чем model-free методы, а также могут быть использованы для offline обучения с подкреплением. Однако несмотря на то, что model-based подход уже сейчас демонстрирует хорошие результаты в решении большого количества задач, направление все еще активно развивается. На семинаре мы разберем алгоритм Dreamer, который является одним из самых популярных model-based алгоритмов на данный момент, обсудим недостатки этого метода и то, как сейчас исследователи подходят к их устранению. Докладчик: Олег Свидченко.