Я не удивлён – Майнкрафт оказался отличной средой для тренировки автономных агентов. А еще там можно построить нейросеть из редс

Я не удивлён – Майнкрафт оказался отличной средой для тренировки автономных агентов. А еще там можно построить нейросеть из редстоуна . Авторы, наверное, сами на нем выросли, и вот теперь они представили агента OmniJARVIS, который способен выполнять комплексные таски, такие как крафт каменной (не деревянной) кирки. Т.е. он понимает, что сначала ему нужно сделать верстак, потом деревянную кирку, и только потом, добыв булыжник, каменную. Для этого используют, можно сказать, новый вид мультимодальных LLM - VLA (Vision Language Action). У нас здесь есть как бы два мозга. Мозг LLM и спинной мозг – поведенческий детокенайзер, который интерпретирует аутпут LLM в действие. Действия предварительно тренируются, используя датасет из кучи видосов по Майнкрафту. LLM пишет, что делать, детокенайзер находит у себя в базе выученных действий нужное и шаг за шагом идет к своей цели. И все это вроде как работает очень дружно и слаженно. В видосе агент сам поставил себе план: добыть дерево, создать верстак и скрафтить необходимые инструменты. Все эти действия он научился делать заранее, здесь они выполняются командой экшн. В записи показано, как это выглядит. Еще один пример смотрите в первом комменте. Что это значит? Мы уже научились обучать роботов делать какие-то простые таски: Вот свежий пост про живую сталь и GR00T среду для виртуальной тренировки. У нас уже много примеров того, как боты складывают вещи, моют, убирают и прочее, тут и тут . В этом посте показан не первый, конечно, но очень качественный пример системы, которая объединяет все эти отдельные выученные действия в один общий план, когда бот сам анализирует обстановку, планирует и решает задачи. Кажется, это уверенные шаги в сторону автономных агентов и происходят они в Майнкрафте (т.к., там проще тестировать и обучать). Теперь ждем более сложного планирования и для физических роботов. Project page Пейпер Код! И даже Датасет обещают скоро