Группа робототехников и инженеров из MIT CSAIL (Института искусственного интеллекта и фундаментальных взаимодействий) разработала генеративный подход на основе искусственного интеллекта для обучения роботов перемещению по местности и перемещению вокруг объектов в реальном мире.

Группа опубликовала статью, описывающую их работу и возможные варианты её использования на сервере препринтов arXiv. Они также представили свои идеи на недавней конференции по обучению роботов ( CORL 2024 ), которая прошла в Мюнхене 6–9 ноября.

Чтобы заставить роботов ориентироваться в реальном мире, в какой-то момент их нужно научить учиться на лету или тренировать их с помощью видео похожих роботов в реальной среде. Хотя такое обучение доказало свою эффективность в ограниченных условиях, оно, как правило, терпит неудачу, когда робот сталкивается с чем-то новым. В этой новой работе команда Массачусетского технологического института разработала виртуальное обучение, которое лучше переносится в реальный мир.

Работа включала использование генеративного ИИ и физического симулятора, чтобы позволить роботу перемещаться в виртуальном мире как средство обучения работе в реальном мире. Они назвали систему LucidSim и использовали её для обучения роботизированной собаки паркуру, виду спорта, в котором игроки пытаются преодолеть препятствия на неизвестной территории как можно быстрее.

Подход включает в себя сначала побуждение ChatGPT тысячами запросов, разработанных для того, чтобы LLM создал описания широкого спектра сред, включая погоду на открытом воздухе. Затем описания, предоставленные ChatGPT, передаются в систему 3D-картографирования, которая использует их (вместе с изображениями, созданными ИИ, и физическими симуляторами) для генерации видео, которое также даёт траекторию для следования робота.

Затем робота обучают перемещаться по местности в виртуальном мире и осваивают навыки, которые он может использовать в реальной среде. Роботы, обученные с помощью системы, научились карабкаться по ящикам, подниматься по лестницам и справляться со всем, что им попадалось на пути. После виртуального обучения робот был испытан в реальном мире.

Исследователи протестировали свою систему, используя небольшого четвероногого робота , оснащенного веб-камерой. Они обнаружили, что она показала лучшие результаты, чем аналогичная система, обученная традиционным способом. Команда предполагает, что усовершенствования их системы могут привести к новому подходу к обучению роботов в целом.

Контакты, администрация и авторы