Nvidia разработала самообучающихся роботов с помощью ИИ-агентов

Nvidia объединила усилия с исследователями из Carnegie Mellon и UC Berkeley, чтобы создать фреймворк ENPIRE, который меняет подход к обучению роботов. Вместо традиционных методов, требующих длительной настройки и участия инженеров, система передаёт управление процессом самообучения ИИ-агентам, способным генерировать, тестировать и оптимизировать код в автоматическом режиме. Это означает, что роботы теперь могут осваивать новые навыки — от установки микросхем до резки стяжек — без прямого контроля человека.

С точки зрения технологий, ключевое новшество заключается в интеграции существующих ИИ-кодеров, таких как Codex, Claude Code и Kimi Code, с физическими роботами. Ранее эти агенты использовались преимущественно для написания и отладки программного обеспечения, но теперь их возможности расширились до работы с реальными устройствами. Это открывает путь к созданию роботов, которые могут самостоятельно адаптироваться к новым задачам, не требуя предварительного обучения от человека.

Как работает ENPIRE: от кода к физическим действиям

Фреймворк ENPIRE построен на двух основных этапах. На первом этапе исследователь предоставляет агенту базовые инструкции для создания двух ключевых инструментов: процедуры сброса и функции оценки. Процедура сброса позволяет роботу возвращаться в исходное состояние после неудачного эксперимента, что критически важно в физическом мире, где каждое действие требует времени и ресурсов. Функция оценки определяет, насколько успешно выполнена задача, например, насколько точно вставлен штырёк или обрезана стяжка.

На втором этапе ИИ-агент приступает к итеративному обучению. Он генерирует код для выполнения задачи, тестирует его на реальном роботе, анализирует результаты и вносит изменения. Если попытка не удалась, агент использует процедуру сброса, чтобы вернуть систему в начальное положение, и повторяет эксперимент с новым вариантом кода. Этот цикл повторяется до тех пор, пока робот не достигнет заданного уровня мастерства. Важно, что весь процесс происходит без вмешательства человека, за исключением первоначальной настройки.

Такой подход радикально отличается от традиционных методов обучения роботов, где инженеры вручную программируют каждый шаг или используют симуляторы для предварительной отработки навыков. ENPIRE устраняет необходимость в промежуточных симуляциях, так как обучение происходит непосредственно на физическом оборудовании. Это не только ускоряет процесс, но и позволяет роботу учитывать реальные физические ограничения, которые сложно смоделировать в виртуальной среде.

Результаты испытаний: восемь роботов, 99% успех и новые вызовы

В ходе экспериментов команда Nvidia, Carnegie Mellon и UC Berkeley использовала фреймворк ENPIRE для обучения группы из восьми роботов-манипуляторов. Роботы должны были освоить три типовые задачи: установку штырьков, установку графических процессоров и резку стяжек. При этом ИИ-агенты использовали различные модели, включая Codex, Claude Code и Kimi Code. Результаты оказались впечатляющими: роботы достигли 99% успешности в выполнении заданий.

Однако, несмотря на высокую эффективность, исследователи столкнулись с рядом вызовов. Во-первых, масштабирование системы с одного робота до восьми привело к значительному росту потребления токенов — единиц обработки, которые используют ИИ-модели. Это означает, что стоимость обучения растёт быстрее, чем сокращается время выполнения задач. Во-вторых, работа с физическими устройствами требует гораздо больше времени на подготовку и сброс, чем в случае виртуальных экспериментов. Каждое неудачное действие обходится дороже, так как требует реального движения робота и перемещения объектов.

Тем не менее, даже с учётом этих сложностей, результаты демонстрируют, что подход ENPIRE может стать основой для создания роботов, способных к самообучению в реальных условиях. Это особенно актуально для промышленных предприятий, где роботы должны быстро адаптироваться к новым задачам без длительной перенастройки.

Почему это важно: переход от программирования к автономному обучению

Традиционно обучение роботов требовало от инженеров глубоких знаний в области программирования, робототехники и физики. Каждый новый навык требовал длительной разработки и тестирования, что замедляло внедрение роботов в производство. ENPIRE меняет эту парадигму, позволяя ИИ-агентам брать на себя большую часть работы. Теперь инженерам достаточно определить цель обучения, а система сама сгенерирует необходимый код и оптимизирует его для выполнения задачи.

Это особенно важно в контексте Industry 4.0, где гибкость и адаптивность становятся ключевыми факторами конкурентоспособности. Роботы, способные быстро осваивать новые навыки, могут быть легко перепрофилированы для выполнения различных задач, что снижает необходимость в дорогостоящем оборудовании и переналадке. Кроме того, такой подход открывает возможности для применения роботов в сценариях, где ранее требовалось участие человека, например, в мелкосерийном производстве или в условиях быстрого изменения производственных линий.

Ещё одно важное последствие — снижение порога входа для компаний, желающих внедрить робототехнику. Теперь даже небольшие предприятия смогут использовать роботов для выполнения задач, которые ранее требовали сложных и дорогостоящих решений. Это может стимулировать развитие малого и среднего бизнеса в промышленности.

Технические детали: как ИИ-кодеры управляют физическим миром

Ключевая инновация ENPIRE заключается в интеграции ИИ-кодеров с физическими системами. Ранее такие агенты, как Codex или Claude Code, использовались в основном для генерации и тестирования программного обеспечения, но их возможности ограничивались виртуальной средой. Теперь же они получили возможность взаимодействовать с реальными устройствами, такими как роботы-манипуляторы.

Процесс обучения начинается с того, что ИИ-агент получает задание, например, научиться вставлять штырёк в отверстие. Агент генерирует код, который описывает последовательность действий робота: захват объекта, его перемещение к целевой позиции и аккуратное размещение. Затем этот код передаётся на выполнение роботу, который пытается выполнить задачу. Если попытка не удалась, агент анализирует результаты, корректирует код и повторяет эксперимент.

Особое внимание в ENPIRE уделяется процедуре сброса. В отличие от виртуальных сред, где сброс происходит мгновенно, в физическом мире каждое действие требует времени. Поэтому система должна не только корректно выполнять задачу, но и быстро возвращаться в исходное состояние, чтобы минимизировать затраты времени и ресурсов. Это достигается за счёт использования заранее определённых процедур сброса, которые агент интегрирует в свой код.

Ещё один важный аспект — функция оценки. Она определяет, насколько успешно выполнена задача, и предоставляет обратную связь агенту. Например, если робот не смог вставить штырёк до конца, функция оценки может измерить степень несоответствия и передать эту информацию агенту для корректировки кода. Таким образом, система обучается не только на успехах, но и на ошибках, что повышает её эффективность.

Экономика самообучения: стоимость, время и масштабируемость

Хотя результаты испытаний ENPIRE впечатляют, они также поднимают вопросы о стоимости и масштабируемости. Как уже упоминалось, увеличение количества роботов в системе приводит к росту потребления токенов. Это связано с тем, что каждый дополнительный робот требует от ИИ-агента генерации и тестирования большего количества вариантов кода. В результате стоимость обучения растёт быстрее, чем сокращается время выполнения задач.

Кроме того, работа с физическими устройствами требует значительных затрат на оборудование и обслуживание. Роботы-манипуляторы, используемые в эксперименте, являются дорогостоящими устройствами, и их эксплуатация требует профессионального обслуживания. Это означает, что внедрение подобных систем может быть экономически оправдано только для крупных предприятий или в сценариях, где высокая стоимость компенсируется значительным ростом производительности.

Тем не менее, исследователи видят потенциал для оптимизации процесса. Например, использование более эффективных ИИ-моделей или разработка новых методов обучения, которые требуют меньшего количества токенов, может снизить стоимость. Также возможно использование гибридных подходов, где часть обучения происходит в симуляторе, а затем результаты переносятся на реальное оборудование.

Будущее робототехники: к полностью автономным системам

ENPIRE представляет собой важный шаг на пути к созданию полностью автономных робототехнических систем. В будущем такие системы смогут не только осваивать новые навыки, но и адаптироваться к изменяющимся условиям работы. Например, робот на производственной линии сможет самостоятельно перестраиваться при изменении конфигурации оборудования или появлении новых задач.

Это откроет новые возможности для применения роботов в таких областях, как логистика, сельское хозяйство и даже домашние хозяйства. Например, роботы смогут самостоятельно обучаться выполнению бытовых задач, таких как уборка или приготовление пищи, что значительно повысит уровень автономности бытовых устройств.

Кроме того, развитие подобных систем может привести к созданию новых бизнес-моделей. Например, компании смогут предоставлять услуги по обучению роботов в аренду, что сделает робототехнику доступной для более широкого круга пользователей. Также возможно появление платформ, где пользователи смогут делиться обученными моделями роботов, что ускорит развитие сообщества и обмен знаниями.

Что нужно следить заинтересованным компаниям

Для компаний, заинтересованных в внедрении подобных технологий, важно понимать несколько ключевых аспектов. Во-первых, необходимо оценить экономическую целесообразность. Хотя ENPIRE демонстрирует высокую эффективность, стоимость внедрения может быть значительной, особенно для небольших предприятий. Поэтому важно провести пилотные испытания и оценить окупаемость проекта.

Во-вторых, необходимо учитывать технические требования. Для работы с ENPIRE потребуется современное оборудование, включая роботов-манипуляторов и вычислительные мощности для запуска ИИ-агентов. Также важно обеспечить надёжную инфраструктуру для связи между агентами и физическими устройствами.

Наконец, важно следить за развитием технологий. Фреймворк ENPIRE находится на ранней стадии развития, и в будущем можно ожидать появления новых версий с улучшенными характеристиками. Также возможно появление альтернативных решений от других компаний, что может сделать рынок более конкурентным и доступным.

В целом, ENPIRE представляет собой важный прорыв в области робототехники, который открывает новые возможности для автономного обучения роботов. Хотя впереди ещё много работы, результаты уже сегодня демонстрируют потенциал этой технологии для трансформации промышленности и других сфер применения.