Gemini 4 Argon знаменует качественный скачок в физическом понимании, генерации кода и визуально-семантических рассуждениях, открывая новые рабочие процессы во всём стеке робототехники и ускоряя прогресс к физическому AGI. В тесте воплощённых рассуждений (ERQA), который оценивает способность модели понимать и решать физические и пространственные задачи в трёхмерной среде, Argon набирает 87% только за счёт рассуждений, опережая все остальные передовые модели.
Как универсальная модель физических рассуждений, Argon может применяться на всех этапах жизненного цикла робототехники. В публикации выделены четыре ключевых направления: управление роботами, Real2Sim, физическое понимание и исследования с самосовершенствованием. В управлении роботами Argon управляет четырёхногим роботом Boston Dynamics Spot с 6-степенным манипулятором и осваивает новый навык: наступать на педаль мусорного бака, чтобы выбросить банки из-под газировки. Прежде чем действовать на реальной педали, он строит сочленённый цифровой двойник бака в MuJoCo и отрабатывает движения на нём.
Argon также демонстрирует управление без предварительного обучения (zero-shot) с простым роботизированным манипулятором. Используя визуальную систему координат и примитивы действий, он выпрямляет упавшую кружку и кладёт внутрь смятую салфетку, рассуждая в несколько шагов с калиброванной обратной связью от камеры на запястье. Система опирается на размеченные мировые координаты, подсказки об ориентации захвата и проверку в замкнутом контуре, прежде чем выполнить действие.
В направлении Real2Sim Argon восстанавливает физически откалиброванные симуляционные двойники по видеопотоку роботов, видео от первого лица с участием людей или рисункам от руки. В сочетании с агентной мультимодальной разметкой и итеративным самосовершенствованием на реальном оборудовании эти возможности указывают на роботов, которые учатся всё более самостоятельно в разных задачах.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing