热点资讯

首个原生3D世界模型:跨维UNITAS助力机器人获取物理直觉,成就多个领域佳绩

2026-10-13
6733次

在探讨大语言模型的扩展能力时,重要的基础在于,广泛来源的知识被整合为统一的输入输出形式——文本。输入与输出均为文本,使得主干模型能够在这一统一框架内学习、组合和迁移知识。然而,若想要具身智能获得类似的普适能力,也就是实现物理通用智能,它的“原生统一空间”是什么呢?目前的具身智能在感知、行动和环境变化时,常常使用不同的表示方式,这使得它们必须在多种特征空间中进行“翻译”。例如,从影像输入到各种动作表述,再到世界变化,不同相机的参数和本体之间隐含着差异,导致同一个动作的表现受限。例如,推杯子的动作在不同视角下产生的像素变化皆异,而相同的像素位移也无法必然对应其物理意义。这种翻译消耗了模型的能力,而不是专注于理解。而跨维智能(DexForce)最近的研究论文UNITAS(原生三维世界行动模型)给出的解决方案是:三维的物理世界本身。它将机器人所感知的内容、动作及其对世界的影响,整合到同一三维物理表示空间中,通过登入点的位置及随时间变化的轨迹来统一描述观察、动作与环境响应。正如文本为大型模型提供了共同的输入输出空间,UNITAS则致力于让物理AI的输入输出均根植于一个统一的三维物理空间中。这不仅是技术上的创新,UNITAS在多项机器人任务评测中展现出了卓越的“屠榜”能力:凭借仅仅17亿个参数,在LIBERO任务上取得了99.8%的平均成功率,在LIBERO-Plus任务中达到89.1%,同时在RoboTwin 2.0的双臂操作中在Clean与Randomized设置下的成功率分别达到了92.94%和93.04%。它超越了参数高达60亿的Fast-WAM、80亿的Motus以及π0.5、LingBot-VA、PointWorld等众多模型,全面占据多项基准测试的领先地位。此外,UNITAS在执行真实机器人操作时也表现不俗,任务的平均成功率达85%。

about image

我们在讨论“世界模型”时,不乏对3D信息的引入,但在UNITAS的“3D原生”概念中,所带来的变革在于:三维信息不仅是辅助的存在,更是模型理解世界的根基。以往的一些方法可视为3D感知世界动作模型,它们通过深度、点云或几何约束等手段,增加空间信息的获取能力,但模型的核心表述仍然在二维视觉或其他潜在特征之上。也即是说,虽然模型具备了“感知”三维信息的能力,但三维世相并非其理解世界的原生语言。例如,视频世界模型主要依靠连续影像的预测来推演未来的状态。尽管它可以判断画面中物体的变化,实际物体间的距离、空间关系及运动规律仍需经过二维视觉变化进行推导。部分3D方法进一步提升了对空间理解的能力,比如PointWorld能预测三维场景的变化,然而,其动作轨迹仍是由外部输入决定,模型更像是一个外部条件下的环境变化模拟器,而不是一个可以同时理解“为何行动”和“行动后世界如何变化”的统一模型。包括蚂蚁灵波的LingBot-VA、英伟达的DreamZero等,沿袭的都是在二维视觉建模的路径上,尝试将未来视频预测和机器人动作生成结合。这一方向固然能运用视频中的丰富经验,但描述世界变化的主要载体依然是二维影像及其潜在特征,物体间的距离、位置及运动关系的学习和推理则依赖于模型从中提取的信息。相比之下,UNITAS探索的3D原生思路在于:模型不再从二维视觉推演出三维的世界,而是直接在三维的物理空间中学习和理解,简言之,“世界”模型直接作用于统一坐标系下的三维Token,而不是通过图像Token作为中介。UNITAS的主干模型直接接触三维Token,建立起机器人观察、行动及理解环境变化的共同表征:观察(Observation)对应于三维位置的视觉信息;动作(Action)是操控物体在三维空间中随时间变化的轨迹;而环境变化(Scene Dynamics)则是观察点在相同的时间和空间内的运动轨迹。当机器人试图拿起杯子时,它的夹爪是如何接近杯子、杯子又如何离开桌面、最终移动了多远,这一切都可以在同一个尺度真实的坐标系中进行表达。模型不仅能根据任务生成可执行的动作,亦能预测相应动作带来的场景变化。

about image
本文网址: uedbet-sm.com.cn/detail/1365309.html

销售热线

营销一部(传统产品):王部长 15371160678
营销二部(光伏焊带):曹部长 13921871003

电子邮箱

openair@icloud.com

公司地址

三明市宇惰湖324号

 Copyright © UED体育 -(中国) · UEDBET SPORTS 2024 版权所有 All rights reserved UED体育 -(中国) · UEDBET SPORTS