• 登录
  • 注册
  • 帮助中心

小米于 7 月 15 日推出了名为 Xiaomi-Robotics-U0 的新模型,这是一个拥有 380 亿参数的多模态自回归基础模型,专为具身智能领域设计。该模型被誉为该领域的首个能够统一处理四种不同任务的模型,极大地促进了机器人图像和视频数据的生成与编辑能力。

该模型具备以下四项核心能力:

  • 具身场景生成:能够根据文本描述,为特定机器人生成多视角的初始环境,无论是桌面、厨房、仓库还是更复杂的开放世界,均可通过语言提示实现机器人观测的生成。
  • 具身迁移:可以将现有机器人的运动轨迹适配到新的环境中,例如调整光照、背景、桌面材质、目标物体或工作区域风格,同时保持原有轨迹中的机械臂姿态和场景布局。
  • 机器人交互视频生成:基于初始观察和操作指令,能够生成连贯且物理上一致的后续视频,并且可以实现零样本泛化到各种场景。
  • 通用文生图和图像编辑:模型保留了通用的图像生成和编辑功能,使得互联网上的视觉知识能够被应用于具身智能任务。

小米表示,该模型可以在保持几何一致性的前提下,通过改变物体、光照、背景或增加干扰来增强现有数据,而无需重新采集。它还可以从零开始生成全新的场景,覆盖真实机器人难以触及的危险、极端或长尾环境。借助 FlashAR+ 推理加速方案,其生成效率相比原始自回归模式提升了近 83 倍,显著加速了工程落地。这为规模化生成具身训练数据以提升模型效果提供了可控且高效的解决方案。

在 WorldArena 评测基准中,Xiaomi-Robotics-U0 获得了总分第一名的成绩,在参与评测的全球 126 个模型中脱颖而出。此外,在真实机器人评测中,模型在未知光照和陌生背景等非分布(Out of Distribution)场景下,使用 Xiaomi-Robotics-U0 扩充数据训练的策略,任务完成进度平均提升超过 26%。

相关的代码和模型权重已全部开源,包括项目主页、代码仓库、模型权重以及魔搭链接。

回到顶部