小米于 7 月 15 日推出了名为 Xiaomi-Robotics-U0 的新模型,这是一个拥有 380 亿参数的多模态自回归基础模型,专为具身智能领域设计。该模型被誉为该领域的首个能够统一处理四种不同任务的模型,极大地促进了机器人图像和视频数据的生成与编辑能力。
该模型具备以下四项核心能力:
小米表示,该模型可以在保持几何一致性的前提下,通过改变物体、光照、背景或增加干扰来增强现有数据,而无需重新采集。它还可以从零开始生成全新的场景,覆盖真实机器人难以触及的危险、极端或长尾环境。借助 FlashAR+ 推理加速方案,其生成效率相比原始自回归模式提升了近 83 倍,显著加速了工程落地。这为规模化生成具身训练数据以提升模型效果提供了可控且高效的解决方案。
在 WorldArena 评测基准中,Xiaomi-Robotics-U0 获得了总分第一名的成绩,在参与评测的全球 126 个模型中脱颖而出。此外,在真实机器人评测中,模型在未知光照和陌生背景等非分布(Out of Distribution)场景下,使用 Xiaomi-Robotics-U0 扩充数据训练的策略,任务完成进度平均提升超过 26%。
相关的代码和模型权重已全部开源,包括项目主页、代码仓库、模型权重以及魔搭链接。