(资料图片仅供参考)
RT-2 面世,VLA 模型将视觉-语言转化为机器人动作。近期Google DeepMind 发布Robotic Transformer 2(RT-2),是一种新颖的视觉-语言-动作(VLA)模型。RT-2建立在Robotic Transformer 1(RT-1)的基础上,这是一个经过多任务演示训练的模型,它可以学习机器人数据中看到的任务和对象的组合。RT-2 以视觉语言模型(VLM)为基础,VLM 已接受网络规模数据的训练,以执行视觉问答、图像字幕或对象识别等任务,RT-2 采用PaLI-X 和PaLM-E 作为支柱,将一个或多个图像作为输入,并生成一系列通常代表自然语言文本的标记。RT-2 通过将机器人动作表示为模型输出中的token(类似于语言token)来制机器人,并将操作描述为可以由标准自然语言标记生成器处理的字符串。与之前的基线(例如之前的RT-1 模型和VC-1 等模型)相比,RT-2 的泛化性能大幅提高。Google DeepMind 对机器人没看见过的物体、背景和环境进行不同程度的评估,这需要机器人从VLM 预训练中学习泛化,RT-2 保留了机器人数据中看到的原始任务的性能,并提高了机器人在以前看不见的场景中的性能,从RT-1 的32%提高到62%,显示了大规模预训练的巨大优势。受到大语言模型中使用的思维链提示方法的启发,GoogleDeepMind 还将机器人控制与思维链推理相结合,以便能够在单个模型中学习长期规划和低级技能。
从VLM 到VLA,RT-2 进一步验证了“ViT+类GPT+机械”的机器人方案。从VLM 到VLA,主要进展在于将机器人动作直接作为模型token 输出,省去了VLM模型将输出的指令翻译成动作控制信号的步骤。ViT 模型将语言模型的transformer 架构用于视觉模型,代替了传统的CNN,统一了CV 和NLP 的架构。
2022 年9 月,Google 推出了PaLI,一个统一的语言图像模型,编码器的输入部分使用了ViT。2023 年3 月Google 推出有5620 亿参数的PaLM-E 模型,将540BPaLM 和ViT-22B 结合。在RT-1 中,模型省略了将输出的指令转化为动作控制信号的步骤,直接把直接把动作当token 输出。RT-2 结合了PaLI-X 和PaLM-E,针对机器人和网络数据共同微调预先训练的VLM 模型。生成的模型接收机器人摄像头图像并直接预测机器人要执行的动作。通过基于PaLM-E 和PaLI-X 的VLA 的两个实例化,RT-2 带来了高度改进的机器人策略,更重要的是通过视觉语言的预训练带来了显著更好的泛化性能。RT-2 不仅是对现有VLM 模型的简单而有效的修改,还展示了构建通用物理机器人的前景,让机器人可以推理、解决问题和解释信息,以在现实中执行各种任务。
多模态GPT 助力机器人软件技术进步,加速机器人产业进展。从PaLM-E 到以RT-2 为代表的机器人软件模型算法不断提升,有望加速提升通用机器人与行业机器人的迭代速度,带动下游需求的产生,并实现包扩软件算法、机械组件、机器人整机等在内的产业链共振。行业机器人的实现难度相对通用机器人更低,而多模态GPT 的发展是通往行业机器人的钥匙。多模态GPT 助力机器人在交互能力、规划控制能力、泛化能力、感知能力等多方面得到极大提升。我们认为,从下半年开始的1~5 年内,随着GPT 的发展带来AI 泛化能力提升,通用视觉、通用机械臂、通用物流搬运机器人、行业服务机器人、真正的智能家居会进入生活。在5-10 年内,结合复杂多模态方案的大模型有望具备完备的与世界交互的能力,在通用机器人、虚拟现实等领域得到应用。
建议关注:1)算法及行业机器人潜力公司:大华股份、海康威视、千方科技、中科创达、云从科技、中科信息、亿嘉和、萤石网络、商汤科技等。2)硬件供应商:
三花智控、拓普集团、鸣志电器、绿的谐波、峰岹科技、双环传动、中大力德、国茂股份等。
风险提示:机器人技术迭代不及预期风险;经济下行超预期风险;行业竞争加剧风险。
关键词: