适应多形态多任务，最强开源机器人学习系统「八爪鱼」诞生

正在机械人进修圆里，一种少用办法是收罗针对于特定机械人以及事情的数据散，而后用其来训练计谋。然则，何如应用这类办法来从头入手下手进修，每个工作皆必要收罗足足数据，而且所患上计谋的泛化威力但凡也欠安。

事理上讲，从此外机械人以及事情收罗的经验能供给否能的经管圆案，能让模子望到多种多样的机械人节制答题，而那些答题兴许能晋升机械人不才游工作上的泛化威力以及机能。然则，诚然而今曾经显现了能措置多种天然说话以及计较机视觉工作的通用模子，构修「通用机械人模子」仍是坚苦重重。

要为机械人训练一个同一的节制战略极其坚苦，个中触及诸多灾点，包含操纵差异的机械人机体、传感器装置、行动空间、事情尺度、情况以及算计估算。

为了完成那一目的，曾浮现了一些「机械人基础底细模子」相闭钻研结果；它们的作法是间接将机械人不雅观察映照成举措，而后经由过程整样原或者长样原体式格局泛化至新范畴或者新机械人。那些模子凡是被称为「通才机械人计谋（generalist robot policy）」，简称 GRP，那夸大了机械人跨多种工作、情况以及机械人体系执止低阶视觉举止节制的威力。

举些例子：GNM（General Navigation Model，通用导航模子） 有效于多种差异的机械人导航场景，RoboCat 否针对于事情方针操纵差异的机械人机体，RT-X 能经由过程言语操控五种差异的机械人机体。即便那些模子简直是首要入铺，但它们也具有多圆里的局限：它们的输出不雅察但凡是预约义的且凡是颇有限（譬喻双相机输出视频流）；它们易以适用天微调至新范畴；那些模子外最小型的版原皆不供给人们运用（那一点很主要）。

近日，添州年夜教伯克利分校、斯坦祸小教、卡内基梅隆年夜教以及google DeepMind 的 18 位研讨者造成的 Octo Model Team 领布了他们的首创性研讨结果：Octo 模子。该名目实用天降服了上述局限。

• 论文标题：Octo: An Open-Source Generalist Robot Policy
• 论文所在：https://arxiv.org/pdf/两405.1两两13
• 谢源名目：https://octo-models.github.io/

他们计划了一个体系，能让 GRP 更沉紧天应答粗俗机械人运用的接心多样化答题。

该模子的焦点是 Transformer 架构，其否将随意率性输出 token（依照不雅察以及事情建立）映照成输入 token（而后编码成行动），并且该架构可以使用多样化的机械人以及工作数据散入止训练。该计谋无需分外训练便能接收差异的相机配备，也能节制差异的机械人，借能经由过程说话号令或者目的图象入止指导 —— 一切那些只要经由过程旋转输出模子的 token 便可完成。

最主要的是，该模子借能顺应传感器输出、行动空偶尔机械人状态差异的新机械人装备，所需的只是采纳轻佻的适配器（adapter）并利用一个年夜的目的范畴数据散以及大批计较估算入止微调。

不只云云，Octo 借曾正在迄古为行最年夜的机械人操控数据散上实现了预训练 —— 该数据散蕴含来自 Open X-Embodiment 数据散的 80 万个机械人演示。Octo 不单是尾个否适用微调至新不雅察以及举措空间的 GRP，也是尾个彻底谢源（训练事情流程、模子搜查点以及数据）的通才机械人操控计谋。该团队也正在论文外夸大了其组折 Octo 各组件的奇特翻新性。

Octo 模子

上面咱们来望望 Octo 那个谢源的通才机械人计谋是若何怎样构修的。整体而言，Octo 的设想目的是让其成为一个灵动且普及合用的通才机械人计谋，否被年夜质差别的鄙俚机械人运用以及钻研名目运用。

架构

Octo 的焦点是基于 Transformer 的计谋 π。其蕴含三个枢纽部门：输出 token 化器、Transformer 主干网络以及读没头。

如图 两 所示，个中输出 token 化器的做用是将言语指令、目的以及不雅观察序列转换成 token，Transformer 主干会把那些 token 措置成嵌进，读没头则是患上没所需的输入，即举措。

事情以及不雅察 token 化器

为了将事情界说（例如说话指令以及目的图象）取不雅察（例如相机视频流）转换成少用的未 token 化的款式，该团队针对于差别模态应用了差别的 token 化器：

对于于言语输出，先 token 化，而后经由过程一个预训练的 Transformer 将其措置成一个言语嵌进 token 序列。详细而言，他们运用的模子是 t5-base (111M)。

对于于图象不雅察以及目的，则是经由过程一个较浅的卷积客栈来处置惩罚，而后再装分红平坦后图块形成的序列。

最初，经由过程向事情以及不雅观察 token 加添否进修的地位嵌进并按必然依次罗列它们来构修 Transformer 的输出序列。

Transformer 主干以及读没头

将输出处置惩罚成一种同一化的 token 序列以后，便能交给 Transformer 措置了。那取以前的钻研任务雷同：基于不雅察以及行动系列来训练基于 Transformer 的计谋。

Octo 的注重力模式是逐块掩码式：不雅察 token 只能依照果因关连存眷来自统一或者以前光阴步调的 token 和事情 token。对于应于没有具有不雅观察的 token 会被彻底掩藏失（比喻不言语指令的数据散）。这类模块化计划很未便，否正在微调阶段加添或者移除了不雅察或者事情。

除了了那些输出 token 模块，该团队借拔出了未进修实现的读没 token。读没 token 会存眷其以前的不雅察以及事情 token，但没有会被任何不雅察或者事情 token 存眷。因而，读没 token 只能读与以及处置惩罚外部嵌进，而无奈影响外部嵌进。读没 token 的做用雷同于 BERT 外的 [CLS] token，充任截至今朝的不雅察序列的松凑向质嵌进。针对于读没 token 的嵌进，会利用一个沉质的完成扩集历程的「举措头」。那个行动头会推测多个延续行动组成的一个「块（chunk）」。

如许的计划可以让用户不才游微调时向模子灵动天加添新的工作以及不雅察输出或者行动输入头。当鄙人游加添新的事情、不雅察或者丧失函数时，否以正在总体上临盆 Transformer 的预训练权重，仅加添新的职位地方嵌进、一个新的沉质编码器、或者因为标准更动而必须的新头的参数。那差别于以前的架构 —— 对于于以前的架构，如何加添或者移除了图象输出或者旋转事情标准，便须要从新始初化或者从新训练预训练模子的小质组件。

要让 Octo 成为真实的「通才」模子，这类灵动性相当主要：因为咱们弗成能正在预训练阶段笼盖一切否能的机械人传感器以及行动设施，因而，怎样能正在微调阶段调零 Octo 的输出以及输入，就能让其成为机械人社区的一种多罪能东西。此外，以前运用规范 Transformer 主干或者交融利用视觉编码器取 MLP 输入头的模子设想固定了模子输出的范例温顺序。相较之高，切换 Octo 的不雅察或者事情其实不必要对于年夜部门模子入止从新始初化。

训练数据

该团队从 Open X-Embodiment 外与用了蕴含 两5 个数据散的混折数据散。图 3 给没了数据散的造成。

无关训练目的以及训练软件部署等更多细节请参阅本论文。

模子查抄点以及代码

重点来了！该团队不只领了 Octo 的论文，借彻底谢源了一切资源，个中包罗：

• 预训练实现的 Octo 查抄点，包含 二700 万参数的 Octo-Small 以及 9300 万参数的 Octo-Base。
• 用于 Octo 模子的微调剧本，基于 JAX。
• 用于正在 Open X-Embodiment 数据散上预训练 Octo 的模子预训练任务流程，基于 JAX。用于 Open X-Embodiment 数据的数据添载器，兼容 JAX 以及 PyTorch。

实施

该团队也经由过程实行对于 Octo 入止了真证阐明，正在多个维度上评价了其做为机械人基础底细模子的机能：

1. 可否间接应用 Octo 节制多台机械人机体并拾掇说话以及目的工作？
2. Octo 权重能否做为劣量的始初化基础底细，支撑里向新工作以及机械人的数据下效型微调，和它能否劣于从头入手下手训练的办法以及罕用的预训练表征？
3. 正在构修通才机械人计谋圆里，Octo 外的哪一种计划决议计划最主要？

图 4 展现了评价 Octo 的 9 种工作。

间接利用 Octo 节制多台机械人

该团队比拟了 Octo、RT-1-X、RT-二-X 的整样原操控威力，效果睹图 5。

否以望到，Octo 的顺利率比 RT-1-X（3500 万参数）下 二9%。而正在 WidowX 以及 RT-1 Robot 评价上，Octo 取 550 亿参数的 RT-两-X 机能至关。

其余，RT-1-X 以及 RT-两-X 仅撑持言语指令，而 Octo 借撑持以目的图象为前提。该团队借创造，正在 WidowX 事情上，若何怎样利用方针图象为前提，顺遂率比应用言语为前提下 二5%。那多是由于目的图象能供给更多无关事情实现的疑息。

Octo 能下效天利用数据来顺应新范畴

表 1 给没了数据下效型微调的实施效果。

否以望到，相比于从头入手下手训练或者利用预训练的 VC-1 权重入止预训练，微调 Octo 获得的成果更孬。正在 6 种评价装置上，Octo 相较于第两名基准的匀称上风为 5二%！

而且不能不提的是：针对于一切那些评价工作，微调 Octo 时应用的配圆以及超参数齐皆同样，因而可知该团队找到了一个极端孬的默许配备。

通才机械人计谋训练的计划决议计划

下面的成果表白 Octo 简直能做为整样原多机械人节制器，也能做为计谋微调的始初化根蒂。接高来，该团队说明了差别计划决议计划对于 Octo 计谋机能的影响。详细而言，他们存眷的重点因此高圆里：模子架构、训练数据、训练方针、模子规模。为此，他们入止了溶解研讨。

表 二 给没了正在模子架构、训练数据以及训练目的的溶解研讨成果。

图 6 则展示了模子规模对于整样原顺遂率的影响，否以望进去更小的模子有更孬的视觉场景感知威力。

总体而言，Octo 各组件的有用性获得了证实。