浙江大学学报·工学版杂志投稿格式参考范文：基座模型技术背景下的具身智能体综述

　　引言

　　早在 1950 年，人工智能之父阿兰・图灵指出人工智能的发展存在着 2 条技术路线，分别被后人称作 “无身的” 和 “具身的” 智能。纵观人工智能的发展史，无身智能(如自然语言处理、计算机视觉)占据了主导地位，这是因为开发无身智能相对容易，无须构建复杂的物理身体。

　　近年来，无身的基座模型在自然语言处理和计算机视觉领域取得了显著成就，引发了学术界和产业界的广泛关注。基座模型能够涌现出执行训练时未见过的任务的能力，这种能力被广泛认为是通用人工智能的重要标志。现在出现了一种趋势：完成特定任务的最有效的方式是迁移通用模型，而非训练定制模型。

　　尽管基座模型涌现出了通用人工智能的火花，但越来越多的证据表明，它们在因果推理及物理世界的常识方面的表现远低于智能生物的水平。当前的智能其实是 “互联网智能”，缺少物理世界的生活经验，而真正的智能需要与物理世界互动，将自身的知识与物理世界建立起联系。这是图灵提出的人工智能的另一个方向，现在被称作具身智能。它在图灵的时代是难以实现的，但随着基座模型的出现和传感器与执行器的进步，发展具身智能的时机已经成熟。

　　本文聚焦于基座模型技术背景下的具身智能体，即具身的基座模型。这类模型也被称为基座智能体，它们能够利用基座模型技术思想带来的通用任务泛化能力，具身地参与到现实世界中，学习物理世界的经验，而不是简单地将无身的基座模型部署到有物理身体的机器上。与无身智能相比，具身智能体存在数据资源匮乏、仿真环境到现实环境的迁移难题、多具身通用性要求以及轻量级部署等诸多方面的挑战。

　　1 基座模型及具身认知概述

　　1.1 基座模型

　　Bommasani 等引入 “基座模型” 这一术语，以标识机器学习领域的一次范式转变。这类模型指的是通用的、大规模的预训练模型，它们通常基于 Transformer 架构，通过自监督学习的方法进行预训练。Transformer 架构具有规模化定律，即模型可以增大至极大的规模，性能仍有增长。自监督学习通过定义输入的一部分为预测目标，利用海量的未标注数据训练出模型强大的表征能力。这些通过自监督学习训练出的大型模型能够适用于各种任务，特别是能够泛化到训练时未见的任务，在自然语言处理、计算机视觉、多模态学习等多个领域取得了成功。

　　基座模型是在自然语言处理领域出现的，以 BERT 和 GPT 为代表。BERT 采用遮罩自编码的方式，GPT 以自回归的方式预测输入序列中的下一个词元。利用这 2 种方式训练出来的模型在自然语言处理领域实现了突破，激发了大型语言模型的研究热潮。

　　受到自然语言处理成功的启发，大规模样本预训练的思想已扩展到计算机视觉领域。对比学习和视觉 Transformer 的结合，使得多模态的视觉 - 语言模型得以出现。最近，多模态模型发展到了百亿级别的参数规模，推动了视觉基座模型的成功。到目前为止，讨论的基座模型都是无身的模型。将基座模型的范式扩展到具身智能领域是自然而富有挑战性的任务。

　　1.2 具身认知

　　具身智能中的 “具身” 源于认知科学的具身认知领域，它认为智能是在与环境的感知运动的行动中显现出来的。具身认知领域同样关注语言和视觉的理解。

　　长期以来，机器能否真正理解人类语言一直是热门的讨论话题。图灵提出模仿游戏(即图灵测试)，Searle 通过 “中文房间论证” 挑战了机器理解语言的假设，Harnad 提出符号落地问题，Bender 等设计章鱼测试的思想实验，这些都表明语言的意义不能完全脱离现实世界，语言模型要实现真正的情境语言理解，需要具备物理世界和社会背景的知识。

　　具身认知的另一个研究方向是视觉系统。早期对幼猫的实验表明，运动对于幼猫的视觉感知的发育至关重要。Gibson 进一步提出，视觉是一个具身的过程，与个体在环境中的互动密切相关。

　　实际上，具身认知科学在广泛的意义上研究行为和心智之间的关系，许多实验已经证明，认知可以受到身体的影响，抽象的认知状态是基于身体状态的。这一理念启发了一部分人工智能科学家们长期致力于具身人工智能。最近，随着基座模型的出现和现代传感器及执行器的成熟，具身方向的研究工作重新被人们重视，经典的图灵测试的概念甚至被扩展到所谓的具身图灵测试。

　　2 具身智能体的技术路线

　　2.1 问题定义

　　具身智能的问题通常被定义为具有本体感知状态的决策问题，本体感知状态表示智能体身体部位的位置和方向。具身智能体在时间步的函数表示为at+1,st+1=P(at−T→t,st−T→t,o

　　t−T→t,xt−T→t)。辅助信息xt−T→t是可选的，它可以是奖励、目标或任何组合的辅助信息，帮助智能体做出决策。令 x 为奖励 r，则强化学习的具身智能体的函数为at+1,st+1=P(a

　　t−T→t,st−T→t,ot−T→t,rt−T→t)。

　　若ot−T→t被定义为视觉观察vt−T→t，且xt−T→t作为语言指令lt−T→t，则视觉 - 语言多模态智能体的函数可以表示为at+1,st+1=P(at−T→t,st−T→t,vt−T→t,lt−T→t)。若 s 不表示具身的本体状态信息，而是无身的状态信息，则该智能体退化成传统的强化学习的无身智能体。

　　2.2 适用于智能体的 Transformer 架构

　　Transformer 架构已成为现代人工智能研究的核心架构。它能够捕捉长距离的依赖关系，利用硬件的并行处理能力扩展到极大的模型规模，还能作为跨不同模态的统一编码器。

　　决策 Transformer 和轨迹 Transformer 将强化学习问题视作序列建模问题，把轨迹视为状态、行动和奖励的序列，输入到 Transformer 中。决策 Transformer 的核心思想是将传统的强化学习问题转变为监督学习问题，奖励信号是可选的，根据这一架构训练出来的智能体既可以是传统意义上的强化学习智能体，也可以是不依赖于奖励信号的非强化学习智能体。决策 Transformer 可以以自回归或遮罩自编码的方式预训练。

　　2.3 自监督预训练

　　现代人工智能经历了从监督预训练向自监督预训练的范式转变。自监督预训练能够利用大量的未标注数据来学习具有通用性的表示，可广泛应用于众多的下游任务，并在这些任务上取得先进的性能。例如，语言模型可以通过自回归或遮罩自编码的方式进行预训练。

　　受到自回归的大型预训练语言模型的启发，Reid 等提出以自回归的方式预训练决策 Transformer。Gato 将决策 Transformer 扩展到通用的具身智能体，RoboCat 将 Gato 扩展为机器人操控的基座智能体。一些其他的具身智能体将大型语言模型适配到具身模型，如 PaLM-E、RT-2。

　　另一种自监督具身智能体采用遮罩自编码的方式，如 MVP 系列工作、SMART、MaskDP、Voltron、RPT。此外，许多具身智能体的工作没有从头做预训练，而是利用外部预训练好的模型。

　　2.4 多模态学习

　　多模态学习通过结合不同模态的数据，如文本、图像、本体感知状态和动作，提供了丰富的信息处理方式。具身智能的研究本质上与多模态学习紧密相关，Transformer 能够作为不同模态的统一编码空间，为多模态学习开启新的可能性。具身智能体的多模态学习在表示学习的预训练阶段及任务迁移的微调阶段均被广泛采用。

　　多模态最常见的形态是将视觉和语言的模态连接起来，如 ViLBERT、UNITER 和 Oscar 等视觉 - 语言模型，以及 CLIP、ALIGN 和 BASIC 等通过扩大模型规模和数据量学习视觉表征的模型。这些视觉 - 语言多模态模型可以应用于视觉语言的具身智能体。

　　除了视觉和语言，多模态学习的概念还可以扩展到动作和本体感知状态等其他模态，如 Gato、RPT、RoboCat。

　　2.5 强化学习与模仿学习

　　具身智能体传统上是通过强化学习的方式进行训练，智能体通过与环境的互动来学习，包括基于当前状态采取行动，接收奖励反馈，更新决策策略。但传统强化学习存在样本效率低下、学习过程缓慢、为一些任务带来安全问题等缺点。

　　为了解决这些问题，模仿学习被提出作为训练智能体的方法。在模仿学习中，智能体通过观察专家的行为来学习，之后可能通过强化学习进行进一步的微调。近年来，模仿学习在具身智能体的训练中越来越受到关注，出现了针对具身智能体的大规模数据集。

　　2.6 模型即服务

　　在某些场景下，通过互联网服务来实现基座智能体变得可行。模型即服务作为创新的范式，极大地促进了基座模型的开发和部署。在模型即服务的范式下，成熟的无身基座模型可以部署到具身智能体。

　　研究发现，大型语言模型能够有效地将用自然语言表达的高级任务分解成一系列低级动作，无须额外训练。例如 LM-Nav 直接利用 GPT-3 在现实世界中导航，NavGPT 展示了在视觉语言导航任务中利用 GPT-3.5 和 GPT-4 进行零样本的动作预测，PaLM-E 整合了 PaLM 和 Vision Transformer，以执行多种具身推理任务。这些智能体的运作都需要连接到互联网，以便访问这些外部的大型模型。

　　3 数据集与模拟器

　　3.1 数据集

　　尽管基座模型的特点是利用未标记数据，但它们需要大量的标记数据来执行下游任务。实际上，基座智能体需要更大规模的标记数据来满足执行多任务和部署在多具身上的需求。

　　在监督学习时代，数据集是模型成功的关键。进入基座模型的时代，自监督预训练展现出优异的表征能力，但预训练的模型仍需要依赖特定任务的数据集进行微调。

　　早年的机器人学习方法通常专注于执行特定的任务，需要对应的特定数据集。在基座智能体的背景下，数据集往往涵盖多个任务、多个场景，甚至多种具身形式，在这些大规模数据集上训练的高容量模型展现了更好的泛化能力。

　　3.2 模拟器

　　近年来，许多适用于具身智能的新模拟器被开发出来。模拟器可以为智能体提供既安全又高效的学习环境，用于生成大量数据，还常用作基准测试，评估和比较不同方法的效果。

　　模拟器中使用的数据既可以是合成的，也可以是基于现实世界扫描得到的。虽然在模拟器中训练得到的模型能够在模拟环境下表现良好，但模拟环境与现实世界之间存在的明显差异是其在物理机器人上应用的主要障碍。一些具身方法同时在模拟和现实世界，或完全在现实世界中评估模型的表现。此外，一系列研究专注于模拟到现实的迁移，但目前主要集中在有限的场景中，对于面向多任务、多场景甚至多具身的基座智能体的迁移，仍然有巨大挑战。

　　4 具身智能体的应用

　　一般而言，具身智能体被设计为能够朝任何目标移动，并与之互动以完成各种任务。重点关注视觉导航和机器人操控这 2 个引起了广泛研究兴趣的应用。在基座智能体的框架下，这 2 个应用都强调了任务泛化的重要性。此外，视觉导航注重于场景的泛化能力，机器人操控侧重于具身形态的泛化。

　　4.1 视觉导航

　　视觉导航赋予智能体在未知环境中利用视觉信息到达指定目的地的能力。实现视觉导航的方法有很多种，讨论 2 项典型的任务：目标导航和视觉语言导航，以及在通用视觉导航领域中的基座智能体。

　　目标导航的目标是指引智能体前往目标物体所在地。基座模型的应用使得对目标导航的零样本迁移成为可能，如 EmbCLIP、CoW、ZSON、LFG、DDN、PixNav 等智能体在目标导航任务中都有不同的表现和探索。

　　视觉语言导航是指智能体依据自然语言指令进行导航。随着大型语言模型的出现，将它们应用到视觉语言导航成为研究的新趋势，如 PreSS、VLN - BERT、Airbert 等采用不同方法提升视觉语言导航性能，同时也面临人类指令数据稀缺等问题，MARVAL、LM-Nav、NavGPT、DiscussNav 等在探索解决方法。

　　面对多样化的视觉导航任务和特定任务的解决方案，研究者们努力构建能够应对多项导航任务的统一智能体，如 Vienna 和 ViNT，它们在通用视觉导航任务中展现出良好性能。

　　4.2 机器人操控

　　机器人操控涉及机器人与环境中的对象相互作用的能力，是机器人学中的核心任务。在基座智能体的技术背景下，机器人操控的方法可以分为视觉 - 语言方法和纯视觉方法。越来越多的方法不仅在仿真环境中评估模型性能，还直接在真实物理世界中进行测试，同时具身智能体呈现出面向多具身发展的趋势。

　　SayCan、R3M、Gato、RT-1、PaLM-E、RT-2 等采用视觉 - 语言方法，通过将语言模型与现实世界连接、结合多模态学习等方式实现机器人操控。MVP、Real MVP、MaskDP、RPT、RoboCat、Yang 等则通过自监督预训练、遮罩自编码等纯视觉方法在机器人操控领域取得进展。

　　5 趋势与挑战

　　目前，具身智能体的数据采集尚处于起步阶段，许多具身任务缺乏足够的可训练数据集。具身智能体需要在物理世界中采集数据，增大了数据采集的难度和成本，具身形态和任务场景的多样性进一步加剧了该问题。为了推动具身智能体的发展，迫切需要构建更大规模、更多样化的具身数据集，提高具身数据集的采集效率，降低采集成本。

　　仿真环境与现实世界之间存在定义域鸿沟，这是在模型器中训练的模型部署到物理机器人上的主要障碍。在基座模型时代，模型往往在众多场景中预训练，增大了从模拟器到现实世界迁移的复杂程度。由于基座智能体的任务、场景及物理形态众多，导致评估协议实现繁复，比较不同的真实世界方法是一个挑战。

　　基座智能体正变得越来越具有通用性，能够执行多种任务，在不同环境中采取行动，甚至适应多种具身形态。增加智能体的规模是提升性能的直接方式，但这一做法面临着成本高昂和边际效益递减的问题。需要寻找其他策略，避免单个智能体规模过大。

　　大规模智能体虽然能够展现出良好的性能，但不适合在边缘设备上部署，轻量级部署成为基座智能体面临的一大挑战。目前还不清楚大型语言模型的能力在何种规模下会涌现，需要在智能体的复杂性与性能之间找到平衡点。

　　6 结语

　　本文回顾了基座模型和具身认知的发展，梳理了实现具身智能的最新技术进展及相关的数据集与模拟器，分析基座智能体在机器人操纵和导航方面的应用。具身智能的研究体现了人工智能从纯计算转向与物理环境交互的趋势。具身智能体在任务泛化、仿真环境到现实环境的迁移、多具身适应及轻量级部署方面面临诸多挑战，但其发展展现了广阔的应用前景。未来，随着技术的不断进步，具身智能体有望在更多领域发挥重要的作用，推动通用人工智能的发展。

李颂元;朱祥维;李玺,中山大学电子与通信工程学院;浙江大学计算机科学与技术学院,202502