（来源：赵志民 Datawhale）

 Datawhale干货 

作者：赵志民，Datawhale成员

一、Physical AI 的核心，不只是“看懂”，更要“行动”

想象一台家庭机器人接到任务：去厨房拿一只杯子，接水，再把水送到客厅。

在演示视频里，这件事可能只需要几十秒。机器人找到杯子、伸手抓取、打开水龙头，然后平稳地把水送到用户面前。看上去，它已经“学会了取水”。

但真实世界不会一直配合演示。杯子可能被放进另一个柜子，透明杯可能在灯光下难以识别，用户可能突然把手伸到机械臂前方，回客厅的路上也可能多出一片积水。

每遇到一种变化，机器人都必须重新决定：继续、等待、绕行、换一只杯子，还是立即停下？

这也是 Physical AI 与只在数字世界中生成文字或图像的 AI 最明显的差别之一：它的输出会进入物理世界，受到空间、时间、动力学和安全边界的共同约束。一个答案不仅要合理，还要来得及执行，并且不能造成危险。

因此，只问“任务成功率是多少”还不够。我们还需要知道：

• 它是根据眼前变化立即响应，还是会在行动前比较几种未来？

• 它判断的依据来自人工规则，还是从数据中学到的经验？

• 它能否在动作失去意义之前完成计算？

• 如果判断错误，谁拥有叫停动作的最终权力？

不同技术路线，本质上是在这些问题上作出了不同选择。

二、两个问题，划分出六种实现思路

算法名称经常让问题变得复杂。要看懂一个 Physical AI 系统，可以先暂时放下“强化学习”“世界模型”“大模型”等标签，只回答两个更基础的问题。

（一）它会直接反应，还是先比较几种未来？

• 反应式决策（Reactive Decision-Making，R）根据当前观测、历史状态或上游指令直接产生输出，不在这一次决策中利用“行动—后果”模型比较候选动作。

• 深思式决策（Deliberative Decision-Making，D）会在部署时预测、搜索或优化可能的行动结果，而且这些结果会实际改变当前选择。

判断关键不是计算用了多长时间，也不是一次输出多少步动作，而是系统有没有真正问：“如果采取不同动作，接下来分别会发生什么？”

反应式方法的决策路径通常更短，适合关节跟踪、保持平衡和紧急避障等需要快速更新动作的任务。深思式方法能够比较路径、抓取方式或失败后的替代方案，更适合处理长程目标和多步依赖。

二者不是“低级”与“高级”的关系，而是在不同时间尺度上解决不同问题。

（二）决定行为的知识从哪里来？

人工设计（Human-Designed，I）把知识写成规则、公式、物理模型、速度上限、碰撞约束或人工整定的控制参数。它的边界相对清楚，但现实中的例外很难全部写完。

学习得到（Learned，II）把行为知识编码在训练得到的参数里。机器人可以从示范、试错和大规模数据中学习人类难以逐项描述的技能，但也要面对数据覆盖、分布偏移和持续评估等问题。

人工与学习联合（Integrated，III）让人工知识和学习结果共同进入同一次不可拆分的决策计算。例如，用学习模型预测杯中的水如何晃动，同时用人工硬约束排除可能碰撞或倾倒的轨迹。

把“反应还是深思”与“知识来自哪里”交叉起来，就得到六种实现思路：

这张表分类的不是整台机器人，而是其中真正能够选择、修改或拒绝动作的决策组件。一台机器人通常包含多个这样的组件，因此也可能同时采用多种思路。

三、Physical AI 的六种主流实现思路

（一）规则与传统控制：根据当前状态快速反应（R-I）

第一种思路，是由工程师预先写出规则、公式和控制参数，系统再根据当前状态直接产生动作。

经过人工整定的比例—积分—微分控制器（PID）会根据当前误差修正输出；解析逆运动学根据机械臂末端想要到达的位置和朝向，直接计算各个关节应当转到的角度；安全监督器也可以在人体距离低于阈值时立即停止机械臂。

这类方法的优势很实际：决策路径短，响应时间容易控制，规则和边界也相对容易检查。它尤其适合关节跟踪、保持平衡、底层控制和紧急避障。

代价是工程师必须提前识别重要条件，并持续调整参数。当设备、任务或环境发生变化时，原有规则可能需要重新校准；规则越来越多时，还可能出现冲突。

核心交换：用人工设计和持续调参，换取快速、稳定和边界清楚的响应。

（二）端到端学习策略：从数据直接生成动作（R-II）

透明物体怎样抓、柔软衣物怎样折、拥挤环境中怎样绕开行人，这些技能往往包含大量难以逐项描述的细节。第二种思路是让机器人从示范、试错或大规模数据中学习“看到什么就怎样行动”的映射。

模仿学习从专家示范中学习动作，强化学习通过试错和奖励信号学习策略。扩散策略从含有噪声的动作方案出发，通过多轮去噪生成一段动作；π0 等视觉—语言—动作模型（VLA）则尝试连接图像、语言指令和机器人动作。

这类方法能够吸收人类难以准确描述的模式，减少手写行为映射的工作。但成本并没有消失，而是转移到了数据收集、失败情形覆盖和部署评估上。

如果训练数据中的红杯子总在桌子左侧，模型可能把颜色误当成位置线索。换一种桌布、照明或相机角度，原本有效的行为就可能失效，这就是分布偏移。

还要注意，直接生成动作不等于计算一定便宜。扩散策略需要多轮去噪，大型 VLA 也可能带来较高推理延迟。它们虽然没有在线搜索未来，仍可能超过某些控制任务允许的时间。

核心交换：用数据覆盖、算力和持续评估，换取处理复杂技能与开放变化的能力。

（三）学习补偿控制：让数据修正人工控制器（R-III）

人工模型清楚、稳定，但很难覆盖全部现实细节；学习模型能够拟合复杂变化，却不容易单独提供明确边界。第三种思路把二者放进同一次反应式计算。

例如，工程师先用人工公式计算机械臂的基础控制量，再让模型学习公式与真实结果之间的差值。这部分差值称为学习残差，它可以补偿摩擦、负载变化或设备老化造成的误差。最终动作由人工控制结构与学习补偿量共同决定。

与简单的前后串联不同，这里的人工知识和学习结果无法拆开理解为两个独立决策组件，它们共同构成一次输出。

这种方法可以保留传统控制结构，同时利用数据补足难以手写的细节。相应的代价是两部分会彼此影响，需要作为一个整体重新验证。

核心交换：用更复杂的联合设计和验证，换取传统控制的稳定性与学习补偿的适应性。

（四）模型驱动规划：先推演，再行动（D-I）

第四种思路是先建立人工模型，再搜索、预测或优化多种行动方案。

早期人工智能机器人 Shakey 会根据地图、物体状态和任务规则搜索行动步骤。系统需要处理“门必须先打开，机器人才能进入房间”这样的多步依赖，这类方法通常称为符号规划。

今天的模型预测控制（MPC）虽然工作在不同时间尺度上，却保留了相似思想：根据当前状态预测未来几步，优化一段动作，只执行眼前一步，然后获取新状态并再次计算。轨迹优化直接调整连续运动轨迹，任务与运动规划（TAMP）则同时处理“先做什么”和“机械臂怎样移动”。

规划的吸引力在于，机器人可以提前比较哪条路径更短、哪种抓法更稳定，以及某一步失败后是否还有替代方案。

但规划并不是免费的。机器人需要一个足够可信的模型；如果模型漏掉摩擦、遮挡或人的突然动作，系统可能依据错误世界认真地选出危险方案。同时，搜索必须赶在行动期限之前结束。

核心交换：用模型和计算成本，换取行动前比较多种未来的能力。

（五）世界模型在线规划：先学习世界如何变化，再临场选择（D-II）

学习得到的不一定只是动作策略，也可以是世界模型。可以把世界模型理解成机器人内部的一台任务相关“模拟器”：系统把当前状态和一个尚未执行的候选动作交给模型，模型再预测物体位置、碰撞风险或任务状态会如何变化。

机器人准备抓杯子时，可以分别模拟“从左侧抓”和“从右侧抓”。如果模型预测前者会碰到柜门、后者更容易抓稳，机器人便可以根据这些结果选择右侧抓取。

PlaNet、TD-MPC2 等方法会在部署时利用学习得到的模型评估候选动作。与直接复现训练数据中的动作相比，机器人因此可以临场比较新的行动组合。

这种方法同时继承了学习和规划的机会，也继承了二者的风险：模型必须在当前环境中预测得足够准确，搜索也必须及时完成。如果模型主要见过干燥地面，它可能低估湿滑地面上的制动距离，并据此选出看似安全、实际无法及时停下的路线。

世界模型也可能只在训练时使用。例如，DreamerV3 利用想象轨迹训练策略，但部署时由策略直接产生动作。训练过程预测过未来，不代表机器人每次行动前仍会利用世界模型比较候选动作。只有部署时的预测真正影响当前选择，才属于 D-II。

核心交换：用模型准确性和在线搜索成本，换取在新情境中临场组合行动的能力。

（六）学习模型与人工约束联合规划：同时利用经验与安全边界（D-III）

第六种思路让学习模型与人工知识共同参与一次规划计算。

例如，规划器可以用学习模型预测杯中的水会怎样晃动，同时规定任何候选轨迹都不得碰撞人体，也不得让杯子过度倾斜。这些任何方案都不能违反的条件称为硬约束。

另一种做法，是先用人工物理模型预测，再由学习残差修正模型与真实世界之间的偏差，最后在修正后的模型上执行 MPC 或轨迹优化。

这类系统既能利用数据补足难以手写的细节，也能保留人工规则规定的明确边界。但两部分会共同影响规划结果，不能分别验证后就假定整个系统可靠，而需要进行整体测试。

核心交换：用更高的集成与验证成本，换取学习适应性、未来比较能力和人工约束的结合。

四、六种思路没有高下，关键在于如何组合

六格地图不是能力排行榜。R 不代表低级，D 也不天然更加聪明；I、II、III 更不是技术升级顺序。

一台取水机器人既要决定先去哪个柜子，也要持续保持杯口水平。前一项需要考虑整个任务，后一项却必须快速修正手臂的细小偏差。让底层电机控制器在每次生成指令时重新规划整段任务，既无必要，也来不及；反过来，让只会修正当前误差的控制器负责整项任务，它又看不到多步行动之间的依赖。

现实系统因此很少只采用一种路线。更常见的架构是：

• 较慢的规划组件处理长程目标和多步选择；

• 学习策略持续产生局部动作；

• 底层控制器快速修正关节误差；

• 独立安全模块保留修改或拒绝动作的权力；

• 执行结果和中断状态返回上游，触发后续调整或重新规划。

所以，Physical AI 的工程重点通常不是从六种路线中选出唯一赢家，而是让它们在不同时间尺度上正确分工，并确保状态能够在组件之间可靠传递。

五、一台取水机器人，如何同时用到多种思路？

回到开头的取水任务。与其给整台机器人贴上一个标签，不如沿着动作生成和执行路径，看看多个决策组件如何接力。

（一）规划器决定去哪里找杯子

TAMP 规划器发现桌上没有杯子，于是比较去柜子、去洗碗机和询问用户三种方案。它用学习模型预测成功率，同时用“不得碰撞人体”“杯口不得过度倾斜”等人工约束排除危险方案。

两类知识共同参与同一次在线搜索，因此这个规划器属于 D-III。它最终选择去柜子，并把“打开柜门”作为子目标交给下游。

（二）学习策略生成打开柜门的动作

技能策略根据相机画面直接生成打开柜门的手臂动作。它主要从示范数据中学到这种映射，没有在每次输出前比较多种未来，因此属于 R-II。

（三）底层控制器实时修正机械臂

技能策略给出机械臂末端希望到达的位置和朝向，也就是目标姿态。底层控制器再把目标姿态转换成电机指令，并快速修正关节误差。

如果它使用人工整定的控制增益，而且不搜索不同动作的未来结果，就属于 R-I。

（四）安全监督器在危险时叫停

用户突然把手伸进柜子。安全监督器发现人与机械臂的距离低于人工阈值，于是立即中止动作。它同样属于 R-I，但拥有覆盖学习策略的权力。

这里需要注意：学习策略提出动作，独立安全模块在外部检查并拒绝动作，属于两个可以分别运行和验证的组件。系统虽然同时使用人工方法与学习方法，却不能因此把二者合并归入 R-III。

（五）中断信息返回上游，触发重新规划

机械臂停下并不等于问题已经解决。中断状态还必须返回技能策略和规划器，否则上游可能误以为柜门已经打开。

规划器收到真实状态后，重新比较等待、换杯和请求用户让开，最终选择等待。这才是深思式决策的关键：几个尚未发生的行动后果被实际比较，并改变了当前选择。

整条决策链可以简写为：

[规划器 D-III ⇉ 学习策略 R-II → 底层控制器 R-I]，安全监督器 R-I 保留最终否决权

摄像头、物体检测和状态估计会持续提供杯子位置、人体位置和机器人姿态。如果它们只报告状态，并不选择、修改或拒绝动作，就属于上游感知组件，不进入六格决策地图。

六、如何判断一个 Physical AI 系统采用了哪种思路？

真正可靠的方法，不是根据算法名称猜测，而是沿着动作生成和执行路径逐层追踪。

（一）三步定位决策组件

1. 找到真正改变行为的组件。只有能够选择、修改或拒绝动作的组件才是分类对象。只提供图像、位置或地图的模块属于上游信息来源。

2. 检查部署时是否比较行动后果。如果候选动作的预测结果会影响这一次选择，就属于 D；否则属于 R。

3. 判断关键知识来自哪里。查看决定输出的规则、模型或参数主要来自人工设计、训练数据，还是二者在同一次计算中不可分割地联合。

只要不同组件之间存在清楚接口，能够分别运行或验证，就应该拆开分类，不要急着给整台机器人贴上一个标签。

（二）三个最容易出现的判断误区

误区一：算得久、输出长，就等于会规划未来。

扩散策略需要多轮去噪，语言模型也可能逐词生成很长的计划。这些现象都不能证明系统在行动前比较了多种未来。判断标准仍然是：不同动作的预测后果是否真正改变了当前选择。

误区二：训练时预测过未来，部署时就仍在规划。

世界模型可能只用于训练策略。部署后如果动作仍由策略直接生成，世界模型的预测没有进入当前选择，那么执行过程依然属于 R。

误区三：系统同时使用人工方法和学习方法，就属于联合路线。

关键在于两类知识是否共同进入同一次不可拆分的计算。独立安全滤波器在外部检查学习策略提出的动作，仍然是两个组件，而不是自动变成 III。

写在最后：真正重要的是，谁拥有下一步的决定权

判断一个 Physical AI 系统，不必先问它是不是“大模型”，也不要被“规划”“推理”或“世界模型”等名称带着走。

先找到究竟是谁在决定下一步，再看它有没有在行动前比较不同动作的后果，判断依据来自人工知识还是训练数据，最后检查各个组件怎样传递状态，以及谁拥有最终控制权。

六格地图不能直接证明系统安全，但它可以把延迟测试、失效分析和安全验证落到具体组件与接口上。当环境变化、模型出错或接口失效时，我们能够知道问题可能从哪里出现，又还有谁可以让机器人停下来。

Physical AI 的关键，从来不只是模型能够生成什么动作，而是整套系统如何在真实世界中及时、可靠并且安全地决定下一步。