（来源：图灵人工智能）
您想知道的人工智能干货，第一时间送达
反向传播是现代深度学习的核心算法，但它在生物脑中如何实现仍存在根本困难：它需要严格分离的前向与反向阶段、全局协调、精确的误差信号传输以及近似对称的权重结构。预测编码提供了一条不同路线：大脑不是被动接收世界，而是持续预测感官输入，并用预测误差来更新内部模型。若把学习理解为一种能量或自由能最小化过程，神经活动与突触权重都可以通过局部误差信号连续调整。
问题的起点：大脑如何学习？
人工智能的成功在很大程度上建立在反向传播和梯度下降之上。只要一个神经网络的输入、权重、激活函数和损失函数可以写成一个可微分的数学函数，计算机就能利用链式法则精确计算每个参数对最终误差的贡献，并沿着误差下降最快的方向更新权重。这一机制极其强大，几乎支撑了现代机器学习从图像识别、语音处理到大型语言模型的主要进展。
然而，生物大脑并不像数字计算机那样工作。人脑没有一个中央控制器去协调全脑神经元先做一次前向传播，再冻结活动，再逐层反向传播误差，最后同步更新所有突触。神经组织中的信号传递相对缓慢，神经元和突触又高度局部化、异步化、并行化。大脑在感知、行动和学习时并不会“按暂停键”。
因此，核心问题不是反向传播是否有用，而是：如果大脑不太可能严格执行反向传播，它是否使用了另一种能够解决信用分配问题、同时又符合神经生物学约束的学习机制？预测编码正是在这个问题上变得重要。它既是一种关于大脑感知和学习的理论，也是一种可能启发新型人工智能架构的计算框架。
信用分配：所有学习系统都必须解决的根本难题
所谓信用分配问题，是指当一个复杂系统产生了错误输出时，我们如何判断系统内部哪些参数应该负责、应该如何改变、改变多少。对于一个多层神经网络，最终错误可能来自最上层的分类器，也可能来自低层特征提取不佳，还可能来自中间层表示结构不合适。学习的本质，就是把整体表现的成败分解为局部参数的调整方向。
在工程神经网络中，反向传播给出了一个优雅答案：把整个网络看成一个复合函数，用链式法则从输出误差向输入方向逐层求导。这样，每个权重都能得到一个明确梯度，告诉它下一步应该增大还是减小。这个方法在硅基计算机上非常高效，因为计算图、内存、同步控制和矩阵运算都可以精确管理。
但在大脑中，这种形式的全局精确求导面临两类最尖锐的困难。
第一是连续处理问题：大脑无法把感知和学习分成互不干扰的阶段。
第二是局部自治问题：真实突触只能访问局部可获得的信息，不可能知道整个网络的全局损失函数和远端神经元的精确导数。
预测编码的吸引力，正是因为它试图用局部误差、连续动力学和近似 Hebbian 可塑性来完成类似的信用分配。
反向传播为什么难以直接映射到大脑？
标准反向传播通常包含严格的阶段分离。首先输入信号自下而上通过网络，得到输出预测；随后输出与目标值比较，产生误差；接着误差自上而下逐层反传；最后权重根据梯度同步更新。这个过程对机器来说自然，对神经组织却并不自然。
如果大脑严格执行这种机制，它就需要在学习时临时冻结前向活动，等待反向误差信号传回，再逐层更新突触。由于生物神经信号传递速度有限，这将导致感知和行动出现频繁的短暂中断。现实中的大脑并非如此：我们在看、听、走路、说话和学习时，神经系统始终处在连续流动中。感知、预测、误差修正和突触可塑性同时发生。
另一个困难是全局协调。反向传播要求不同层级以精确次序解冻、传递和更新，还要求反馈通路携带与前馈权重相匹配的误差信息。这就是所谓“权重传输问题”。生物脑当然存在节律、注意系统和多巴胺等神经递质，但这些机制通常在较粗的时间和空间尺度上调节神经活动，很难满足反向传播所要求的逐细胞、逐突触精度。
反向传播与预测编码的核心差异
维度 | 反向传播 | 预测编码 |
信息流 | 前向计算与反向误差传播通常分阶段进行 | 预测自上而下传递，误差自下而上传递，可连续并行发生 |
学习信号 | 依赖全局损失函数的梯度 | 依赖局部预测误差 |
生物合理性 | 需要冻结活动、全局协调和近似权重对称 | 可由局部误差神经元和局部突触可塑性近似实现 |
计算形式 | 显式自动微分与链式法则 | 能量/自由能最小化下的活动松弛与权重更新 |
AI 启发 | 高效训练深度网络的主流方法 | 可能支持并行、局部、连续、类脑和神经形态学习 |
预测编码的基本思想
预测编码的核心思想很简单：大脑并不是一台被动接收刺激的机器，而是一个主动预测系统。它不断构造关于世界的内部模型，用高层表示去预测低层感官活动；当预测与实际输入不一致时，差异被编码为预测误差，进而驱动内部模型更新。
在视觉系统中，低层可能对应边缘、纹理、颜色和局部运动等较原始特征；高层则表示物体、场景、类别和行为意义。高层向低层发送“我认为你应该看到什么”的预测，低层向高层返回“你的预测错在哪里”的误差信号。这样，大脑不必传递所有冗余信息，只需要重点处理没有被模型解释的部分。
这一思想不仅有计算效率上的意义，也有生存意义。对于动物来说，预测意味着提前准备：预测捕食者、预测食物、预测身体状态、预测他人行为。更好的预测可以减少不确定性，使行动更快速、更节省能量，也更符合环境约束。
能量形式：把学习看成预测误差的最小化
为了把预测编码变成一个可计算的学习算法，可以把网络状态写成一个能量函数。这个能量并不一定是物理能量，而是一个衡量系统整体预测误差大小的标量。最常见的直觉形式是：
E = 1/2 Σ_l ||ε_l||²， 其中 ε_l = x_l − f(W_{l+1} x_{l+1})
这里，x_l 表示第 l 层神经活动，W_{l+1} 表示从更高层到当前层的预测权重，f 是非线性函数，ε_l 是当前层实际活动与高层预测之间的误差。系统的目标就是让所有层级的误差平方和尽可能小。
这个框架有一个重要直觉：网络中的神经活动并不是一次性前向算完，而是在能量地形中逐渐“松弛”到一个较低能量状态。就像一个弹簧系统会自动寻找张力较小的位置，预测编码网络也会通过调节神经活动，让实际活动、上层预测和下层误差之间达到相对平衡。
活动更新：每个神经元在两种力量之间寻找平衡
在预测编码网络中，一个表征神经元的活动更新受到两类局部信号影响。
第一类来自它自己的预测误差：如果它的实际活动高于上层对它的预测，它会被拉低；如果低于预测，它会被拉高。
第二类来自它所预测的下层神经元：如果下层仍有很大误差，它就需要调整自身活动，以便更好地解释下层输入。
因此，每个神经元并不是听从一个全局损失函数，而是在局部层级中协调两件事：一方面让自己符合上层模型，另一方面让自己更好地预测下层活动。这个局部折中过程构成了预测编码的推断过程。
从神经生物学角度看，这种形式很有吸引力。它不要求所有神经元同步切换模式，也不要求一个中央控制器逐层调度。神经元只需接收来自相邻层的预测与误差信息，就能连续更新自身状态。
误差神经元：预测编码为什么需要两类神经群体
预测编码最重要的结构假设之一，是神经系统可能区分两类功能性群体：
一类编码表征或预测，
另一类编码预测误差。
表征神经元负责维持对当前世界状态的解释；误差神经元负责比较实际活动与预测活动之间的差异。
在一个层级中，误差神经元可以被看成比较器：它接收来自同层表征神经元的兴奋性输入，同时接收来自高层预测的抑制性输入。如果两者匹配，误差信号很小；如果不匹配，误差信号就变强。随后，这些误差信号向上传递，通知高层模型需要修正。
这也解释了预测编码为什么可以具体落实为神经连接结构：自上而下的连接传递预测，自下而上的连接传递预测误差；同层局部回路则完成实际活动与预测活动之间的比较。
权重更新：局部 Hebbian 可塑性如何承担学习
如果神经活动的更新对应“当前输入下如何解释世界”，那么权重更新对应“长期经验中如何改变模型”。在预测编码中，连接权重也沿着降低能量的方向调整。简化地说，某条突触的改变可以由突触前活动与突触后误差信号的乘积决定：
ΔW ∝ 预测误差 × 突触前活动
这与神经科学中的 Hebbian 可塑性思想相呼应：共同活动的神经元更容易加强连接。不过预测编码中的规则更精细，因为它不是简单地让所有共同放电的神经元连接增强，而是让连接调整服务于减少预测误差。
这种学习方式具有重要生物合理性。突触只需要知道局部可获得的信息：突触前神经元活动、突触后误差信号以及局部调制状态。它不需要读取全局损失，也不需要等待远端层级传回精确导数。
预测编码与反向传播的关系
预测编码常被称为反向传播的生物合理替代方案，但更准确地说，它在某些条件下可以近似甚至重现反向传播的梯度计算。Whittington 与 Bogacz 的工作显示，预测编码网络可以在局部 Hebbian 突触可塑性的基础上近似误差反向传播。后续研究进一步表明，预测编码可以沿更一般的计算图近似反向传播梯度。
这说明二者并不是完全互不相干的阵营。反向传播提供了工程上非常高效的全局优化工具；预测编码则提供了一种通过神经活动松弛、局部误差传播和局部可塑性实现相似学习目标的动力学机制。
换言之，预测编码的价值在于提供一种可能更适合生物组织、神经形态硬件和分布式智能系统的学习范式。它把学习从一次性矩阵求导，重新解释为一个连续发生的局部自组织过程。
为什么它可能启发下一代 AI？
从人工智能角度看，预测编码至少具有四个潜在吸引力。
第一，它天然支持并行计算。每个层级和局部回路都可以根据相邻误差持续更新，不必等待一个全局反向阶段完成。
第二，它适合神经形态硬件，因为局部更新和事件驱动处理更接近神经芯片与脉冲神经网络的实现方式。
第三，它可能更适合持续学习。标准深度网络容易出现灾难性遗忘：新任务的全局误差更新可能覆盖旧知识结构。预测编码的局部误差更新有潜力更好地保留已有模型结构，虽然这一优势在不同任务、架构和训练条件下仍需具体验证。
第四，预测编码与生成模型、变分推断和主动推断之间存在深层联系。它不只是学习输入到输出的映射，而是学习一个可以解释输入、生成预测并处理不确定性的内部模型。这一点使其与未来面向世界模型、机器人、具身智能和自主智能体的 AI 架构具有天然关联。
必须保持清醒：预测编码不是万能答案
尽管预测编码极具吸引力，但它不是已经取代反向传播的万能算法。首先，工程深度学习中反向传播仍然效率极高、工具链成熟、可扩展性强。预测编码网络往往需要迭代松弛到平衡状态，这在某些任务中可能带来额外计算开销。
其次，生物合理性并不等于生物真实性。预测编码可以解释许多神经现象，但真实大脑远比标准层级预测编码模型复杂：皮层并非严格层状前馈-反馈结构，神经调质、振荡、胶质细胞、树突计算、身体反馈和主动行为都参与学习。
第三，预测编码是否在所有脑区、所有任务、所有学习阶段都占据核心地位，仍是开放问题。它更像一种强有力的理论框架和算法族，而不是一条已经被完全证实的统一定律。
结论：预测编码的真正意义
预测编码的重要性在于，它把学习重新放回了生物系统的真实约束中。它不再假设大脑是一台执行全局反向传播的数字计算机，而是假设大脑是一个持续预测、持续比较、持续修正的动力学系统。每个神经元和突触都在局部误差信号的驱动下参与整体模型的更新。
预测编码提出了一个深刻方向：未来的 AI 如果要更加稳健、节能、可解释、可持续学习，并且更接近生物智能，可能需要从“全局误差反传的工程机器”走向“局部预测误差驱动的动态系统”。这正是预测编码作为脑启发学习框架的理论魅力和技术价值。
参考文献
Rao, R. P. N., & Ballard, D. H. (1999). Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience, 2, 79–87.
Bogacz, R. (2017). A tutorial on the free-energy framework for modelling perception and learning. Journal of Mathematical Psychology, 76, 198–211.
Friston, K. (2018). Does predictive coding have a future? Nature Neuroscience, 21, 1019–1021.
Huang, Y., & Rao, R. P. N. (2011). Predictive coding. Wiley Interdisciplinary Reviews: Cognitive Science, 2, 580–593.
Keller, G. B., & Mrsic-Flogel, T. D. (2018). Predictive processing: a canonical cortical computation. Neuron, 100, 424–435.
Lillicrap, T. P., Santoro, A., Marris, L., Akerman, C. J., & Hinton, G. (2020). Backpropagation and the brain. Nature Reviews Neuroscience, 21, 335–346.
Whittington, J. C. R., & Bogacz, R. (2017). An approximation of the error backpropagation algorithm in a predictive coding network with local Hebbian synaptic plasticity. Neural Computation, 29, 1229–1262.
Millidge, B., Tschantz, A., & Buckley, C. L. (2022). Predictive coding approximates backprop along arbitrary computation graphs. Neural Computation, 34, 1329–1368.
Millidge, B., Seth, A., & Buckley, C. L. (2021). Predictive Coding: a Theoretical and Experimental Review. arXiv:2107.12979.
