第一部分：问题定义
1.1 目标
构建一套达到生物级能效比的 AI 系统。参照系：人脑 860 亿神经元、约 10^14–10^15 突触、20 瓦功耗、在线终身学习。当前 GPU 集群与之相差 5–6 个数量级。
1.2 核心论断
当前 AI 体系的能耗困境不是芯片工艺问题，而是范式问题。反向传播 + 稠密 Transformer + 冯·诺依曼硬件三者互为枷锁，任何单点优化都突破不了量级。需要四层同时变革：
算法层：稀疏激活（PEER 已验证）
结构层：稀疏连接 + 注意力的慢变量化（对应大脑突触拓扑）
学习层：局部化、无全局反传的学习规则（三因子规则等）
硬件层：存算一体 + 集群级权重驻留（CIM 已有量产先例）
第二部分：算法层——稀疏激活与检索
2.1 PEER 架构（DeepMind，2024）
方案：基于 Product-Key Memory（Lample et al., NeurIPS 2019）的神经元级细化。将 FFN 层替换为百万级微型专家（每个约 1/128 神经元大小），每 token 通过两级乘积键检索激活 128 个专家。
关键结论：
- 每 token 激活率 0.01%，性能对齐同算力稠密模型
- 扩展规律反直觉：增加专家数（存储）而不增计算，性能持续提升——计算量和知识容量解耦
- 天然支持终身学习：新知识挂载新专家，旧专家冻结不遗忘
2.2 可解释性支撑（Anthropic SAE）
稀疏自编码器证实：稠密网络内部本就"想"表达稀疏、单义的特征，只是被迫叠加存储。稀疏检索不是工程妥协，而是对知识真实组织形式（信息成团）的还原。
2.3 遗留问题
路由/检索器自身的可塑性没有局部学习解——第一代系统应冻结路由 + 增量挂载专家绕开此问题。
第三部分：结构层——稀疏连接与注意力的重新理解
3.1 大脑的稀疏度账本
- 86B 神经元 × 平均 7,000 突触 ≈ 10^14–10^15 连接（皮层突触文献常见估测 6×10^14）
- 全连接理论值：(8.6×10^10)^2 ≈ 7.4×10^21
- 连接密度 = 实际 / 理论 ≈ 10^-8 量级（亿分之一）；即使取上限 10^15 突触，也在 10^-7 量级（千万分之一）
- 激活稀疏：任一时刻仅 1–4% 神经元放电
- 突触稀疏 + 激活稀疏 + 学习局部化，三者相乘才是 20 瓦的完整解释
3.2 突触 = 固化的注意力（核心洞察）
数学结构同构：突触与注意力都是"有向加权影响分配"。区别在时间尺度：
| 维度 | Transformer 注意力 | 大脑突触 |
|---|---|---|
| 生成方式 | 每次前向现算 | 一生中由学习慢慢雕刻 |
| 存续 | 算完即丢 | 焊死在结构上 |
| 密度 | 稠密（每 token 看所有 token） | 稀疏（~10^-8，亿分之一量级） |
推论：KV cache 之所以爆炸，正是因为 Transformer 的"突触"没有结构化。注意力应从"每 token 的动态计算"降维为"稀疏结构上的慢变量"——连接由学习雕刻，激活只在已建通路上稀疏传导。PEER 的乘积键检索即此翻译的第一步。
3.3 注意：突触比注意力多两样东西
- 可塑性：突触自带局部学习机制（Hebbian），注意力权重没有"学自己"的能力
- 符号与时序动力学：兴奋/抑制、电导衰减、STDP——连接本身携带计算
第四部分：学习层——替代反向传播的算法体系
4.1 为什么必须替代
BP 的四大工程代价与皮层式硬件根本不匹配：
| BP 的需求 | 皮层范式的要求 | 冲突 |
|---|---|---|
| 存储全部中间激活 | 单元只存局部状态 | 显存爆炸 |
| 全局同步 | 异步事件驱动，无时钟 | 死锁 |
| 梯度通信 O(参数量) | 稀疏脉冲 + 几比特全局信号 | 网络拥塞 |
| 前向算完才能反向学（离线） | 边算边学（在线） | 无法终身学习 |
4.2 六条候选路线
| 路线 | 代表工作 | 机制 | 成熟度 |
|---|---|---|---|
| A. 层内局部损失 | Forward-Forward (Hinton 2022)、SoftHebb (ICLR 2023)、PEPITA | 每层局部目标，两次前向或单遍在线，无反向通道 | 小模型验证，ImageNet 级落后 BP |
| B. 三因子规则 ★ | e-prop (Nat. Commun. 2020)、R-STDP | 资格迹 × 全局标量调制信号 | TIMIT/Atari 接近 BPTT，生物证据最强 |
| C. 能量模型两阶段 | Equilibrium Propagation、Burst Propagation | 梯度 = 两次物理弛豫之差 | 与模拟 CIM 物理级匹配 |
| D. 解耦反馈 | DFA、Synthetic Gradients | 随机/自预测梯度，lock-free 异步 | 证明完美全局梯度非必要 |
| E. 无梯度兜底 | 进化策略 ES | 只传标量奖励 | 样本复杂度高 |
| F. 元学习可塑性 | Differentiable Plasticity | 元层搜索局部规则，部署时执行 | 可烧进 CIM 电路 |
推荐混合学习栈（自上而下）：
- 神经调质式全局广播（每秒几十比特）
- 决策层：e-prop / 三因子规则
- 系统反馈：predictive coding 局部误差
- 表示层：SoftHebb 无监督在线学习
- 知识层：冻结路由 + 增量专家
- 硬件层：CIM 就地 STDP 写入
4.3 真正的前沿：信用分配的规模化
局部规则优雅解决了时间和结构两个维度的信用分配（信号量 O(1) × 突触自查 O(局部)），但无任何路线在 ≥1B 参数语言模型上接近 BP。
决定性实验（目前全球无人做）：从 10M 到 1B 参数，画出局部规则与 BP 的性能-规模曲线。收敛 → 范式成立；发散 → 需要新数学。这是整个方向的生死线。
第五部分：硬件层——从芯片 CIM 到集群级存算一体
5.1 芯片级现状（并非从零开始）
- 知存科技：NOR Flash 模拟存算，2022 年已量产（全球首颗），微瓦级可穿戴
- 后摩智能：数字存算智驾芯片，2025 年底量产
- 三星 HBM-PIM / SK 海力士 GDDR-AiM：显存内嵌算力，数据中心无痛过渡方案
- IBM NorthPole（Nature 2023，12nm）：IBM 官方宣称每瓦帧数 25× 于同工艺 GPU——注意对比基线是 Nvidia V100（2017 年 12nm GPU）与 14nm CPU，V100 与 NorthPole 虽同为 12nm 工艺节点，但 V100 是 2017 年发布的通用 GPU，NorthPole 是 2023 年专用推理芯片；与当下 4–5nm 工艺的 H100/B200 比较时，差距会显著收窄。该数据点应视作"存算架构潜力证明"而非"绝对性能指标"
- Intel Loihi 2：异步脉冲网络，片上可编程学习规则（三因子规则的原生底座）
- 清华忆阻器片上学习芯片（Nature 2023）：边算边学的实物演示
瓶颈不在流片，在生态（CUDA 锁定）和精度（模拟计算的天花板）。
5.2 集群级存算一体（本讨论的原创综合）
核心反转：让数据走向权重，而不是权重走向计算。
- 每个节点 = 一颗带片上 CIM/SRAM 的推理芯片（几十 GB 级权重）+ 廉价以太网口
- 权重焊死在节点上永不搬家——节点数据因常驻而永远热，磁盘从热路径消失（只做 checkpoint）
- 激活沿稀疏通路在节点间流动（RDMA 直写、在网计算）
- 对应大脑：突触长在胞体上从不搬家，胼胝体传的是脉冲不是权重
与稠密模型分布式的本质区别：稠密模型是被手术式切碎强塞进集群的；稀疏权重库天生长成分布式的——无共享状态、无全局同步（配合局部学习）、故障模型友好（专家 2–3 副本，CDN 式降级）。
5.3 必须正视的三个新瓶颈
- 路由热点：长尾分布导致少数节点过载 → 热点专家算力级复制（复制的只是 0.0001% 热点）
- 串行链延迟：层间依赖的 RTT 叠加 → 流水线化 + 拓扑感知部署（按访问日志把常共现的专家放相邻节点——网络拓扑本身成为被学习的结构）
- 微秒级路由：查表+发包循环必须远小于专家计算 → RDMA 绕过内核是必选项
第六部分：经济学结论——算力大解放的真实结构
6.1 成本函数的重构
现在： 成本 ≈ f(总算力 × 时间)，权重捆绑在算力单元内
未来： 成本 ≈ f(激活算力) + g(存储容量) + h(检索带宽)
g、h 均比现在便宜 1–2 个数量级
6.2 三重解放
- 计算量：激活稀疏带来 2–3 个数量级的 FLOPs 削减
- 数据搬运：搬运是计算的百倍能耗（1pJ vs 100pJ），稀疏流 + CIM 削掉大头
- 显存墙：显存从"装下整个模型"变为"装下正在思考的部分"；金字塔仍在，但底座（PB 级廉价存储）变深几个数量级
6.3 结构性后果
- 模型大小与推理成本脱钩 → 千亿参数知识库的本地部署成本接近"一个大数据库"
- 集群互联需求降至以太网量级 → 无 NVLink 税、无 InfiniBand 光纤 → 从资本密集回归工程密集
- 存储产业（NAND、SSD 控制器、PIM）结构性受益——存储厂比算力厂更早看清这个趋势
- 解放基本只属于推理与部署侧；训练成本结构短期不变，直到局部学习算法规模化成功
第七部分：实施路线图
| 阶段 | 周期 | 内容 | 判据 |
|---|---|---|---|
| Phase 0 | 1–3 月 | 复现 SoftHebb/FF（CIFAR）；Lava 框架跑 e-prop | 建立基线 |
| Phase 1 | 3–12 月 | 10M 参数语言模型：局部规则 vs BP 对照；PEER 检索 + 冻结路由 | gap 量化 |
| Phase 2 | 1–2 年 | 集群原型：权重驻留节点 + RDMA 路由 + 拓扑感知部署；忆阻器/FPGA 在环 | 在线学习不遗忘；以太网集群可行性 |
| Phase 3 | 决定性 | 局部规则的性能-规模曲线（10M→1B） | 收敛则范式成立，发散则需新数学 |
第八部分：风险与诚实边界
- 最大风险在 Phase 3：局部学习算法从未在语言模型规模验证过，可能需要尚不存在的数学
- 模拟 CIM 的数值精度对大模型负载仍是硬伤；数字 CIM 密度低一截
- 路由系统是复杂性的新主场（负载均衡、预取、热点），取代了旧的存储分层问题
- 最可能的终局是混合而非全替代：离线预训练仍用 BP（集群反传），在线部署/终身学习/端侧写入用局部规则 + CIM
- 时间预估：端侧推理 1–3 年内已有真实产品；数据中心推理渗透 3–7 年；训练侧范式转移 8 年以上，取决于 Phase 3 结果
第九部分：主要参考文献
- Lample et al., NeurIPS 2019（Product-Key Memory 原始论文，arXiv:1907.05242）
- He et al. (DeepMind), 2024（PEER: Mixture of A Million Experts，基于 Lample 2019 的 PKM）
- Bellec et al., Nature Communications, 2020（e-prop）
- Hinton, arXiv:2212.13345, 2022（Forward-Forward）
- Scellier & Bengio, Frontiers in Computational Neuroscience, 2017（Equilibrium Propagation）
- Payeur et al., Nature Neuroscience, 2021（Burst Propagation）
- Sacramento et al., 2018（树突微电路）
- Journé et al., ICLR 2023（SoftHebb）
- Gerstner et al., Nature Reviews Neuroscience, 2018（资格迹三因子框架）
- Lillicrap et al., Nature Reviews Neuroscience, 2020（大脑中的 BP 近似）
- IBM Research / Modha et al., Science, 2023（NorthPole，对比基线：12nm V100 GPU 与 14nm CPU）
- 清华大学忆阻器片上学习芯片，Nature, 2023
总结论
大脑证明了 20 瓦通用智能在物理上是可能的，它的实现方式是三个稀疏的乘积：突触稀疏（连接密度约 10^-8 的慢变量，即被学习固化的注意力）、激活稀疏（任一时刻仅 1–4% 单元工作）、学习局部（每个突触只看自己两端就地更新）。
对应的工程蓝图已经齐备：PEER 式稀疏检索提供激活稀疏的算法形态，集群化权重驻留提供"让数据走向权重、权重永不离家"的部署形态，CIM 芯片提供"计算即学习副作用"的物理底座，三因子局部规则提供学习形态——四块拼图中三块已验证或量产，唯独缺一块：能在十亿级参数上完成信用分配的局部学习算法。谁先画出发散还是收敛的那条曲线，20 瓦就从隐喻变成产品。