光纤做AI“超大缓存”，从设想到落地难点在哪？

飞象原创（源初/文）近期，著名程序员、前ID Software创始人John Carmack发文提出了一个大胆的设想，利用光纤延迟线作为AI的高速缓存，从而解决如今人工智能计算领域的内存瓶颈问题。

光纤做AI“超大缓存”

Carmack思考使用一个长距离光纤回路作为某种二级缓存（L2 Cache），用于存储AI模型权重，以实现近乎零延迟和巨大的带宽。据他估算，目前单模光纤速度已达到256 Tb/s、传输距离超过200公里，也就意味着光纤线缆本身就包含着约32 GB的数据。

由于AI模型的权重在推理过程中可以顺序访问，Carmack认为可以将光纤回路作为数据缓存，以此保持AI加速器始终处于数据“喂饱”状态。此观点的逻辑在于把传统RAM想象成SSD与处理器之间的缓冲器，通过光纤作为超大缓存的设想旨在改进甚至彻底取代它。

使用光纤线路的主要现实益处在于节能。维持DRAM运行需要消耗大量电力，而管理光信号的能耗极低。此外，光的传播是可预测且易于处理的。Carmack指出：“光纤传输的发展轨迹可能优于DRAM。”

Carmack的思路原理类似20世纪中期的延迟线存储技术，当时用水银或声音波来存储数据。不过这种早期技术很难实际应用。甚至连图灵都曾提出用“杜松子酒混合物”作为介质的荒诞想法来说明问题。

落地难点在哪？

作为业内著名程序员，John Carmack的设想很快引发了讨论，然而就像很多设想一样，最初都会面临重重技术障碍，自然有着诸多在当前行业背景下的不可能，摆在从设想到落地的过程中。

部分人士认为，光纤“能做”和“能够胜任”AI缓存是两回事。光在光纤中传播速度约为2×10⁸m/s，如果铺设200 km光纤，单程延迟约1 ms，数据可以调制在光信号上，在光纤中“循环飞行”，只要不断放大/再生信号，就可以让数据在环形光纤中持续存在。但这一原理更像是光学延迟线存储。

现代AI系统需要具备随机访问、纳秒级延迟、大量并行通道的特征，而光学延迟线的“循环飞行”是顺序访问，无法快速定位某一特定地址。有人在讨论中形容：“它更像一个‘循环磁带’，而不是RAM或Cache。”另外，目前即使用“短光纤”，延迟也远高于GPU可接受范围，而在AI训练里，延迟远比容量更重要。

实际落地中的工程设计难题也可能比堆叠DRAM的方式复杂得多。众所周知，由于光在光纤中会衰减，需要EDFA放大器、时钟同步、光电转换等进行配合，来维持设想中的“循环飞行”，也就会带来能耗、抖动、误码率等问题。从而在当前条件的经济性上，还难以媲美现有内存范式。同时，光放大器和DSP处理器等设备，也会消耗大量电力，可能抵消掉预期节能优势。

围绕光纤的“超大缓存”设想，更像是一场面向内存墙难题的思想实验。它反映出如今AI时代算力与带宽失衡的核心矛盾，但短期内难以撼动DRAM与HBM的主流地位。但纵观技术发展史，很多如今成熟的技术，最初也均存在着诸多历史节点上难以逾越的门槛。