光纖做AI“超大緩存”，從設(shè)想到落地難點(diǎn)在哪？

  ICC訊   近期，著名程序員、前ID Software創(chuàng)始人John Carmack發(fā)文提出了一個(gè)大膽的設(shè)想，利用光纖延遲線作為AI的高速緩存，從而解決如今人工智能計(jì)算領(lǐng)域的內(nèi)存瓶頸問(wèn)題。

  光纖做AI“超大緩存”

  Carmack思考使用一個(gè)長(zhǎng)距離光纖回路作為某種二級(jí)緩存（L2 Cache），用于存儲(chǔ)AI模型權(quán)重，以實(shí)現(xiàn)近乎零延遲和巨大的帶寬。據(jù)他估算，目前單模光纖速度已達(dá)到256 Tb/s、傳輸距離超過(guò)200公里，也就意味著光纖線纜本身就包含著約32 GB的數(shù)據(jù)。

  由于AI模型的權(quán)重在推理過(guò)程中可以順序訪問(wèn)，Carmack認(rèn)為可以將光纖回路作為數(shù)據(jù)緩存，以此保持AI加速器始終處于數(shù)據(jù)“喂飽”狀態(tài)。此觀點(diǎn)的邏輯在于把傳統(tǒng)RAM想象成SSD與處理器之間的緩沖器，通過(guò)光纖作為超大緩存的設(shè)想旨在改進(jìn)甚至徹底取代它。

  使用光纖線路的主要現(xiàn)實(shí)益處在于節(jié)能。維持DRAM運(yùn)行需要消耗大量電力，而管理光信號(hào)的能耗極低。此外，光的傳播是可預(yù)測(cè)且易于處理的。Carmack指出：“光纖傳輸?shù)陌l(fā)展軌跡可能優(yōu)于DRAM。”

  Carmack的思路原理類似20世紀(jì)中期的延遲線存儲(chǔ)技術(shù)，當(dāng)時(shí)用水銀或聲音波來(lái)存儲(chǔ)數(shù)據(jù)。不過(guò)這種早期技術(shù)很難實(shí)際應(yīng)用。甚至連圖靈都曾提出用“杜松子酒混合物”作為介質(zhì)的荒誕想法來(lái)說(shuō)明問(wèn)題。

  落地難點(diǎn)在哪？

  作為業(yè)內(nèi)著名程序員，John Carmack的設(shè)想很快引發(fā)了討論，然而就像很多設(shè)想一樣，最初都會(huì)面臨重重技術(shù)障礙，自然有著諸多在當(dāng)前行業(yè)背景下的不可能，擺在從設(shè)想到落地的過(guò)程中。

  部分人士認(rèn)為，光纖“能做”和“能夠勝任”AI緩存是兩回事。光在光纖中傳播速度約為2×10?m/s，如果鋪設(shè)200 km光纖，單程延遲約1 ms，數(shù)據(jù)可以調(diào)制在光信號(hào)上，在光纖中“循環(huán)飛行”，只要不斷放大/再生信號(hào)，就可以讓數(shù)據(jù)在環(huán)形光纖中持續(xù)存在。但這一原理更像是光學(xué)延遲線存儲(chǔ)。

  現(xiàn)代AI系統(tǒng)需要具備隨機(jī)訪問(wèn)、納秒級(jí)延遲、大量并行通道的特征，而光學(xué)延遲線的“循環(huán)飛行”是順序訪問(wèn)，無(wú)法快速定位某一特定地址。有人在討論中形容：“它更像一個(gè)‘循環(huán)磁帶’，而不是RAM或Cache。”另外，目前即使用“短光纖”，延遲也遠(yuǎn)高于GPU可接受范圍，而在AI訓(xùn)練里，延遲遠(yuǎn)比容量更重要。

  實(shí)際落地中的工程設(shè)計(jì)難題也可能比堆疊DRAM的方式復(fù)雜得多。眾所周知，由于光在光纖中會(huì)衰減，需要EDFA放大器、時(shí)鐘同步、光電轉(zhuǎn)換等進(jìn)行配合，來(lái)維持設(shè)想中的“循環(huán)飛行”，也就會(huì)帶來(lái)能耗、抖動(dòng)、誤碼率等問(wèn)題。從而在當(dāng)前條件的經(jīng)濟(jì)性上，還難以媲美現(xiàn)有內(nèi)存范式。同時(shí)，光放大器和DSP處理器等設(shè)備，也會(huì)消耗大量電力，可能抵消掉預(yù)期節(jié)能優(yōu)勢(shì)。

  圍繞光纖的“超大緩存”設(shè)想，更像是一場(chǎng)面向內(nèi)存墻難題的思想實(shí)驗(yàn)。它反映出如今AI時(shí)代算力與帶寬失衡的核心矛盾，但短期內(nèi)難以撼動(dòng)DRAM與HBM的主流地位。但縱觀技術(shù)發(fā)展史，很多如今成熟的技術(shù)，最初也均存在著諸多歷史節(jié)點(diǎn)上難以逾越的門檻。