上海交通大學(xué)金賢敏、徐曉蕓團(tuán)隊(duì)發(fā)布新興薄膜鈮酸鋰高速電光引擎

  近日，上海交通大學(xué)金賢敏、徐曉蕓團(tuán)隊(duì)在光計(jì)算領(lǐng)域取得重要進(jìn)展，成功研發(fā)出高性能的薄膜鈮酸鋰高速電光引擎芯片，通過(guò)結(jié)合高效的數(shù)據(jù)編碼方案與電光引擎的優(yōu)異性能，實(shí)現(xiàn)了該芯片在光學(xué)量化神經(jīng)網(wǎng)絡(luò)中的應(yīng)用。該研究成果以「High-speed electro-optic engine for a quantized photonic neural network」為題，發(fā)表于國(guó)際光學(xué)權(quán)威期刊《 Optica》上。

  研究背景

  在過(guò)去幾十年里，芯片性能的提升主要依賴于「摩爾定律」——通過(guò)不斷縮小晶體管尺寸來(lái)提高計(jì)算能力。但如今，傳統(tǒng)電子芯片正逐漸逼近物理極限，性能提升變得越來(lái)越困難。而進(jìn)入到人工智能時(shí)代，大模型對(duì)于計(jì)算硬件的要求逐漸變高，科學(xué)家們開(kāi)始尋找新的計(jì)算方式，其中一種備受關(guān)注的方向，就是「用光來(lái)計(jì)算」。

圖1 高性能薄膜鈮酸鋰電光引擎芯片

  光子計(jì)算，簡(jiǎn)單來(lái)說(shuō)，就是讓光信號(hào)代替電子在芯片中進(jìn)行運(yùn)算。因?yàn)楣鈧鞑ニ俣葮O快，而且可以同時(shí)攜帶大量信息，所以它天生具備「高速」、「并行處理」和「低能耗」的優(yōu)勢(shì)，被認(rèn)為是未來(lái)高性能計(jì)算的重要候選技術(shù)之一。

  關(guān)鍵問(wèn)題：盡管光計(jì)算技術(shù)擁有許多優(yōu)勢(shì)，但要在實(shí)際應(yīng)用中全面發(fā)揮其潛力，仍面臨著許多關(guān)鍵問(wèn)題。最主要的挑戰(zhàn)之一是如何在「算得多、算得快、算得準(zhǔn)」之間找到一個(gè)平衡點(diǎn)。此外，隨著計(jì)算任務(wù)和數(shù)據(jù)量的增大，如何確保光計(jì)算在大規(guī)模應(yīng)用中依然高效且不產(chǎn)生過(guò)多的系統(tǒng)復(fù)雜性，也成為了一個(gè)亟待解決的問(wèn)題。

  新思路：為了解決這一難題，研究團(tuán)隊(duì)借鑒了目前人工智能領(lǐng)域的一項(xiàng)成熟技術(shù)——量化神經(jīng)網(wǎng)絡(luò)。簡(jiǎn)單理解，量化就是在不影響模型準(zhǔn)確率的前提下，把部分原本需要高精度表示的數(shù)據(jù)，用更少的精度位數(shù)來(lái)表示。就像把一張高清大圖適當(dāng)壓縮，同時(shí)保證視覺(jué)效果基本不變，從而可以大幅減少存儲(chǔ)空間和計(jì)算量。

圖2 關(guān)鍵問(wèn)題與求解思路

  研究團(tuán)隊(duì)進(jìn)行了高效的量化神經(jīng)網(wǎng)絡(luò)與高性能的集成光子芯片之間的協(xié)同設(shè)計(jì)，成功實(shí)現(xiàn)了大規(guī)模、高速度、量化精度的光電計(jì)算系統(tǒng)。這樣一來(lái)，在不明顯降低計(jì)算準(zhǔn)確率的情況下，就能有效壓縮模型規(guī)模，減少訓(xùn)練所需的內(nèi)存和算力。這項(xiàng)工作意味著，未來(lái)的光電計(jì)算系統(tǒng)有望在保持高模型準(zhǔn)確率的同時(shí)，實(shí)現(xiàn)更大規(guī)模和更高速度的運(yùn)算，為人工智能、大模型訓(xùn)練以及高性能計(jì)算等領(lǐng)域提供更高效、更節(jié)能的解決方案。

  高性能薄膜鈮酸鋰電光引擎芯片：超高速計(jì)算的硬件核心

  在本工作中，研究團(tuán)隊(duì)聯(lián)合圖靈量子團(tuán)隊(duì)經(jīng)過(guò)大量的工藝迭代，開(kāi)發(fā)并優(yōu)化了薄膜鈮酸鋰芯片制備工藝，依托上海交大無(wú)錫光子芯片研究院（CHIPX）光子芯片中試線制備出了性能優(yōu)異的薄膜鈮酸鋰高速電光引擎芯片，其在O波段8通道的電光帶寬都大于67GHz，調(diào)制效率Vπ·L < 2V·cm。研究團(tuán)隊(duì)同時(shí)設(shè)計(jì)了電光引擎的高速封裝方案設(shè)計(jì)，并進(jìn)行了定制化的高速封裝，使得其可以與多通道電驅(qū)動(dòng)匹配，從而可以滿足高速光計(jì)算的需求。

圖3 薄膜鈮酸鋰電光引擎的結(jié)構(gòu)與性能測(cè)試

  高效的數(shù)據(jù)編碼方案：加速光計(jì)算的關(guān)鍵

  研究團(tuán)隊(duì)提出并實(shí)驗(yàn)驗(yàn)證了一種緊湊高效的輸入-權(quán)重并行編碼方案，首先利用時(shí)分復(fù)用將輸入數(shù)據(jù)編碼在電光調(diào)制器的電調(diào)電極上，其次通過(guò)調(diào)節(jié)電光調(diào)制器的熱調(diào)電極的電壓，使電光調(diào)制器工作在不同的偏置點(diǎn)，以實(shí)現(xiàn)不同的權(quán)重映射，從而可以利用單個(gè)電光調(diào)制器實(shí)現(xiàn)乘法運(yùn)算。高速電光引擎的每個(gè)通道都可以被編碼為不同的權(quán)重，同時(shí)在計(jì)算時(shí)保持固定，從而使整個(gè)計(jì)算系統(tǒng)能夠以電調(diào)電極的高速編碼速度運(yùn)行。

圖4 輸入-權(quán)重并行編碼方案的示意圖與實(shí)驗(yàn)結(jié)果

  創(chuàng)新的光學(xué)量化神經(jīng)網(wǎng)絡(luò)：高效分類與大幅模型壓縮

  通過(guò)使用上述高效的編碼方案，研究團(tuán)隊(duì)實(shí)驗(yàn)演示了薄膜鈮酸鋰高速電光引擎在不同編碼速度（100Gbaud、1Mbaud）和不同量化精度（1bit、2bit、4bit）的條件下對(duì)基于量化卷積神經(jīng)網(wǎng)絡(luò)的MNIST手寫數(shù)字進(jìn)行分類，在不同情況下均可以實(shí)現(xiàn)大于95%的準(zhǔn)確率。其中全量化方案實(shí)現(xiàn)了超過(guò)95%的模型壓縮率，顯著降低了存儲(chǔ)需求和計(jì)算開(kāi)銷。

  此外，為了展示光學(xué)量化神經(jīng)網(wǎng)絡(luò)更廣泛的應(yīng)用，研究團(tuán)隊(duì)還使用薄膜鈮酸鋰高速電光引擎對(duì)基于量化圖神經(jīng)網(wǎng)絡(luò)的Cora數(shù)據(jù)集進(jìn)行節(jié)點(diǎn)分類，在100Gbaud編碼速度下，實(shí)驗(yàn)分類準(zhǔn)確率達(dá)到80%，與模擬結(jié)果十分接近（80.8%）。

圖6 基于量化圖神經(jīng)網(wǎng)絡(luò)的Cora節(jié)點(diǎn)分類任務(wù)的實(shí)驗(yàn)結(jié)果

  本工作基于薄膜鈮酸鋰電光引擎首次展示了一種大規(guī)模、高速、量化精度光子神經(jīng)網(wǎng)絡(luò)，結(jié)合這種光學(xué)量化神經(jīng)網(wǎng)絡(luò)方案，高性能薄膜鈮酸鋰電光引擎在計(jì)算速度、計(jì)算能效和計(jì)算密度方面均展現(xiàn)出卓越的系統(tǒng)級(jí)性能。該方案可以滿足高性能計(jì)算的需求，使未來(lái)光子人工智能計(jì)算機(jī)的實(shí)現(xiàn)成為可能。

  上海交通大學(xué)物理與天文學(xué)院博士研究生韓豐愷、李軒坤博士和趙晨明博士為本文的共同第一作者，金賢敏教授、徐曉蕓助理研究員為論文通訊作者。合作者包括圖靈量子、上海交大無(wú)錫光子芯片研究院（CHIPX）的工程研發(fā)人員。本研究工作得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金委員會(huì)、上海市科學(xué)技術(shù)委員會(huì)、上海市教育委員會(huì)、上海市人才計(jì)劃、量子科學(xué)與技術(shù)創(chuàng)新計(jì)劃、江蘇省前沿科技研發(fā)計(jì)劃等項(xiàng)目的資助。