作者：Ryan Hamerly；來源：IEEE Spectrum；編譯：昕甬智測實驗室
說到人工智能，你會想到什么呢？圖像識別、語音識別、語言翻譯、醫(yī)療診斷和自動駕駛？這些任務(wù)在不久以前仍然依靠人類大腦，現(xiàn)在大多可以由計算機(jī)完成。
圖一 如今，復(fù)雜的人臉識別已經(jīng)可以由人工智能完成 | Pixabay
促成這些驚人發(fā)展的技術(shù)稱為深度學(xué)習(xí)（deep learning），指的是被稱為“人工神經(jīng)網(wǎng)絡(luò)（artificial neural network）”的數(shù)學(xué)模型。 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個子領(lǐng)域，其概念是將復(fù)雜模型與數(shù)據(jù)擬合。
雖然機(jī)器學(xué)習(xí)已經(jīng)存在了很長時間，但由于對計算能力有更高的要求，深度學(xué)習(xí)的發(fā)展較為緩慢。這促使工程師開發(fā)專門針對深度學(xué)習(xí)的電子硬件加速器，谷歌的張量處理單元（Tensor Processing Unit, TPU）就是一例。
神經(jīng)網(wǎng)絡(luò)計算的需求與挑戰(zhàn)
首先，我們先來大致了解一下神經(jīng)網(wǎng)絡(luò)計算。人工神經(jīng)元是使用在某種數(shù)字電子計算機(jī)上運行的特殊軟件構(gòu)建的。該軟件為給定的神經(jīng)元提供多個輸入和一個輸出。每個神經(jīng)元的狀態(tài)取決于其輸入的加權(quán)和，而這些輸入是由非線性函數(shù)（稱為激活函數(shù)）決定的。然后這個神經(jīng)元的輸出再成為各種其他神經(jīng)元的輸入。
圖二 實現(xiàn)深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)計算 | https://quantdare.com/what-is-the-difference-between-deep-learning-and-machine-learning/
為了計算效率，這些神經(jīng)元被分組到層中，神經(jīng)元只連接到相鄰層的神經(jīng)元。這些運算仰賴大量的線性代數(shù)計算（矩陣乘法），并且數(shù)學(xué)技巧的以被應(yīng)用來加速計算。隨著網(wǎng)絡(luò)規(guī)模的增長，這些計算是深度學(xué)習(xí)中計算要求最高的部分。
現(xiàn)代計算機(jī)硬件已經(jīng)針對矩陣運算進(jìn)行了很好的優(yōu)化。我們可以將深度學(xué)習(xí)的相關(guān)矩陣計算歸結(jié)為大量的乘法和加法運算，就是將成對的數(shù)字相乘并將它們的乘積相加。過去二十多年來，深度學(xué)習(xí)需要越來越多的乘法累加運算，計算機(jī)的性能也基本遵循摩爾定律大幅增長。然而，隨著半導(dǎo)體工藝發(fā)展到臨近極限，摩爾定律已經(jīng)失去動力，繼續(xù)保持成長趨勢是一個極大的挑戰(zhàn)。
并且，訓(xùn)練當(dāng)今的大型神經(jīng)網(wǎng)絡(luò)通常會產(chǎn)生顯著的環(huán)境影響。例如，2019 年的一項研究發(fā)現(xiàn)，訓(xùn)練某個深度神經(jīng)網(wǎng)絡(luò)進(jìn)行自然語言處理所產(chǎn)生的二氧化碳排放量，是一輛汽車在其“使用壽命”內(nèi)產(chǎn)生的二氧化碳排放量的五倍。
圖三 深度神經(jīng)網(wǎng)絡(luò)計算造成的碳排放不容小覷 | Pixabay
光學(xué)可以解決問題嗎？
數(shù)字電子計算機(jī)的改進(jìn)使深度學(xué)習(xí)得以蓬勃發(fā)展。但這并不意味著進(jìn)行神經(jīng)網(wǎng)絡(luò)計算的唯一方法就是使用此類機(jī)器。幾十年前，當(dāng)數(shù)字計算機(jī)還相對原始時，一些工程師使用模擬計算機(jī)來解決困難的計算。隨著數(shù)字電子技術(shù)的改進(jìn)，那些模擬計算機(jī)被淘汰了。但現(xiàn)在可能是再次采用該策略的時候了，特別是當(dāng)模擬計算可以通過光學(xué)方式完成時。
眾所周知，光纖可以支持比電線高得多的數(shù)據(jù)速率。如今光數(shù)據(jù)鏈路取代了銅線，光數(shù)據(jù)通信速度更快，功耗更低。
圖四 光纖通信速度快，功耗低 | Pixabay
光學(xué)計算具備同樣的優(yōu)勢。但是通信數(shù)據(jù)和計算之間有很大的區(qū)別。這就是模擬光學(xué)方法遇到障礙的地方。傳統(tǒng)計算機(jī)基于晶體管，晶體管是非線性的電路元件——它們的輸出不僅與輸入成正比，其非線性特性可以決定什么時候讓晶體管打開和關(guān)閉，因此被塑造成邏輯門。但是光子遵循麥克斯韋方程，因此光學(xué)設(shè)備的輸出通常與其輸入成正比。
利用光學(xué)來做線性代數(shù)
為了說明如何做到這一點，我將在這里描述一個光子設(shè)備，當(dāng)它與一些簡單的模擬電子設(shè)備耦合時，可以將兩個矩陣相乘。我和我的麻省理工學(xué)院同事發(fā)表了一篇相關(guān)的論文，我們現(xiàn)在正在努力構(gòu)建這樣一個光學(xué)矩陣乘法器。
圖五 麻省理工學(xué)院提出的光學(xué)矩陣乘法器
該設(shè)備中的基本計算單元是一個分束器（BS，beam splitter）。從側(cè)面向其中發(fā)送一束光，分束器將允許一半光直接穿過它，而另一半則從有角度的鏡子反射，使其與入射光束成90度反彈.
現(xiàn)在將第二束光垂直于第一束光照射到該分束器中，使其照射到鏡子的另一側(cè)。該第二光束的一半將類似地以90度角透射和反射。兩個輸出光束將與第一個光束的兩個輸出組合。所以這個分束器BS有兩個輸入和兩個輸出。
要使用此設(shè)備進(jìn)行矩陣乘法，需要生成兩個光束，其電場強(qiáng)度x和y與要相乘的兩個數(shù)字成正比。將這兩束光照射到分束器中產(chǎn)生兩個輸出，其電場值為 (x + y)/√2 和 (x ? y)/√2。
然后我們還需要兩個簡單的電子元件——光電探測器——來測量兩個輸出光束。他們測量光束的功率，該功率與其電場強(qiáng)度的平方成正比。你會得到 (x2 + 2xy + y2)/2 和 (x2 ? 2xy + y2)/2 ，相減后得到 2xy ，是一個與兩個數(shù)字的乘積成正比的信號。由此，我們可以構(gòu)建一個輸出信號與兩個輸入信號乘積成正比的光學(xué)計算單元。
光學(xué)計算如何節(jié)省能耗？
上述實驗中的光束并不需要保持穩(wěn)定。事實上，兩個輸入可以為脈沖光束，并且我們可以將輸出信號饋送到電容器中，然后只要輸入脈沖持續(xù)，電容就會積累電荷。這樣的操作便實現(xiàn)了乘法累加運算。
以這種方式使用脈沖光可以快速順序執(zhí)行許多此類操作。其中最耗能的部分是讀取該電容器上的電壓，這需要一個模數(shù)轉(zhuǎn)換器。但是你不必在每個脈沖之后都這樣做——你可以等到一系列的結(jié)束，比如 N 個脈沖。這意味著該設(shè)備可以使用相同的能量執(zhí)行 N 次乘法累加運算，以讀取 N 是小還是大的答案。這里，N 對應(yīng)于神經(jīng)網(wǎng)絡(luò)中每層的神經(jīng)元數(shù)量，很容易達(dá)到數(shù)千個。所以這個策略消耗的能量很少。
我們也可以考慮在輸入端節(jié)省能源。這是因為相同的值經(jīng)常被用作多個神經(jīng)元的輸入。與其將這個數(shù)字多次轉(zhuǎn)換為光——每次都消耗能量——它可以只轉(zhuǎn)換一次，產(chǎn)生的光束可以分成許多通道。通過這種方式，輸入轉(zhuǎn)換的能源成本可以在許多操作中分?jǐn)偂?/span>
其他光學(xué)計算相關(guān)工作
將一束光束分成多個通道不需要比透鏡更復(fù)雜的事情，但將透鏡放在芯片上可能很棘手。因此，我們正在開發(fā)的以光學(xué)方式執(zhí)行神經(jīng)網(wǎng)絡(luò)計算的設(shè)備，很可能最終成為一種混合體，它將高度集成的光子芯片與單獨的光學(xué)元件結(jié)合在一起。
我在這里概述了麻省理工一直在追求的策略，但還有其他類似的工作。另一個很有前景的方案是基于一種叫做馬赫-曾德干涉儀（MZ干涉儀）的東西，它結(jié)合了兩個分束器和兩個全反射鏡。它也可用于以光學(xué)方式進(jìn)行矩陣乘法。兩家麻省理工學(xué)院的初創(chuàng)公司 Lightmatter 和 Lightelligence 正在開發(fā)基于這種方法的光學(xué)神經(jīng)網(wǎng)絡(luò)加速器。 Lightmatter 已經(jīng)構(gòu)建了一個原型，該原型使用其制造的光學(xué)芯片。該公司預(yù)計將在今年晚些時候開始銷售使用該芯片的光加速器板。
另一家使用光學(xué)進(jìn)行計算的初創(chuàng)公司是 Optalysis，它希望復(fù)興一個相當(dāng)古老的概念。早在 1960 年代，光學(xué)計算的首批用途之一就是處理合成孔徑雷達(dá)（synthetic-aperture radar）數(shù)據(jù)。挑戰(zhàn)的一個關(guān)鍵部分是將稱為傅立葉變換的數(shù)學(xué)運算應(yīng)用于測量數(shù)據(jù)。當(dāng)時的數(shù)字計算機(jī)一直在努力解決這些問題。即使是現(xiàn)在，將傅立葉變換應(yīng)用于大量數(shù)據(jù)也可能是計算密集型的。但是傅立葉變換可以在光學(xué)上進(jìn)行，只需要一個鏡頭，這就是多年來工程師處理合成孔徑數(shù)據(jù)的方式。Optalysis 希望將這種方法更新并更廣泛地應(yīng)用。
還有一家名為 Luminous 的公司，是從普林斯頓大學(xué)分拆出來的，該公司正致力于創(chuàng)建基于激光神經(jīng)元的尖峰（spiking）神經(jīng)網(wǎng)絡(luò)。尖峰神經(jīng)網(wǎng)絡(luò)更接近地模仿生物神經(jīng)網(wǎng)絡(luò)的工作方式，并且像我們自己的大腦一樣，能夠使用很少的能量進(jìn)行計算。 Luminous 的硬件仍處于開發(fā)的早期階段，但結(jié)合兩種節(jié)能方法（尖峰和光學(xué)）的承諾非常令人興奮。
光學(xué)計算的現(xiàn)實挑戰(zhàn)
當(dāng)然，仍有許多技術(shù)挑戰(zhàn)需要克服。一是提高模擬光學(xué)計算的精度和動態(tài)范圍，這遠(yuǎn)不及數(shù)字電子設(shè)備所能達(dá)到的效果。這是因為這些光學(xué)處理器受到各種噪聲源的影響，而且用于輸入和輸出數(shù)據(jù)的數(shù)模轉(zhuǎn)換器和模數(shù)轉(zhuǎn)換器精度有限。事實上，很難想象一個光學(xué)神經(jīng)網(wǎng)絡(luò)的運行精度超過 8 到 10 位。雖然存在 8 位電子深度學(xué)習(xí)硬件（Google TPU 就是一個很好的例子），但這個行業(yè)需要更高的精度，尤其是神經(jīng)網(wǎng)絡(luò)訓(xùn)練。
將光學(xué)元件集成到芯片上也存在困難。由于這些組件的尺寸為數(shù)十微米，因此無法像晶體管一樣緊密地封裝，因此所需的芯片面積會迅速增加。麻省理工學(xué)院研究人員在 2017 年對這種方法的演示實現(xiàn)在一個邊長為 1.5 毫米的芯片上，即使是最大的芯片也不大于幾平方厘米，這限制了可以通過這種方式并行處理的矩陣大小。
圖六 這張計算機(jī)渲染圖為作者和他的同事為使用光執(zhí)行神經(jīng)網(wǎng)絡(luò)計算而設(shè)計的光子芯片上的圖案
光子具有將深度學(xué)習(xí)加速幾個數(shù)量級的潛力
光子學(xué)研究人員傾向于在計算機(jī)架構(gòu)方面解決許多其他問題。但很清楚的是，至少在理論上，光子學(xué)有可能將深度學(xué)習(xí)加速幾個數(shù)量級。
基于當(dāng)前可用于各種組件（光調(diào)制器、檢測器、放大器、模數(shù)轉(zhuǎn)換器）的技術(shù)，可以合理地認(rèn)為神經(jīng)網(wǎng)絡(luò)計算的能源效率可以比當(dāng)今的電子處理器高 1,000 倍。如果對新興光學(xué)技術(shù)做出更激進(jìn)的假設(shè)，這個因素可能高達(dá)一百萬。而且由于電子處理器功率有限，這些能源效率的改進(jìn)很可能會轉(zhuǎn)化為相應(yīng)的速度改進(jìn)。
模擬光學(xué)計算中的許多概念已有數(shù)十年歷史。有些甚至早于硅計算機(jī)。 1970 年代首次展示了光學(xué)矩陣乘法，甚至是光學(xué)神經(jīng)網(wǎng)絡(luò)的方案。但這種方法并沒有流行起來。這次會有所不同嗎？可能，出于三個原因。首先，深度學(xué)習(xí)現(xiàn)在真正有用，而不僅僅是學(xué)術(shù)上的好奇。其次，我們不能僅僅依靠摩爾定律來繼續(xù)改進(jìn)電子產(chǎn)品。最后，我們有了前幾代人沒有的新技術(shù)：集成光子學(xué)。這些因素表明，光神經(jīng)網(wǎng)絡(luò)這次將真正到來——而且這種計算的未來可能確實是光子的。
原文鏈接：https://spectrum.ieee.org/computing/hardware/the-future-of-deep-learning-is-photonic
作者：Ryan Hamerly 是 NTT Research 的高級科學(xué)家，也是麻省理工學(xué)院量子光子學(xué)實驗室的訪問科學(xué)家。
譯者：昕甬智測實驗室隸屬于寧波海爾新光電科技有限公司，專注于中遠(yuǎn)紅外激光光譜檢測技術(shù)（QCL/ICL+TDLAS），致力推動激光光譜技術(shù)的產(chǎn)業(yè)化應(yīng)用，以激光之精，見世界之美。
電話：