作者：Ryan Hamerly；來源：IEEE Spectrum；編譯：昕甬智測實驗室
說到人工智能，你會想到什么呢？圖像識別、語音識別、語言翻譯、醫(yī)療診斷和自動駕駛？這些任務(wù)在不久以前仍然依靠人類大腦，現(xiàn)在大多可以由計算機完成。
圖一 如今，復雜的人臉識別已經(jīng)可以由人工智能完成 | Pixabay
促成這些驚人發(fā)展的技術(shù)稱為深度學習（deep learning），指的是被稱為“人工神經(jīng)網(wǎng)絡(luò)（artificial neural network）”的數(shù)學模型。 深度學習是機器學習的一個子領(lǐng)域，其概念是將復雜模型與數(shù)據(jù)擬合。
雖然機器學習已經(jīng)存在了很長時間，但由于對計算能力有更高的要求，深度學習的發(fā)展較為緩慢。這促使工程師開發(fā)專門針對深度學習的電子硬件加速器，谷歌的張量處理單元（Tensor Processing Unit, TPU）就是一例。
神經(jīng)網(wǎng)絡(luò)計算的需求與挑戰(zhàn)
首先，我們先來大致了解一下神經(jīng)網(wǎng)絡(luò)計算。人工神經(jīng)元是使用在某種數(shù)字電子計算機上運行的特殊軟件構(gòu)建的。該軟件為給定的神經(jīng)元提供多個輸入和一個輸出。每個神經(jīng)元的狀態(tài)取決于其輸入的加權(quán)和，而這些輸入是由非線性函數(shù)（稱為激活函數(shù)）決定的。然后這個神經(jīng)元的輸出再成為各種其他神經(jīng)元的輸入。
圖二 實現(xiàn)深度學習的神經(jīng)網(wǎng)絡(luò)計算 | https://quantdare.com/what-is-the-difference-between-deep-learning-and-machine-learning/
為了計算效率，這些神經(jīng)元被分組到層中，神經(jīng)元只連接到相鄰層的神經(jīng)元。這些運算仰賴大量的線性代數(shù)計算（矩陣乘法），并且數(shù)學技巧的以被應(yīng)用來加速計算。隨著網(wǎng)絡(luò)規(guī)模的增長，這些計算是深度學習中計算要求最高的部分。
現(xiàn)代計算機硬件已經(jīng)針對矩陣運算進行了很好的優(yōu)化。我們可以將深度學習的相關(guān)矩陣計算歸結(jié)為大量的乘法和加法運算，就是將成對的數(shù)字相乘并將它們的乘積相加。過去二十多年來，深度學習需要越來越多的乘法累加運算，計算機的性能也基本遵循摩爾定律大幅增長。然而，隨著半導體工藝發(fā)展到臨近極限，摩爾定律已經(jīng)失去動力，繼續(xù)保持成長趨勢是一個極大的挑戰(zhàn)。
并且，訓練當今的大型神經(jīng)網(wǎng)絡(luò)通常會產(chǎn)生顯著的環(huán)境影響。例如，2019 年的一項研究發(fā)現(xiàn)，訓練某個深度神經(jīng)網(wǎng)絡(luò)進行自然語言處理所產(chǎn)生的二氧化碳排放量，是一輛汽車在其“使用壽命”內(nèi)產(chǎn)生的二氧化碳排放量的五倍。
圖三 深度神經(jīng)網(wǎng)絡(luò)計算造成的碳排放不容小覷 | Pixabay
光學可以解決問題嗎？
數(shù)字電子計算機的改進使深度學習得以蓬勃發(fā)展。但這并不意味著進行神經(jīng)網(wǎng)絡(luò)計算的唯一方法就是使用此類機器。幾十年前，當數(shù)字計算機還相對原始時，一些工程師使用模擬計算機來解決困難的計算。隨著數(shù)字電子技術(shù)的改進，那些模擬計算機被淘汰了。但現(xiàn)在可能是再次采用該策略的時候了，特別是當模擬計算可以通過光學方式完成時。
眾所周知，光纖可以支持比電線高得多的數(shù)據(jù)速率。如今光數(shù)據(jù)鏈路取代了銅線，光數(shù)據(jù)通信速度更快，功耗更低。
圖四 光纖通信速度快，功耗低 | Pixabay
光學計算具備同樣的優(yōu)勢。但是通信數(shù)據(jù)和計算之間有很大的區(qū)別。這就是模擬光學方法遇到障礙的地方。傳統(tǒng)計算機基于晶體管，晶體管是非線性的電路元件——它們的輸出不僅與輸入成正比，其非線性特性可以決定什么時候讓晶體管打開和關(guān)閉，因此被塑造成邏輯門。但是光子遵循麥克斯韋方程，因此光學設(shè)備的輸出通常與其輸入成正比。
利用光學來做線性代數(shù)
為了說明如何做到這一點，我將在這里描述一個光子設(shè)備，當它與一些簡單的模擬電子設(shè)備耦合時，可以將兩個矩陣相乘。我和我的麻省理工學院同事發(fā)表了一篇相關(guān)的論文，我們現(xiàn)在正在努力構(gòu)建這樣一個光學矩陣乘法器。
圖五 麻省理工學院提出的光學矩陣乘法器
該設(shè)備中的基本計算單元是一個分束器（BS，beam splitter）。從側(cè)面向其中發(fā)送一束光，分束器將允許一半光直接穿過它，而另一半則從有角度的鏡子反射，使其與入射光束成90度反彈.
現(xiàn)在將第二束光垂直于第一束光照射到該分束器中，使其照射到鏡子的另一側(cè)。該第二光束的一半將類似地以90度角透射和反射。兩個輸出光束將與第一個光束的兩個輸出組合。所以這個分束器BS有兩個輸入和兩個輸出。
要使用此設(shè)備進行矩陣乘法，需要生成兩個光束，其電場強度x和y與要相乘的兩個數(shù)字成正比。將這兩束光照射到分束器中產(chǎn)生兩個輸出，其電場值為 (x + y)/√2 和 (x ? y)/√2。
然后我們還需要兩個簡單的電子元件——光電探測器——來測量兩個輸出光束。他們測量光束的功率，該功率與其電場強度的平方成正比。你會得到 (x2 + 2xy + y2)/2 和 (x2 ? 2xy + y2)/2 ，相減后得到 2xy ，是一個與兩個數(shù)字的乘積成正比的信號。由此，我們可以構(gòu)建一個輸出信號與兩個輸入信號乘積成正比的光學計算單元。
光學計算如何節(jié)省能耗？
上述實驗中的光束并不需要保持穩(wěn)定。事實上，兩個輸入可以為脈沖光束，并且我們可以將輸出信號饋送到電容器中，然后只要輸入脈沖持續(xù)，電容就會積累電荷。這樣的操作便實現(xiàn)了乘法累加運算。
以這種方式使用脈沖光可以快速順序執(zhí)行許多此類操作。其中最耗能的部分是讀取該電容器上的電壓，這需要一個模數(shù)轉(zhuǎn)換器。但是你不必在每個脈沖之后都這樣做——你可以等到一系列的結(jié)束，比如 N 個脈沖。這意味著該設(shè)備可以使用相同的能量執(zhí)行 N 次乘法累加運算，以讀取 N 是小還是大的答案。這里，N 對應(yīng)于神經(jīng)網(wǎng)絡(luò)中每層的神經(jīng)元數(shù)量，很容易達到數(shù)千個。所以這個策略消耗的能量很少。
我們也可以考慮在輸入端節(jié)省能源。這是因為相同的值經(jīng)常被用作多個神經(jīng)元的輸入。與其將這個數(shù)字多次轉(zhuǎn)換為光——每次都消耗能量——它可以只轉(zhuǎn)換一次，產(chǎn)生的光束可以分成許多通道。通過這種方式，輸入轉(zhuǎn)換的能源成本可以在許多操作中分攤。
其他光學計算相關(guān)工作
將一束光束分成多個通道不需要比透鏡更復雜的事情，但將透鏡放在芯片上可能很棘手。因此，我們正在開發(fā)的以光學方式執(zhí)行神經(jīng)網(wǎng)絡(luò)計算的設(shè)備，很可能最終成為一種混合體，它將高度集成的光子芯片與單獨的光學元件結(jié)合在一起。
我在這里概述了麻省理工一直在追求的策略，但還有其他類似的工作。另一個很有前景的方案是基于一種叫做馬赫-曾德干涉儀（MZ干涉儀）的東西，它結(jié)合了兩個分束器和兩個全反射鏡。它也可用于以光學方式進行矩陣乘法。兩家麻省理工學院的初創(chuàng)公司 Lightmatter 和 Lightelligence 正在開發(fā)基于這種方法的光學神經(jīng)網(wǎng)絡(luò)加速器。 Lightmatter 已經(jīng)構(gòu)建了一個原型，該原型使用其制造的光學芯片。該公司預(yù)計將在今年晚些時候開始銷售使用該芯片的光加速器板。
另一家使用光學進行計算的初創(chuàng)公司是 Optalysis，它希望復興一個相當古老的概念。早在 1960 年代，光學計算的首批用途之一就是處理合成孔徑雷達（synthetic-aperture radar）數(shù)據(jù)。挑戰(zhàn)的一個關(guān)鍵部分是將稱為傅立葉變換的數(shù)學運算應(yīng)用于測量數(shù)據(jù)。當時的數(shù)字計算機一直在努力解決這些問題。即使是現(xiàn)在，將傅立葉變換應(yīng)用于大量數(shù)據(jù)也可能是計算密集型的。但是傅立葉變換可以在光學上進行，只需要一個鏡頭，這就是多年來工程師處理合成孔徑數(shù)據(jù)的方式。Optalysis 希望將這種方法更新并更廣泛地應(yīng)用。
還有一家名為 Luminous 的公司，是從普林斯頓大學分拆出來的，該公司正致力于創(chuàng)建基于激光神經(jīng)元的尖峰（spiking）神經(jīng)網(wǎng)絡(luò)。尖峰神經(jīng)網(wǎng)絡(luò)更接近地模仿生物神經(jīng)網(wǎng)絡(luò)的工作方式，并且像我們自己的大腦一樣，能夠使用很少的能量進行計算。 Luminous 的硬件仍處于開發(fā)的早期階段，但結(jié)合兩種節(jié)能方法（尖峰和光學）的承諾非常令人興奮。
光學計算的現(xiàn)實挑戰(zhàn)
當然，仍有許多技術(shù)挑戰(zhàn)需要克服。一是提高模擬光學計算的精度和動態(tài)范圍，這遠不及數(shù)字電子設(shè)備所能達到的效果。這是因為這些光學處理器受到各種噪聲源的影響，而且用于輸入和輸出數(shù)據(jù)的數(shù)模轉(zhuǎn)換器和模數(shù)轉(zhuǎn)換器精度有限。事實上，很難想象一個光學神經(jīng)網(wǎng)絡(luò)的運行精度超過 8 到 10 位。雖然存在 8 位電子深度學習硬件（Google TPU 就是一個很好的例子），但這個行業(yè)需要更高的精度，尤其是神經(jīng)網(wǎng)絡(luò)訓練。
將光學元件集成到芯片上也存在困難。由于這些組件的尺寸為數(shù)十微米，因此無法像晶體管一樣緊密地封裝，因此所需的芯片面積會迅速增加。麻省理工學院研究人員在 2017 年對這種方法的演示實現(xiàn)在一個邊長為 1.5 毫米的芯片上，即使是最大的芯片也不大于幾平方厘米，這限制了可以通過這種方式并行處理的矩陣大小。
圖六 這張計算機渲染圖為作者和他的同事為使用光執(zhí)行神經(jīng)網(wǎng)絡(luò)計算而設(shè)計的光子芯片上的圖案
光子具有將深度學習加速幾個數(shù)量級的潛力
光子學研究人員傾向于在計算機架構(gòu)方面解決許多其他問題。但很清楚的是，至少在理論上，光子學有可能將深度學習加速幾個數(shù)量級。
基于當前可用于各種組件（光調(diào)制器、檢測器、放大器、模數(shù)轉(zhuǎn)換器）的技術(shù)，可以合理地認為神經(jīng)網(wǎng)絡(luò)計算的能源效率可以比當今的電子處理器高 1,000 倍。如果對新興光學技術(shù)做出更激進的假設(shè)，這個因素可能高達一百萬。而且由于電子處理器功率有限，這些能源效率的改進很可能會轉(zhuǎn)化為相應(yīng)的速度改進。
模擬光學計算中的許多概念已有數(shù)十年歷史。有些甚至早于硅計算機。 1970 年代首次展示了光學矩陣乘法，甚至是光學神經(jīng)網(wǎng)絡(luò)的方案。但這種方法并沒有流行起來。這次會有所不同嗎？可能，出于三個原因。首先，深度學習現(xiàn)在真正有用，而不僅僅是學術(shù)上的好奇。其次，我們不能僅僅依靠摩爾定律來繼續(xù)改進電子產(chǎn)品。最后，我們有了前幾代人沒有的新技術(shù)：集成光子學。這些因素表明，光神經(jīng)網(wǎng)絡(luò)這次將真正到來——而且這種計算的未來可能確實是光子的。
原文鏈接：https://spectrum.ieee.org/computing/hardware/the-future-of-deep-learning-is-photonic
作者：Ryan Hamerly 是 NTT Research 的高級科學家，也是麻省理工學院量子光子學實驗室的訪問科學家。
譯者：昕甬智測實驗室隸屬于寧波海爾新光電科技有限公司，專注于中遠紅外激光光譜檢測技術(shù)（QCL/ICL+TDLAS），致力推動激光光譜技術(shù)的產(chǎn)業(yè)化應(yīng)用，以激光之精，見世界之美。
電話：