無需明確指令即可快速、高效地學習(xi) 、組合和分析大量信息的計算機正在成為(wei) 處理大型數據集的強大工具。“深度學習(xi) ”算法因其在圖像識別、語言翻譯、決(jue) 策問題等方麵的實用性而在學術界和工業(ye) 界引起了很大的興(xing) 趣。傳(chuan) 統的中央處理單元 (central processing unit,CPU)不是實現這些算法的好選擇,學術界和工業(ye) 界越來越致力於(yu) 開發針對人工神經網絡(artificial neural network, ANN)和深度學習(xi) 中的国产成人在线观看免费网站程序量身定製的新硬件架構。如圖形處理單元(graphical processing unit, GPU)、專(zhuan) 用集成電路(application-specific integrated circuit, ASIC)、現場可編程門陣列(field-programmable gate array, FPGA)、IBM TrueNorth和Google TPU等,提高了學習(xi) 任務的能效和速度。同時,實現尖峰處理和儲(chu) 層計算的混合光電係統也已得到證明。
展示全部
博覽:2017 NaturePhotonics 使用相幹納米光子電路進行深度學習(xi)
技術背景:
無需明確指令即可快速、高效地學習(xi) 、組合和分析大量信息的計算機正在成為(wei) 處理大型數據集的強大工具。“深度學習(xi) ”算法因其在圖像識別、語言翻譯、決(jue) 策問題等方麵的實用性而在學術界和工業(ye) 界引起了極大的興(xing) 趣。傳(chuan) 統的中央處理單元 (central processing unit,CPU)不是實現這些算法的好選擇,學術界和工業(ye) 界越來越致力於(yu) 開發針對人工神經網絡(artificial neural network, ANN)和深度學習(xi) 中的国产成人在线观看免费网站程序量身定製的新硬件架構。如圖形處理單元(graphical processing unit, GPU)、專(zhuan) 用集成電路(application-specific integrated circuit, ASIC)、現場可編程門陣列(field-programmable gate array, FPGA)、IBM TrueNorth和Google TPU等,提高了學習(xi) 任務的能效和速度。同時,實現尖峰處理和儲(chu) 層計算的混合光電係統也已得到證明。
全光神經網絡 (optical neural network, ONN) 為(wei) 微電子和混合光電子實現提供了一種有前途的替代方法。出於(yu) 多種原因,人工神經網絡很適合使用全光計算實現。(1) 它們(men) 嚴(yan) 重依賴於(yu) 固定的矩陣乘法。線性變換(和某些非線性變換)可以以光速執行,並在光子網絡中以超過100GHz的速率進行檢測,並且在某些情況下,功耗低。例如,普通鏡頭進行傅立葉變換時無需任何功耗,某些矩陣運算也可以在不耗費功耗的情況下以光學方式進行。(2)它們(men) 對非線性的要求較弱。事實上,許多固有的光學非線性可以直接用於(yu) 在ONN中實現非線性操作。(3) 一旦神經網絡被訓練,其將在沒有額外能量輸入的情況下對光信號進行計算。這些功能可以使ONN比電子同類国产欧美在线更節能、速度更快。然而,迄今為(wei) 止,由於(yu) 需要相位穩定性和大量神經元,使用大塊光學元件(如光纖和透鏡)實現此類轉換一直是一個(ge) 主要障礙。集成光子通過為(wei) 大型、相位穩定的光學轉換提供可擴展的解決(jue) 方案來解決(jue) 這個(ge) 問題。
當前不足:
人工神經網絡是受大腦信號處理啟發的計算網絡模型。這些模型顯著提高了許多機器學習(xi) 任務的性能(如語音和圖像識別)。然而,受限於(yu) 馮(feng) ·諾伊曼計算架構,今天的計算硬件在實現神經網絡方麵效率低下。
文章創新點:
基於(yu) 此,美國麻省理工學院的Yichen Shen(一作兼通訊)和Nicholas C.Harris(共一,共通訊)提出了一種全光神經網絡架構,在處理傳(chuan) 統的推理任務時,能夠在計算速度和能效上的電子架構更優(you) 越。
原理解析:
(1) ONN的一般架構。如圖1a所示,ANN一般由輸入層、至少一個(ge) 隱藏層、一個(ge) 輸出層組成。每一層包含輸入的線性組合和隨後的非線性激活函數輸出,具體(ti) 到ONN架構裏,每一層可以分解為(wei) 由光學幹涉單元(optical interference unit, OIU)執行光學矩陣乘法和光學非線性單元(optical nonlinearity unit, ONU)執行非線性激活(ONU可以使用常見的光學非線性來實現,如飽和吸收和雙穩態),見圖1b、c。執行任務時,需要處理的數據首先在計算機上預處理成高維向量,預處理的信號隨後編碼成在光子集成電路中傳(chuan) 播的光脈衝(chong) 幅度,從(cong) 而實現多層ONN,見圖1d。每一層ONN由OIU和ONU組成。原則上,ONN可以完全在光域中實現任意深度和維度的ANN。
(2) OIU實現。由於(yu) 一個(ge) 一般的實值矩陣(M)可以通過奇異值分解(SVD)分解為(wei) M=UΣV†,其中U是一個(ge) m×m酉矩陣,Σ是一個(ge) m×n的矩形對角矩陣(對角線上為(wei) 非負實數),V†是n×n酉矩陣V的複共軛。任何酉變換U,V† 都可以用光學分束器和移相器實現,Σ可以使用光衰減器來實現(也可以使用光放大材料,如半導體(ti) 或染料)。 以上述方式實現的酉矩陣的矩陣乘法原則上無功耗(ANN計算主要涉及矩陣乘積,因此,ONN架構具有極高的能效)。
具體(ti) 實現:
構建一個(ge) 兩(liang) 層的神經網絡用於(yu) 元音識別。
(1) OIU使用一個(ge) 由56個(ge) 可編程的馬赫-曾德爾幹涉儀(yi) (MZI)組成的可編程納米光子處理器(programmable nanophotonic processor, PNP)實現。每一個(ge) MZI包含在兩(liang) 個(ge) 50%倏逝波定向耦合器之間的熱-光移相器(θ),隨後是另一個(ge) 移相器(φ),見圖2c、d。如圖2a、b,激光耦合進OIU單元完成矩陣變換,隨後被光電二極管陣列探測,然後被計算機讀取並模擬非線性激活函數,激光重新注入OIU執行下一層(兩(liang) 個(ge) OIU完成一次奇異值分解)。
(2) 片上訓練。通常,神經網絡的參數使用梯度下降的方法訓練得到,在計算機上,常見的方式是使用反向傳(chuan) 播方法計算梯度,這個(ge) 過程非常耗時。在ONN上使用前向傳(chuan) 播和有限差方法(finite difference method)可以直接獲得每一個(ge) 不同參數的梯度(即無需反向傳(chuan) 播),速度極快且功耗低。
實驗結果:
參考文獻:Shen, Y., Harris, N., Skirlo, S. et al. Deep learning with coherent nanophotonic circuits. Nature Photon 11, 441–446 (2017).
DOI:https://doi.org/10.1038/nphoton.2017.93
關(guan) 於(yu) 昊量光電:
上海昊量光電設備有限国产黄色在线观看是光電国产欧美在线專(zhuan) 業(ye) 代理商,国产欧美在线包括各類激光器、光電調製器、光學測量設備、光學元件等,涉及国产成人在线观看免费网站涵蓋了材料加工、光通訊、生物醫療、科學研究、國防、量子光學、生物顯微、物聯傳(chuan) 感、激光製造等;可為(wei) 客戶提供完整的設備安裝,培訓,硬件開發,軟件開發,係統集成等服務。
您可以通過我們(men) 昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息,或直接來電谘詢4006-888-532。
本文章經光學前沿授權轉載,商業(ye) 轉載請聯係獲得授權。