用反向傳播訓練的深度物理神經網絡

正文

用反向傳(chuan) 播訓練的深度物理神經網絡

技術背景：

與(yu) 人工智能的許多曆史發展一樣，深度神經網絡(DNN)得以廣泛采用的部分原因在於(yu) 協同硬件。2012年，Krizhevsky等人表明反向傳(chuan) 播算法可以使用GPU有效地執行，以訓練大型DNN進行圖像分類。自2012年以來，DNN模型的計算需求迅速增長，甚至超過了摩爾定律。現在DNN越來越受到硬件能效的限製。

新興(xing) 的DNN能量問題激發了專(zhuan) 用硬件:DNN加速器。其中大部分是基於(yu) 硬件物理和DNN中的數學運算之間的直接數學同構。一些加速器方案使用傳(chuan) 統電子設備之外的物理係統，如光學和模擬電子交叉陣列等。大多數設備都針對深度學習(xi) 的推理階段(現在也有越來越多的設備針對訓練階段)，這占商業(ye) 部署中深度學習(xi) 能源成本的90%。

然而，通過為(wei) 嚴(yan) 格的、逐個(ge) 操作的數學同構設計硬件來實現訓練有素的數學變換並不是執行高效機器學習(xi) 的唯一方法。相反，我們(men) 可以直接訓練硬件的物理變換來執行所需的計算。這種操作可以稱為(wei) 物理神經網絡(physical neural network, PNN)。PNN強調訓練的是物理過程，而不是數學運算。這種區別不僅(jin) 僅(jin) 是語義(yi) 上的：通過打破傳(chuan) 統的軟件-硬件劃分，PNN提供了從(cong) 幾乎任何可控物理係統構建神經網絡硬件的可能性。正如任何模擬過複雜物理係統的人所了解的那樣，物理變換通常比對應的數字仿真更快且消耗更少的能量。這表明，PNN可以比傳(chuan) 統範式更有效地執行某些計算，從(cong) 而為(wei) 更可拓展、更節能和更快的機器學習(xi) 提供途徑。

PNN尤其適用於(yu) 類似於(yu) DNN的計算。正如它們(men) 對自然數據的穩健處理所預期的那樣，DNN和物理過程具有許多結構相似性，如層次結構(hierarchy)、近似對稱性(approximate symmetries)、噪聲、冗餘(yu) 和非線性。隨著物理係統的發展，它們(men) 執行的變換有效地等效於(yu) DNN中常用的數學運算的近似、變體(ti) 和/或組合，如卷積、非線性和矩陣向量乘法。因此，使用受控物理變換序列，可以實現可訓練的分層物理計算，即深度PNN。

盡管通過直接訓練物理變換來構建計算機的範式起源於(yu) 進化的計算材料，但它今天正在各個(ge) 領域出現，包括光學、自旋電子納米振蕩器、納米電子器件和小規模量子計算機。一個(ge) 密切相關(guan) 的趨勢是物理儲(chu) 備池計算(physical reservoir computing, PRC)，其中未經訓練的物理“儲(chu) 備池”的變換由可訓練的輸出層線性組合。盡管 PRC利用通用物理過程進行計算，但它無法實現類似DNN的分層計算。相比之下，訓練物理變換本身的方法原則上可以克服這一限製。為(wei) 了通過實驗訓練物理變換，研究人員經常依賴無梯度學習(xi) 算法。而基於(yu) 梯度的學習(xi) 算法(如反向傳(chuan) 播算法)，被認為(wei) 對於(yu) 大規模DNN的高效訓練和良好泛化至關(guan) 重要。因此，出現了在物理硬件中實現基於(yu) 梯度的訓練的提議。然而，這些鼓舞人心的提議做出了排除許多物理係統的假設，例如線性、無耗散演化或梯度動力學可以很好地描述係統。克服這些限製的一般方法是在計算機上訓練，即完全在數值模擬中學習(xi) 。但是，在計算機上學習(xi) 到的非線性物理係統通常不夠準確，不能將模型準確地遷移到真實設備上。

技術要點：

基於(yu) 此，美國康奈爾大學的Logan G. Wright(一作兼通訊)等人提出了一種使用反向傳(chuan) 播直接訓練任意物理係統來執行DNN的通用框架。作者引入稱為(wei) 物理感知訓練(physics-aware training,PAT)的混合原位-計算機算法，它国产成人在线观看免费网站反向傳(chuan) 播來訓練可控的物理係統。正如深度學習(xi) 通過由數學函數層構成的深度神經網絡實現計算一樣，這種方法允許我們(men) 訓練由可控物理係統層構成的深度物理神經網絡，即使物理層與(yu) 傳(chuan) 統人工神經網絡層缺乏任何數學同構。作者為(wei) 了證明其方法的普遍性，訓練了基於(yu) 光學、力學和電子學的各種物理神經網絡，以實驗性地執行音頻和圖像分類任務。

圖 1：PNN 簡介。a，人工神經網絡包含操作單元(層)：通常是可訓練的矩陣向量乘法，然後是逐元素的非線性激活函數。b，DNN 使用一係列層，並且可以被訓練以對輸入數據實施多步(分層)變換。c，當物理係統演變時，它們(men) 實際上執行計算。它們(men) 的可控屬性被劃分為(wei) 輸入數據和控製參數。更改參數會(hui) 更改對數據執行的變換。這裏考慮三個(ge) 例子。在機械(電子)係統中，輸入數據和參數被編碼為(wei) 施加到金屬板(非線性電路)的隨時間變化的力(電壓)。然後通過麥克風(示波器)測量受控的多模振蕩(瞬態電壓)。在非線性光學係統中，脈衝(chong) 通過 χ(2) 晶體(ti) ，產(chan) 生非線性混合輸出。輸入數據和參數編碼在輸入脈衝(chong) 的頻譜中，輸出從(cong) 倍頻脈衝(chong) 的頻譜中獲得。d，與(yu) 由可訓練非線性數學函數序列構建的DNN一樣，所構建具有可訓練物理變換序列的深度PNN。在 PNN 中，每個(ge) 物理層都實現了一個(ge) 可控的物理函數，它確實需要在數學上與(yu) 傳(chuan) 統的DNN層同構。

實驗結果：

圖 2：使用寬帶光學SHG實驗實現的示例PNN。a，輸入數據被編碼到激光脈衝(chong) 的光譜中。為(wei) 了控製寬帶SHG 過程實現的變換，脈衝(chong) 頻譜的一部分用作可訓練參數(橙色)。物理計算結果是從(cong) χ(2) 介質中產(chan) 生的藍色(約 390nm)脈衝(chong) 的光譜中獲得的。b，為(wei) 了構建深度PNN，SHG變換的輸出用作後續SHG變換的輸入，且各自具有獨立的可訓練參數。c, d, 在訓練 SHG-PNN後，它以 93% 的準確率對測試元音進行分類。c，測試集上 PNN 的混淆矩陣。d，最終層輸出光譜的代表性示例，顯示了SHG-PNN的預測。

圖 3：物理感知訓練(PAT)。a，PAT是一種混合原位 - 計算機算法，用於(yu) 国产成人在线观看免费网站反向傳(chuan) 播來訓練可控的物理參數，以便物理係統即使在存在建模錯誤和物理噪聲的情況下也能準確地執行機器學習(xi) 任務。PAT不是僅(jin) 在數字模型(計算機)中執行訓練，而是使用物理係統來計算前向傳(chuan) 遞。盡管a中隻描繪了一層，但PAT自然地推廣到多層。b，對於(yu) 圖2b中描述的實驗性SHG-PNN，PAT和計算機訓練的驗證精度與(yu) 訓練epoch曲線比較。c，SHG-PNNs的PAT和計算機訓練最終實驗測試精度(物理層數增加)。誤差線的長度代表兩(liang) 個(ge) 標準誤差。

圖 4：不同物理係統的圖像分類。基於(yu) 三個(ge) 物理係統(機械、電子和光學)訓練PNN，以對手寫(xie) 數字的圖像進行分類。a，機械PNN：由時間變化力驅動金屬板的多模振蕩對輸入圖像數據和參數進行編碼的。b，機械PNN 多層架構。c，使用PAT訓練的機械PNN的驗證分類精度與(yu) 訓練epoch的對比。對於(yu) 參考模型也顯示了相同的曲線，其中喇叭實現的物理轉換被恒等運算所取代。d，訓練後機械PNN的混淆矩陣。e-h，分別與(yu) a-d 相同，但用於(yu) 非線性模擬電子 PNN。i-l，分別與(yu) a-d 相同，用於(yu) 基於(yu) 寬帶光學SHG的混合物理-數字PNN。基於(yu) 機械、電子和光學的 PNN 的最終測試精度分別為(wei) 87%、93% 和 97%。

參考文獻：Wright, L.G., Onodera, T., Stein, M.M. et al. Deep physical neural networks trained with backpropagation. Nature 601, 549–555 (2022).

DOI：https://doi.org/10.1038/s41586-021-04223-6

關(guan) 於(yu) 昊量光電：

上海昊量光電設備有限国产黄色在线观看是國內(nei) 知名光電国产欧美在线專(zhuan) 業(ye) 代理商，代理品牌均處於(yu) 相關(guan) 領域的發展前沿；国产欧美在线包括各類激光器、光電調製器、光學測量設備、精密光學元件等，涉及国产成人在线观看免费网站領域涵蓋了材料加工、光通訊、生物醫療、科學研究、國防及更細分的前沿市場如量子光學、生物顯微、物聯傳(chuan) 感、精密加工、先進激光製造等；可為(wei) 客戶提供完整的設備安裝，培訓，硬件開發，軟件開發，係統集成等優(you) 質服務。

 

您可以通過昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息，或直接來電谘詢4006-888-532。

 

本文章經光學前沿授權轉載,商業(ye) 轉載請聯係獲得授權