神經元細胞興(xing) 奮的時候,會(hui) 產(chan) 生一個(ge) 電衝(chong) 動,使得鈣離子流入該細胞,促使該細胞分泌神經遞質,下一級神經元就接收到上一級神經元的信號。 鈣成像借助於(yu) 鈣離子熒光指示劑,將神經元中鈣離子濃度的變化反映在熒光強度的變化上,從(cong) 而可以推測神經元的活動(當前鈣成像常用的手段是雙光子顯微成像手段)。準確神經元提取和尖峰推斷(spike inference)是進行進一步分析的前提,這需要高信噪比鈣成像。然而,由於(yu) 體(ti) 內(nei) 鈣瞬變(calcium transients)的低峰值積累和快速動態變化導致熒光光子的缺乏,使得鈣成像容易受到噪聲汙染(即光子散粒噪聲和電子噪聲)的影響。
獲得高信噪比鈣成像最直接的方法是提高激發光強度, 但其導致的光漂白、光毒性和組織加熱對樣品健康和光敏生物過程不利。更有效的策略包括使用更亮的鈣指示劑和更先進的光電檢測技術 ,但在光子受限的條件下,它們(men) 的性能仍然不足(例如樹突成像和深部組織成像)。除了這些物理或生物方法之外,由數據驅動的深度學習(xi) 方法可以降低光子數要求,並在熒光成像中展現出了良好的性能。
展示全部
2021 Nature Methods:使用深度自監督去噪加強鈣成像中的神經元提取和尖峰推斷
技術背景:
神經元細胞興(xing) 奮的時候,會(hui) 產(chan) 生一個(ge) 電衝(chong) 動,使得鈣離子流入該細胞,促使該細胞分泌神經遞質,下一級神經元就接收到上一級神經元的信號。 鈣成像借助於(yu) 鈣離子熒光指示劑,將神經元中鈣離子濃度的變化反映在熒光強度的變化上,從(cong) 而可以推測神經元的活動(當前鈣成像常用的手段是雙光子顯微成像手段)。準確神經元提取和尖峰推斷(spike inference)是進行進一步分析的前提,這需要高信噪比鈣成像。然而,由於(yu) 體(ti) 內(nei) 鈣瞬變(calcium transients)的低峰值積累和快速動態變化導致熒光光子的缺乏,使得鈣成像容易受到噪聲汙染(即光子散粒噪聲和電子噪聲)的影響。
獲得高信噪比鈣成像最直接的方法是提高激發光強度, 但其導致的光漂白、光毒性和組織加熱對樣品健康和光敏生物過程不利。更有效的策略包括使用更亮的鈣指示劑和更先進的光電檢測技術 ,但在光子受限的條件下,它們(men) 的性能仍然不足(例如樹突成像和深部組織成像)。除了這些物理或生物方法之外,由數據驅動的深度學習(xi) 方法可以降低光子數要求,並在熒光成像中展現出了良好的性能。
當前不足:
然而,鈣瞬變構成的高動態變化、非重複的活動,以及放電模式不能被第二次捕捉等特性,使得以前通過延長積分時間或平均多個(ge) 噪聲幀來獲得訓練用ground truth的方案不再可行。因此,傳(chuan) 統的監督學習(xi) 方法不再有效。
文章創新點:
基於(yu) 此,清華大學的Xinyang Li(第一作者)和Qionghai Dai(通訊作者)提出了一種用於(yu) 鈣成像數據去噪的自監督學習(xi) 方法,命名為(wei) DeepCAD,可實現十倍以上的信噪比提高,而無需任何高信噪比ground truth進行訓練。
(1)直接使用噪聲圖像重建高信噪比的圖像。
(2)模型輸入輸出均為(wei) 三維((x,y,t)格式)數據,可以充分利用延時堆棧中的時空信息。
原理解析:
所提自監督策略的底層機製是,使用噪聲目標圖像進行訓練,生成噪聲梯度。因為(wei) 整個(ge) 訓練集的平均梯度近似等於(yu) 真實梯度,所以訓練的結果不會(hui) 受無高信噪比ground truth的影響。
(1)基本流程,原始低信噪比堆棧(stack)中的連續幀被分成兩(liang) 個(ge) 子堆棧,分別作為(wei) 輸入和目標來訓練深度神經網絡,網絡選用3D U-Net架構。 訓練後,可以建立去噪模型並記憶網絡參數。 見圖1a,比例尺,50 μm。模型建立後,將三維數據輸入網絡,獲得高信噪比的三維數據輸出。見圖1b。圖1c-g為(wei) 網絡性能驗證實驗。
(2)所用3D U-net網絡架構。如圖2所示,它由一個(ge) 3D 編碼器模塊、一個(ge) 3D 解碼器模塊和三個(ge) 從(cong) 編碼器模塊到解碼器模塊的跳躍連接組成。在編碼器模塊中,有三個(ge) 編碼器塊。每個(ge) 塊由兩(liang) 個(ge) 3 × 3 × 3 卷積層組成,後跟一個(ge) LeakyReLU、一個(ge) 組歸一化層(group nomalization layer)、一個(ge) 在三個(ge) 維度上步長都為(wei) 2的2 × 2 × 2 最大池化層。在解碼器模塊中,有三個(ge) 解碼器塊,每個(ge) 塊包含兩(liang) 個(ge) 3 × 3 × 3 卷積層,後跟一個(ge) LeakyReLU、一個(ge) 組歸一化層和一個(ge) 3D 最近鄰插值層。跳躍連接可以將特征圖從(cong) 編碼器模塊傳(chuan) 遞到解碼器模塊,以集成低級特征和高級特征。編碼器模塊和解碼器模塊的特征圖以不同的顏色表示。所有操作都是 3D 的,特征圖都是 4D 張量。
(3)數據處理流程。網絡訓練如圖3a,成像係統捕獲的原始數據以 3D (x, y, t) 形式組織並保存為(wei) 時間堆棧。原始的噪聲堆棧被劃分為(wei) 數千個(ge) 3D 子堆棧(64×64×600 像素),每個(ge) 維度大約有 25% 的重疊。對於(yu) 橫向尺寸較小或記錄周期較短的時間堆棧,可以從(cong) 原始堆棧中隨機裁剪子堆棧以擴充訓練集。然後,提取每個(ge) 子堆棧的交錯幀(interlaced frames)以形成兩(liang) 個(ge) 3D 圖塊(64 × 64 × 300 像素)。其中一個(ge) 作為(wei) 輸入,另一個(ge) 作為(wei) 網絡訓練的目標,用於(yu) 訓練網絡。預訓練模型的部署如圖3b,成像係統獲得的新數據被劃分為(wei) 3D 子堆棧(64 × 64 × 300 像素),每個(ge) 維度有 25% 的重疊。然後,將預訓練的模型加載到內(nei) 存中,並將子堆棧直接輸入到模型中。增強的子堆棧從(cong) 網絡中依次輸出,並從(cong) 輸出子堆棧中減去重疊區域(橫向和時間重疊)。通過拚接所有子堆棧可以獲得最終的增強堆棧。
(4)實驗采集係統見圖4,用於(yu) 同時采集高信噪比和低信噪比鈣成像數據。Ti:sapp:波長可調的鈦藍寶石激光器;HWP:半波片;EOM:電光調製器;M1:反射鏡;L1、L2、L3、L4、L5、L6、L7、L8、L9:透鏡;scanner:振鏡共振掃描儀(yi) ;DM:長通二向色鏡,用於(yu) 將熒光信號(綠色路徑)與(yu) 激發光(紅色路徑)分開;BS:1:9(反射率:透射率)非偏振分束鏡;PMT1、PMT2:光電倍增管。熒光信號分為(wei) 低信噪比 (~10%) 分量和高信噪比 (~90%) 分量,並由兩(liang) 個(ge) PMT 同步檢測。
視頻1:DeepCAD 在單神經元記錄上的去噪性能。視頻上部為(wei) 神經元的同步電生理記錄,反映了真實的神經活動。檢測到的尖峰用黑點標記。原始噪聲數據和 DeepCAD 增強數據分別顯示在視頻中部和下部。
視頻2:從(cong) 左到右分別是大型神經元群(第 2/3 層,GCaMP6f)的自發鈣瞬變的低信噪比記錄、DeepCAD 增強對應和相應的高信噪比記錄。底部顯示了局部區域的放大視圖。
視頻3:相同的預訓練模型用於(yu) 跨係統的數據去噪仍然有效。視頻中數據來源於(yu) 三個(ge) 不同係統設置的雙光子激光掃描顯微鏡。
參考文獻:Li, X., Zhang, G., Wu, J. et al. Reinforcing neuron extraction and spike inference in calcium imaging using deep self-supervised denoising. Nat Methods (2021).
DOI:https://doi.org/10.1038/s41592-021-01225-0
文章創意來源文獻:Lehtinen, J. et al. Noise2Noise: learning image restoration without clean data. in Proc. 35th International Conference on Machine Learning (eds Dy, J. & Krause, A.) 2965–2974 (PMLR, 2018).
關(guan) 於(yu) 昊量光電:
上海昊量光電設備有限国产黄色在线观看是國內(nei) 知名光電国产欧美在线專(zhuan) 業(ye) 代理商,代理品牌均處於(yu) 相關(guan) 領域的發展前沿;国产欧美在线包括各類激光器、光電調製器、光學測量設備、精密光學元件等,涉及国产成人在线观看免费网站領域涵蓋了材料加工、光通訊、生物醫療、科學研究、國防及更細分的前沿市場如量子光學、生物顯微、物聯傳(chuan) 感、精密加工、先進激光製造等;可為(wei) 客戶提供完整的設備安裝,培訓,硬件開發,軟件開發,係統集成等優(you) 質服務。
您可以通過昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息,或直接來電谘詢4006-888-532。
本文章經光學前沿授權轉載,商業(ye) 轉載請聯係獲得授權。
展示全部