高分辨率圖像易得，但是高分辨高速的視頻采集難以實現。機器視覺在機器人、無人機、自動駕駛汽車和手機国产成人在线观看免费网站中的最新進展已將高分辨率圖像帶入我們(men) 的日常生活。高速高分辨率視頻雖然在物理現象觀察、生物熒光成像、體(ti) 育直播等各個(ge) 領域有著廣泛的国产成人在线观看免费网站，但現有相機工作在高分辨率模式下時，由於(yu) 受到幀率有限、內(nei) 存、帶寬和功率的限製，往往通量低。
博覽：2021Photonics Research基於(yu) 混合編碼孔徑的千萬(wan) 像素快照壓縮成像
技術背景：
高分辨率圖像易得，但是高分辨高速的視頻采集難以實現。機器視覺在機器人、無人機、自動駕駛汽車和手機国产成人在线观看免费网站中的最新進展已將高分辨率圖像帶入我們(men) 的日常生活。高速高分辨率視頻雖然在物理現象觀察、生物熒光成像、體(ti) 育直播等各個(ge) 領域有著廣泛的国产成人在线观看免费网站，但現有相機工作在高分辨率模式下時，由於(yu) 受到幀率有限、內(nei) 存、帶寬和功率的限製，往往通量低。
關(guan) 於(yu) 高通量成像，快照壓縮成像（snapshot compressive imaging,SCI)被提出並成為(wei) 廣泛使用的框架。千萬(wan) 像素(10-mega pixel )鏡頭和傳(chuan) 感器技術已經成熟，但高速和高分辨率成像的主要挑戰在於(yu) 當前成像係統的處理能力不足。高速高分辨率記錄采集的海量數據給係統的存儲(chu) 和傳(chuan) 輸模塊帶來巨大壓力，無法進行長時間的采集。近幾十年來，計算攝影的興(xing) 起為(wei) 研究人員提供了新思路，並在超分辨率、去模糊、深度估計等許多與(yu) 成像相關(guan) 的領域取得了突破。快照壓縮成像旨在實現從(cong) 二維探測器捕獲的單個(ge) 編碼快照中重建視頻和高光譜圖像等高維數據。視頻SCI係統通常由物鏡、隨時間變化的掩模、單色或彩色傳(chuan) 感器和一些額外的中繼鏡頭組成。在每次曝光期間，數十個(ge) 時間幀由相應的隨時間變化的掩膜調製，然後集成到單個(ge) 快照中。SCI 係統中的高維數據重建可以表述為(wei) 線性不適定模型(ill-posed linear model)。經典 SCI 係統通常依賴於(yu) 光刻技術產(chan) 生的平移掩模(shifting mask)或空間光調製器投影的動態圖案作為(wei) 隨時間變化的掩模。平移掩模方案可以提供高空間分辨率調製，但它依賴於(yu) 平移台的機械運動，存在不準確或不穩定、難以緊湊集成的問題。對於(yu) 空間光調製器生成的掩膜，它們(men) 可以通過微機械控製器快速切換，但其分辨率通常僅(jin) 限於(yu) 百萬(wan) 像素級別，難以放大。
當前不足：
現有的視頻SCI係統，當空間分辨率達到千萬(wan) 像素時，在硬件實現和算法開發上都難以實現(很少有SCI係統可以在現實場景中實現1000 × 1000像素分辨率的成像。通常分辨率大多為(wei) 256×256 或 512×512)。
文章創新點：
基於(yu) 此，清華大學戴瓊海組的Zhihong Zhang(第一作者)等人提出了一種基於(yu) 混合編碼孔徑的千萬(wan) 像素快照壓縮成像方案。實現了千萬(wan) 像素的SCI係統，用於(yu) 采集高速場景，每秒通量高達4.6G體(ti) 素(voxels)。
（1）通過聯合使用動態 LCoS 和高分辨率光刻掩模，提出一種新穎的混合編碼孔徑快照壓縮成像 (HCA-SCI) 方案，該方案可以提供多路複用平移模式(shifting pattern)來編碼像平麵，而無需物理移動掩模。
（2）受大規模SCI中的即插即用 (PnP) 算法的啟發，提出了一種重建算法，該算法涉及全變分 (TV) 降噪器和基於(yu) 學習(xi) 的FastDVDNet降噪器的級聯和係列降噪過程。仿真結果表明，該算法能夠在合理的時間內(nei) 提供較好的重建結果。
（3）基於(yu) HCA-SCI方案和開發的重建算法,構建了一個(ge) 千萬(wan) 像素的大規模 SCI 係統。實現了6、10、20、30的壓縮率，使得幀率為(wei) 15fps的傳(chuan) 統相機可以實現高達 450 幀/秒的重建幀率，驗證了所提出方案在實際場景中的有效性。
原理解析：
（1）整個(ge) 硬件係統集成在一塊麵包板上。包含了主鏡頭(primary lens)、偏振分光棱鏡(polarizing beamsplitter,PBS)、偏振片、振幅調製LCoS(2048*1536像素，4.5k刷新率)、三個(ge) 中繼鏡頭、光刻掩膜(lithography mask,5120*5120像素，4.5um*4.5um像元尺寸)、cmos相機(5120*5120像素，4.5um*4.5um像元尺寸)以及固定支架等。實物圖見圖1a，光路圖見圖1b。入射光首先被主鏡頭采集聚焦到第一個(ge) 虛擬像平麵上(圖1b中的Image plane)。然後由兩(liang) 個(ge) 中繼鏡頭組成4f係統，將第一個(ge) 像經編碼孔徑和光刻掩膜後傳(chuan) 遞到第二個(ge) 虛擬像平麵(圖1b中mask後相隔為(wei) d的虛線處)。孔徑編碼模組置於(yu) 4f係統中央，包含了PBS、兩(liang) 個(ge) 偏振片和一個(ge) 振幅調製LCoS。最後，第二個(ge) 虛擬像平麵處的像由中繼鏡頭傳(chuan) 遞到CMOS相機上被采集。
（2）編碼掩膜生成。如圖2所示，LCoS的有效區域(圖2中的aperture)被分成幾個(ge) 子塊(即子孔徑)，每一個(ge) 子孔徑對應著相應的光束傳(chuan) 播方向。光刻掩膜置於(yu) 像平麵之前，當不同的子孔徑打開的時候，相應子孔徑的光束將投影到像平麵的不同區域，從(cong) 而生成相應的平移編碼掩膜(shifting encoding mask)。為(wei) 了提高光通量，多個(ge) 子孔徑同時打開生成一個(ge) 多路複用的掩膜被相機記錄。在一次相機曝光時間內(nei) ，依照時間順序，積分記錄多個(ge) 不同的多路複用掩膜，即將時間上的場景通過不同的編碼掩膜記錄在同一個(ge) 相機幀上，實現時間上的壓縮。同時大大縮小了需要存儲(chu) 的數據量。(數學模型見附錄)
（3）重建算法。在PnP-GAP的基礎上，增加級聯降噪器，用於(yu) 提升性能。算法流程見Algorithm 1。（具體(ti) 數學表述見附錄）
重建效果圖：
參考文獻：Zhang Z, Deng chao, Liu Y, Yuan X, Suo J, Dai Q. 10-mega pixel snapshot compressive imaging with a hybrid coded aperture. Photonics Research [Internet]. The Optical Society; 2021 Aug 19
DOI：http://dx.doi.org/10.1364/prj.435256
附錄：
（1）掩膜生成數學模型
令O表示中心子孔徑打開時中心視角的掩膜，每一個(ge) 由多個(ge) 子孔徑多路複用生成的掩膜C可以表示成：
Si表示掩膜平移算子，對應第i個(ge) 子孔徑；mi取0或1，表示第i個(ge) 子孔徑的開關(guan) 狀態；N是子孔徑的數量。考慮一個(ge) 大小為(wei) nx*ny*B的視頻X，B代表幀率。視頻X被B個(ge) 編碼的掩膜C調製，並在相機上積分采集，生成一個(ge) 快照編碼的測量γ：
⊙代表Hadamard product(即對應元素相乘)。G是nx*ny大小的測量噪聲， 經過簡單推導，（2）可以轉化為(wei) ：
y是向量化的γ，g是向量化的G，元素數都是nx*ny。
（2）係統校正
臨(lin) 時移除光刻掩膜，用Lambertian白板作為(wei) 物，I是LCoS全亮時采集的圖像，B是LCoS全暗時采集的背景，C是加入光刻掩膜後記錄的每一張動態編碼掩膜圖案。C‘是校正後的編碼掩膜。
（3）重建算法模型
Pnp-GAP:SCI 逆問題可以如下描述
求解x
求解v
再基於(yu) 算法1国产成人在线观看免费网站級聯降噪器降噪。
關(guan) 於(yu) 昊量光電：
上海昊量光電設備有限国产黄色在线观看是國內(nei) 知名光電国产欧美在线專(zhuan) 業(ye) 代理商，代理品牌均處於(yu) 相關(guan) 領域的發展前沿；国产欧美在线包括各類激光器、光電調製器、光學測量設備、精密光學元件等，涉及国产成人在线观看免费网站領域涵蓋了材料加工、光通訊、生物醫療、科學研究、國防及更細分的前沿市場如量子光學、生物顯微、物聯傳(chuan) 感、精密加工、先進激光製造等；可為(wei) 客戶提供完整的設備安裝，培訓，硬件開發，軟件開發，係統集成等優(you) 質服務。
您可以通過昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息，或直接來電谘詢4006-888-532。
本文章經光學前沿授權轉載,商業(ye) 轉載請聯係獲得授權。
展示全部 