首頁  技術文章  消色差拓展景深和超分辨成像的光學和圖像處理端到端優化

消色差拓展景深和超分辨成像的光學和圖像處理端到端優化

發布時間:2022-04-08 14:32:53 瀏覽量:3872 作者:LY.Young 光學前沿

摘要

自然界中動物的視覺係統通常高度適應其生存環境,而人類shi界中數字成像係統在被廣泛国产成人在线观看免费网站於(yu) 各種場景的情況下,卻被設計成隻模擬人眼。盡管這種通用設計在有些場合很成功,但是,我們(men) 不禁要問:對於(yu) 一個(ge) 特定的任務,什麽(me) 樣的相機設計才是非常好的呢?為(wei) 了回答這個(ge) 問題,在過去的二十年裏,人們(men) 開始探索針對特定領域的計算相機。通過聯合設計相機光學和圖像處理算法,計算相機能比傳(chuan) 統通用成像係統在特定任務上具有更優(you) 的性能。計算相機已經在一係列国产成人在线观看免费网站中展現出其能力。如拓展景深,超分辨,寬動態範圍成像等。

正文


博覽:2018 ACM Trans. Graph.消色差拓展深和超分辨成像的光學和圖像處理端到端優(you) 化



技術背景:

自然界中動物的視覺係統通常高度適應其生存環境,而人類shi界中數字成像係統在被廣泛国产成人在线观看免费网站於(yu) 各種場景的情況下,卻被設計成隻模擬人眼。盡管這種通用設計在有些場合很成功,但是,我們(men) 不禁要問:對於(yu) 一個(ge) 特定的任務,什麽(me) 樣的相機設計才是非常好的呢?為(wei) 了回答這個(ge) 問題,在過去的二十年裏,人們(men) 開始探索針對特定領域的計算相機。通過聯合設計相機光學和圖像處理算法,計算相機能比傳(chuan) 統通用成像係統在特定任務上具有更優(you) 的性能。計算相機已經在一係列国产成人在线观看免费网站中展現出其能力。如拓展景深,超分辨,寬動態範圍成像等。


當前不足:

過往在計算相機上的探索是啟發式的,並沒有考慮後處理後的圖像質量。沒有一種端到端的方法來聯合優(you) 化成像光學元件的參數和數據處理算法,為(wei) 特定任務找到計算相機的任務仍然難以實現。


文章創新點:

基於(yu) 此,斯坦福大學的Vincent Sitzmann和Gordon Wetzstein等人提出了一種從(cong) 成像的各個(ge) 器件環節到zui終的圖像重建算法都考慮在內(nei) 的端到端優(you) 化方法。並將該端到端框架国产成人在线观看免费网站於(yu) 消色差拓展景深和快照超分辨成像。優(you) 化完成的衍射元件用光刻技術加工,折射透鏡用金剛石車削加工。經實驗驗證,實際效果與(yu) 模擬效果相符。


原理解析:

(1) 成像模型。首先以近軸光學的方式,不考慮離軸像差,用平麵波看作為(wei) 一個(ge) 無窮遠處的點光源,其經過光學元件的相位調製後,用波動光學理論在自由空間傳(chuan) 播到圖像傳(chuan) 感器表麵得到的光強作為(wei) 點擴散函數。隻考慮點擴散函數為(wei) 平移不變的情況,這樣可以簡化問題。圖像源與(yu) 點擴散函數卷積,在圖像傳(chuan) 感器每個(ge) 像素上隨波長和時間積分,加上傳(chuan) 感器的讀取噪聲,zui終成像。圖像重建可以看作為(wei) 求解一個(ge) Tikhonov正則化zui小二乘問題。


(2) 端到端優(you) 化框架。用隨機梯度法優(you) 化有一個(ge) 光學元件的計算相機。將成像模型的每一步描述為(wei) 一個(ge) 可微的模塊。光學元件的光學高度分布h是一個(ge) 優(you) 化變量,光學元件的尺寸、圖像傳(chuan) 感器像元尺寸、傳(chuan) 輸距離z和圖像傳(chuan) 感器讀取噪聲水平等,均為(wei) 超參數。在一個(ge) RGB圖像數據集上優(you) 化模型。損失函數為(wei) 均方根誤差。


(3) 消色差拓展景深。在成像建模的時候,考慮多色和多深度的場景:將整個(ge) 光譜離散成三個(ge) 波長(460,550和640nm),場景深度設計成五個(ge) 深度(∞,2,1,0.67和0.5m)。從(cong) 1244張高分辨率圖像數據集中進行圖像采樣,隨機對圖像分配五個(ge) 深度中的一個(ge) ,而三個(ge) 波長同時考慮。国产成人在线观看免费网站上述成像模型成像。

實驗效果:


附錄:

(1) 波動光學點擴散函數建模。光學元件對複數波場的相位延遲與(yu) 其厚度h成正比:

入射波場經光學元件出射後的場為(wei) :

出射場在自由空間傳(chuan) 播一段距離z:

點擴散函數在這裏用一個(ge) 平麵波描述無窮遠處的一個(ge) 點源,經過光學元件後,在自由空間傳(chuan) 播一段距離z,到達圖像傳(chuan) 感器表麵得到:


(2) 從(cong) PSF到圖像。獲得點擴散函數以後,圖像傳(chuan) 感器每一個(ge) 彩色通道感應的光強可以看作各個(ge) 波長下圖像與(yu) 點擴散函數的卷積並乘以圖像傳(chuan) 感器的光譜靈敏曲線的積分。在這裏認為(wei) PSF是平移不變的,隻考慮近軸情況,離軸像差不考慮。


(3) 傳(chuan) 感器上建模。傳(chuan) 感器上接收到的圖像建模為(wei) 每個(ge) 像素上的積分加上高斯讀取噪聲。


(4) 通過求解一個(ge) Tikhonov正則化zui小二乘問題重建。

當PSF離散化大小與(yu) 圖像傳(chuan) 感器像素大小匹配時,像素積分算子S為(wei) 恒等式,可以在圓形邊界條件的簡化假設下用維納濾波以封閉形式解決(jue) 問題(7),維納濾波操作為(wei) :


(5) 端到端優(you) 化。優(you) 化求解loss函數為(wei) :


參考文獻:Vincent Sitzmann, Steven Diamond, Yifan Peng, Xiong Dun, Stephen Boyd, Wolfgang Heidrich, Felix Heide, and Gordon Wetzstein. 2018. End-to-end optimization of optics and image processing for achromatic extended depth of field and super-resolution imaging. ACM Trans. Graph. 37, 4, Article 114 (August 2018), 13 pages.

DOI:


更多詳情請聯係昊量光電/歡迎直接聯係昊量光電

關(guan) 於(yu) 昊量光電:

上海昊量光電設備有限国产黄色在线观看是光電国产欧美在线專(zhuan) 業(ye) 代理商,国产欧美在线包括各類激光器、光電調製器、光學測量設備、光學元件等,涉及国产成人在线观看免费网站涵蓋了材料加工、光通訊、生物醫療、科學研究、國防、量子光學、生物顯微、物聯傳(chuan) 感、激光製造等;可為(wei) 客戶提供完整的設備安裝,培訓,硬件開發,軟件開發,係統集成等服務。

您可以通過我們(men) 昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息,或直接來電谘詢4006-888-532。


本文章經光學前沿授權轉載,商業(ye) 轉載請聯係獲得授權。