高動態範圍(High dynamic range,HDR)成像是使用廣泛的計算攝影(computational photography)技術之一。它具有許多的国产成人在线观看免费网站，如基於(yu) 圖像的照明(image-based lighting)、HDR顯示、圖像處理等。然而，相機圖像傳(chuan) 感器的動態範圍從(cong) 根本上受限於(yu) 其像素的滿阱容量。當產(chan) 生的光電子數量超過滿阱容量時(通常是在對具有高對比度的場景進行成像時)，強度信息會(hui) 因飽和而不可逆轉地丟(diu) 失。不斷縮小的像素尺寸，例如在手機国产成人在线观看免费网站中，會(hui) 加劇這個(ge) 問題，因為(wei) 滿阱容量與(yu) 像素尺寸成正比。
博覽：2020 CVPR 用於(yu) 單幀高動態範圍成像的深度光學
技術背景：
高動態範圍(High dynamic range,HDR)成像是使用廣泛的計算攝影(computational photography)技術之一。它具有許多的国产成人在线观看免费网站，如基於(yu) 圖像的照明(image-based lighting)、HDR顯示、圖像處理等。然而，相機圖像傳(chuan) 感器的動態範圍從(cong) 根本上受限於(yu) 其像素的滿阱容量。當產(chan) 生的光電子數量超過滿阱容量時(通常是在對具有高對比度的場景進行成像時)，強度信息會(hui) 因飽和而不可逆轉地丟(diu) 失。不斷縮小的像素尺寸，例如在手機国产成人在线观看免费网站中，會(hui) 加劇這個(ge) 問題，因為(wei) 滿阱容量與(yu) 像素尺寸成正比。
目前已經開發了幾種不同的策略來克服可用圖像傳(chuan) 感器的有限動態範圍。一類技術使用固定或變化的曝光設置捕獲多個(ge) 低動態範圍 (low dynamic range,LDR) 圖像。不幸的是，這種方法不適合捕捉動態場景。另一類技術使用多個(ge) 光學對齊的傳(chuan) 感器同時捕獲同一個(ge) 場景，但對於(yu) 此類專(zhuan) 用相機，校準、成本和設備外形因素是必須考慮的，且此法實際使用時不一定總是可行。單次采集是一種有吸引力的解決(jue) 方案，但通常需要在圖像傳(chuan) 感器上采取自定義(yi) 曝光模式來實現多路複用。zui近，還提出了從(cong) 單個(ge) 飽和LDR圖像產(chan) 生幻覺(hallucinate)HDR圖像(如HDR-CNN)。
當前不足：
雖然HDR-CNN在許多情況下都取得了成功，但飽和的場景細節往往無法通過幻覺忠實地恢複。
文章創新點：
基於(yu) 此，美國斯坦福大學的Christopher A. Metzler和Gordon Wetzstein等人提出一種光學編碼、計算解碼，編碼器和解碼器都以端到端方式訓練，實現單幀HDR成像的方法。不同於(yu) 傳(chuan) 統的HDR-CNN，本文的方法通過具有優(you) 化點擴散函數(PSF)的光學濾波器將亮像素值的信息編碼到附近像素中來保留飽和像素值的信息。使用光學濾波器對HDR像素信息進行編碼，並轉向機器學習(xi) 來自動設計光學元件和端到端的重建算法，從(cong) 而z大化從(cong) HDR場景傳(chuan) 遞到低動態範圍的信息(LDR)測量。
文章通過大量的模擬，證明深度光學通常比替代的單次HDR成像方法獲得更好的結果。因為(wei) 與(yu) HDR-CNN方法相比，優(you) 化的PSF具有更大的自由度來編碼圖像傳(chuan) 感器圖像中的場景信息，並且與(yu) 其它光學編碼技術相比，這裏使用與(yu) 重建算法聯合優(you) 化的光學元件 ，而不是啟發式選擇。且製造出的光學元件可以作為(wei) 附件直接安裝在現有的光學鏡頭上。
原理解析(數學原理見附錄，對公式恐懼可忽略)：
成像過程可以看作成像係統點擴散函數h與(yu) 成像目標x的卷積加上係統的噪聲η，經相機響應f後成一個(ge) 像y。文章的目標是通過聯合優(you) 化點擴散函數和重建算法，從(cong) 而能夠從(cong) y恢複x。
(1) 光學點擴散函數建模。光學係統由普通單反鏡頭前端附加一個(ge) 需要聯合優(you) 化而來的衍射光學元件(diffractive optical element，DOE )組成。點擴散函數形成的物理機製可以建模為(wei) ：點物從(cong) 無窮遠處以平麵波形式入射進光學係統，經DOE相位調製、自由空間傳(chuan) 播、單反鏡頭相位調製、自由空間傳(chuan) 播、在相機上產(chan) 生點物的強度分布，即點擴散函數h。
(2) 基於(yu) CNN的圖像重建。使用U-net架構從(cong) 測得的y恢複x。具體(ti) 來說，U-net使用跳躍連接並且有5個(ge) 尺度，每個(ge) 尺度有4個(ge) 連續的下采樣操作(maxpool)和4個(ge) 連續的上采樣操作。在U-Net 的每個(ge) 尺度上，都包含一個(ge) 額外的卷積層；每個(ge) 卷積層後跟一個(ge) 修正線性單元(ReLU)。BatchNorm層在每個(ge) 上采樣層之後和zui終卷積層之後使用。這種架構可以讓鏡頭表麵輪廓的收斂速度更快。如圖1所示，每個(ge) 網絡層有 64 個(ge) 特征圖。
(3)端到端訓練。通過如圖1的端到端框架聯合優(you) 化點擴散函數(PSF)和U-Net CNN。訓練的時候使用數千張HDR圖片用於(yu) 訓練。簡單而言，一張HDR圖片經光學係統傳(chuan) 輸，相機采集到具有噪聲且飽和了的LDR圖像，使用U-net重建HDR圖像。在訓練過程中使用Tensorflow的自動微分功能計算相應的損失函數來後向(BP)傳(chuan) 輸誤差，並更新網絡參數θ和需要加工的DOE的麵型。訓練和驗證集包含了2837張HDR圖片(來源不盡相同)，對這些數據使用裁剪、放縮、顏色和飽和度調整來做數據增強。zui終的訓練集為(wei) 60000張不同的HDR圖片，分辨率為(wei) 320 x 320像素。LDR/HDR圖像對的生成是這樣的，對經過光學模型采集到的圖片讓其1%到2%的像素飽和，生成LDR圖。優(you) 化器為(wei) Adam,用100個(ge) epcochs訓練，耗時3天。
(4)製造和集成。優(you) 化完成後，可以得到DOE的麵型參數，通過複製成形(replica molding)使用聚二甲基矽氧烷(polydimenthyl-siloxane,PDMS)製造DOE.圖2描述了優(you) 化的高度輪廓以及利用輪廓儀(yi) 測量加工出的直徑為(wei) 5mm的DOE中心輪廓。兩(liang) 者輪廓基本吻合。真實測量的PSF相比仿真PSF的差異來源於(yu) 額外的眩光，這可能是由於(yu) 製造誤差和透鏡元件之間的相互反射產(chan) 生的。zui後將製造出的DOE作為(wei) 一個(ge) 附件安裝到標準的單反相機鏡頭上。
限製概述
所提出的通過深度光學進行單次HDR成像的方法在許多情況下都是成功的。然而，它使計算處理成為(wei) 成像的一個(ge) 組成部分，與(yu) 傳(chuan) 統的LDR成像相比，這可能會(hui) 增加計算負擔。與(yu) 其它單次拍攝方法類似，此文的方法可能無法穩健地估計測量中非常大的飽和區域的高對比度場景
實驗結果
附錄：
(1)場景經成像係統成像可以描述為(wei)
，x裏的所有元素做歸一化處理。η模擬與(yu) 信號有關(guan) 的讀取噪聲，h是相機鏡頭產(chan) 生的點擴散函數，*代表二維卷積，f(·)是相機的響應函數。在這裏認為(wei) h是平移不變的，但是更普遍的隨著橫向和縱向變化的點擴散函數也是可以采用的。
假設相機有一個(ge) 線性的響應函數，
優(you) 化目標為(wei) ，當
時，從(cong) y恢複x。
(2)入射到DOE上的平麵波描述為(wei) 
，k為(wei) 波矢。DOE麵型Φ產(chan) 生的相位調製為(wei)
(u,v)是DOE麵的橫坐標，A代表DOE的孔徑函數
鏡頭產(chan) 生的相位延遲為(wei)
g是鏡頭的焦距。zui終相機接收到的強度為(wei) 
表示光場u在距離為(wei) d的空間中自由傳(chuan) 播。
(3)網絡的損失函數為(wei)
γ=1/2，ε是一個(ge) 用於(yu) 避免在0附近不可微的小常數。
為(wei) 了確保DOE能被加工出來，在訓練的過程中將麵型的高度值的範圍z大化，並對麵型增加一個(ge) 額外的平滑項以防止生成的表麵輪廓包含了許多不連續的點。具體(ti) 表現為(wei) 增加一個(ge) 損失函數
D是Laplacian filter,ν = 109是權重參數。
參考文獻：Metzler, C., Ikoma, H., Peng, Y., Wetzstein, G., Deep Optics for Single-shot High-dynamic-range Imaging, CVPR 2020 鏈接：https://arxiv.org/pdf/1908.00620.pdf
關(guan) 於(yu) 昊量光電：
上海昊量光電設備有限国产黄色在线观看是光電国产欧美在线專(zhuan) 業(ye) 代理商，国产欧美在线包括各類激光器、光電調製器、光學測量設備、光學元件等，涉及国产成人在线观看免费网站涵蓋了材料加工、光通訊、生物醫療、科學研究、國防、量子光學、生物顯微、物聯傳(chuan) 感、激光製造等；可為(wei) 客戶提供完整的設備安裝，培訓，硬件開發，軟件開發，係統集成等服務。
您可以通過我們(men) 昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息，或直接來電谘詢4006-888-532。
本文章經光學前沿授權轉載,商業(ye) 轉載請聯係獲得授權。