首頁  技術文章  博覽:2020 CVPR使用定向光錐變換的非視域曲麵重建

博覽:2020 CVPR使用定向光錐變換的非視域曲麵重建

發布時間:2022-04-08 10:36:26 瀏覽量:3274 作者:LY.Young 光學前沿

摘要

非視域(Non-line-of-sight,NLOS)成像可以對視域之外的目標進行成像,其国产成人在线观看免费网站遍布遙感、國防、機器人視覺和自動駕駛等領域。通常,使用一個(ge) 光源(如激光)不直接照射目標場景,而是通過一個(ge) 中介麵將光反射到目標場景上,目標場景將光反射到中介麵,再由中介麵反射到傳(chuan) 感器上。傳(chuan) 感器捕捉到由中介麵反射回的場景信息,並將它們(men) 記錄為(wei) 二維圖像(或瞬態)的時間分辨序列,通過計算的方法重建出場景圖像。除了基於(yu) 瞬態的成像外,其它NLOS成像模式還包括基於(yu) 散斑或非相幹強度測量以及被動傳(chuan) 感和聲學成像技術的成像模式。

正文


博覽:2020 CVPR使用定向光錐變換的非視域曲麵重建


技術背

非視域(Non-line-of-sight,NLOS)成像可以對視域之外的目標進行成像,其国产成人在线观看免费网站遍布遙感、國防、機器人視覺和自動駕駛等領域。通常,使用一個(ge) 光源(如激光)不直接照射目標場景,而是通過一個(ge) 中介麵將光反射到目標場景上,目標場景將光反射到中介麵,再由中介麵反射到傳(chuan) 感器上。傳(chuan) 感器捕捉到由中介麵反射回的場景信息,並將它們(men) 記錄為(wei) 二維圖像(或瞬態)的時間分辨序列,通過計算的方法重建出場景圖像。除了基於(yu) 瞬態的成像外,其它NLOS成像模式還包括基於(yu) 散斑或非相幹強度測量以及被動傳(chuan) 感和聲學成像技術的成像模式。

基於(yu) 瞬態的 NLOS 成像,其隱藏的NLOS場景通常被渲染為(wei) 空間的三維反照率體(ti) 積,或物體(ti) 曲麵的集合。在體(ti) 積反照率模型中,目標是估計場景體(ti) 素的反照率值,而在曲麵重建模型中,人們(men) 通過估計曲麵法線來更直接地恢複三維場景中的目標曲麵。


當前不足:

當前基於(yu) 曲麵重建的方法雖然比基體(ti) 積反照率的方法在重建物體(ti) 幾何細節上要更具有優(you) 勢,但是它局限在簡單的幾何物體(ti) ,且對初始狀態敏感,計算量巨大。


文章創新點:

基於此,斯坦福大學的Sean I. Young和Gordon Wetzstein等人提出一種基於定向光錐變換(directional light-cone transform, D-LCT),聯合反照率(albedo)-法線(normal)的非視域場景重建方法,重建準確性和計算速度都大有提升。


原理解析:

(1)算法概述。隱藏場景的反照率和曲麵法線提供了場景的互補信息,通過將場景曲麵上任意一點的反照率和曲麵單位法向量相乘,從而將由朗伯餘弦定律引起的輻照度衰減考慮在內,使得前向模型不再隻適合均勻的發射點源,更符合實際的漫反射或朗伯曲麵。所求模型從標量計算轉為向量計算,並將光錐變換拓展到向量形式的定向光錐變換,將反照率和曲麵法線的複原看作為一個向量解卷積問題,使用Cholesky-Wiener分解來求解,通過在複原的法線上擬合曲麵,重建高度準確的物體曲麵(具體算法推導見附錄)。


(2)係統構成。高功率脈衝(chong) 激光(35ps脈寬,重複頻率10MHz, 出射激光平均光功率為(wei) 1W@532nm)經準直和線偏振處理後經過偏振分光棱鏡透射到二維振鏡上對場景進行掃描,經中介牆反射回來的光線沿著原光路返回,並被偏振分光棱鏡反射後聚焦到單光子雪崩二極管(SPAD)上。時間相關(guan) 光子計數器以SPAD和激光的信號作為(wei) 輸入,並將光子時間戳流輸出到計算機。



實驗結果:

附錄:

1、體(ti) 積反照率模型

將三維場景坐標用(x,y,z)標記,可見曲麵用(x',y',z=0)標記(見圖1)。常見的瞬態成像模型是共焦體(ti) 積反照率模型



ρ代表在有限場景空間Ω上的三維反照率體(ti) 積。δ(·)將光的往返飛行時間和場景(x,y,z)與(yu) 感知位置(x',y',z=0)之間距離的2倍聯係起來,c是光速。1/r4=(2/tc)4表示由於(yu) 距離引起的輻照度衰減。

將模型(1)離散化,沿著x-,y-,z-軸分別用N,N,M個點采樣有限Ω空間。瞬態τ已經被(2/tc)4預縮放。使用矩陣表示的方法將離散化模型(1)緊湊表示為

τ,ρ∈ℝNXNXM,K是由采樣δ(·)得到的二值矩陣。由於(yu) K是一個(ge) 高條件數的低通算子,從(cong) 給定的瞬態τ求解ρ是一個(ge) 不適定問題,找到ρ作為(wei) 正則化最小二乘問題的解。


問題(3)可以使用光錐變換(light-cone transform,LCT)求解。記重采樣算子為(wei) T,讓=T*ρ,=T*τ,問題(3)化為(wei) :


其中,H=T*KT是一個(ge) 三維濾波


2、定向反照率模型

(1)式隻適合各向同性的發射電源,不適合常見的漫反射或朗伯物體(ti) 曲麵,即(1)式忽略了由於(yu) 朗伯餘(yu) 弦定律引起的輻照度衰減。將餘(yu) 弦項加入(1)式不僅(jin) 可以使得前向傳(chuan) 播模型更準確,還能夠通過逆模型從(cong) 瞬態恢複曲麵法線。

記空間坐標s=(x,y,z),s'=(x',y',z=0),更新模型(1),得

其中,n(s)=(nx,ny,nz)(s)∈ℝ3是在s處的曲麵法線。當

時,模型(5)退化為(wei) 體(ti) 積反照率模型(1)。

模型(5)中的反照率ρ(s)∈ℝ是一個(ge) 標量,而n(s)∈ℝ3是單位法向量。將反照率和單位法向量合並成一個(ge) 定向-反照率向量:

將(7)代入(5),並讓r=||s'-s||,得到定向反照率模型

對(8)采取類似於(yu) (2)式在有限場景空間Ω內(nei) 離散化的操作,得到

K矩陣與(yu) (2)同。在Ω上采樣(s'-s)獲得S=(Sx,Sy,Sz)。求解問題是由給定的瞬態τ複原定向反照率

,通過將(9)表示為一個正則化的最小二乘問題求解

3、定向光錐變換

盡管(10)有簡單的解析解(closed-form solution):


但是,解析解求解計算量巨大,不適合實際問題求解。

為(wei) 了高效求解(10),將(4)式所用的LCT技術進一步推廣到向量問題來,從(cong) 而將(10)寫(xie) 為(wei) 等效形式:

其中,

是重采樣的變量,=T*τ。


4、Cholesky-Wiener解卷積

與(yu) (12)相關(guan) 的法線方程寫(xie) 為(wei) :

其中,Hx=HSx,Hy=HSy,Hz=HI。使用Cholesky分解求解(14)。使用Cholesky因式分解的LDL變形,將矩陣A=H*H+λI分解為(wei) A=LDL*,其中

L和D的元素為(wei)

三角化的係統LDL* =H*τ使用前向和後向置換(forward- and back-substitutions)求解:

5、曲麵重建

獲得 之後,擬合曲麵相當於複原場景對象的指示函數

 ,使得 的梯度等於(yu) 。表示為(wei) 一個(ge) 優(you) 化問題,從(cong) 而有


G代表離散化的三維梯度算子。


參考文獻:Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein. 2020. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform. Proc. CVPR.
原文鏈接:http://www.computationalimaging.org/wpcontent/uploads/2020/03/dlct_cvpr2020.pdf

代碼:https://github.com/computational-imaging/nlos-dlct


關(guan) 於(yu) 昊量光電

上海昊量光電設備有限国产黄色在线观看是國內(nei) 知名光電国产欧美在线專(zhuan) 業(ye) 代理商,代理品牌均處於(yu) 相關(guan) 領域的發展前沿;国产欧美在线包括各類激光器、光電調製器、光學測量設備、精密光學元件等,涉及国产成人在线观看免费网站領域涵蓋了材料加工、光通訊、生物醫療、科學研究、國防及更細分的前沿市場如量子光學、生物顯微、物聯傳(chuan) 感、精密加工、先進激光製造等;可為(wei) 客戶提供完整的設備安裝,培訓,硬件開發,軟件開發,係統集成等優(you) 質服務。

 

您可以通過昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息,或直接來電谘詢4006-888-532

 

本文章經光學前沿授權轉載,商業(ye) 轉載請聯係獲得授權。