首頁  技術文章  2018年綜述:計算成像(上)

2018年綜述:計算成像(上)

發布時間:2022-04-25 20:49:00 瀏覽量:4592 作者:LY.Young 光學前沿

摘要

在過去的幾十年,成像技術得到了巨大的發展。從(cong) 50多年前Zapruder使用笨重的貝爾豪威爾家用攝影機拍攝肯尼迪刺殺事件到如今使用小巧而功能強大的多攝像頭智能手機隨時可拍攝爆炸性的新聞事件。成像技術的發展得益於(yu) 物理學與(yu) 科技之間以一種以前不可能擁有的聯係緊密耦合在一起。

正文


2018年綜述:計算成像(上)


2018年美國陸軍(jun) 研究實驗室的Joseph N. Mait等人在Advances in Optics and Photonics上發表綜述文章Computational Imaging。其內(nei) 容如下:


目錄

1、引言(Introduction)

2、感知、成像和攝影(Sensing, Imaging and photography)

3、成像簡史(Short History of Imaging)

3.1、古代(Antiquity)

3.2、輔助人類成像:成像科學的開端(AidedHuman Imaging: the Beginning of Image Science)

3.3、記錄成像:成像科學成熟和成像国产成人在线观看免费网站大幅增加(Recorded Imaging: Image Science Matures and Imaging Applications Multiply)

3.4、電子成像(ElectronisImaging)

4、計算成像(ComputationalImaging)

4.1、定義(yi) (Definition)

4.2、物理和數學基礎(Physicaland Mathematical Essentials)

4.3、光學設計(Optical Design)

4.3a、解耦(DecoupLED)

4.3b、協同(Collaborative)

4.3c、集成(Integrated)

4.4、信息基礎(InformationEssentials)

4.5、動機(Motivations)

5、動機1:傳(chuan) 統成像力有不逮(Motivation 1: Conventional Imaging Is Impossible)

5.1、相位成像(PhaseImaging)

5.1a、相襯顯微鏡(Phase ContrastMicroscope)

5.1b、幹涉測量和全息(Inteferometryand Holography)

5.1c、從(cong) 強度複原相位(PhaseRetrieval from Magnitude)

5.2、量子成像(QuantumImaging)

5.3、體(ti) 積成像(VolumetricImaging)

5.3a、計算層析(ComputedTomography)

5.3b、核磁共振成像(MagneticResonance Imaging)

6、動機2:維度不匹配(Motivation 2: Dimensionality Mismatch)

6.1、空間-光譜成像(Spatial-Spectral Imaging)

6.2、三維成像(Three-DimensionalImaging)

6.2a、深度不變成像(Depth-InvariantImaging)

6.2b、深度測量(DepthMeasurement)

6.3、偏振成像(PolarizationImaging)

7、動機3:降低測量的邊際成本(Motivation 3: Reducing Measurement Marginal Costs)

7.1、可能的但是不實際的(possiblebut impractical)

7.1a、合成孔徑雷達(Syntheticaperture Radar)

7.1b、孔徑編碼成像(Coded-ApertureImaging)

7.2、可能的但是不是最優(you) 的(Possiblebut Not Optimal)

7.2a、超分辨(Superresolution)

7.2b、提高時間分辨率(IncreasedTemporal Resolution)

7.2c、形狀因素約束(FormFactor Constraints)

7.2d、具體(ti) 特征和壓縮感知成像(Feature-Specificand Compressive Imaging)

7.3、自適應係統(AdaptiveSystems)

7.3a、自適應光學(AdaptiveOptics)

7.3b、基於(yu) 自適應的信息(Adaptation-Basedon Information)

7.3c、自適應激光雷達(AdaptiveLidar)

8、計算成像的未來(Future ofComputational Imaging)

8.1、優(you) 勢(Strengths)

8.2、缺點(Weaknesses)

8.3、機會(hui) (Opportunities)

8.4、威脅(Threats)

9、總結和評論(Conclusionand Summary Remarks)


1、引言

在過去的幾十年,成像技術得到了巨大的發展。從(cong) 50多年前Zapruder使用笨重的貝爾豪威爾家用攝影機拍攝肯尼迪刺殺事件到如今使用小巧而功能強大的多攝像頭智能手機隨時可拍攝爆炸性的新聞事件。成像技術的發展得益於(yu) 物理學與(yu) 科技之間以一種以前不可能擁有的聯係緊密耦合在一起。

在90年代中期,這種融合向光學和圖像處理界研究人員展示一種新的成像方式:圖像信息不再僅(jin) 僅(jin) 由光學物理來承載。這種新的成像方式核心特點在如今被稱作計算成像,它聯結著前端光學係統和後端探測信號處理。在其某些成像形態中,由光學係統所得的測量圖像甚至不是所拍攝物的像。使用計算成像的原則,我們(men) 可以設計出遠超光學係統物理限製能力的儀(yi) 器設備來采集圖像或者其它場的信息。在同等成像能力下,基於(yu) 計算成像的儀(yi) 器設備相比傳(chuan) 統成像方式,其尺寸、重量、功率和成本都能夠按需降低。


本綜述回顧了正在擴大的計算成像領域,具體(ti) 章節安排如下:

章節2:給出感知和成像的基本信息。從(cong) 與(yu) 計算成像密切相關(guan) 的一些學科中中獲得計算成像定義(yi) 的描述,這些學科包括:遙感、攝影、圖像增強和複原。

章節3:成像的簡單曆史。

章節4:計算成像的基礎,從(cong) 圖像形成的物理機製開始,考慮了檢測,後處理,以成像的信息理論觀點結束。

章節5-7:重點環節,基於(yu) 為(wei) 什麽(me) 要采用計算成像的三個(ge) 動機介紹了計算成像的種類。

章節8:介紹了計算成像當前的優(you) 勢、不足、未來的機會(hui) 和威脅。

章節9:總結和評論。


2、感知、成像和攝影

感知是對環境的某些物理屬性進行測量和估計。舉(ju) 個(ge) 例子,放在室外的溫度計測量(感知)空氣中單個(ge) 點的溫度。對於(yu) 普通人來講,單個(ge) 點的溫度已經足夠,而對於(yu) 氣象學家來說,這是不夠的。因為(wei) 他們(men) 知道空氣中兩(liang) 點之間的溫度差會(hui) 產(chan) 生氣流,當這個(ge) 溫度差足夠大的時候,氣流將對人們(men) 的生命和財產(chan) 構成威脅。因此,氣象學家想要知道一整塊區域的溫度空間分布。我們(men) 稱這種溫度的空間分布圖為(wei) 熱圖像。


根據上述描述,我們(men) 把不需要空間分布信息的測量稱為(wei) 感知,把需要在多個(ge) 位置對環境的屬性進行測量和估計的操作稱為(wei) 成像。成像的理由來源於(yu) 兩(liang) 個(ge) 理由中的任意一個(ge) :一是為(wei) 了估計物理屬性的空間分布,二是為(wei) 了將環境中的元素分類(類似於(yu) 對家庭成員分類等)。


對於(yu) 第二個(ge) 理由,我們(men) 注意到,有時候分類是為(wei) 了喚起某種回憶或感情。我們(men) 將這種国产成人在线观看免费网站稱作攝影或者電影攝影,以此將它和許多其它的客觀国产成人在线观看免费网站區分開來。這樣做也是為(wei) 了將計算成像和計算攝影給區分開來。成像和電影攝影的區別,由好萊塢電影攝影師John Schwartzman在2107年的OSA成像會(hui) 議上作了清晰的闡述。


攝影需要光學係統將物方空間每一個(ge) 點的亮度或色度一對一映射到像方空間,即物方空間的一個(ge) 點對應著像方空間的一個(ge) 點。但是對於(yu) 其它的成像国产成人在线观看免费网站,光學係統不一定需要進行一對一的映射。


這些定義(yi) 描述和收縮了屬於(yu) 計算成像的国产成人在线观看免费网站領域。在下一章節,將簡要描述成像和成像科學的曆史,焦點在於(yu) 歐洲的成像史。


3、成像簡史

成像科學的基礎是1621年Snell提出的折射定律、1647年Cavalieri提出的透鏡製造者方程和1670年Newton提出的成像方程。第一項是科學定律,後兩(liang) 項是工程定律。


我們(men) 故意將折射定律而不是反射定律作為(wei) 成像唯一的科學基礎。盡管羅馬人已經知道怎麽(me) 製造反射鏡,也知道入射角等於(yu) 反射角,但是這些理解並不能夠帶領我們(men) 實現多鏡片成像係統的廣泛国产成人在线观看免费网站。理解光是如何在玻璃中折射的,將讓我們(men) 理解透鏡以及它在成像中的決(jue) 定性價(jia) 值(基於(yu) 反射的成像係統也是有的,Newton認為(wei) 基於(yu) 折射無法消除色差,製造出了基於(yu) 反射的成像係統,後續也有其他人基於(yu) 反射原理設計成像係統)。


從(cong) 這些開始,成像依托於(yu) 四項基礎技術的進步得到了發展,這四項技術是:光學材料(如玻璃和聚合物)、換能器(包括膠片和電子探測器,人眼除外)、光源(從(cong) 蠟燭、弧光燈、白熾燈到LED和激光器)和處理技術(通過生物、電子或其它的處理技術)。今天所有的成像器材都是基於(yu) 這四項技術製造而成的。


在這一章節,我們(men) 根據當時對技術的理解以及技術水平劃分了5個(ge) 成像周期。在這一章節討論了4個(ge) 周期,最後一個(ge) 周期是計算成像,後續章節描述。每個(ge) 周期的年代劃分是粗略劃分的,並不意味著固定不變。


第一個(ge) 周期是古代,在此時,盡管已經有了玻璃,但是工匠們(men) 缺少理解和使用它們(men) 的知識。玻璃僅(jin) 僅(jin) 被用作裝飾、窗戶、或像碟子和杯子這樣的東(dong) 西。


下一個(ge) 周期從(cong) 1600到1840年,是光學科學和工程的開端。多鏡片的顯微鏡和望遠鏡將人類視覺擴展到微觀和宏觀宇宙的領域,這是輔助人類成像的周期。


從(cong) 1840-1970年,是基於(yu) 光化學的記錄成像。從(cong) 1970-1990年是數字電子記錄成像。我們(men) 將前者稱為(wei) 記錄成像周期,後者稱為(wei) 電子成像周期。在記錄成像的周期,光的自然屬性才開始展現出來,圖像形成的物理限製開始被人們(men) 所理解。其中最根本的是分辨率限製,在這一個(ge) 周期,許多成像上的進展都是基於(yu) 想達到或者超過這個(ge) 分辨率限製的目的所驅動的。


1990年以後是計算成像周期,從(cong) 此設計光學係統時,將計算作為(wei) 一般的事物考慮進去。在協助光學係統和後端檢測信號處理設計的過程中,分辨率被重新理解為(wei) 測量波前通過有限孔徑時傳(chuan) 輸的信息。因而產(chan) 生了光學編碼和後處理這樣的新技術。


3.1古代

反射、折射、合適形狀的晶體(ti) 具有放大物體(ti) 的像的能力,這些在古代已經被人們(men) 所發現。歐幾裏得的反射光學(Euclid’s Catoptrics)寫(xie) 於(yu) 公元前300年,準確的描述了反射角等於(yu) 入射角。折射雖然已經被觀察到了,但是並不理解它的機理。


眼鏡是最先出現的實用光學儀(yi) 器,於(yu) 1279年出現在意大利的佛羅倫(lun) 薩。然而,眼鏡的意義(yi) 更多的是在於(yu) 儀(yi) 器封裝的進展,而不是光學上的大進展。培根記載到,歐洲已經意識到透鏡具有放大像的能力。眼鏡隻是一個(ge) 金屬框架支撐著兩(liang) 個(ge) 透鏡,並置於(yu) 人類的眼睛之前而已。


1270年出現了Alhazen的Opticae Thesaurus拉丁文譯本,對成像現像做出了評論,但是清楚的表明當時歐洲人對於(yu) 折射的理解還不清楚。比如,Vitello,一個(ge) 在意大利做研究的波蘭(lan) 數學家,於(yu) 1270年出版了測量折射角的綱要,但是他的工作充滿了錯誤。


鑒於(yu) 眼鏡和早期的放映機在文藝複興(xing) 的初期已經出現,才令人很迷惑為(wei) 什麽(me) 直到16世紀才出現了多鏡片的光學儀(yi) 器。


3.2 輔助人類成像:成像科學的開端

1590年,父子團隊Hans和Zacharias Janssen發明了複合顯微鏡——一個(ge) 雙鏡片光學係統。在顯微鏡發明的20年內(nei) ,Lippershey和Galileo發明了兩(liang) 種不同的望遠鏡,Lippershey還研發出了雙筒望遠鏡


Kepler的《屈光學》(Dioptrice)於(yu) 1611年初版,Antonio Neri的《玻璃藝術》(L’arte vetraria)於(yu) 1612年出版。這兩(liang) 本書(shu) 的出現為(wei) 廣泛的光學設計提供了手段和動力。Kepler提出了一階光學的基礎知識。,Neri揭示了製造高質量玻璃所需的鈉、石灰和矽酸鹽的適當比例。Kepler的書(shu) 雖然最先分析了多鏡片係統,但是它依然顯示出缺乏對折射的基本理解。因為(wei) 不理解折射,Kepler的分析隻局限於(yu) 小角度係統。


Snell的折射定律於(yu) 1621年出版,是打開光學設計大門的關(guan) 鍵。借助於(yu) 折射定律,Descartes(笛卡爾)推導出可以校正球差的透鏡麵型。1647年,Cavalieri將透鏡焦距、透鏡的麵曲率半徑和折射率聯係起來,推導出我們(men) 現在的透鏡製造者方程。最終,約1670年,Newton推導出了成像方程,這是光學設計的裏程碑,它將透鏡焦距、物距和像距給聯係了起來。


1662年Neri的書(shu) 的英譯版影響了英國的玻璃工人GeorgeRavenscroft,他決(jue) 定將鉛加入玻璃的化學成分中,這對光學玻璃產(chan) 生了重大的影響。1674年,Ravenscroft申請了製造火石玻璃的專(zhuan) 利。1733年,天文愛好者Hall使用色散特性不同的火石玻璃和冕牌玻璃來校正色差。


有些年頭以後,1809年,Fraunhofer在一個(ge) 巴伐利亞(ya) 的玻璃熔煉車間做玻璃材料成分的實驗。他不僅(jin) 生產(chan) 出了高質量的消色差透鏡,還使用他的新興(xing) 光譜技術描述了不同玻璃的色散特性。


1800年,Herschel通過用溫度計測量經過棱鏡後的不同顏色的光的溫度,發現了紅光譜以外的熱輻射,即預示著膠片的發明。1801年,Ritter將氯化銀暴露在不同顏色光被分開的太陽光下,檢測到了藍色以外的射線。因此,Herschel和Ritter的發現,確立了有超出人眼可見光範圍之外的輻射的存在。


3.3記錄成像:成像科學成熟和成像国产成人在线观看免费网站大幅增加

1837年Daguerre發明的記錄成像對成像国产成人在线观看免费网站產(chan) 生了重大影響。美國內(nei) 戰後的照片記錄,戲劇性的展示了攝影的力量,它不僅(jin) 是敘事的,還能夠觸動人們(men) 的情感。膠片不僅(jin) 促進了攝影的發展,還促進了電影攝影的發展。


從(cong) 我們(men) 的觀點來看,膠片的發明使得圖像的獲得不再需要一個(ge) 人類觀察者。以第一次遙感成像為(wei) 證,1887年英國氣象學家Douglas Archibald和1888年法國人Arthur Batut拍拍攝了風箏航拍照片,照片的獲得就沒有人類觀察者。


膠片的發明還允許記錄對於(yu) 人類感知來說太快和太慢的事件。1872年,Eadweard Muybridge解決(jue) 了Leland Stanford提出的關(guan) 於(yu) 馬的運動的問題。他使用12台相機,發現在一次小跑過程中,一匹馬的四隻腳同時離地。1910年,F. Percy Smith率先展示了時延攝影,他記錄了花朵盛開的過程。


在這個(ge) 周期,物理學家確定了光的屬性。這個(ge) 問題已經困擾了哲學家上千年,在近兩(liang) 個(ge) 半世紀內(nei) 也是一個(ge) 有爭(zheng) 議的議題。在17世紀,Newton認為(wei) 光是粒子,這個(ge) 觀點影響了學術界許多年。然而,Huygens認為(wei) 光是波。Grimaldi的衍射實驗於(yu) 1665年出版,Young在1801年證明了光的幹涉,這些都支撐著光的波動屬性。數學模型也驗證了衍射和偏振,波動理論在1865年Maxwell方程組的出現達到了高潮。光的波動性占據統治地位,直到物理學家揭示了物質的量子屬性,並推翻了波與(yu) 粒子的爭(zheng) 論。這最終產(chan) 生了量子力學的根本哈根解釋。


在這個(ge) 周期,光學科學發展成了光學工程。憑借對光學物理學的深入理解,光學界在1870年代獲得了成像方麵的重大進展。這些進步是通過理論、国产成人在线观看免费网站和材料的專(zhuan) 業(ye) 知識的協同實現的。具體(ti) 實現人是Abbe、Zeiss和Schott。1873年,Abbe對圖像形成的波動光學解釋確定了成像性能的極限,並允許一種不基於(yu) 材料的光學成像性能提升。


在同一時期,Abbe和Schott研究了材料間的關(guan) 係,他們(men) 的比例以及他們(men) 對光學性能的影響。因此,1886年第一個(ge) Schott目錄中描述的44種玻璃有19種是新的。兩(liang) 年後,他們(men) 的第一個(ge) 目錄補充包括了24種新的玻璃類型。物理理解和材料的融合將光學帶入了工程領域,並使Zeiss成為(wei) 了光學儀(yi) 器領域的國際領導者。


3.4 電子成像

20世紀最大的進展可能是物理學家的基本粒子(電子和光子)與(yu) 香農(nong) 的信息元素粒子(the bit)的結合。香農(nong) 的信息理論出現在1940年代後期,對人們(men) 認識圖像,成像過程和一般的光學係統產(chan) 生了重大的影響。與(yu) 此同時,Duffieux將傅裏葉分析引入光學係統。光學和信息理論的融合在Goodman的經典書(shu) 籍傅裏葉光學得到了明顯的體(ti) 現(1968年)。


在1960年代早期,當電子處理是模擬、一維、主要使用分立元件實現的時候,光學在吞吐量和並行處理方麵展現出了巨大的優(you) 勢。激光與(yu) 離軸全息的結合預示著光學在成像和圖像處理上相比電子學更有優(you) 勢。


這種優(you) 勢是短暫的。1969年ccd的發明促使了從(cong) 光學處理到電子學處理的轉變。電子轉換允許光學圖像被實時轉換成電子格式,可以對其進行模擬和數字電子處理,電子格式也有利於(yu) 圖像的傳(chuan) 輸和存儲(chu) 。


幾乎同時期出現的Cooley和Tukey的快速傅裏變換算法、CCD、和英特爾4004微處理器可以與(yu) Kepler的《屈光學》和Neri的《玻璃藝術》相比。這三者一起,提供了實現圖像數字電子處理的動力、手段和方法。第一次形成了可以嚴(yan) 格由計算機使用而不會(hui) 被人類查看的圖像。


數字成像進一步發展的 潛力通常參考摩爾定律——集成電路中每麵積上的晶體(ti) 管數量每18個(ge) 月翻一番。然而,經常重複摩爾定律的熱情可能導致對成像和成像係統未來的偏見。光學器件提供什麽(me) ?它們(men) 有必要嗎?自然地,我們(men) 覺得光學是必要的,並且在本文的其餘(yu) 部分,我們(men) 將討論如何將光學和電子學結合使用來創建比單獨使用更強大的儀(yi) 器。

 


DOI:https://doi.org/10.1364/AOP.10.000409


關(guan) 於(yu) 昊量光電

上海昊量光電設備有限国产黄色在线观看是國內(nei) 知名光電国产欧美在线專(zhuan) 業(ye) 代理商,代理品牌均處於(yu) 相關(guan) 領域的發展前沿;国产欧美在线包括各類激光器、光電調製器、光學測量設備、精密光學元件等,涉及国产成人在线观看免费网站領域涵蓋了材料加工、光通訊、生物醫療、科學研究、國防及更細分的前沿市場如量子光學、生物顯微、物聯傳(chuan) 感、精密加工、先進激光製造等;可為(wei) 客戶提供完整的設備安裝,培訓,硬件開發,軟件開發,係統集成等優(you) 質服務。

 

您可以通過昊量光電的官方網站www.weilancj.com了解更多的国产欧美在线信息,或直接來電谘詢4006-888-532。

 

本文章經光學前沿授權轉載,商業(ye) 轉載請聯係獲得授權。