一．虛擬現(xiàn)實的發(fā)展歷程

虛擬現(xiàn)實是一種存在于計算機和互聯(lián)網(wǎng)環(huán)境中人工制造的虛擬環(huán)境，人們能夠以接近自然的方式與這個虛擬環(huán)境進行交互，從而產(chǎn)生身臨其境的沉浸感。由于虛擬現(xiàn)實有著傳統(tǒng)人機交互無法比擬的真實感，使人們能夠如同感知真實世界一般接觸虛擬空間，為人類文化的傳承和發(fā)展創(chuàng)造了新的可能，對教育培訓(xùn)、文化旅游、社交活動、電子商務(wù)、生物醫(yī)學(xué)等領(lǐng)域都有深遠的意義。
光場虛擬現(xiàn)實技術(shù)在傳統(tǒng)虛擬現(xiàn)實技術(shù)的基礎(chǔ)上，結(jié)合計算機圖形學(xué)、計算機視覺、計算機攝影學(xué)中涌現(xiàn)的最新成果，不僅能讓人無法區(qū)分虛擬和現(xiàn)實，還能實現(xiàn)人與虛擬環(huán)境的自然互動，進一步增強用戶的真實體驗。

“小孔成像”的發(fā)現(xiàn)

自從墨子發(fā)現(xiàn)了“小孔成像”現(xiàn)象以來，人們逐漸掌握了用光學(xué)成像技術(shù)觀察和記錄世界的能力。

照相機的發(fā)明

1826年，法國人約瑟夫·尼塞福爾·尼埃普斯發(fā)明了世界上第一臺照相機，并在巴黎拍攝了現(xiàn)存最早的一張照片。

各式光學(xué)儀器的出現(xiàn)

此后，各式各樣的光學(xué)儀器如雨后春筍般紛紛出現(xiàn)。其中，雙目立體鏡的出現(xiàn)標(biāo)志著虛擬現(xiàn)實雛形的誕生。人們能夠通過雙目立體鏡觀看三維圖像，相比平面照片而言真實感更為強烈，

現(xiàn)代虛擬現(xiàn)實技術(shù)的起源

真正意義上的現(xiàn)代虛擬現(xiàn)實技術(shù)起源于1965年，被譽為“計算機圖形學(xué)之父”的美國人伊萬·薩瑟蘭發(fā)明了一臺名為“達摩克利斯之劍”的機器，能夠向雙眼顯示不同視角的圖像，實現(xiàn)立體顯示，同時對頭部能夠進行位置跟蹤，實現(xiàn)人與虛擬環(huán)境的簡單互動。

互動多媒體系統(tǒng)

虛擬現(xiàn)實走進大眾視野

進入21世紀(jì)以來，伴隨著可穿戴設(shè)備等移動終端的爆發(fā)式增長，個人設(shè)備的計算能力越來越強大，虛擬現(xiàn)實頭戴式顯示設(shè)備得以迅速興起，虛擬現(xiàn)實從科學(xué)家的實驗室一躍進入萬千大眾的視野。經(jīng)過近兩年的快速發(fā)展，虛擬現(xiàn)實技術(shù)相關(guān)的產(chǎn)業(yè)生態(tài)鏈逐步形成，Oculus Rift、HTC Vive、PlayStation VR等硬件產(chǎn)品相繼走入市場，各種應(yīng)用也隨之產(chǎn)生并推廣。

二．虛擬現(xiàn)實的三大難題

虛擬現(xiàn)實之所以矚目，在于其能創(chuàng)造出一種全新的虛擬場景，使人們能夠產(chǎn)生身臨其境的體驗。這就要求虛擬的場景必須是立體的全景式圖像或視頻，能夠適應(yīng)人類頭部的運動，同時提供深度信息和聚焦變化，使大腦能夠判別近、遠景。

虛擬現(xiàn)實所需要滿足的生理要求

制作優(yōu)秀的虛擬現(xiàn)實內(nèi)容并不簡單，必須滿足人類在自然狀態(tài)下觀看外部世界的條件。人的眼睛是獲取外界信息最主要的渠道，經(jīng)過長時間的生理進化和日常訓(xùn)練，形成了感知外部世界的一種本能，且非常挑剔。其中很重要的一點就是感知深度信息，這包括雙目視差、運動視差、遮擋和聚散等幾種方式。
當(dāng)人在自然狀態(tài)下觀察目標(biāo)時，眼睛在不斷地變焦，并且通過前庭眼反射消除畫面切換時的抖動和模糊。這是因為在人眼的周圍有無數(shù)的光線，眼睛通過改變焦距，采集來自不同方向和位置的光線，聚焦在不同的平面。加上頭部的運動，人可以在很大的范圍內(nèi)聚焦在所關(guān)心的物體上。
在佩戴頭盔的情況下，人眼實際是聚焦在頭盔的屏幕上，而虛擬現(xiàn)實技術(shù)則試圖“欺騙”挑剔的人眼和大腦，仿佛雙眼是聚焦在不同的距離。一旦顯示的內(nèi)容稍有差錯或延遲，人眼就會敏感地察覺到，并造成相應(yīng)的神經(jīng)系統(tǒng)功能紊亂，引發(fā)諸如頭痛、眩暈、疲勞等不適癥狀。

虛擬現(xiàn)實的三大難題

傳統(tǒng)的虛擬現(xiàn)實技術(shù)目前還遠遠不能達到這些要求。人工合成的360°全景圖像或視頻無法產(chǎn)生立體視覺效果，即便采用立體相機拍攝三維空間信息，取得雙目立體視差，也仍然缺乏運動視差，不能形成進入走出的沉浸感。還需要加入聚焦變化，即人眼對焦在不同深度時，由于雙眼的聚散程度不同，對焦所在的平面是清晰的，而其他平面則是模糊的。真實世界的景物是一個高維度的復(fù)雜數(shù)據(jù)，只有完全記錄其中的所有信息，并且進行不失真的重現(xiàn)，虛擬環(huán)境才能淋漓盡致地表現(xiàn)出來。
因此，虛擬現(xiàn)實要取得成功，就必須解決立體視覺、運動視覺和動態(tài)對焦這三大問題。

三．光場虛擬現(xiàn)實的最新成果

為了創(chuàng)造出人眼難以分辨的虛擬現(xiàn)實，人們需要運用光場技術(shù)，并結(jié)合計算機視覺的方法，來實現(xiàn)這一目標(biāo)。而光場技術(shù)是計算成像/攝影領(lǐng)域發(fā)展起來的最新技術(shù)。
光場的概念早在1936年就被提出，是指光通過空間中某一點時在給定方向上的輻亮度。如圖1所示，人眼在觀察世界時無時無刻不在收集周圍的光場信息。我們可以用全光函數(shù)的概念來描述光場（圖2），其包括3D的空間變量和2D的方向變量，即全光函數(shù)是一個5D函數(shù)。在自由空間傳播時，光的輻亮度沿光線傳播方向保持不變，用光線在兩個任意平面上的交點坐標(biāo)表示，可以將光場簡化成一個4D函數(shù)。
光場記錄了光線的所有空間信息和方向信息，因此可以很容易地通過光場重建不同對焦平面的圖像，或渲染不同視角下的圖像，甚至合成一個不存在的虛擬圖像。
在虛擬現(xiàn)實中，相比傳統(tǒng)的雙目視覺法，通過光場構(gòu)建的立體圖像效果更加真切。這是因為通過雙目視覺合成的立體圖像本質(zhì)上還是平面的，而通過光場合成的立體圖像則真正是立體的。
光場技術(shù)的發(fā)展給虛擬現(xiàn)實領(lǐng)域帶來了巨大的變革，它幾乎滿足了人們對于虛擬現(xiàn)實的所有要求：
立體視差可以帶來最真實的感受；
運動視差讓進入走出更加自然；
重對焦使人們更加愜意地體驗而不至于引起任何身體的不適。
但是光場虛擬現(xiàn)實任需要解決三個方面的關(guān)鍵技術(shù)問題：光場的拍攝；光場的渲染；光場的顯示。
光場的拍攝

光場虛擬現(xiàn)實技術(shù)的核心目標(biāo)就是記錄光場，并且把光場無損地再現(xiàn)給人眼。光場的拍攝主要通過兩種方式實現(xiàn)：一是采用相機陣列拍攝，二是采用光場相機拍攝。
相機陣列拍攝：采用相機陣列的方式，可以捕獲來自不同視角的高分辨率圖像，每一幅圖像相當(dāng)于4D光場的一個2D切片，如果采集足夠多的不同2D切片，就可以重建完整的4D光場。上海科技大學(xué)和疊境數(shù)字科技（上海）有限公司合作搭建了一種向內(nèi)環(huán)視的光場拍攝系統(tǒng)，能夠?qū)π⌒臀奈镞M行拍攝和建模，可用于精細展示（圖4）。該系統(tǒng)采用80個單反相機同步觸發(fā)，拍攝處于中心區(qū)域的目標(biāo)，再利用光場重建技術(shù)對目標(biāo)進行處理和建模，得到被拍攝物的3D模型。
光場相機拍攝：另一種獲得光場信息的方法是采用基于微透鏡陣列的光場相機。光場相機是一種全新的相機，可以實現(xiàn)先拍照后對焦的全新成像模式。單鏡頭的光場相機通過微透鏡陣列來采樣角度信息。每個微透鏡覆蓋一定數(shù)量的像素，對應(yīng)來自主透鏡一個子孔徑的光錐，經(jīng)過每個微透鏡成像在探測器的不同位置，這種位置的變化就記錄了光線的方向以此類推，將主透鏡的孔徑劃分為若干采樣單元，每個微透鏡本身便記錄了光場的位置信息，從而實現(xiàn)四維光場的記錄。
光場相機能夠通過對光線的重新排布實現(xiàn)對任意平面的重對焦。光場相機記錄了光場的位置信息和角度信息，采用兩平面光場表示法，根據(jù)幾何關(guān)系，計算并渲染出一個虛擬的重對焦平面上的圖像（圖6）。計算時，指定重對焦平面上的一點，可以找到在透鏡平面和探測器平面的坐標(biāo)位置，從光場中取出這些對應(yīng)的光線進行積分，就能得到在該平面上的圖像。這個虛擬的重對焦平面可以任意指定，因此便實現(xiàn)了一定景深范圍內(nèi)任意平面的重對焦功能。事實上，這些光場拍攝系統(tǒng)也能應(yīng)用在博物館行業(yè)。例如，谷歌公司的360°全景攝像裝置Google Jump采用16個GoPro相機，形成了一個向外觀看的環(huán)形相機陣列，能夠?qū)崿F(xiàn)3D全景高清視頻的拍攝，可以展示整個展廳甚至整個博物館的全貌，提升虛擬博物館的體驗。

互動多媒體系統(tǒng)

首先，通過相機陣列或光場相機得到同一物體或場景在不同視角下的一系列圖像，再通過多視角幾何關(guān)系估計出場景中的深度，獲得粗略的幾何信息。同時，光場相機通過重新排布光線，實現(xiàn)先拍照后對焦，在一系列的焦平面位置進行圖像渲染，獲得圖像中的深度信息。
其次，在光學(xué)成像系統(tǒng)中，焦平面附近的發(fā)光強度分布具有對稱性。利用這個性質(zhì)，通過檢測不同對焦圖像附近的光強分布，計算出不同物點的深度信息。比較而言，這種方法在圖像噪聲 和采樣欠缺的情況下具有更強的抗變換性。

另外，可以利用場景中的遮擋性進行深度估計。在無遮擋的情況下，場景中的物體顏色分布是均勻的，而有遮擋的部分則會出現(xiàn)顏色混合。在光場相機中，從不同視角下渲染出的圖像具有不同的統(tǒng)計特性，根據(jù)表面統(tǒng)計數(shù)據(jù)檢測遮擋情況，作為評判一致性的指標(biāo)，可以計算出深度信息。

所有這些檢測圖像中幾何信息的方法，綜合起來就可以幫助我們獲得完整的幾何信息來輔助光場渲染，得到逼真的圖像。采用這種方法對博物館進行建模和處理，所產(chǎn)生的渲染圖像可以方便地顯示在虛擬現(xiàn)實頭盔的屏幕上，為觀眾呈現(xiàn)藏品的全部光場信息，從各個角度自然地觀看藏品的虛擬模型，再配合手柄等操作設(shè)備，就能產(chǎn)生進入走出的運動視覺，提高互動感受。

光場的顯示

由于光線可逆，光場顯示過程與光場成像過程互為對偶關(guān)系，因此將捕獲的光場信息通過光場顯示器件表現(xiàn)出來后，人眼即可看到“真實”的虛擬世界。

微透鏡陣列和光場渲染技術(shù)：美國英偉達公司最近發(fā)明了一種近眼光場頭盔。該頭盔采用微透鏡陣列和光場渲染技術(shù)，使人們能夠自由調(diào)節(jié)對焦，觀察到正確的聚散程度、雙目視差和深度信息。其基本原理是在有機發(fā)光二極管顯示器上覆蓋一層微透鏡陣列，在人眼的調(diào)節(jié)距離內(nèi)快速合成虛擬的3D景物。由于此類顯示設(shè)備的尺寸小、佩戴輕便，為下一代光場顯示和虛擬現(xiàn)實設(shè)備的開發(fā)提供了新的思路。盡管這種光場頭盔的分辨率較低，還不足以實現(xiàn)商業(yè)化用途，但隨著硬件器材和計算機算法的不斷完善，未來將有巨大的發(fā)展?jié)摿Α?br />
壓縮光場顯示：另一種光場顯示技術(shù)稱為壓縮光場顯示，也是光場顯示方向頗具潛力的解決方案之一。例如，麻省理工學(xué)院開發(fā)的多層壓縮光場顯示裝置采用若干層掩膜和透明間隔實現(xiàn)光場顯示，通過張量分解的方法優(yōu)化每層掩膜板的透過率，將二維圖像投射到三維空間。