在技術(shù)變革和資本力量的雙重推動下，虛擬現(xiàn)實(Virtual Reality)技術(shù)在近幾年發(fā)展迅速，初步達(dá)到了可商業(yè)化的程度。虛擬現(xiàn)實和3D電影院都是通過雙目視差實現(xiàn)三維成像，但虛擬現(xiàn)實提供了3D電影院所不具備的移動視差并提供了強(qiáng)烈的沉浸感。現(xiàn)階段虛擬現(xiàn)實技術(shù)仍面臨著一系列技術(shù)難題，其中眩暈和人眼疲勞尤其明顯，是虛擬現(xiàn)實的技術(shù)瓶頸。本文從介紹三維視覺感知開始，分析了虛擬現(xiàn)實造成眩暈和人眼疲勞的根本原因。同時給出了解決這一技術(shù)瓶頸的答案——動態(tài)光場，并從光場采集和顯示兩方面分析了多種光場技術(shù)的優(yōu)缺點。本文最后列舉了增強(qiáng)現(xiàn)實(Augmented Reality)技術(shù)的三種實現(xiàn)形式，并從人與人交互和通信的角度對比了虛擬現(xiàn)實與增強(qiáng)現(xiàn)實在未來的發(fā)展趨勢。
1、虛擬現(xiàn)實一直存在
近幾年，虛擬現(xiàn)實(Virtual Reality，VR)技術(shù)發(fā)展迅猛，商業(yè)化、市場化和產(chǎn)品化的趨勢日益明顯。然而，早在50多年前，科學(xué)家們就已經(jīng)提出了虛擬現(xiàn)實的技術(shù)構(gòu)想。美國計算機(jī)圖形學(xué)之父Ivan Sutherland 在1968年開發(fā)了第一個圖形可視化的“虛擬現(xiàn)實”設(shè)備，但在當(dāng)時還不叫“虛擬現(xiàn)實”，而是被稱為“頭戴顯示”或“頭盔顯示”(Head-Mounted Display，HMD)。就技術(shù)層面而言，現(xiàn)階段的虛擬現(xiàn)實眼鏡或者虛擬現(xiàn)實頭盔仍可劃分為HMD的范疇。
2013年谷歌眼鏡(Google Glass)面市，“虛擬現(xiàn)實”這個術(shù)語開始進(jìn)入公眾視野。但當(dāng)時的谷歌眼鏡沒有雙目立體視覺，所以稱為Google Glass 而不是Google Glasses。盡管谷歌眼鏡的整體顯示效果低于同一時期的手機(jī)和電腦，但其新穎的成像方式引起了人們的極大關(guān)注。這背后揭示了人們對于已經(jīng)沿用了二十多年的傳統(tǒng)平面顯示方式的審美疲勞和對新穎顯示方式的強(qiáng)烈期待。
總體來說，現(xiàn)階段虛擬現(xiàn)實有三大顯著特點(簡稱為3I)：沉浸感(Immersion);交互性(Interaction);構(gòu)想性(Imagination)。視覺是人類最敏感，捕獲信息量最大的“傳感器”。VR眼鏡隔絕了人眼接收外部視覺信息的通道，取而代之的是虛擬的視覺內(nèi)容。當(dāng)人眼受到來自VR眼鏡的視覺刺激時，大腦會自動“繪制”出虛擬的環(huán)境，從而使人沉浸在了一個全新的環(huán)境中。相比于傳統(tǒng)的顯示方式，交互性并不是VR所特有的。電視可以借助遙控器交互，電腦可以借助鼠標(biāo)鍵盤來輸入。目前虛擬現(xiàn)實還沒有統(tǒng)一的輸入設(shè)備，交互方式可以根據(jù)虛擬場景來設(shè)置，更具靈活性和多樣性。例如在士兵培訓(xùn)中，VR交互方式可以是一把槍;在模擬外科手術(shù)中，交互方式可以是手術(shù)刀。人們借助VR可以以第一人稱視角去探索未知的環(huán)境，包括一些人類難以到達(dá)的環(huán)境，例如深海、外太空;甚至包括一些人類無法到達(dá)的或抽象的環(huán)境，例如細(xì)胞、黑洞、一個數(shù)學(xué)模型。VR技術(shù)給了我們一個可以去徜徉在任何環(huán)境中的機(jī)會。在這樣一個從未到達(dá)的環(huán)境中，人類的視野和想象力得到了極大的延展。
既然虛擬現(xiàn)實早就存在，但為什么直到現(xiàn)在才爆發(fā)呢?一方面是因為虛擬現(xiàn)實作為一種全新的顯示方式，正好滿足了人們對于信息可視化變革的期待。另一方面也是因為技術(shù)變革和資本力量的共同驅(qū)動。
2、VR背后的支撐
在此之前，大規(guī)模普及虛擬現(xiàn)實還只是一個美麗的夢，因為受到計算性能、工業(yè)集成化、可視化技術(shù)發(fā)展的限制。而近10年來，相關(guān)的技術(shù)得到了迅猛的發(fā)展，為VR的商業(yè)化和產(chǎn)品化奠定了技術(shù)基礎(chǔ)。除此之外，有一股不可忽視的力量在推動VR加速發(fā)展，那就是大資本。
1、VR背后的技術(shù)變革
顯示技術(shù)的發(fā)展可以劃分為4個階段：平面2D>曲面2.5D>頭戴顯示3D>裸眼全息。人類生存的世界是三維的，但自從相機(jī)和顯示器誕生以來，一直以二維平面的方式來記錄和顯示這個三維世界，這是一種降維后的表現(xiàn)方式。從早期的陰極射線管顯示器(CRT)到輕薄的液晶顯示器(LCD)，從黑白顯示到彩色顯示，每一次技術(shù)變革都沒有突破顯示維度的限制。全世界的科學(xué)家們都在努力嘗試打破這一困境，試圖還原一個真實的3D世界。在虛擬現(xiàn)實技術(shù)出現(xiàn)在公眾視野之前，有另外兩種突破二維顯示的技術(shù)出現(xiàn)在了消費市場，包括曲面2.5D顯示和裸眼3D顯示，但這兩種技術(shù)都未能獲得消費者的“芳心”。曲面2.5D顯示技術(shù)并沒有帶來信息可視化在維度上的突破，人們并不能從該顯示器中感知到第三維度的信息(視覺深度感)。裸眼3D顯示技術(shù)為觀看者帶來了視覺深度感，但目前的裸眼3D顯示技術(shù)還存在很多的技術(shù)難點有待突破，包括分辨率損失嚴(yán)重、觀看視角狹窄、相鄰視點跳躍等。在可預(yù)見的未來，裸眼3D技術(shù)還無法達(dá)到令消費者滿意的效果。因此，上述兩種超二維顯示技術(shù)都未能調(diào)和技術(shù)可行性和市場期待之間的矛盾。在這樣的局面下，虛擬現(xiàn)實應(yīng)運而生，它是技術(shù)可行性和市場期待的折中產(chǎn)物。
2、VR背后的資本力量
除了相關(guān)技術(shù)的變革和發(fā)展，資本力量的推動也是VR蓬勃發(fā)展的另一重要因素。如果說2013年谷歌眼鏡的推出是行業(yè)大鱷窺視頭戴顯示巨大寶藏的一隅，那么2014年Facebook斥資20億美金收購Oculus就是巨大資本撬開虛擬現(xiàn)實潘多拉魔盒的開始(注：Oculus是一家專注于虛擬現(xiàn)實技術(shù)的公司)。隨著資本的進(jìn)入，更多的科研力量、工程技術(shù)以及3D內(nèi)容開發(fā)都紛紛進(jìn)入了該領(lǐng)域。2016年被稱為虛擬現(xiàn)實元年，HTC、Facebook、Sony等國際巨頭，以及國內(nèi)的部分虛擬現(xiàn)實公司都將自己的VR產(chǎn)品正式推向了市場。在這樣的國際格局下，國內(nèi)的部分資金也開始瘋狂投向虛擬現(xiàn)實領(lǐng)域。
3、為什么能感知到三維
我們生活的世界是一個四維空間，包括水平維度、垂直維度、縱深維度和時間維度。例如在圖書館尋找一本書需要知道書籍處于第幾排、第幾列的書架，以及處于書架的第幾層。并且還需要知道這本書是否已經(jīng)借出，什么時候會出現(xiàn)在該書架。通過視覺觀察物理世界時具有即時性，一般假設(shè)光線從環(huán)境中發(fā)出到人眼接收的時間為零，因此不用考慮時間維度，用前三個維度來描述所觀察的世界。例如伸手拿杯子時，視覺系統(tǒng)會幫助我們判斷杯子處于手的左邊還是右邊，上邊還是下邊，前面還是后面。在一個平面上可以很容易地感知到水平維度和垂直維度，但如何感知到第三維度——視覺深度呢?
眾所周知，雙目視差是提供視覺深度的重要途徑，但視覺深度不僅僅由雙目差來體現(xiàn)，單眼也能感知到深度。深度信息(depth cues)有很多種[1]，主要包括以下信息。
1)雙目視差(binocular parallax)，也稱為左右視差或雙目匯聚。所觀察的物體越近，視差越大(圖1)，雙眼匯聚角度越大(圖2);所觀察的物體越遠(yuǎn)，視差越小，雙眼匯聚角度越小。必須依靠雙目協(xié)同工作才能感知到雙目視差。
圖1 雙目視差
圖2 雙目匯聚
2)移動視差(motion parallax)，當(dāng)觀察視點改變后，遠(yuǎn)近不同的物體在人眼中產(chǎn)生的位移會不同，如圖3所示。經(jīng)過相同的視點改變，遠(yuǎn)處的物體在人眼中產(chǎn)生的位移更小，近處的物體在人眼中產(chǎn)生的位移更大。雙目和單目都可以感知到移動視差。
圖3 移動視差
3)聚焦模糊(focus-blur)，人眼的工作原理可以簡化為一個照相機(jī)。當(dāng)改變相機(jī)鏡頭的焦距時，相機(jī)可以聚焦在遠(yuǎn)近不同的平面上，從而使聚焦平面上的物體清晰成像，非聚焦平面的物體成像模糊。人眼的睫狀肌就扮演著“相機(jī)鏡頭”的角色。如圖4所示，當(dāng)睫狀肌緊繃時，人眼聚焦在近處平面;當(dāng)睫狀肌舒張時，人眼聚焦在遠(yuǎn)處平面。根據(jù)睫狀肌的屈張程度，視覺系統(tǒng)可以判斷出物體的相對遠(yuǎn)近。單目即可明顯感知到聚焦模糊?！ ?/p>
圖4 聚焦模糊
除了上述3種主要的深度信息，大腦會根據(jù)一些視覺經(jīng)驗來判斷物體遠(yuǎn)近，例如遮擋關(guān)系、近大遠(yuǎn)小關(guān)系;同時也會根據(jù)一些先驗知識作為輔助判斷，例如看到一個杯子，先驗知識會告訴大腦杯子不會太遠(yuǎn);若看到一座高山，先驗知識會告訴大腦高山在很遠(yuǎn)的地方。
4、VR的基本原理
虛擬現(xiàn)實的三維成像原理并不復(fù)雜，其基本原理和3D電影院一致，如圖5所示，都是給左右眼分別呈現(xiàn)不同的圖像，從而產(chǎn)生雙目視差。當(dāng)大腦在合成左右眼的圖像時，會根據(jù)視差大小判斷出物體的遠(yuǎn)近[1]。虛擬現(xiàn)實眼鏡不僅提供了雙目視差，還提供了3D電影院所不具備的移動視差信息。當(dāng)坐在3D電影院的第一排最左邊和最右邊的位置時，所看到的3D內(nèi)容是一樣的。但正確的3D成像方式應(yīng)該是：坐在最左排的觀看者看見物體的左側(cè)面，坐在最右排的觀看者看見物體的右側(cè)面。例如觀看桌面上的茶杯時，左右移動頭部會看見茶杯的不同側(cè)面。如圖6所示，虛擬現(xiàn)實眼鏡同時提供了雙目視差和移動視差，不僅左右眼圖像不同，而且當(dāng)旋轉(zhuǎn)或平移頭部時看見的3D內(nèi)容也不同。
圖5 3D電影院成像原理
圖6 虛擬現(xiàn)實頭戴顯示設(shè)備Oculus Rift(圖片來源于Oculus官方網(wǎng)站)
當(dāng)前VR產(chǎn)品形態(tài)主要分為3種：基于手機(jī)的VR、VR一體機(jī)、基于PC機(jī)的VR，主要特點如表1所示。由于技術(shù)和成本的限制，當(dāng)前的VR產(chǎn)品都在價格、性能、舒適度三者之間平衡，上述3種形態(tài)的VR產(chǎn)品只是在不同的方面有所側(cè)重。目前消費市場中尚未出現(xiàn)低價格、高性能的輕薄VR眼鏡。同時從表1中也可以看出，從低廉的到昂貴的VR產(chǎn)品都會引起眩暈和人眼疲勞。高性能的VR產(chǎn)品在眩暈的耐受時間上稍微有所延長，但仍然無法達(dá)到像智能手機(jī)一樣長時間使用。
虛擬現(xiàn)實根據(jù)使用場景大致可以分為座椅式、站立式，場地式。顧名思義，座椅式VR限制用戶位在座椅上，只能檢測到視點的姿態(tài)旋轉(zhuǎn)變換(Pitch，Yaw，Roll)，而忽略視點平移變化。如圖7所示，Pitch圍繞x軸旋轉(zhuǎn)，也叫做俯仰角，Yaw是圍繞y軸旋轉(zhuǎn)，也叫偏航角，Roll是圍繞z軸旋轉(zhuǎn)，也叫翻滾角。而站立式VR和場地式VR都能同時檢測到視點的姿態(tài)旋轉(zhuǎn)變化和平移變化。站立式VR允許用戶在獨立的房間內(nèi)(一般為10 mx10 m以內(nèi))自由走動，活動范圍較狹窄，不適用于模擬大范圍的場景。場地式VR理論上允許用戶可以在無限范圍內(nèi)自由走動，是真正意義上的虛擬世界。但鑒于場地有限，傳感器的工作范圍有限。實際中場地式VR需要萬向跑步機(jī)的支撐，將跑步機(jī)履帶的平移數(shù)據(jù)轉(zhuǎn)化為人體的移動數(shù)據(jù)。表2中所列舉的交互方式是對應(yīng)場景下的主要交互方式而非唯一交互方式。目前虛擬現(xiàn)實還沒有標(biāo)準(zhǔn)的輸入設(shè)備。在傳統(tǒng)手柄的基礎(chǔ)上，出現(xiàn)了一些新穎的VR輸入方式。頭控是指通過頭部的運動改變指針位置，通過懸停表示確認(rèn)。線控是指通過現(xiàn)有的連接線(例如耳機(jī)線)來實現(xiàn)簡單的按鍵操作。觸摸板一般位于VR頭盔的側(cè)面，與筆記本電腦的觸摸板實現(xiàn)相同的功能。根據(jù)VR場景，交互方式也可以是彷手型手柄，例如槍械、手術(shù)刀等。
圖7 頭部姿態(tài)變化的三個自由度(圖片來源：Oculus Rift SDK文檔插圖)
5、VR的技術(shù)瓶頸
虛擬現(xiàn)實技術(shù)經(jīng)過近幾年的快速發(fā)展，各方面性能逐步完善，但仍然面臨著一些關(guān)鍵技術(shù)有待改進(jìn)和突破。主要可以概括為下列3個方面。
1)大范圍多目標(biāo)精確實時定位。目前在已經(jīng)面向市場的VR產(chǎn)品中，當(dāng)屬HTC Vive Pre的定位精度最高，時延最低。HTC Vive Pre的定位主要依靠Light House來完成。Light House包括紅外發(fā)射裝置和紅外接收裝置。紅外發(fā)射裝置沿著水平和垂直兩個方向高速掃描特定空間，在頭盔和手柄上均布有不少于3個紅外接收器，且頭盔(手柄)上所有的紅外接收器之間的相對位置保持不變。當(dāng)紅外激光掃過頭盔或手柄上的紅外接收器時，接收器會立即響應(yīng)。根據(jù)多個紅外接收器之間的響應(yīng)時間差，不僅可以計算出頭盔(手柄)的空間位置信息還能得出姿態(tài)角度信息。目前HTC Vive Pre只能工作于一個獨立的空曠房間中。障礙物會阻擋紅外光的傳播。而大范圍、復(fù)雜場景中的定位技術(shù)仍需突破。多目標(biāo)定位對于多人同時參與的應(yīng)用場景至關(guān)重要。當(dāng)前的虛擬現(xiàn)實系統(tǒng)主要為個人提供沉浸式體驗，例如單個士兵作戰(zhàn)訓(xùn)練。當(dāng)多個士兵同時參與時，彼此希望看見隊友，從而到達(dá)一種更真實的群體作戰(zhàn)訓(xùn)練，這不僅需要對多個目標(biāo)進(jìn)行定位，還需要實現(xiàn)多個目標(biāo)的數(shù)據(jù)共享。
2)感知的延伸。視覺是人體最重要、最復(fù)雜、信息量最大的傳感器。人類大部分行為的執(zhí)行都需要依賴視覺，例如日常的避障、捉取、識圖等。但視覺并不是人類的唯一的感知通道。虛擬現(xiàn)實所創(chuàng)造的模擬環(huán)境不應(yīng)僅僅局限于視覺刺激，還應(yīng)包括其他的感知，例如觸覺、嗅覺等。
3)減輕眩暈和人眼疲勞。目前所有在售的VR產(chǎn)品都存在導(dǎo)致佩戴者眩暈和人眼疲勞的問題。其耐受時間與VR畫面內(nèi)容有關(guān)，且因人而異，一般耐受時間為5~20 min;對于畫面過度平緩的VR內(nèi)容，部分人群可以耐受數(shù)小時。
上述的技術(shù)瓶頸中，大范圍多目標(biāo)精確實時定位已經(jīng)取得了一定的突破，在成本允許的情況下，通過大面積的部署傳感器是可以解決這一問題的。感知的延伸還存在較大的技術(shù)難度，尤其是觸覺;但當(dāng)前的VR應(yīng)用對感知的延伸并沒有迫切的需求。相比之下，眩暈和人眼疲勞卻是一個到目前為止還沒有解決但又迫切需要解決的問題，是現(xiàn)階段虛擬現(xiàn)實的技術(shù)禁地。
1 為什么會眩暈?
如第4節(jié)所述，虛擬現(xiàn)實比3D電影提供了更豐富的三維感知信息，更逼近于人眼觀看三維物理世界的方式。但為什么VR眼鏡在佩戴一段時間后會導(dǎo)致眩暈和人眼疲勞呢?其原因是多樣的，主要包括如下三方面。
1)身已動而畫面未動。如果無法獲取VR眼鏡的姿態(tài)和平移信息，則無法感知到移動視差。身體移動后，觀看視點的位置和觀看角度也隨之改變，但人眼看見的3D畫面并沒有相應(yīng)的改變。這會導(dǎo)致大腦在處理視覺信息和肢體運動信息時產(chǎn)生沖突，從而在一定程度上導(dǎo)致眩暈不適。
2)畫面已動而身未動。目前虛擬現(xiàn)實的應(yīng)用還局限在一個非常有限的物理空間內(nèi)。當(dāng)畫面快速變化時，我們身體的運動也應(yīng)該與之匹配，但受到運動范圍的限制，身體并沒有產(chǎn)生對應(yīng)幅度的運動，從而在大腦中產(chǎn)生了肢體運動信息和視覺信息的沖突。例如，通過虛擬現(xiàn)實體驗過山車時，觀看視點和角度在快速地變化，但身體卻保持不變。當(dāng)VR畫面變化(過度)越快時，大腦產(chǎn)生的沖突越明顯。
上述兩種眩暈都是由視覺信息與肢體運動信息之間的沖突造成的，統(tǒng)稱為暈動癥。產(chǎn)生暈動癥的技術(shù)原因是多方面的。
(1)空間位置定位和姿態(tài)角度定位的精度和速度。慣性測量裝置(inertial measurement unit，IMU)是一種微機(jī)電(MEMS)模塊，也是當(dāng)前VR眼鏡測量角度姿態(tài)的主要技術(shù)手段。但I(xiàn)MU只能測量姿態(tài)角度，不能測量空間位移。多個IMU組合可以實現(xiàn)空間位移測量，但積累誤差大且難以消除，暫不適用于VR眼鏡。另一種定位技術(shù)是基于傳統(tǒng)攝像頭的SLAM(simultaneous localization and mapping)算法[2]，可以同時實現(xiàn)空間位置定位和姿態(tài)角度定位且適用于復(fù)雜場景，但目前SLAM算法在精度、速度和穩(wěn)定性上都有待提高?；陔p目相機(jī)或深度相機(jī)的SLAM是一個有價值的潛在研究方向。目前最實用的定位技術(shù)是HTC Vive Pre中應(yīng)用的紅外激光定位技術(shù)，硬件成本低且同時具備高精度低時延的空間位置定位和姿態(tài)角度定位，但其應(yīng)用局限于小范圍的空曠場景中。
(2)顯示器件的刷新頻率。目前頭戴顯示(HMD)的像源主要包括微投影儀和顯示屏兩種。其中微投影儀主要應(yīng)用在增強(qiáng)現(xiàn)實(AR，Argumented Reality)中，例如Google Glass，Hololens，Meta，Lumus，Magic Leap等。虛擬現(xiàn)實主要采用小尺寸顯示屏(6寸以下)作為像源，其中顯示屏又分為液晶顯示屏(LCD，Liquid Crystal Display)和有機(jī)自發(fā)光顯示屏(OLED，organic light-emitting diode)。目前LCD和OLED屏幕的刷新率普遍能達(dá)到60 Hz以上，部分型號甚至能達(dá)到90 Hz以上。OLED采用自發(fā)光成像，因此余暉比LCD更小，上一幀圖像的殘影更小。
(3)圖像渲染時延。虛擬現(xiàn)實所創(chuàng)建的模擬環(huán)境是經(jīng)計算機(jī)圖形圖像學(xué)渲染生成得到。渲染的速度直接由計算機(jī)性能決定，尤其依賴于計算機(jī)中的顯卡(graphic processing unit，GPU)性能。目前高性能的GPU渲染一個復(fù)雜場景已能達(dá)到全高清(Full HD)90fps以上。
VR眼鏡的圖像刷新速度取決于上述3個技術(shù)指標(biāo)的最低值。也即，上述3個環(huán)節(jié)中，任何1個環(huán)節(jié)速度慢都會導(dǎo)致圖像刷新率降低，從而出現(xiàn)暈動癥。在前幾年，VR設(shè)備廠商將VR眼鏡的眩暈歸因于“圖像刷新太慢”。但目前最新的VR眼鏡在空間位置定位和姿態(tài)角度定位的速度、顯示器件的刷新頻率，圖像渲染速率3個指標(biāo)均能達(dá)到90 Hz，遠(yuǎn)高于人眼時間暫留的刷新閾值(24 Hz)。為什么還是會眩暈?zāi)?有人懷疑是活動范圍有限導(dǎo)致身體移動的幅度與畫面變化幅度不一致。萬向跑步機(jī)無限延伸了活動范圍，但眩暈的問題依然存在。由此可見，上述兩個方面是造成了眩暈的表象原因，并不是根本原因。
3)聚焦與視差沖突。對照第3節(jié)中提到的3種主要深度信息，當(dāng)前的頭戴顯示設(shè)備只提供了前兩種，也即“雙目視差”和“移動視差”，而沒有提供“聚焦模糊”。聚焦丟失(聚焦錯亂)是產(chǎn)生眩暈的“罪魁禍?zhǔn)?rdquo;。“聚焦模糊”真的就這么重要嗎?眾所周知，雙眼能感知物體遠(yuǎn)近，但其實單眼也可以。當(dāng)伸出手指，只用一只眼注視手指時，前方的景物模糊了;而當(dāng)注視前方景物時，手指變的模糊，這是由眼睛的睫狀肌屈張調(diào)節(jié)來實現(xiàn)的。眼鏡聚焦在近處時，睫狀肌收縮，近處的物體清晰而遠(yuǎn)處的場景模糊;眼鏡聚焦在遠(yuǎn)處時，睫狀肌舒張，遠(yuǎn)處的場景清晰而近處的物體模糊。通過睫狀肌的屈張程度能粗略感知到物體的遠(yuǎn)近，因此單眼也能感知到立體三維信息。如圖8所示，現(xiàn)階段的虛擬現(xiàn)實頭顯設(shè)備只提供單一景深的圖片，且圖片的景深固定。這導(dǎo)致人眼始終聚焦在固定距離的平面上。當(dāng)通過“聚焦模糊”感知到的深度信息與通過“雙目視差”感知到的深度信息不一致時，就會在大腦中產(chǎn)生嚴(yán)重的沖突，稱為“聚焦與視差沖突”(accommodation-convergence conflict，ACC)[3~6]。而且當(dāng)大腦檢測到ACC時，會強(qiáng)迫睫狀肌調(diào)節(jié)到新的屈張水平使之與雙目視差所提供的深度信息相匹配。當(dāng)睫狀肌被強(qiáng)迫調(diào)節(jié)后，因為聚焦錯亂，圖像會變的模糊;此時大腦會重新命令睫狀肌調(diào)節(jié)到之前的屈張水平。如此周而復(fù)始，大腦就“燒”了。
圖8 現(xiàn)階段的虛擬現(xiàn)實頭顯設(shè)備只提供單一景深畫面(圖片來源于http://www.yule.com.cn/html/201601/9744.html)
回到之前3D電影眩暈的問題，當(dāng)觀看者坐在第一排中間位置時，雙眼到大熒幕距離為10 m且保持不變。當(dāng)3D內(nèi)容為遠(yuǎn)處的高山時，雙目視差較小，會引導(dǎo)人眼注視于前方幾百米處。而人眼接收的光線都來自10 m處的大熒幕，左眼和右眼會自主地聚焦在10 m處的平面上以便能清晰地看見圖像。此時雙目的匯聚和睫狀肌的屈張水平不一致，從而導(dǎo)致了人眼不適。同理，當(dāng)3D內(nèi)容為眼前1 m處的一條蛇時，人眼仍然聚焦在10 m處的平面，從而產(chǎn)生類似的聚焦與視差沖突。
聚焦與視差之間的沖突比視覺信息與肢體運動信息之間的沖突更嚴(yán)重。舉個例子，反恐精英(Counter-Strike，CS)是一款風(fēng)靡世界的射擊類游戲，玩家以第一人稱視點在虛擬環(huán)境中奔跑，跳躍和射擊。當(dāng)畫面變化時，玩家仍然靜坐在電腦前，并沒有實際的跑動和跳躍。此時玩家并沒有產(chǎn)生眩暈的感覺，甚至能長時間沉浸其中。其原因在于玩家經(jīng)過一段時間的訓(xùn)練以后，在大腦中建立了肢體運動與鼠標(biāo)鍵盤操作之間的映射關(guān)系，比如前后左右跑動與鍵盤W、S、A、D按鍵對應(yīng)，跳躍與空格按鍵對應(yīng)。因此，通過運動關(guān)系的映射，視覺信息與肢體運動信息之間的沖突(暈動癥)得以大大減輕，但睫狀肌的屈張是一種自發(fā)行為。睫狀肌會自主地屈張到正確的水平，以保證人眼聚焦在所關(guān)注物體的表面。并且人眼總是趨向于得到最清晰的視覺成像，這也會促使睫狀肌處于與之匹配的屈張水平。因此強(qiáng)迫睫狀肌處于非正確的屈張水平或被錯誤地引導(dǎo)到不匹配的屈張水平都會導(dǎo)致上述的沖突，從而導(dǎo)致眩暈和人眼疲勞。通過訓(xùn)練來建立類似于“反恐精英”中的大腦映射是無法解決此類沖突的，只能通過頭戴顯示設(shè)備產(chǎn)生不同深度的圖片去引導(dǎo)人眼自然地聚焦在遠(yuǎn)近不同的平面上才能從根本上解決這一沖突，從而解決眩暈和人眼疲勞。
VR眼鏡的嚴(yán)重眩暈問題引發(fā)了對另一個問題的思考，為什么3D電影在數(shù)小時后才出現(xiàn)眩暈或人眼疲勞，而VR眼鏡的耐受時間一般只有5~20 min?一方面是因為3D電影已經(jīng)普及多年，能適應(yīng)3D電影的人群已經(jīng)變得更加適應(yīng)，不能適應(yīng)3D電影的人群已經(jīng)不再去3D電影院，所以造成所有人都能耐受3D電影數(shù)小時的假象。另一方面，3D電影是第三人稱視角觀看，而虛擬現(xiàn)實使觀看者處于第一人稱視角，暈動癥更加明顯。再一方面，3D電影的熒幕距離人眼較遠(yuǎn)(一般十米到幾十米不等)，雖然聚焦錯亂的問題依然存在，但睫狀肌始終處于較舒張的狀態(tài)。而VR眼鏡的屏幕經(jīng)準(zhǔn)直透鏡放大以后，一般等效在較近處(一般2~5 m)，睫狀肌始終保持緊繃的狀態(tài)，人眼更易疲勞。上述3個原因?qū)е铝颂摂M現(xiàn)實的耐受時間相比于3D電影縮短了很多。
眩暈是目前虛擬現(xiàn)實最大的技術(shù)瓶頸，大大限制了虛擬現(xiàn)實產(chǎn)業(yè)的長足發(fā)展，并且會對人眼造成傷害。在VR眼鏡佩戴的全過程中都會強(qiáng)迫人眼處于錯誤的聚焦平面，睫狀肌得不到連續(xù)自然的舒張和收縮。長此以往，睫狀肌彈性下降，失去了自主調(diào)節(jié)的能力，從而導(dǎo)致近視。尤其對于12歲以下兒童，人眼器官正處于生長發(fā)育階段，VR眼鏡會大大增加患近視的可能性。即使是成人，長期佩戴也會導(dǎo)致視力下降。因此虛擬現(xiàn)實應(yīng)用于幼教領(lǐng)域需嚴(yán)格控制佩戴時間。幼兒應(yīng)盡可能減少甚至不佩戴VR眼鏡，直到突破這一技術(shù)瓶頸。
2、光場顯示技術(shù)
在討論如何解決虛擬現(xiàn)實的眩暈問題之前，先思考人眼是如何觀看三維物理世界的?
環(huán)境表面的每一個點都會在半球范圍內(nèi)發(fā)出光線(自發(fā)光或反射光)?？臻g中的點可以通過三維坐標(biāo)(x,y,z)來唯一表示;每個點在半球范圍內(nèi)發(fā)出的光線通過水平夾角ф和垂直夾角φ來描述;光線的顏色通過波長λ表示(光線還包括亮度信息，這里用λ統(tǒng)一表示);環(huán)境光線隨著時間是變化的，不同時刻t下的光線也不一樣。因此，環(huán)境光線可以通過7個維度的變量來描述[7]，稱為全光函數(shù) P=(x,y,z,ф,φ,λ,t)。假設(shè)環(huán)境光線在一定時間內(nèi)穩(wěn)定不變，則每條光線的波長可以用5D函數(shù)表示為λ=F(x,y,z,ф,φ)。
圖9 全光函數(shù)模型
如果顯示器能產(chǎn)生上述5D函數(shù)中所有的光線，則觀看者通過該顯示器能在視覺上感知到與真實世界中一樣的三維環(huán)境。但遺憾的是，目前全世界都沒有這樣的顯示器。當(dāng)前的電視、電腦、手機(jī)等平面顯示屏只實現(xiàn)了上述5D函數(shù)中的2個維度，也即λ=F(x,y)。近幾年出現(xiàn)的曲面顯示屏增加了維度 Z 上的像素點，但在維度 Z 上并不完備。因此，曲面顯示屏不是3D顯示器，只能算作2.5D顯示器。科學(xué)家們曾嘗試了多種方法從傳統(tǒng)的2個維度顯示提升到更高維度顯示，但目前仍停留在實驗室階段，尚無可商業(yè)化的產(chǎn)品。例如：1)體三維顯示[8](Volumetric3D Display)在空間中不同位置發(fā)出光線，實現(xiàn)了F(x,y,z)3個維度的顯示，但依賴于機(jī)械運動，且無法呈現(xiàn)正確的遮擋關(guān)系;2)基于微透鏡陣列的集成成像[9](Integral Imaging)需要將一層特殊的光學(xué)膜貼在平面顯示屏上，實現(xiàn)了F(x,y,ф,φ)4個維度的顯示，但圖像分辨率大大降低，且在(ф,φ)維度上采樣率越高，圖像的分辨率損失越嚴(yán)重;3)投影儀陣列[10](Projector Array)從不同的方向發(fā)出不同的光線，實現(xiàn)了F(x,y,ф,φ)4個維度的顯示且分辨率不損失，但硬件成本高昂且體積大。
如果能將傳統(tǒng)的2D平面顯示提升到5D顯示，人眼將不借助任何頭戴設(shè)備而獲得類似全息顯示的效果。但根據(jù)顯示領(lǐng)域目前的技術(shù)發(fā)展，在未來較長一段時間內(nèi)難以實現(xiàn)輕便低廉的5D全光顯示器。
如圖10所示，上述的5D全光函數(shù)是從“環(huán)境表面發(fā)出了什么光線?”這一角度來建立數(shù)學(xué)模型。但從另一個角度來建模將會簡化問題——“觀看環(huán)境時，人眼接收了什么光線?”。如果頭戴顯示器能重現(xiàn)出人眼應(yīng)該接收的全部光線，人眼將從頭戴顯示器中看到真實的三維場景。
圖10 環(huán)境表面發(fā)出的光線和人眼接收到的光線
5D全光函數(shù)描述了環(huán)境表面發(fā)出的所有光線，但并不是所有的光線都進(jìn)入了人眼，只有部分光線最終被人眼接收。因此進(jìn)入人眼的光線是5D全光函數(shù)的一個子集。且隨著人眼位置和注視方向的不同，人眼接收到不同子集的光線。
將人眼的瞳孔分為Nx×Ny個子區(qū)，用(x,y)表示橫向第x個，縱向第y個瞳孔子區(qū)，圖11中左圖展示了一個4x4瞳孔分區(qū)的視覺成像模型。如果瞳孔的分區(qū)Nx=1，Ny=1;也即整個瞳孔作為一個區(qū)，這與傳統(tǒng)的小孔成像模型是等效的。每個子區(qū)都會接收到很多從不同角度入射的光線，入射角度用(α,β)表示。因此，進(jìn)入人眼的光線可以通過一個4D函數(shù)來描述，可以稱之為全視函數(shù)λ=F(x,y,α,β)。光線進(jìn)入人眼的位置(x,y)和進(jìn)入的角度(α,β)共同決定了光線會落在視網(wǎng)膜上的什么位置。如果不考慮與眼睛注視方向垂直的光線，5D全光函數(shù)可以降維到4D光線集合，一般用兩個平面(u,v)和(s,t)來表示，稱為“光場”[11]。本文中采用一個平面(x,y)和一對角度(α,β)表示人眼接收光線的集合，是一種更適合于頭戴顯示的光場定義。
頭戴顯示設(shè)備如何投射出4D光場呢?假設(shè)光線在傳播過程中被看作一條射線，且沿著射線的方向上亮度和顏色不改變。例如圖11左圖中藍(lán)點發(fā)出的第二條光線(藍(lán)色粗線)與其射線方向上投影儀發(fā)出的光線是等效的，這樣的假設(shè)對于日常環(huán)境中的光線傳播完全合理。
基于上述合理假設(shè)，采用投影儀陣列可以模擬重現(xiàn)出4D光場，如圖11中右圖所示。當(dāng)投影儀足夠多、足夠密集時，就可以在一定視野范圍內(nèi)無限逼近地投射出人眼應(yīng)該接收到的全部光線。但投影儀體積較大，無法密集排列，且硬件成本高。值得一提的是，美國Magic Leap公司在2015年展示了一種基于光纖微型投影儀陣列的動態(tài)光場成像技術(shù)，大大減小了投影儀陣列的體積，提高了投影儀排列密度，但硬件成本仍然高昂。
圖11 全視函數(shù)模型
投影陣列通過增加顯示器件來提高成像維度，這是一種最直接的將傳統(tǒng)2D顯示提升到4D光場顯示的方法。但是通過不斷增加硬件設(shè)備來增加像源的自由度并不是一種高效的解決方案。首先硬件成本會急劇增加，例如實現(xiàn)圖11右圖中4x4投影陣列的光場，需要16倍的硬件成本;且數(shù)據(jù)的存儲和傳輸也會增加到16倍。
光場顯示為什么能解決頭戴顯示的眩暈問題呢?如上所述，光場顯示提供了真實環(huán)境中發(fā)出的并由人眼接收的全部光線。人眼在觀看真實環(huán)境時不眩暈，那么通過光場頭顯設(shè)備也就不會眩暈。如圖 4中，遠(yuǎn)近不同的點進(jìn)入人眼的角度不同，這在4D光場λ=F(x,y,α,β)中通過角度參數(shù)(α,β)來體現(xiàn)。因此，通過光場顯示，人眼能自然的聚焦在遠(yuǎn)近不同的發(fā)光點上。從而睫狀肌的屈張水平始終與雙目視差保持一致，避免在大腦中產(chǎn)生ACC沖突。如圖12所示，當(dāng)同時呈現(xiàn)遠(yuǎn)近不同的圖像層時，人眼能夠自主地選擇聚焦平面。真實環(huán)境中，圖像層數(shù)達(dá)到無窮多層，由近及遠(yuǎn)連續(xù)分布。這意味著需要無窮多臺投影儀才能重現(xiàn)連續(xù)分布的圖像層，這顯然是不切實際的。因此，在實際的光場顯示中采用離散的圖像層去近似逼近連續(xù)的圖像層。當(dāng)圖像層數(shù)達(dá)到8層及以上時，人眼就能獲得近似的聚焦感知。當(dāng)然，圖像層數(shù)越多，聚焦越連續(xù)，視覺效果越自然，眩暈改善越顯著。當(dāng)前所有在售的頭戴顯示設(shè)備都只提供了1層圖像，還遠(yuǎn)遠(yuǎn)不能達(dá)到近似連續(xù)聚焦的成像效果。
圖12 支持多層聚焦成像的光場顯示
除了投影陣列，還有多種技術(shù)可以實現(xiàn)光場顯示。例如，時分復(fù)用的投影技術(shù)采用一臺高速投影儀從空間中不同位置投射圖像，通過復(fù)用一臺高速投影儀去“頂替”投影儀陣列[12]。但目前實現(xiàn)微型化的高精度機(jī)械控制比較困難，因此該技術(shù)不適用于頭戴顯示。斷層成像[13,14]技術(shù)實現(xiàn)了數(shù)字化的空間光調(diào)制，只需要2~3倍的硬件成本就能實現(xiàn)5x5的光場成像，但計算量大、算法復(fù)雜度高，當(dāng)前的個人計算機(jī)還無法實現(xiàn)在線高分辨的光場計算。該技術(shù)適用于離線應(yīng)用(如光場電影)或者可在云端計算完成的應(yīng)用(如光場虛擬現(xiàn)實直播)。
綜上所述，光場是最接近人眼觀看自然環(huán)境的成像方式，彌補(bǔ)了當(dāng)前頭戴顯示都不具備的“聚焦模糊”，將人眼睫狀肌從固定的屈張水平中解放出來，消除了眩暈，減輕了人眼疲勞。實現(xiàn)光場成像已有多種技術(shù)手段，但都有各自的缺陷。受成本、計算量、設(shè)備體積的限制，當(dāng)前的光場成像技術(shù)還只能在部分行業(yè)應(yīng)用。
目前在售的VR眼鏡普遍都比較厚重，輕薄化是虛擬現(xiàn)實設(shè)備未來的必然趨勢?？梢酝ㄟ^優(yōu)化光學(xué)設(shè)計，減小透鏡的焦距來縮短光程，從而減小VR眼鏡的厚度，但短焦距的透鏡會帶來色差和畸變等其他光學(xué)問題，且透鏡重量會隨著焦距的縮短而增加。光場成像不僅解決了眩暈問題，還能使頭顯設(shè)備變得更輕更薄?；谏鲜龉饩€在射線傳播方向上具有不變性的假設(shè)，投影陣列可以移動到更靠近眼睛的位置，在不改變透鏡焦距的前提下可以縮短光程，只需要根據(jù)投影陣列與透鏡的相對位置對光線進(jìn)行反向追跡渲染即可獲得等效的光場成像。
最近出現(xiàn)了一些基于眼球追蹤的光場顯示技術(shù)，其根據(jù)人眼的注視方向，選擇性的模糊掉人眼并不關(guān)注的像素塊，從而造成一種人眼可以主動選擇聚焦的假象。這一類技術(shù)可以歸為偽光場成像。究其本質(zhì)，偽光場成像技術(shù)仍然只提供了λ=F(x,y)兩個維度上的光線。換言之，偽光場成像技術(shù)只提供了1層圖像，人眼仍然無法主動選擇性聚焦，眩暈的問題依然沒有得到解決。
3 計算攝像
光場成像技術(shù)顯示了4個維度的光線，但如何采集4D光線呢?在計算機(jī)中可以對三維模型直接渲染得到4D光場，但是如何拍攝真實場景中的4D光場呢?可以明確的是，傳統(tǒng)的攝像技術(shù)是無法采集4D光場的。攝像技術(shù)最早可以追溯到小孔成像，現(xiàn)今使用的相機(jī)仍然沿用著小孔成像模型。如圖12中所示，光場成像技術(shù)在不同深度上呈現(xiàn)多幅圖片。而傳統(tǒng)的相機(jī)只在一個聚焦平面上采集圖像。傳統(tǒng)相機(jī)拍攝的平面2D圖片只是4D光場的一個子集。因此大量的光線信息在拍攝過程中丟失了。要顯示光場，首先要解決如何采集光場的問題，否則“巧婦難為無米之炊”。
光場采集依賴于一門稱為計算攝像(computational photography)的學(xué)科。最早的計算攝像是基于大量的相機(jī)從不同的角度分別拍攝來采集光場，也稱之為相機(jī)陣列[15,16]。當(dāng)然也可以采用單個相機(jī)移動拍攝，但只能采集靜態(tài)場景的光場。相機(jī)陣列是早期形態(tài)的光場相機(jī)，占地面積大，操作復(fù)雜，成本昂貴。目前市面上已經(jīng)出現(xiàn)了消費級的光場相機(jī)(如 Lytro[17])可以在單次拍攝中采集光場。Lytro光場相機(jī)采用微透鏡陣列(microlens array)采集不同角度入射的光線。相比于相機(jī)陣列，Lytro光場相機(jī)體積大大減小，硬件成本降低，但分辨率也大大降低?；谏鲜鰞煞N光場相機(jī)的優(yōu)缺點，科學(xué)家們提出了一種基于壓縮感知的光場相機(jī)[18,19]。該光場相機(jī)通過“學(xué)習(xí)”已采集的光場，訓(xùn)練得到光場字典。利用訓(xùn)練得到的光場字典去恢復(fù)出待采集的光場?；趬嚎s感知的光場相機(jī)同時具有小體積和分辨率不損失的優(yōu)點，但需要改造相機(jī)(在CCD表面插入一塊編碼過濾片)，且其算法復(fù)雜度高、運算量大，目前還難以推向消費市場。
6、VR與AR/MR
虛擬現(xiàn)實提供了強(qiáng)烈的沉浸感。佩戴者借助VR頭顯“穿越”到了一個完全由虛擬元素構(gòu)成的世界中，但同時也把佩戴者與現(xiàn)實世界隔離開。在Virtual Reality的基礎(chǔ)上，Augmented Reality(AR)應(yīng)運而生。按照實現(xiàn)的技術(shù)方式，AR分為三類，包括Video-based AR，Optical-based AR和Projection-based AR。這三類AR都能實現(xiàn)真實場景和虛擬信息同時被人眼看見的視覺效果，但技術(shù)手段不同?！ ?/p>
圖13 基于Video-based AR的手表試戴(圖片來源于http://www.cyingcg.com/article.asp?id=72)
Video-based AR是對圖片(或圖片序列構(gòu)成的視頻)進(jìn)行處理，在圖片中添加虛擬信息，以幫助觀看者進(jìn)行分析和獲得更多的信息。如圖13所示，在手腕上添加不同款式的虛擬手表來幫助消費者挑選合適的手表。再如時下熱門的Faceu 手機(jī)App，能在手機(jī)拍攝的圖中添加諸如兔耳朵等可愛的虛擬元素。Video-based AR不需要佩戴特殊的眼鏡，與觀看傳統(tǒng)平面圖片方式一致，且允許非實時離線完成。
Optical-based AR通過類似半透半反的介質(zhì)使人眼同時接收來自真實場景和像源的光線，從而使得人眼同時看見真實場景和虛擬信息。Optical-based AR給人一種虛擬物體仿佛就位于真實場景中的視覺體驗，但真實的場景中并不存在所看見的虛擬物體。且只有佩戴特殊頭顯設(shè)備(如Hololens，Meta)的人才能看見虛擬物體，沒有佩戴頭顯設(shè)備的人不能看見虛擬物體。如圖14所示，火箭模型并非真正存在于桌面上，且未帶頭顯設(shè)備的人不能看見火箭。Optical-based AR相比于Video-based AR技術(shù)難度更大，需要三維環(huán)境感知。且從環(huán)境感知到增強(qiáng)顯示都需要實時完成。
在虛擬現(xiàn)實行業(yè)出現(xiàn)了一個“新”的概念——MR(Mixed Reality)，但這其實就是上述的Optical-based AR。圖15是本文作者在實驗室通過MR眼鏡拍攝的照片，通過MR眼鏡能同時看見真實的場景和虛擬的汽車?！ ?/p>
圖14 Optical-based AR概念圖(圖片來源于微軟Hololens宣傳視頻)
圖15 混合虛擬現(xiàn)實—懸浮的小車(戴上眼鏡后觀看效果)
Projection-based AR將虛擬信息直接投影到真實場景中物體的表面或等效的光路上。相比于Optical-based AR，Projection-based AR不需要佩戴頭顯設(shè)備卻能獲得與之類似的增強(qiáng)現(xiàn)實效果，且允許多人在一定角度范圍內(nèi)同時觀看。如圖16所示，是本人拍攝的基于投影增強(qiáng)現(xiàn)實的車載導(dǎo)航儀。路基線、車速、天氣、來電等信息被投影在司機(jī)觀看路面的等效光路上，司機(jī)不需要佩戴頭顯設(shè)備即可看見上述輔助信息。
圖16 基于Projection-based AR的車載導(dǎo)航(不佩戴眼鏡觀看效果)
虛擬現(xiàn)實帶來了強(qiáng)烈的沉浸感但也隔斷了人與人之間的聯(lián)系。雖然人與人可以在虛擬世界中產(chǎn)生交互，但其交互手段有限，且交互的真實性和自然性都大打折扣?？v觀歷史上任何技術(shù)得以大面積普及的關(guān)鍵都在于密切的聯(lián)系(Dense Communication)。從早期的互聯(lián)網(wǎng)到智能手機(jī)以及當(dāng)前的移動互聯(lián)網(wǎng)，得以迅猛發(fā)展都離不開大量人群之間的通信。如果失去了人與人之間的通信也就失去成為大平臺的基礎(chǔ)。虛擬現(xiàn)實的隔斷性注定了VR不會成為下一個智能手機(jī)。而MR彌補(bǔ)了VR的這一重大缺陷，能同時具備視覺信息增強(qiáng)和人人通信這兩大特點。MR比VR有更高的幾率成為智能手機(jī)在未來的新形態(tài)。
參考文獻(xiàn)(略)
作者簡介：曹煊，中國科學(xué)院自動化研究所博士研究生，美國南加州大學(xué)ICT實驗室Visiting RA，研究方向為裸眼三維顯示、光場的采集和顯示、計算攝像、虛擬現(xiàn)實、增強(qiáng)現(xiàn)實。電子郵件：caoxuan21@126.com
注：本文將在近期《科技導(dǎo)報》發(fā)表，歡迎關(guān)注。本文部分圖片來自互聯(lián)網(wǎng)，版權(quán)事宜未及落實，歡迎圖片作者與我們聯(lián)系稿酬事宜。
