無論是去年開始大放異彩的VR，或是今年急起直追的AR，受益于半導(dǎo)體元件、移動通訊技術(shù)的不斷創(chuàng)新，在VR/AR影像視覺的進(jìn)展，都有顯著的進(jìn)步。
5G巧扮推手
首先是5G移動通訊技術(shù)的發(fā)展。莊智鑫表示，5G技術(shù)的逐步實(shí)現(xiàn)一定對VR/AR拓展至更多市場應(yīng)用領(lǐng)域有幫助。舉例來說，現(xiàn)階段VR/AR影像解析度不足、延遲太長，以至于造成VR頭盔無法長時間配戴、感到暈眩，或是內(nèi)容不夠吸引消費(fèi)者，就無法讓VR/AR變成使用者“必須”擁有的裝置。
但透過5G技術(shù)，不僅讓VR/AR的新應(yīng)用可以不受網(wǎng)路頻寬的限制，也可以更快速傳輸人眼識別所需要的8K畫質(zhì)，可望進(jìn)一步將現(xiàn)在的20ms延遲降低到1ms。這樣一來，未來買不到熱門歌手如五月天演唱會門票的粉絲，就可以利用VR觀賞整場演場會，享受身歷其境的沉浸式體驗(yàn)，且也無須擔(dān)心網(wǎng)路的服務(wù)品質(zhì)(QoS)。
高通(Qualcomm)認(rèn)為，可預(yù)見5G將促成越來越多影片密集的使用，這也可望促使VR與AR迅速發(fā)展。5G所打造出的移動寬頻，可以滿足VR與AR的終端裝置的連結(jié)能力，豐富內(nèi)容、連結(jié)穩(wěn)定，以及長時間續(xù)航力將都是加速VR/AR發(fā)展的主要因素。
高通進(jìn)一步總結(jié)未來VR及AR技術(shù)得以發(fā)揮的應(yīng)用。該公司援引ABI Research公布的一份有關(guān)AR/VR帶領(lǐng)5G殺手級應(yīng)用的白皮書中，提出了關(guān)于5G的四大應(yīng)用領(lǐng)域：
(一)汽車電子中AR/VR于影像傳輸上的使用： 無論是半自動或是無人車的汽車電子領(lǐng)域中都會增加VR與AR的使用機(jī)會，5G使用的多重輸入多重輸出(MIMO)天線技術(shù)，以及5G新空中介面(New Radio，NR)兩大技術(shù)將提供應(yīng)用上的可能性。
(二)社群媒體活動平臺分享應(yīng)用： 密集大量的社群媒體平臺上的分享，數(shù)千位使用者同時于活動平臺上傳資訊，需要10Tbps/km2的流量密度，5G可透過5G高頻段接取技術(shù)(5G mmWave)支援相關(guān)應(yīng)用所需。
(三)下一代六自由度(6DoF)影片： 在AR與VR的應(yīng)用中，影片應(yīng)用更顯重要。新一代的影片內(nèi)容若是運(yùn)用六自由度的影片傳輸，會增加蜂巢式網(wǎng)路的流量負(fù)擔(dān)——從200Mbps增加到1Gbps，但這個問題也會因?yàn)?G技術(shù)迎刃而解。
(四)遙控與觸控式網(wǎng)際網(wǎng)路： 一般在遙控機(jī)械控制，以及互動式網(wǎng)際網(wǎng)路中，對于端對端網(wǎng)路延遲為10ms，這相當(dāng)挑戰(zhàn)蜂巢式網(wǎng)路的極限。在5G新空中介面技術(shù)中，無線網(wǎng)路的延遲性最低標(biāo)準(zhǔn)可達(dá)到1ms，因而大幅增加遙控與觸控式網(wǎng)際網(wǎng)路架構(gòu)的可行性。
強(qiáng)化“人眼”視覺效果為趨勢
VR/AR雖然一個看的是虛擬影像;一個是在真實(shí)場景上疊加環(huán)境資訊，但這兩項(xiàng)技術(shù)都需要滿足人眼視覺觀看的特性，才能有更好的體驗(yàn)效果。因此，半導(dǎo)體業(yè)者即相當(dāng)關(guān)注如何讓VR/AR能夠符合人眼“看東西”的行為模式。
鈺創(chuàng)科技(Etron)董事長暨執(zhí)行長盧超群表示，云端運(yùn)算、巨量資料分析、機(jī)器學(xué)習(xí)與人工智慧(AI)，以及半導(dǎo)體制程技術(shù)(亦即Silicon 4.0)的進(jìn)展，都能促使VR/AR不再是“虛幻”的技術(shù)。例如，VR/AR需要更低功耗、延長裝置電池續(xù)航力，這時候就需要系與非矽芯片的異質(zhì)整合制程技術(shù)，才能達(dá)到。
而要讓AR/VR這樣智慧的“機(jī)器”所看到的東西，更接近人眼所視，且不會有暈眩的問題，就需要3D視覺芯片的輔助，且也可借此開發(fā)更多相關(guān)應(yīng)用，如無人商店。更重要的是，一定得和人工智慧技術(shù)結(jié)合，盧超群強(qiáng)調(diào)，透過人工智慧，半導(dǎo)體產(chǎn)業(yè)才能夠從科技端跨足應(yīng)用端，真正了解應(yīng)用所需。
高通指出，為了提供貼近人眼視覺模式效果，在VR領(lǐng)域中，有一種新技術(shù)叫“注視點(diǎn)渲染”(foveated rendering)，基本原理是根據(jù)人眼生理結(jié)構(gòu)——人在任意時刻看一個點(diǎn)時，余光看旁邊的場景其實(shí)是模糊的，甚至被忽略。注視點(diǎn)渲染的基于此人眼特點(diǎn)，可做到當(dāng)?shù)弥脩粞劬η蜃⒁曇粋€點(diǎn)時，對這個點(diǎn)進(jìn)行集中渲染，對其他部分進(jìn)行較低等級的渲染。這個渲染技術(shù)只需眼球跟蹤技術(shù)夠快，能捕捉到眼球位置的變換、轉(zhuǎn)動，基本上就沒有影響，且該技術(shù)對整個系統(tǒng)的繪圖處理器(GPU)功耗的降低與性能節(jié)省發(fā)揮非常大的作用。若在支援3D游戲的場景中，能同時針對左右眼分別進(jìn)行渲染，將能獲得更好的體驗(yàn)。
圖4：“注視點(diǎn)渲染”可減少畫素處理，讓人眼只看到注視點(diǎn)所聚焦的高解析度部份
由此擴(kuò)展出另一項(xiàng)技術(shù)稱作“視野渲染”(viewport rendering)，這是針對線上全景影片的標(biāo)準(zhǔn)所研發(fā)。
高通強(qiáng)調(diào)，當(dāng)人們看一個全景360度影片的時候，即使360度影片全都在，但實(shí)際上只需顯示180度，因?yàn)槿搜鄞蟾趴梢钥吹?80度左右，所以身后的串流媒體影片是浪費(fèi)的。如果云端知道用戶在某個時間點(diǎn)觀看的方向，對那個方向做100%的渲染和頻寬下載，同時對一些不太關(guān)注的地方做頻寬壓縮，使解析度降低，如此，不僅可節(jié)省頻寬、降低成本與功耗，也不會影響用戶體驗(yàn)。
透過這些新的技術(shù)，VR/AR可以更為擬真人眼狀況，不但提高使用者體驗(yàn)，也可以讓VR/AR應(yīng)用能受到一般消費(fèi)者青睞。
單一主處理芯片v.s多芯片分工架構(gòu)
先前VR/AR技術(shù)發(fā)展時，產(chǎn)業(yè)界的目光焦點(diǎn)都鎖定在主處理器，如中央處理器(CPU)與GPU運(yùn)算的效能何者較佳，抑或者運(yùn)算效能如何再提升以滿足需求?，F(xiàn)在有業(yè)者認(rèn)為，若只是將影像運(yùn)算功能全部放在GPU或是CPU上，會延伸出增加發(fā)熱和功耗的問題。
莊智鑫指出，VR與AR應(yīng)中的反影像扭曲功能、眼球追蹤或模擬…等，其實(shí)可以分擔(dān)給顯示處理器、數(shù)位訊號處理器(DSP)或是其他元件去執(zhí)行，CPU和GPU只要專注在運(yùn)算，不需要時時處于運(yùn)作的狀態(tài)。不僅可以顧慮裝置功耗的問題，也可以減少散熱，讓VR頭戴裝置可以進(jìn)一步減輕重量。
即便如此，GPU或CPU的處理效能仍需要再提高。蘇家興進(jìn)一步說明，若要將現(xiàn)有VR裝置20ms的延遲時間降低到1ms，需要高達(dá)8K解析度的影像才能達(dá)到。而要符合人眼識別則需要8Kx8K的影像解析度，與現(xiàn)在的4k影像相比，有高達(dá)20多倍的差距，因此勢必仍要有更高處理效能的CPU或GPU才足以應(yīng)付。
再者，其他可分擔(dān)影像處理功能的元件，尚未有針對VR/AR專門打造的最終產(chǎn)品出現(xiàn)。舉例來說，DSP價(jià)格較高是眾所周知的事，在VR/AR產(chǎn)業(yè)尚未成熟之際，DSP業(yè)者也不會投入太多成本開一顆新的DSP IC。更何況，據(jù)了解，目前市面上的DSP產(chǎn)品也還不能支援360度視訊所需的4K或8K影像處理功能，因此，現(xiàn)階段VR/AR應(yīng)用仍相當(dāng)倚賴CPU或GPU的運(yùn)算能力，也將促使CPU與GPU不斷提升現(xiàn)有的運(yùn)算效能。
下一步——移動VR/AR?
目前要獲得較佳的VR效果，必須透過電腦連接VR頭盔;而AR也是如此，要進(jìn)行精密的遠(yuǎn)端操控時，需要較大的顯示器、反應(yīng)速度較快的電腦。這樣的使用限制，也局限了VR/AR的發(fā)展，因此，已有業(yè)者預(yù)期下一步將朝移動化發(fā)展。
莊智鑫認(rèn)為，未來VR很有可能會走向移動VR領(lǐng)域，預(yù)期移動VR的出貨量會提升但并不是現(xiàn)在會看到的利用厚紙板折出來，將手機(jī)架上去看的那類簡易型VR，而是VR頭盔連接到智慧型手機(jī)或是所謂的VR背包。
此時，USB Type-C的高資料傳輸速率將使其成為VR頭盔與裝置連接線的首選技術(shù)。此外，若是連接智慧型手機(jī)的移動VR，智慧型手機(jī)本身功能也要有所提升，才能帶給使用者更好的體驗(yàn)。高通表示，在手機(jī)產(chǎn)業(yè)，尤其在旗艦手機(jī)的使用情境中，VR沉浸式體驗(yàn)非常重要，比如更好的影片顯示品質(zhì)、更好的音訊品質(zhì)、以及更好的游戲性能，都能大幅提升移動VR頭盔連接手機(jī)時的沉浸感。不僅如此，音訊在VR應(yīng)用也是十分重要，有接近一半的沉浸式體驗(yàn)是透過音訊實(shí)現(xiàn)。
甚至，無論是連接個人電腦的VR頭盔，有廠商開始致力于將連接線給“剪掉”，以實(shí)現(xiàn)更佳的移動性，讓使用者不會只能在連接線的半徑長度的范圍內(nèi)動作。不過，這就會需要去考慮無線通訊技術(shù)資料傳輸安全性及個人隱私的問題。莊智鑫指出，若是在VR頭盔或是連接的移動裝置先行運(yùn)算，例如選擇特征或是先過濾有用的資訊，再上傳到云端，再加上導(dǎo)入較好的安全機(jī)制，應(yīng)該可以避免大部分的安全性疑慮。
蘇家興則認(rèn)為，移動化還有許多需要待克服的問題，而使用無線傳輸技術(shù)，如Wireless HDMI，則會有頻寬、傳輸距離限制與延遲更高的問題發(fā)生。單就VR背包來說，重量、價(jià)格與電池續(xù)航力，都是大問題;這也是VR/AR應(yīng)用目前多為商用領(lǐng)域的原因之一，因?yàn)樯逃檬袌鰧τ趦r(jià)格接受范圍較大。就比如過去3D、立體熒幕價(jià)格動輒新臺幣10~20萬元，當(dāng)時就只有特殊商業(yè)或工業(yè)廠商有能力，也愿意購買;一直到現(xiàn)在降到2~3萬之后，消費(fèi)市場才開始起步，這樣的發(fā)展軌跡也可以套用在VR/AR的市場拓展上。
MR接著來了?
事實(shí)上，未來AR/VR若要能吸引更多人使用，移動化只是第一步，要能將虛擬與真實(shí)環(huán)境進(jìn)一步結(jié)合，才是終極目標(biāo)，這也就是所謂的混合實(shí)境(Mixed Reality，MR)。盧超群點(diǎn)出，與現(xiàn)實(shí)環(huán)境進(jìn)一步連結(jié)后，每個使用者都能夠自行結(jié)合現(xiàn)實(shí)與虛擬世界，并能夠與其他使用者進(jìn)一步互動，這會是加速AR/VR或是MR更普及的動力。蘇家興則表示，MR技術(shù)或許會在日后開始發(fā)展，但其需要更高解析度、技術(shù)難度更高，有哪些應(yīng)用可以利用MR技術(shù)，以及成本…等，都會是影響MR技術(shù)出現(xiàn)的因素。
不過，在MR開始發(fā)展之前，VR/AR也會先與人工智慧(AI)、深度學(xué)習(xí)進(jìn)一步連結(jié)，提高識別效果。
無論MR技術(shù)是否將隨著VR/AR日臻成熟之后出現(xiàn)，臺灣廠商需要把握這一波VR/AR商機(jī)。業(yè)者普遍認(rèn)為，臺灣廠商可以著墨VR/AR內(nèi)容的開發(fā)，以及去思考如何讓VR/AR實(shí)現(xiàn)更好的互動性，別只是將目光鎖定在主CPU或是裝置上。
盧超群強(qiáng)調(diào)，臺灣半導(dǎo)體或其他相關(guān)廠商不應(yīng)該在VR/AR市場持續(xù)當(dāng)個跟隨者，預(yù)計(jì)未來3~5年會看到VR/AR進(jìn)入爆發(fā)期，也將促使未來5年內(nèi)會有超過10種以上的半導(dǎo)體技術(shù)因應(yīng)AR/VR所需而出現(xiàn)，進(jìn)一步催生AR/VR市場發(fā)展。因此，現(xiàn)階段若是能大刀闊斧的快速從半導(dǎo)體的角度去投資AR/VR這類更智慧化的技術(shù)，再結(jié)合軟件，未來臺灣業(yè)者可望能更加壯大。
現(xiàn)階段，影響VR/AR持續(xù)發(fā)展的幾項(xiàng)因素可歸納為，殺手級應(yīng)用尚未出現(xiàn)、商業(yè)模式仍不夠明確、政府及領(lǐng)導(dǎo)企業(yè)的是否愿意繼續(xù)投資，以及相關(guān)技術(shù)能否持續(xù)突破目前的限制。但可以說此次VR/AR“起死回生”的力道比過去以往都來得強(qiáng)，這兩大技術(shù)未來應(yīng)該能夠穩(wěn)健地發(fā)展下去，為半導(dǎo)體、硬件裝置與軟件…等廠商帶來新的市場前景。
