虛擬演播室系統(tǒng)可分為3個部分：跟蹤計算、虛擬場景生成及視頻合成。
1、跟蹤計算
攝像機在拍攝過程中有平移X、縱移Y、高度移Z、水平角、俯仰角、鏡頭變焦ZOOM， 聚焦FOCUS等變化，這些參數(shù)的改變會引起所攝圖像視野與視角的改變，為了模擬人物所 在的三維環(huán)境，計算機必須根據(jù)這些參數(shù)不斷調(diào)整三維視圖。而攝像機跟蹤部分的作用正是 收取攝像機的位置信息和運動數(shù)據(jù)，實時地跟蹤真實攝像機，以保證前景與計算機背景“聯(lián) 動”。由于這種“聯(lián)動”是以高速計算機運算的結(jié)果，而這種運算永遠(yuǎn)需要一個運算時間，所 以這種“聯(lián)動”是有時間差的。只是設(shè)計者保證限制這種時間差在一個人眼不易察覺的范圍 內(nèi)，因此要求前景攝像機只能在一個有限的速率內(nèi)改變位置參數(shù)。目前虛擬演播室的攝像機 跟蹤系統(tǒng)主要有攝像機參數(shù)圖形識別和以傳感器為基礎(chǔ)的跟蹤系統(tǒng)兩種方式。同時這也是虛擬演播室兩大類別的主要 區(qū)別之處。
?。?）攝像機參數(shù)圖形識別跟蹤系統(tǒng)
圖形識別跟蹤系統(tǒng)又稱網(wǎng)絡(luò)跟蹤系統(tǒng)，作為一頂圖像處理的基本 識別技術(shù)，利用已知特殊圖形定位攝像機參數(shù)已有十多年的發(fā)展歷史。攝像機參數(shù)圖形識別 跟蹤系統(tǒng)的基本原理是需要一個畫有特殊網(wǎng)格的藍(lán)色背景幕布，它將攝像機所 拍攝的畫面送到數(shù)字視頻處理器中進行處理，通過對詼畫面中網(wǎng)格各具的不同特征 和透視關(guān)系進行計算，得出有關(guān)攝像機的運動參數(shù)。在虛擬演播室發(fā)展的初期這頂技術(shù)應(yīng)用 于虛擬演播室中的攝像參數(shù)定位，具有先進的一面，它省去了傳感器跟蹤系統(tǒng)所必然帶來的 對云臺的改裝，并可使一套識別跟蹤系統(tǒng)與多個攝像機相連，但它的先天不足也使其在應(yīng)用 上遇到了許多問題。
首先，由于一套識別跟蹤系統(tǒng)只能同時跟蹤并處理一個方位信號，因而在原理上圖形識 別跟蹤系統(tǒng)就只能為場景生成系統(tǒng)提供一個機位的參數(shù)，從而使場景生成系統(tǒng)只能生成一個 主輸出畫面。如果場景生成系統(tǒng)有能力生成并合成一個或一個以上的預(yù)監(jiān)畫面，為能跟蹤除 主輸出之外的一個或一個以上的攝像機參數(shù)就必須相應(yīng)地增加識別跟蹤系統(tǒng)，也就是說，如 果想要同時監(jiān)視4個攝像機的合成畫面，除了要有4套背景生成及合成系統(tǒng)外，還必須配置 4套圖形識別跟蹤系統(tǒng)。虛擬演播室發(fā)展到現(xiàn)在，對預(yù)監(jiān)機位甚至是雙畫面特技的要求越來 越強烈，而利用圖形識別跟蹤技術(shù)所能達(dá)到效果很難讓人滿意。另外，由于該技術(shù)的核心是 一套圖形識別跟蹤系統(tǒng)，一旦圖形識別跟蹤系統(tǒng)出現(xiàn)故障就將導(dǎo)致整個系統(tǒng)崩潰而無法播 出，所以利用這種技術(shù)進行直播是相當(dāng)危險的。同時，圖形識別跟蹤技術(shù)產(chǎn)生的系統(tǒng)延時一 般也高于傳感器跟蹤系統(tǒng)，給攝像師的操作和演員的表演都帶來了難度。
第二，圖形識別跟蹤系統(tǒng)通常要在藍(lán)幕上用不同的顏色標(biāo)注識別圖形，因而對虛似演播 室背景燈光的要求也就相應(yīng)提高，同時為了能將藍(lán)幕和網(wǎng)格同時用色鍵器鍵除，色鍵器的鍵 閾值就必須相應(yīng)提高并加速，從而使色鍵器很難實現(xiàn)如透明體、煙霎，陰影等效果。而陰影 作為人手與虛擬場景結(jié)合的關(guān)鍵因素，卻是虛擬播室效果真實感的重要標(biāo)志。
第三，圖形識別跟蹤系統(tǒng)在所識別的畫面中要求至少有一個可識別的圖形（如網(wǎng)絡(luò)）才 能定位攝像機參數(shù)，因此當(dāng)攝像機鏡頭推上或人手遮擋使畫面中沒有可識別圖形時，圖形識 別跟蹤系統(tǒng)根本不能工作，這也就是說單純利用這種系統(tǒng)不能進行人物特寫的拍攝。目 前的解決方法是求助機械傳感系統(tǒng)，也就是要在鏡頭上安裝機械傳感器才能完成特寫的拍 攝。但其實一旦安裝了鏡頭傳感器，只要再安裝云臺傳感器就能構(gòu)成一個標(biāo)準(zhǔn)的傳感器跟蹤 系統(tǒng)，圖形識別已毫無意義。
第四，在參數(shù)釆集精度上圖形識別跟蹤系統(tǒng)也受很大的限制，攝像機距離藍(lán)幕過遠(yuǎn)或過 近以及攝像機自身的分辨率都會影響參數(shù)精度，特別是當(dāng)背景被虛焦時，極易帶來畫面的抖動。
?。?）攝像機參數(shù)傳感器跟蹤系統(tǒng)
隨著虛擬演播室技術(shù)的誕生和發(fā)展，攝像機參數(shù)傳感器跟蹤系統(tǒng)的技術(shù)也得到了迅1速的 發(fā)展，其參數(shù)精度、參數(shù)釆集速率都足以滿足虛擬演播室技術(shù)的要求，在與云臺和鏡頭的配 合安裝上也有多種方式可供選擇，并且其成本和價格也在逐步降低。特別是目前許多云臺和 遙控云臺上安裝了能滿足虛擬演播室要求精度的參數(shù)傳感器，甚至一些鏡頭生產(chǎn)廠商為能擴 大銷售也開始在其鏡頭上安裝傳感器，我們甚至可以預(yù)見，隨著演播室和虛擬演播室自動化 的發(fā)展，攝像機參數(shù)傳感器跟蹤系統(tǒng)很可能成為演播室云臺和鏡頭的標(biāo)準(zhǔn)配制。攝像機參數(shù) 傳感器跟蹤系統(tǒng)要求對每個在虛擬演播室中使用的機位都安裝傳感器，這種方式固然令系統(tǒng) 造價隨著機位的增加而提高，但其優(yōu)勢也是顯而易見的。由于每個機位都有傳感器，虛擬演 播室的主控系統(tǒng)可以同時獲取每個機位的參數(shù)，因此有可能為每個機位提供虛擬背景與合成 畫面。
2、計算機虛擬場景生成
虛擬演播室的場景是計算機生成的圖形，根據(jù)圖形是二維和三維，虛擬場景也有二維和 三維之分?根據(jù)三維模型生成方式，三維場景有真三維系統(tǒng)和二維半系統(tǒng)?所謂真三維系統(tǒng) 是指由計算機實時生成三維虛擬場景，場中燈光的強弱、位置以及物體的位置和大小都可以 實時變化，當(dāng)能獲取攝像機位置參數(shù)時機位也可移動。該系統(tǒng)由于物體、燈光甚至機位都可 以移動，畫面會顯得比較生動，適合用于綜藝、科技類節(jié)目以及效果要求復(fù)雜的體肓、天氣 預(yù)報節(jié)目。但是這種設(shè)備一般造價較高，并且受到計算機處理能力限制，三維虛擬真實模型 不可能無限復(fù)雜，即虛擬場景的總效果受到限制。所謂二維半系統(tǒng)是指事先由三維處理軟件 生成好場景畫面，再由計算機根據(jù)攝像機參數(shù)進行貼圖，場景中燈光的強弱、位置以及物體 的位置和大小都不能變化，攝像機位置也不能移動。二維半系統(tǒng)的物體，燈光以及機位都是 固定的，但因為場景是提前誼染好的，其效果可以任意發(fā)揮不受計算機處理能力的限制，并 且造價較低，非常適用于場景靜止的新聞、訪談等節(jié)目的制作，應(yīng)當(dāng)說能滿足大多數(shù)節(jié)目制 作的要求。
3、視頻合成
虛擬演播室系統(tǒng)視頻合成的基本技術(shù)是色鍵器摳像，即攝像機拍攝的藍(lán)幕布前的真實景 物通過色鍵器進行摳像處理，與計算機生成的虛擬場景合成。
虛擬演播室前景和背景合成要釆用深度合成技術(shù)。所謂深度就是前后關(guān)系，這一技術(shù) 要考慮兩路鍵信號的深度信息。這不同于三維圖像的造型技術(shù)，因為虛擬演播室三維場景圖 像中的像素不僅需要都帶有深度信息，而且還要有與攝像機的距離信息，由這兩部分信息決 定前景和背景像素的可見性。在實時生成的時候，高性能的計算機通常使用一個深度緩沖區(qū) 來存儲像素的深度值。那么如何在傳統(tǒng)攝像機拍攝時，獲取前景視頻信號的深度信息呢？通 常釆用估計方法，估計攝像機與鑌員之間的距離，即深度值（深度鍵)。前景信號通過色鍵 摳像得到鑌員部分的信號，先與背景作傳統(tǒng)方式上的合成，得到色鍵序列值，這樣已部分地 確定了前景在背景中的位置，再由深度值來進行前后關(guān)系的調(diào)整，輸出的深度鍵值序列 再按傳統(tǒng)方法合成。
