浪潮導讀：圍繞場景需求，追求極致體驗或極致效率，積極探索全新商業化方向的公司，將會成為下個時代的領軍者。
作者 | 穆棉資本 陳十一
著名科幻作家劉慈欣曾提出：「人類面前有兩條路。一條向外，通往星辰大海；一條向內，通往虛擬實境。」 而事實上，人類未必不能有第三條路，那便是物理世界與虛擬世界相融合，人類走向混合現實的時代。
我們所期待的世界應該是繁盛而自由的，既有物理世界的山河草木，也有虛擬世界的萬千想像。虛擬世界與現實世界應該是相互促進的、彼此融合的，人的存在應該是流動的、自洽的、舒展的。
電影《失控玩家》劇照
目前，XR正在從各個領域進入我們的生活。例如，在教育領域，VR英語教育平台ImmerseMe可以讓學生仿佛置身於另一個國家中，在具體場景中互動式地學習外語[1]。
在社交領域，Snapchat的AR濾鏡已超過3.5 Trillion [2]；Rec Room VR終端的MAU於2021年初已達百萬[3]。
在消費及文娛領域，虛擬空間平台Decentraland日前舉辦了第一屆元宇宙時裝周 (MVFW) ，吸引了超過60個品牌參與[4]；虛擬演唱會服務商Wave已經舉辦了超過50場現場活動，吸引了全球數百萬用戶觀看[5]。
除C端應用以外，XR在B端如醫療、工業等領域也有了更加廣泛的應用，比如通過VR進行工廠設備的遠程維修等。虛擬與現實融合的時代正在加速來到我們面前。
Recroom虛擬社交場景
混合現實是物理世界與虛擬世界的交融，是繼基於PC和智慧型手機交互之後的下一代新交互形式。過去的幾十年裡，人類經歷了從PC到智慧型手機的時代，完成了從滑鼠鍵盤再到手指觸控的交互變遷。
在混合現實的時代，基於全新的「3D空間交互」和雲基礎設施，將誕生不同於以往的全新應用形態。
內容的分發邏輯，也不再是PC時代瀏覽器的搜索和智慧型手機時代的應用商店，而是更加智能化的「基於環境感知的AI技術」，比如中午你戴著MR眼鏡走在路上，它會自動識別周圍環境並給你推薦你可能喜歡的餐廳。
在混合現實時代，我們將會把「人」、「貨」、「場」更進一步地數位化，本文將主要探討圍繞「人」這個基本要素，混合現實技術將帶來的體驗與場景革新，主要體現在以下幾點：
- 當人的形象、軀體動作、甚至認知能力被深度數位化後，更自然的人機互動和更強的沉浸感將帶來全新的體驗。在混合現實世界提供服務的可能不再是一個個手機上的應用，而是在你面前活靈活現的「AI虛擬人」。
- 混合現實世界既有物理世界的人經過更高維度的數位化形成的數字分身（Avatar），也有虛擬世界原生的虛擬人，這裡面涉及建模、渲染、動捕、動驅等一系列技術。
- 隨著AI技術的演進，以及相關工具使用門檻和成本的逐步下降，我們認為數字分身或虛擬人不會只存在於遊戲和影視中，也會釋放每個企業和每個人的創造力，拓展到更多的應用場景。
- 混合現實背後是更廣泛、更高維的數位化，我們關注那些能夠依託場景構建數字資產，並創造優質閉環體驗的創業公司。我們認為如果這些公司能將數據和AI進一步結合，在提升用戶體驗的同時持續降低提供服務的成本，那麼這類公司將會創造更大的商業價值。
在上一代網際網路產品中，人初步實現了社會身份的數位化，例如網站的QQ秀、遊戲中的avatar等，人們開始在線構建社交網絡，以數字身份進行信息的交互。
而在混合現實的時代，虛擬身份的完整度以及人的數位化程度將實現質的飛躍。人們不僅擁有了更完整的數字身份體系和基於虛擬場景的社交關係，還能獲得更高維度的反饋和更真實的數字形象，甚至能夠實現動作的數位化和在線化。
而這樣更廣泛、更高維度的數位化，能夠創造更強的沉浸感和更自然的人機互動，使得消費者的體驗被全面革新。
- 更強的沉浸感和真實感
沉浸感並不是一個新概念。
在數字世界裡，各種3A遊戲大作已經通過精美的畫面、精巧的關卡和環節設計使得用戶能長時間「沉迷」其中；在物理世界裡，迪士尼樂園等主題公園也通過復刻童話中的場景，卡通形象以及故事線等方式讓用戶進入童話世界。
而混合現實是物理世界和數字世界的混合，開啟了人、計算機和環境之間自然且直觀的 3D 交互。
而相關技術的發展如計算機視覺、圖形處理、顯示技術、輸入系統和雲計算等，使得沉浸感有了突破性進展，主要體現在數位化形象的真實性和可交互性上。
通過全息技術或3D建模生成的數字對象，如全息影像或者虛擬數字人，放到物理世界中會宛若真實存在。
在江蘇衛視2022跨年演唱會上，大陸歌手周深與通過全息技術呈現的台灣傳奇歌手鄧麗君（已故）合唱了經典歌曲《小城故事》，為粉絲帶來了一場穿越時空的演唱，這讓很多曾經錯過鄧麗君演唱會現場的粉絲們彌補了遺憾。
當我們打開B站現場影片時，依然能看到「圓夢之夜」、「爺青回」、「感謝高科技」、「下次做個哥哥（張國榮）」等彈幕持續刷屏。
虛擬技術呈現的「鄧麗君」與周深演出畫面 圖片來源：B站影片
通過動捕和掃描可以將一個真實的人數位化，從而帶來全新的可能性。比如，人可以不受時空限制地看到你熟知的人並與之交互，無論是明星、家人、朋友、同事，亦或是你愛的人，創造一種數字媒體中前所未有的親密感。
例如，在Wave的虛擬演唱會中，Justin Bieber的數字分身可以在不同的場景中隨時切換，上一秒還在金色草原，下一秒則帶領觀眾來到了荒漠公路。來自全球不同地區的用戶可以跨越空間，通過交互特效、虛擬道具等與他即時互動，獲得線下演唱會中無法獲得的全新體驗[5]。
隨著動作捕捉、面部識別、表情識別等相關技術的不斷發展，未來人或許能夠1:1操控自己的數字孿生，去完成許多物理世界中不可能完成的事情。
Justin Bieber 虛擬演唱會
- 更自然的人機互動
人機互動的核心是提升效率，從紙帶打卡、到鍵盤、滑鼠、觸控螢幕、語音輸入，都符合提升效率、降低人類能耗這個規律。混合現實的體驗中多數使用體感交互，而體感交互多數時候與「降低能耗」相違背。
但是因為其更接近於人的本能行為，在一些追求高擬真度的應用場景下，有非常獨特的優勢，比如運動遊戲的場景。和其他遊戲相比，運動遊戲非常強調擬真，因為只有最大程度貼近現實，才能讓玩家更有代入感和參與感。
交互技術的發展，給運動遊戲帶來了豐富的輸入輸出方式，推動著運動遊戲體驗升級。平台的交互邏輯與交互的自由度都影響著用戶的操作方式和運動體驗，此前無論是街機、PC、主機，還是手遊，玩家都是通過手指操作去體驗遊戲，交互維度單一，無法真正還原物理運動。
直到體感交互技術的支持，運動遊戲逐漸從玩法機制的擬真走向感官體驗的擬真。
由於XR技術能夠貫穿線上和線下，在線上體驗之外，線下場景還能藉助一些多元化的輸入設備，比如手持道具等互動體驗設備去增強遊戲體驗，帶來擬真性的突破。
新一代的產品，如Beat Saber、Supernatural等，對運動進行了更充分的還原和擬真，用戶不僅僅是在遊戲，更是在真實的運動，並能在運動過程中及時地獲得遊戲化反饋，所以用戶不僅能達到強身健體的功能性目標，還能充分享受運動過程中的樂趣[6]。
Beat Saber效果示意圖
雖然VR運動遊戲對真實的運動進行了更多的還原和擬真，但是當前的VR運動遊戲受限於硬體性能、開發技術以及設備便攜性等因素，仍然以輕度的單人體驗為主，對抗性弱。因此國內的一些初創公司也在積極探索其他的技術路徑，希望為用戶提供在當前的技術成熟度下更為自然的交互體驗。
以運動健身領域的初創公司ATP.Club為例，其自研的CV動捕算法能夠使得從圖像輸入到動捕結果輸出的延遲降低到8ms以內，讓用戶在運動遊戲中體驗極強的操縱感和沉浸感。
首先，avatar的動作和用戶真實動作之間幾乎感受不到延遲，並且無穿戴設備使得用戶能夠自如地進行較為激烈的運動。
相較於VR設備集中於上半身的捕捉，ATP.Club圍繞運動場景對動捕方案進行了針對性優化，能夠在手機和iPad等移動端上實現全身級低延遲、高精度動捕，使得人能實現更高維度的動作數位化。
動作的數位化使得運動變成一場大型網遊成為了可能，未來一位在美國的用戶或許能和一位在中國的用戶聯網打一場酣暢淋漓的網球比賽，如同一場在線下真實的網球對抗。
同時，隨著大量多維度、全量的動作數據積累，ATP.Club未來還會通過自研的AI算法，根據每一位用戶的運動習慣、身體特點等為其自動生成合適的運動內容，用戶未來甚至能和AI虛擬人進行對練，真正實現千人千面的定製化運動。
除了技術維度以外，擬真度還可以通過一些精妙的運動遊戲機制設計來提高。ATP.Club設定了長期不運動的用戶avatar會長胖，而經常運動的用戶avatar則身形更為健美苗條等有趣的機制。
用戶還可以為自己的avatar購買運動裝備NFT，讓avatar擁有更出彩的造型，從而獲得更高的關注度，進一步豐富用戶的社交體驗。
ATP Club：Metaverse運動應用開發平台
體驗的變革離不開底層技術的發展。
上世紀中期CG技術（Computer Graphics 計算機圖形學）的誕生實現了混合現實世界中數字人的應用，同時期動捕技術的發展極大降低了3D動畫製作中分鏡和動畫環節的門檻，提高了製作效率。
2010年後，慣性動捕的應用將虛擬分身推向了除影視、動畫之外更廣闊的場景。
2012年後，AI與圖形圖像的結合迎來了爆發，GAN模型（Generative Adversarial Networks 生成式對抗網絡）、NLP模型（Natural Language Processing 自然語言處理）等AI技術的發展，為混合現實世界中千人千面的虛擬人提供了堅實的後盾。
- CG技術為混合現實中真實感人物的製作奠定了最初基礎
人的數位化進程，最早可以追溯到上個世紀傳統CG技術在角色建模、人物動畫與渲染技術上的突破。
多邊形建模、曲面建模、參數化建模等模型製作的發展，使得模型從二維走向三維，商業化從平面印刷、網頁設計行業走到三維動畫、影音特效行業[7]。
光照處理、紋理貼圖等真實感渲染技術的提出，使得模型逐漸變得更加真實，從1991年的《終結者2》到2010年的《阿凡達》，人們可以直觀感受到CG技術在真實感上的飛躍。
電影《阿凡達》劇照
20世紀90年代末，CG技術無處不在，Pixar的離線渲染在影視行業取得成功，3D圖形和實時渲染技術也在遊戲中流行起來；1996年，Krishnamurty和Levoy發明的法線貼圖[8]，帶來了人物深度、真實性和光滑度上更好的體驗。
然而，傳統的3D動畫製作流程複雜，門檻較高，應用場景較有限，一直以在影視行業和遊戲領域應用為主。
- 動捕技術實現人體動作和表情數位化，推進虛擬人進一步發展
在顯示、計算硬體和渲染技術發展的同時，數據採集環節也在同步發展。動捕技術的出現，替代了傳統3D動畫製作中，最難最複雜的角色動畫環節。通過光學、慣性等動捕技術，將運動物體的動作數據記錄下來形成三維動作數據，最後將這些動作數據重新賦予動畫模型，從而實現真人動作數位化。
目前適用範圍最廣的兩類動捕技術分別是光學式運動捕捉和慣性式運動捕捉。光學動捕需要演員穿著緊身動捕服，並且在身上粘貼光學標記點，在配置好光學動捕設備的場地進行表演和動作錄製[9]。
其與慣性捕捉設備相比，數據精度更高，但成本和技術難度也更高，因此主要使用場景仍是大型動畫、影視製作領域。
2001年上映的《指環王》中的Gollum是電影史上最經典的動作捕捉角色之一，這一時期的光學動捕精度可達0.1mm，數字人的呈現從背景角色的肢體動作發展到主演的面部表情。
電影《指環王》Gollum 利用光學動捕技術捕捉動作
隨著MEMS（Micro-Electro-Mechanical System 微機電系統）光學技術輕量化，在2010年之後的十年間純慣性動捕開始在影視製作、體育分析、醫療康復等各個領域與光學動捕展開激烈的競爭。
慣性設備的安裝和校準更簡單，後期數據處理量更少，降低了真人動作數位化的門檻，雖精度相對光學動捕略低一些，但成本的下降也使得動捕設備從影視製作拓展到更多場景。
就拿直播場景來說，慣性輕便的動捕設備、實時渲染的平台技術和低成本，為B站、Youtube、Tiktok等平台的創作者們提供了新的創作路徑，虛擬主播如Asoul、星瞳等成為了新一代的網紅達人[10]。
虛擬主播實時顯示[11]
而在混合現實場景中，動捕技術同樣可應用於人的數位化呈現。例如Anomalyst Studio使用Xsens的慣性動捕技術在2021年全球電子競技大賽（Global Esports Games）開幕式上，為歌手ShiGGa Shay製作了混合現實現場表演[12]。
Xsens慣性動捕技術打造混合現實演出
2021年5月，在谷歌推出的Project Starline--3D影片聊天室中，影片的雙方不需要佩戴任何眼鏡或者頭盔，真實的就像面對面聊天一樣，人物細節飽滿[13]。
谷歌Project Starline 3D影片聊天室
- AI技術將進一步降本增效，極大拓展虛擬人應用場景
相較於傳統的CG技術和動捕技術，AI進一步降低了3D動畫製作門檻。引用慧夜科技創始人所舉的例子，假如製作1小時舞蹈表演，CG軟體需要10名左右的動畫師一個月的時間，動作捕捉需要至少一周時間找演員排練、捕捉和後期修補，而AI算法則可以實現所見即所得。
例如今年網易AILab推出的一款產品級視覺動捕工具iCap，只需用手機從兩個視角拍攝同一組人物動作，便可快速高質量地捕捉人物動作，得到骨骼動畫數據。相較於傳統的穿戴式動捕流程，這種基於視覺AI算法的輕量級智能捕捉技術產出效率更高，幾乎能夠實現即拍即得，同時人力及設備成本更低[8]。
網易AI Lab視覺動捕工具iCap影片展示
推出類似應用的還有2014年成立的DeepMotion公司，其通過AI驅動的動作捕捉和實時3D身體跟蹤，讓用戶可以使用任何瀏覽器從 2D 影片生成 3D 動畫，在行動裝置上實時執行 3D 身體跟蹤，並通過全身 3D 化身徹底改變VR 體驗。
該公司同樣主打無需套裝/硬體的輕量級設置，以及實時高效的產出效率（幾分鐘內即可生成動畫）[14]。
AI技術的發展和滲透使得建模、渲染、動驅生產環節趨於融合，不僅帶來內容生產效率的提升，也使得虛擬人物的應用場景更加廣泛。
相比真人驅動的數字分身（Avatar）更多應用於消費、娛樂、社交等場景，AI驅動的虛擬「機器人」可以有更廣闊的應用空間。
例如冬奧會幫助奧運冠軍訓練的「小冰」，以及通過語音語義識別，將聲音根據規則轉化成動作的「手語虛擬人」，均是基於AI技術得以像真人一樣在現實世界中工作[15]。
在未來，混合現實世界中的虛擬人不可能全都由真人驅動，人類與虛擬人的交互也不可能全部由其背後的真人完成，因此需要虛擬人能夠自發的表達和交互，成立於2019年的慧夜科技正在這一領域進行積極探索。
慧夜科技專注於虛擬生命AI驅動技術，打造虛擬人的小腦。其自研的生成式深度神經網絡框架，能夠提供給用戶低門檻、高效率的3D內容生成工具，致力於成為虛擬世界中數字人三維內容的創建和使用平台[16]。
慧夜科技 虛擬DJ影片內容展示
混合現實技術在消費、工業、醫療、教育等傳統行業的應用，不僅帶來了體驗維度的升級，更創造了巨大的商業價值。
例如在消費領域，儘管通過AR試衣購物相比於傳統線下購物，消費者仍然缺乏對實物的感知，然而AR+消費卻極大地增強了消費者對於商品質量的信任度，提升了在決策環節的轉化率。
根據2021年Snapchat與Deloitte聯合發布的《2021年消費AR報告》，具有AR功能的商品進行交互可將商品的轉化率提高94％[17]。
而在更為新興的領域，圍繞混合現實進行原生的商業化探索也帶來了一些全新的可能。比如在虛擬音樂會行業，除票務收入、虛擬商品、增值服務、體驗道具等模式以外，一些初創公司正在圍繞數字資產，虛擬實境融合的品牌營銷等多個維度進行商業化探索。
彼真科技是在這個方向上探索的代表公司之一。彼真通過打造全真體驗協作平台，一方面提升了全真體驗的創作效率，另一方面聚合了音樂人、策展人等創作者，以及燈光師、音響師等專業服務人員，形成了多層次的創作者生態。
同時圍繞數據資產確權、存儲、數字藏品等方向展開了商業化的積極探索。比如用戶可以在虛擬演唱會中邀請身邊的人線上喝酒，並會在線下真的收到一瓶實物酒；人們可以在虛擬體驗中通過互動獲取積分，再用積分換取數字藏品或收到相應的實體商品。
這些都是基於混合現實的獨特交互體驗所誕生的全新商業機會。
從農業革命到工業革命，人類完成了與物理世界的關係構建，並改造物理世界，從而創造了繁盛的物質文明。而信息科技革命，則讓人類從物理世界走向數字世界，構建了豐富的數字文明。
下一個時代，人類或許將會走向物理世界與數字世界融合的混合現實世界，並基於新的技術、生產資料與生產方式，構建新的文明。
在這個變革的過程中，我們始終相信圍繞場景需求，不斷發展技術，追求極致體驗或極致效率，同時積極探索全新商業化方向的公司將會成為下一個時代的領軍者。
附錄：
[1] VR陀螺 獲10億日元融資，VR英語學習平台真的可靠嗎?_VR陀螺 (vrtuoluo.cn)
[2] Snap AR官網
[3] Twitter推文
[4] 東西互娛 60+時尚品牌參與，元宇宙時裝周
[5] GameLook 音樂元宇宙Wave獲4000萬美元融資，巨星比伯也來開虛擬演唱會 (qq.com)
[6] 網站網 專訪《Supernatural》創始人：健身會是VR的殺手級用例嗎？_網站新聞 (qq.com)
[7] CG 影視動畫介紹
[8] Normal mapping 維基百科
[9]機器之心 CVPR 2022 | 高質量捕捉人物動作，網易互娛AI Lab提出高效影片動捕技術
[10] 影視工業網 推開「視覺虛擬世界」之門—關於「動作捕捉」你要了解的那些事
[11] 快看VR圈 直播Xsens 動捕系統製作逼真Unity角色動畫
[12] Live Movement in a Virtual World with Xsens x Anomalyst Studio
[13] 機器之心 論文來了！谷歌公開裸眼3D全息影片聊天技術：8k屏幕、4塊GPU和一堆攝像頭
[14] 三次方AIRX 僅從影片文件生成3D虛擬化身動畫，無需動作捕捉設備
[15] 創業邦 元宇宙投資操盤手馮錚：虛擬人的價值，絕不是「不塌房的偶像」
[16] 慧夜科技官網
[17] Deloitte Digital and Snap Inc.: The Snap Consumer AR Netherlands Report 2021