5月11日，Unite Shanghai 2019正式開幕，在會上，故宮博物院數字化研究所工程師張雨辰以“技術與文化的融合”為主題發表了演講，其講述了故宮博物院在數十年內的發展過程，以及故宮博物院數字化各類項目與Unity技術融合的細節。

以下為演講內容整理：

大家下午好，我是來自故宮博物院的張雨辰。很榮幸受到Unity官方的邀請，來到上海給大家做案例分享。非常感謝有Unite大會這么一個渠道能夠讓我們博物館人從中汲取技術和創意的養分。很抱歉故宮本身的開發實力不足以在這里從技術的角度給大家做分享，所以我想從數字故宮的相關展示案例出發，來介紹Unity引擎如何助力故宮產出數字化成果。

我相信每一位觀眾都會有對故宮獨到的理解。其實，在我們看來故宮是座博物館，故宮是我們今人去了解故宮文化、了解中華文明的一個非常重要的窗口。

百年前故宮就開始做影像采集

故宮所做的數字化一定是要從博物館的角度出發，讓文化遺產的“本體”活起來，是為了讓文化遺產的“基因”活起來，是為了讓在文化遺產中的“人”活起來，致力于優秀傳統文化的創作性轉化和創新性發展。如果從這個角度出發去思考，我們就能夠避免那些為了展示而展示、為了炫技而炫技的“空洞”的數字項目。

故宮人在博物館數字化探索的道路上走了20多年，百年前故宮就開始做影像采集。當然，這些都是清宮影像，如今都已經成了故宮博物院珍貴的文物，代表了一段歷史的記錄。

現在故宮人探索出一條適合故宮博物院的三維數字化道路，數字化保護、數字化研究、數字化展示。保護、研究、展示“三位一體”，遵循“內容為王、技術為器、融合互通”，展現故宮獨有特性，才能有效的避免博物館數字化過程中的同質化問題。

2002年起，故宮建立了數字化資產應用研究所，開始了三維數字化的應用建設。到現在，我們已經采集了紫禁城（112公頃）的全景三維簡模數據，采集了包括太和殿、養心殿、乾隆花園和角樓在內的重要殿宇室內外高清數據。并通過照片建模、三維掃描等技術采集室外陳設三維數據和可移動文物三維數據。隨著，采集技術的發展我相信我們的三維數據資源會越來越充實。有了這些基礎數據，我們能夠開展數字化項目建設。

在來到這里之前我整理了一下近三年的開發項目，據不完全統計總共有12個項目是基于Unity引擎開發的。為什么故宮博物院能夠做到在博物館數字化領域如此高產？為什么Unity引擎能夠助力數字故宮實現高產？

請大家跟我一起走進數字故宮，來探究答案。

我們第一期制作的數字展主題是“故宮是座博物館”，2016年養心殿正式開始進行為期五年的大修工作，作為最受觀眾歡迎的原狀陳列，不能一睹養心殿，自然成為很多觀眾的遺憾，因此我們一方面讓養心殿的真文物出門巡展，讓不再北京的觀眾也能‘走進’養心殿，另一方面用數字技術，讓養心殿‘活起來’，讓年輕人更多地走進數字養心殿，走進傳統文化。所以，第二期我們以“發現養心殿”為主題，利用原有的設備將數字內容進行了更換，開放了新的一期數字展覽。

AR穿搭服飾互動項目：服飾文化是民族文化的重要組成部分，通過Unity引擎+Kinect體感設備開發的試衣互動可以將成套的宮廷服飾“穿上身”，喜歡的話還可以拍照并將自己的照片下載到手機里。這樣一來，非常像當下流行的AR試裝項目，大家都在思考如何將虛擬試衣項目融合到商場和線上商城的時候，很多人都沒有想到在故宮里面也能夠Idea出這樣項目，Unity引擎所搭載的布料系統就已經能夠滿足我們的互動需求，而且我們為了照顧小朋友，還適配了孩童的身高。通過衣服搭配和選擇佩飾，觀眾可以了解清代宮廷服飾搭配的相關小知識。

御膳項目：故宮內的御膳房有兩處，“養心殿御膳房”為其中之一，無數美味佳肴都出自這里。在這個項目中我們選取了眾多宮廷美食中最有特色的四道菜肴，還原了制作方法，觀眾在隨著提示一步一步“制作”好菜肴后還要選擇正確的餐具盛放擺盤。

從選材到上桌，所有關鍵步驟都用數字技術呈現出來。這個項目作為一個2D互動應用，Unity引擎提供豐富的2D功能：包括動畫、粒子系統創作和音頻混合的工具，使我們這款2D手繪風的應用開發效率大大提高。特別是當我們產生新的靈感之后，合作方能夠很快的拿出一版完全可玩的版本去印證我們的想法，經過這樣一次次的迭代，項目很快能夠走入正軌。

所以說，Unity引擎在技術上的快速更新和穩定迭代也是我們所看重的一點，特別是在這個數字多寶閣展項。在第一期的端門數字展覽上我們就使用Unity開發了這個項目，當時的版本還是4.x。這個項目的亮點一是有趣的熱點互動，二是文物材質的模擬，在當時的技術環境下材質的模擬效果不太理想。之后Unity引擎發布了5.x版本，支持了基于物理材質的圖形渲染，這樣我們就能夠借助法線貼圖、金屬貼圖、反射貼圖輕松的模擬文物的材質效果，在后面的講述中我會用一個視頻來給大家做詳細展示。

在第二期鑒藏珍玩的改版過程中，我們還借助Unity引擎的Asset store應用商店中的UBER - Standard Shader Ultra插件，制作玉器和玻璃器類文物的材質效果，這一過程大大減輕了開發難度，使程序人員不必自己編寫Shader就可以得到我們想要的效果。

這個項目的核心還是以養心殿內真實陳列為藍本制作的，我們為精選故宮院藏文物中精品制作出數字模型，并且結合展品中最主要的亮點，如制作工藝，紋飾特點，使用方式等，用交互的手段將這些知識呈現出來。

故宮對VR技術的探索早在2000年已經開始，我們與日本凸版印刷公司進行合作，借助他們自主開發的引擎平臺，以VR技術再現金碧輝煌的紫禁城。可能大家很難想象在故宮里有一個數字化團隊，自己開發了7部《紫禁城·天子的宮殿》虛擬現實系列作品。不過受限于凸版開發的引擎，我們展示技術的競爭力已經跟不上這個時代的步伐，凸版的引擎已經有多年沒有進行更新迭代，渲染、光影效果還停留在Unity4.x系列的標準上，我去東京學習的時候凸版的工作人員也曾經向我透露自主引擎的開發難度非常的大。

所以凸版和我們都在盡全力的尋找另外一條技術解決方案，我們不約而同的把目光都聚焦在Unity引擎身上，目前凸版公司已經開始將自研引擎轉移到Unity引擎并獨立開發多通道系統實現互動功能與效果的雙提升。

而故宮選擇了相對保守的方案，基于Unity引擎開發了平板設備與自研引擎進行通信交互，實現大小屏幕聯動以及觀眾的互動。這個思路在我們第七部虛擬現實作品《紫禁城天子的宮殿·御花園》節目中有所體現，利用Unity引擎在安卓平板設備上進行開發工作，通過交互設備改變了傳統的只能觀看沒有互動的觀影流程，現在我們可以一邊看大屏幕一邊通過交互設備了解屏幕展示點的現實所在位置，以及當前區域的熱點信息。這些信息可以是文字圖片，也可以是三維模型，可以進行補充說明，也可以進行深度互動，比如說我們講解到萬春亭的時候，交互設備上立馬出現萬春亭的大木結構模型，觀眾可以在平板設備上進行拆解、交互，可以在御花園的喂一喂鹿，在古代御花園里面是養鹿的。借助Unity引擎與大屏幕之間的互動，以獨特視角向觀眾完整、準確、生動地傳遞著故宮文化遺產所蘊含的歷史信息和文化情懷。

我們還舉辦了《御花園》節目觀影周，一周時間內容納50人的演播廳一共接待了1200多名預約前來的觀眾，獲得了不錯的反響。未來，我們依然可以借助Unity引擎多平臺發布的特性，將我們交互內容進行重新編排和解讀，可以作為單獨的互動展項發布，我想這就是Unity能給我們帶來的最大的便捷。

以上我所分享的，都是在“發現養心殿”主題數字展里面所展示的內容。故宮出品，必屬精品，我們帶著我們數字展示成果走出故宮，走出國門。2017年我們帶著數字多寶閣項目走出了故宮，參加了“砥礪奮進的五年”大型成就展，深受國家領導人的好評。

之后，數字多寶閣與《紫禁城天子的宮殿》VR節目走出了國門，隨***總理一起出訪日本。當然我們還積極的與地方政府、博物館和企業合作，將我們數字故宮的成果推向更多的地方，將故宮的數字化成果轉化成為專題展覽的形式，讓更多的人感受到數字故宮的魅力。

在展示項目里還有一個故宮導覽應用項目，它也是利用Unity引擎開發。我們把終端放置在故宮觀眾服務中心，部分觀眾在進入故宮前使用導覽終端可以初步了解故宮的概，也可以訂制最適合自己的游覽路線并生成二維碼，觀眾可以將自己的路線“掃”進手機里，更為方便和快捷，Unity引擎不僅讓國寶藏“活”起來，也讓故宮的服務更有“溫度”。

十余年耕耘，觀眾有6.5萬，VR技術帶來突破口

故宮博物院在虛擬現實領域已經默默耕耘了十多年，但是在這段時間內僅有65000名觀眾能夠來到故宮數字劇場觀看我們的VR節目。于是我們在思考，能不能將我們優質的三維數據、三維節目放到互聯網上，讓更多的人體驗到虛擬故宮的魅力？出于這種想法，一個線上的三維展示平臺“V故宮”就此誕生。

2014年，我們開始著手利用Unity引擎，在現有的故宮三維數據庫中，選擇了靈沼軒進行移動端移植的測試。移植完成后，由于數據量太大，雖然可以承載VR程序內容，但是體量龐大，以當時的移動端設備仍然面臨著運行效果不理想的問題。在這種情況下，我們不得不選擇了折中方案——網頁端全景圖展示。

第一個項目是養心殿，我們將虛擬現實節目里的三維模型加工渲染成全景圖，并加以輕互動，移植到互聯網上，突出簡單便捷易上手的特性，吸引觀眾的目光。觀眾反饋不錯，于是我們又制作了第二期線上展示內容《靈沼軒》，但是我們并不滿足于相對簡單的全景展示，隨著技術的進步，特別是Unity引擎對H5平臺和WebGL渲染框架更好的支持，以及越來越多的瀏覽器支持WebGL渲染，于是我們準備部署更具交互感的游戲體驗方式。經過測試，發現手機等移動設備上的三維模型運載能力依然有限，而電腦PC端卻可以流暢的實現三維交互。于是我們以《倦勤齋》為主題，設計了基于PC和手機端兩種不同側重點的Web程序。

在移動端，能夠承載的三維模型精度不高，在保證精細程度和三維模型上，我們做了多次取舍。在需要呈現畫面精細效果時采用二維影像，而在重點呈現空間感與真實感時采用三維模型。而在PC端的我們全部使用三維模型數據的進行開發，以第一人稱視角探索倦勤齋，并可以與NPC人物進行互動，古風十足，使整個體驗更接近于線上游戲；這一次，借助Unity引擎幫助我們驗證了故宮三維數據展示的另一種可能性。

未來，V故宮展示平臺將迎來一位新成員。線上的數字多寶閣展示項目，通過WebGL技術實現4K級精度的文物展示，聯通線上與線下的展示內容，打破常規提升用戶粘性，做到真正的“把故宮文物‘帶’回家”。

時間來到2015年初，當時北京在隆宗門西區域和慈寧宮花園區域發現了明代大型宮殿建筑遺跡。這一發現對于研究元代北京皇城具有非常重要的價值，以往都是考古繪圖與二維影像共同來進行考古數據的記錄與保存，而在隆宗門西區域發現的考古遺址坑，我們的數字化團隊第一次利用攝影測量技術采集加工生成考古遺址三維模型，實現了對考古遺址的三維化保護工作。

這時，我們需要思考如何讓這個考古遺址為專業人員所用。當時VR頭顯剛開始發力，我們便購入了一臺VIVE頭顯進行測試開發工作。我們借助Unity引擎將考古遺址VR化，當時并沒有交互內容設置。但對于考古專家們來說，這近乎真實的三維展示方式已經完全超出了他們的想象。隨著考古工地的回填，我們掌握了唯一一份考古三維基礎數據。

考古專家對VR的展示方式給予了充分的認可，直接促成了與數字化團隊的又一次合作——景德鎮御窯遺址的三維數據應用研究。

之后我們走出了故宮的大門，為全國的考古項目進行采集加工工作。利用Unity引擎實現了5000萬三角面的考古遺址運行，幀率符合VR展示的要求。為了進行場景真實度還原，我們采用了全局環境光和環境光預計算技術（GI），以及VRTK - Virtual Reality Toolkit插件，實現VR的交互內容開發。

為了能夠在虛擬世界中，給體驗者對整個御窯遺址提供概覽性的介紹，同時避免觀眾產生眩暈感，所以我們在虛擬場景中構建一個虛擬電影院。以電影放映的形式來對遺址進行概括描述，這樣一來，不光減輕了體驗者的眩暈感，而且還有一種仿佛置身于巨幕當中欣賞遺址的奇特感覺。

在此之后，我們主持開展了國家科技部支撐項目——利用激光掃描和攝影測量相結合的方式采集加工了23件青銅器模型。而這些模型要達到貼圖精度為8K的級別，成為數字所截至目前制作的最為精細的一批文物。當時領導希望能夠在最終的評審會上以可視化的形式展示成果，于是我們再一次想到了Unity引擎。

值得注意的是，我們從構想到開發結束不到一周的時間，便實現了對三維文物模型紋理細節的極致展示。特別是在2017年的“故宮騰訊數字文化節”上，這批文物在4K屏幕上向觀眾展示，引起了文博行業與科技界專家的關注。也正是由此，故宮樹立起可移動文物三維數據可視化領域的一面旗幟，業務范圍逐漸的擴大。

結語

故宮希望在文博數字化應用領域始終保持領先態勢，我們對先進技術的探索從未停止，像最初的谷歌Project Tango項目出現時，我們購買了Tango手機，基于Unity引擎將延禧宮“搬”到了我們的院落，實際上Tango項目就是升級版的AR增強現實，通過技術測試評估我們覺得AR技術在博物館專業領域上應用前景的春天還沒有到來，不盲目追風，等待技術上的突破這是我們現階段的想法。

我想大家很難想象，在大會上介紹的12種應用程序中，有6個完全由故宮人自己開發的，故宮在數字化領域有自己的團隊。正是有Unity引擎這樣優秀的開發工具，才能夠使想法成為可能，使可能成為現實。未來，故宮博物院將會加大在機器學習、人機互動、混合現實等領域的探索，研究其應用于數字故宮的可能性。故宮雖然很古老，但是故宮博物院卻很時尚。感謝大家的聆聽，謝謝。