文化和遺產(chǎn)技術(shù)研究所（TRIC）是一家以數(shù)字化方式保存全球遺產(chǎn)文物（包括文化遺產(chǎn)、非物質(zhì)文化遺產(chǎn)、自然遺產(chǎn)和未來遺產(chǎn)）并將其用于互動(dòng)內(nèi)容的公司。TRIC為保護(hù)真正的遺產(chǎn)做出了貢獻(xiàn)：使人們可以更容易地接觸到它們，讓這些遺產(chǎn)得以重見天日，并提升了它們的價(jià)值。

文化遺產(chǎn)是國(guó)民了解其國(guó)家歷史的重要途徑。遺產(chǎn)使歷史和文化身份得以保留在當(dāng)下，并延續(xù)到未來。在韓國(guó)，約23萬件文化資產(chǎn)通過合法或有爭(zhēng)議的途徑外流到了其他國(guó)家，但該國(guó)目前正在開展各種努力，將它們送回本國(guó)。

在這些努力中，包含一種數(shù)字共享想法，這是韓國(guó)政府主導(dǎo)的一項(xiàng)舉措，希望利用數(shù)字技術(shù)和設(shè)備代替復(fù)雜且困難的實(shí)體歸還過程。

通過數(shù)字共享，他們能夠以原始文物精確數(shù)字復(fù)制品的形式，在本國(guó)展出存放于海外博物館的韓國(guó)藝術(shù)品。基于數(shù)字復(fù)制品開發(fā)的交互式3D內(nèi)容將為觀賞者提供一種真實(shí)且引人入勝的體驗(yàn)。

克利夫蘭藝術(shù)博物館（CMA）的韓國(guó)文化資產(chǎn)數(shù)字化歸國(guó)項(xiàng)目是首個(gè)在這個(gè)想法的指導(dǎo)下展開的項(xiàng)目。為了更深入地了解項(xiàng)目的全部細(xì)節(jié)，我們采訪了文化和遺產(chǎn)技術(shù)研究所（TRIC）的首席執(zhí)行官Kim Jikio，他指導(dǎo)了這個(gè)以數(shù)字化方式將CMA的韓國(guó)文化資產(chǎn)帶回國(guó)的項(xiàng)目。

能否向我們介紹一下TRIC和CMA的韓國(guó)文化資產(chǎn)數(shù)字化歸國(guó)項(xiàng)目？

TRIC是一家致力于通過數(shù)字技術(shù)、研發(fā)和相關(guān)企業(yè)為文化和遺產(chǎn)注入新生命的公司。過去十年間，TRIC一直在為印度尼西亞、老撾、土耳其、哈薩克斯坦、日本和埃及等地的主要全球遺產(chǎn)策展機(jī)構(gòu)開發(fā)數(shù)字檔案和內(nèi)容，使之向所有人開放。最近，得益于實(shí)時(shí)內(nèi)容工作流程的發(fā)展，我們已經(jīng)開始將基于虛幻引擎的管線用于克利夫蘭藝術(shù)博物館的項(xiàng)目。

CMA的韓國(guó)文化資產(chǎn)數(shù)字化歸國(guó)項(xiàng)目是一個(gè)國(guó)際合作項(xiàng)目，從3月起，它將在韓國(guó)和美國(guó)同時(shí)展出。

我們對(duì)CMA收藏的韓國(guó)文化資產(chǎn)進(jìn)行3D掃描，獲取數(shù)字化數(shù)據(jù)，并在此基礎(chǔ)上制作逼真的數(shù)字內(nèi)容。這個(gè)項(xiàng)目已經(jīng)進(jìn)行了三年。在項(xiàng)目的第一年，即2022年，我們完成了對(duì)CMA十三件主要韓國(guó)文物的數(shù)字化存檔工作。2023年，考慮到大規(guī)模展覽的需求，我們從這些文物中挑選出了19世紀(jì)的折疊屏風(fēng)《七寶山》，并開始根據(jù)這件藝術(shù)品制作身臨其境的逼真內(nèi)容。如今，項(xiàng)目已進(jìn)入第三年，我們的辛勤工作成果將在韓國(guó)和美國(guó)舉辦的展覽中展出。

你們?yōu)槭裁磳⑻摶靡嬉隩RIC管線？

基于文物數(shù)據(jù)的內(nèi)容制作項(xiàng)目要取得成功，一個(gè)至關(guān)重要的因素是要能夠在數(shù)字版本中忠實(shí)地還原原始藝術(shù)品。

然而，隨著網(wǎng)格體和紋理精細(xì)程度的加深，數(shù)據(jù)將不可避免地變得龐大。比起創(chuàng)建單件藝術(shù)品，當(dāng)嘗試創(chuàng)建建筑結(jié)構(gòu)等復(fù)雜對(duì)象時(shí)，這種情況將尤其嚴(yán)重。因此，我們?cè)?jīng)投入了大量資源，希望簡(jiǎn)化和優(yōu)化數(shù)據(jù)。

由于實(shí)時(shí)互動(dòng)內(nèi)容主要通過VR、AR以及實(shí)體設(shè)施觀看，因此這種優(yōu)化過程十分必要。TRIC始終認(rèn)為，通過媒體技術(shù)在觀眾與藝術(shù)之間實(shí)現(xiàn)無縫互動(dòng)至關(guān)重要。這也是我們采用虛幻引擎的原因，因?yàn)樗试S我們?cè)谥谱鲗?shí)時(shí)內(nèi)容的同時(shí)，以最小的工作量保持原有的質(zhì)量。

通過使用虛幻引擎5中的Lumen和Nanite，我們能夠以高視覺質(zhì)量描繪數(shù)字文物的細(xì)節(jié)。這些工具還消除了過去實(shí)時(shí)制作中所需的冗長(zhǎng)優(yōu)化過程，從而減輕了制作負(fù)擔(dān)，并允許小型團(tuán)隊(duì)快速交付所需的質(zhì)量。

此外，虛幻引擎還大大縮短了所有TRIC項(xiàng)目的管線，包括需要對(duì)基礎(chǔ)視頻進(jìn)行復(fù)雜計(jì)算和模擬的沉浸式多平面成像項(xiàng)目、變形成像項(xiàng)目以及新輸出格式的內(nèi)容開發(fā)項(xiàng)目。

請(qǐng)介紹一下該項(xiàng)目使用的管線

這個(gè)項(xiàng)目的流程可以分為兩部分：掃描13件文物，將它們轉(zhuǎn)化為數(shù)字化數(shù)據(jù)；以及制作逼真的《七寶山》內(nèi)容。在掃描階段，我們主要使用了RealityCapture。然后，我們構(gòu)建了基于虛幻引擎的管線，用來創(chuàng)建逼真的《七寶山》內(nèi)容。

在項(xiàng)目的第一年，我們?yōu)镃MA保存的13件韓國(guó)文物（包括《七寶山》）采集了超級(jí)精確的數(shù)字化數(shù)據(jù)。精確的3D掃描通常需要使用激光雷達(dá)或結(jié)構(gòu)光掃描儀等專業(yè)設(shè)備。

然而，在這次的情況中，由于文物在海外，因此很難攜帶設(shè)備或創(chuàng)造最佳的掃描環(huán)境。作為替代方案，我們采用了攝影測(cè)量方法，利用RealityCapture采集數(shù)據(jù)。我們經(jīng)常使用RealityCapture，為儲(chǔ)藏藝術(shù)品的建筑制作建筑空間和所含物品的3D數(shù)據(jù)集。對(duì)于每一件文物，我們都拍攝了數(shù)千張照片，并使用RealityCapture創(chuàng)建了高保真的網(wǎng)格體資產(chǎn)和紋理資產(chǎn)。順便提一下，在與柏林的一位建筑攝影師合作完成的夏洛滕堡宮瓷器屋項(xiàng)目中，盡管受新冠疫情的影響，德國(guó)邊境關(guān)閉，但RealityCapture發(fā)揮了關(guān)鍵作用，使該項(xiàng)目得以完成。

在制作第二年推出的逼真內(nèi)容時(shí)，我們的目標(biāo)是在保留傳統(tǒng)藝術(shù)風(fēng)格并增加3D空間感的同時(shí)，將繪制在寬闊折疊屏風(fēng)上的《七寶山》原始畫作轉(zhuǎn)化為三塊沉浸式數(shù)字屏幕。

為了實(shí)現(xiàn)這一目標(biāo)，我們首先構(gòu)建了巨大的千兆像素?cái)?shù)據(jù)網(wǎng)絡(luò)，使用攝像機(jī)旋轉(zhuǎn)體將構(gòu)成折疊屏風(fēng)每一個(gè)面的數(shù)千張圖像連接起來，然后為每個(gè)對(duì)象、色域和層級(jí)創(chuàng)建獨(dú)立的圖層。我們使用虛幻引擎將所有元素放置在3D空間中并進(jìn)行拍攝，將傳統(tǒng)的2D藝術(shù)作品《七寶山》重塑為具有空間感和動(dòng)態(tài)感的3D內(nèi)容。

在創(chuàng)建3D效果的過程中，用于表現(xiàn)角色輪廓的筆觸將發(fā)揮至關(guān)重要的作用。我們使用虛幻引擎的材質(zhì)編輯器創(chuàng)建了一個(gè)著色器。我們從Megascans下載了紙張質(zhì)感的高質(zhì)量紋理，進(jìn)行了修改，并應(yīng)用到了角色的后期處理材質(zhì)中。

霧是使用虛幻引擎的Niagara流體插件添加的，這將為藝術(shù)作品帶去動(dòng)態(tài)感。使用Niagara流體，我們可以制作出能夠?qū)崟r(shí)對(duì)其他對(duì)象做出反應(yīng)的模擬，或者通過Sequencer控制所需的時(shí)間。

相較于之前使用OpenVDB的方法，Niagara流體更加輕便，而且允許我們立即做出任何需要的編輯。為了在包含三塊平面的屏幕上展示這些精心制作的角色和效果，我們使用攝像機(jī)綁定將三臺(tái)攝像機(jī)綁定到了一起，從而對(duì)動(dòng)畫做出了有效的處理。所有視頻都是使用影片渲染隊(duì)列同步渲染的，這項(xiàng)功能可以同時(shí)渲染Sequencer中的三臺(tái)攝像機(jī)。

在制作逼真的《七寶山》內(nèi)容時(shí)，虛幻引擎和Epic Games生態(tài)系統(tǒng)提供了哪些幫助？

對(duì)于《七寶山》這種使用了韓國(guó)傳統(tǒng)藝術(shù)資源的內(nèi)容，需要在美感上保持一致，并在所有元素和場(chǎng)景中準(zhǔn)確表現(xiàn)出東方繪畫的風(fēng)格。

因此，能夠在所有階段進(jìn)行精確控制的制作工具必不可少。在虛幻引擎提供的環(huán)境中，我們可以通過Niagara、Sequencer和其他系統(tǒng)以精細(xì)的控制方式合成資產(chǎn)，同時(shí)保障視覺質(zhì)量和性能。

此外，虛幻商城和Quixel Megascans的龐大資產(chǎn)庫(kù)為各種自然現(xiàn)象（如云朵、月亮、霧和風(fēng)）提供了大量資源。這些庫(kù)還提供了實(shí)現(xiàn)傳統(tǒng)風(fēng)格3D綁定動(dòng)畫角色所必需的材質(zhì)、高質(zhì)量著色器，以及適合用作角色原始紋理的紋理，幫助我們縮短了完成任務(wù)所需的時(shí)間。

最重要的是，虛幻引擎中的實(shí)時(shí)渲染技術(shù)是這個(gè)項(xiàng)目的支柱。我們只有兩個(gè)月的時(shí)間開發(fā)內(nèi)容，時(shí)間非常緊迫。同時(shí)，我們還必須使用三臺(tái)虛擬攝像機(jī)進(jìn)行拍攝，并以極高的分辨率進(jìn)行渲染，才能將內(nèi)容展現(xiàn)在包含三塊屏風(fēng)（呈梯形放置）的沉浸式屏幕上。

觀眾的位置和視角會(huì)對(duì)沉浸感產(chǎn)生巨大影響，因此需要進(jìn)行反復(fù)而細(xì)致的調(diào)整。由于項(xiàng)目需要韓國(guó)和美國(guó)的專業(yè)人員合作，我們必須通過現(xiàn)場(chǎng)電話會(huì)議傳達(dá)詳細(xì)的反饋意見。

通過使用虛幻引擎，我們能夠顯著地縮短溝通時(shí)間，在地球的兩端一起做出實(shí)時(shí)調(diào)整。更重要的是，我們能夠在制作階段對(duì)成品進(jìn)行審查和質(zhì)量檢查，盡可能地減少了溝通錯(cuò)誤的幾率和返工的風(fēng)險(xiǎn)。

如果使用傳統(tǒng)方式制作，我們的寶貴時(shí)間大部分都將耗費(fèi)在電話會(huì)議上。即使我們得出了結(jié)論，也不可能在規(guī)定的時(shí)間內(nèi)完成項(xiàng)目，更不用說滿足質(zhì)量要求。

請(qǐng)談?wù)凾RIC的未來目標(biāo)和方向。

就短期目標(biāo)而言，我們的重點(diǎn)是成功完成CMA的韓國(guó)文化資產(chǎn)數(shù)字化歸國(guó)項(xiàng)目，以及埃及文化遺產(chǎn)官方發(fā)展援助（ODA）項(xiàng)目。

從長(zhǎng)遠(yuǎn)來看，我們的目標(biāo)是為每個(gè)歷史時(shí)代構(gòu)建一個(gè)實(shí)時(shí)世界，就像一個(gè)元宇宙，將我們?cè)谄渌?xiàng)目中積累的眾多數(shù)據(jù)集和實(shí)時(shí)內(nèi)容連接起來。我們希望使用虛幻引擎和Epic Games生態(tài)系統(tǒng)，以3D方式修復(fù)具有較高歷史保護(hù)價(jià)值的城市。

作為這項(xiàng)工作的一部分，我們正在開展一個(gè)項(xiàng)目：使用虛幻引擎完整地構(gòu)建八世紀(jì)的徐羅伐（即今天的慶州）。通過創(chuàng)造新羅首都徐羅伐的數(shù)字復(fù)制品（包括其地形和植被），與建筑、道路、人物和歷史事件等方面相關(guān)的大量數(shù)據(jù)將匯聚于同一個(gè)平臺(tái)。隨著考古發(fā)掘和研究的深入，我們還可以對(duì)虛擬城市進(jìn)行更新。利用這種互動(dòng)環(huán)境，我們將能夠以寫實(shí)的質(zhì)量即時(shí)創(chuàng)建電影或紀(jì)錄片中的場(chǎng)景。

來源：虛幻引擎