
自2014年VR/AR再度成為炙手可熱的名詞以來,無數(shù)從業(yè)者們一直在嘗試著將這兩項(xiàng)技術(shù)與更多的行業(yè)進(jìn)行結(jié)合,幫助它們完成革新,以提高工作質(zhì)量和效率。醫(yī)療毫無疑問是很早就投入VR/AR技術(shù)應(yīng)用的行業(yè)之一。目前AR技術(shù)已經(jīng)開始在手術(shù)室中普及,但XR技術(shù)的未來還有著更大的潛力,甚至可能將重塑現(xiàn)代醫(yī)學(xué)。
我們不妨先來看一臺肩關(guān)節(jié)置換手術(shù),該手術(shù)是為了處理影響患者關(guān)節(jié)盂的關(guān)節(jié)炎晚期病例,所謂關(guān)節(jié)盂,是指肩部球窩關(guān)節(jié)的球形部分。

外科手術(shù)通常面臨著復(fù)雜的狀況,為了有效處理病患并順利完成手術(shù),外科醫(yī)生需要從一些最優(yōu)秀的外科專家那里獲取建議,但不巧的是,他們恰好遠(yuǎn)在地球的另一端。這樣的問題該如何解決?
整形外科醫(yī)生Thomas Gregory在法國的手術(shù)室中戴上了HoloLens 2,并與分別位于巴西、比利時(shí)、南非的三名外科專家——Stephen Roche、Bruno Gobbato和Jean Florin Ciornohac“連麥”。
在Gregory打開患者肩關(guān)節(jié)的同時(shí),他身處南美、歐洲和非洲的三名外科專家同步瀏覽了患者患處的全息圖,并分別提出了不同的固定方法和替代途徑,讓一臺手術(shù)變成了一場現(xiàn)代技術(shù)的展示。

這臺手術(shù)并非來自科幻電影的情節(jié)。事實(shí)上,它就發(fā)生在幾周前法國博比尼的Avicenne AP-HP Hospital。而這臺手術(shù),僅僅展示了AR外科手術(shù)潛力的冰山一角。
AR外科手術(shù)已經(jīng)成為現(xiàn)實(shí)
“HoloLens就像是為外科手術(shù)定制的智能手機(jī),是用來展示操作和信息的工具,引領(lǐng)外科手術(shù)跨入新的領(lǐng)域”,在微軟舉辦的一次座談會上,Gregory這樣描述MR技術(shù)改變現(xiàn)代醫(yī)學(xué)的力量。他表示,外科醫(yī)生的大部分操作都需要開動腦筋:一邊回憶著2D表格和X光圖像,同時(shí)還要在腦海中逐步檢查手術(shù)步驟,并避免意外和危險(xiǎn)狀況的發(fā)生。
AR技術(shù)顯然能夠?yàn)橥饪漆t(yī)生分擔(dān)一部分重?fù)?dān)——有效的幫助外科醫(yī)生制定一個(gè)手術(shù)流程規(guī)劃并幫助醫(yī)生盡可能高效的進(jìn)行執(zhí)行。
“MR幾乎就是外科醫(yī)生的GPS”,微軟醫(yī)療保健執(zhí)行副總裁Tom McGuiness表示。

德國Charité醫(yī)院的Experimental Surgery主管Igor Sauer是同樣是該技術(shù)的熱情支持者。Sauer解釋說,傳統(tǒng)的外科醫(yī)生需要在腦海中浮現(xiàn)3D圖像,并將其與躺在面前的真人進(jìn)行比較。對于這名醫(yī)生來說,他需要明確的圖像引導(dǎo),同時(shí)他還需要對接下來的操作進(jìn)行全面了解,AR技術(shù)現(xiàn)在已經(jīng)足夠成熟能夠滿足這種服務(wù)需求。
“AR技術(shù)還會帶來其他的好處,圖像要比文字更為清晰直觀,還能夠幫你抹除你或許并未意識到的語言障礙”,意大利San Donato Hospital心臟病專家Massimo Chessa補(bǔ)充道。
“外科醫(yī)生通常會使用一種獨(dú)特的術(shù)語,一種真正的三維術(shù)語,因?yàn)樗麄兞?xí)慣了根據(jù)三維模型展開工作”,Chessa說,“但我是一名心臟病專家,我接受過基于2D圖像的培訓(xùn),然后才成為三維介入專家?!盡R能夠讓他和他支持的外科醫(yī)生們使用相同的術(shù)語,從而改善病患護(hù)理的質(zhì)量。

Gregory對于MR技術(shù)十分信任,他甚至在醫(yī)院里建立了一個(gè)專門的設(shè)施,讓全世界的外科醫(yī)生都能熟悉全息圖像的最佳實(shí)踐和MR技術(shù)的力量。
現(xiàn)代醫(yī)學(xué)的明天:通過XR工具培訓(xùn)未來醫(yī)生
輔助手術(shù)并不是MR技術(shù)的終極,這只是MR技術(shù)重塑現(xiàn)代醫(yī)學(xué)的第一步。無論是哪位外科醫(yī)生(奇異博士除外)都恨不得能夠在進(jìn)行一些富有挑戰(zhàn)性的外科手術(shù)時(shí)多長出幾只眼睛,從而獲取一些額外的信息。
Sauer表示,他和他的試驗(yàn)外科部門正在研究如何將解剖深度信息之類的東西直接疊加到醫(yī)生的視野中,感覺就像“在檢查器官時(shí)使用了能照射透視光線的手電筒”。
“就像是增強(qiáng)了醫(yī)生們的雙眼”,Gregory補(bǔ)充道。

MR帶來的其他改變在于教學(xué),但效果仍在觀察中。傳統(tǒng)上來說,例如解剖這樣的課程需要學(xué)生們自己動手完成,就像是倫勃朗的經(jīng)典畫作「解剖課」中所畫的那樣。Sauer告訴我們,他的團(tuán)隊(duì)一直在對外科手術(shù)錄制體積視頻,未來讓學(xué)生們不僅能夠通過錄像進(jìn)行學(xué)習(xí),還能夠親身在手術(shù)室的三維虛擬空間中穿行,從不同的角度來觀察手術(shù)的過程。
但是僅憑圖像來進(jìn)行學(xué)習(xí)是不夠的,特別是對于更專業(yè)的手術(shù)來說。如果想要學(xué)生能夠在實(shí)踐中進(jìn)行學(xué)習(xí),VR就變成了一個(gè)理想的平臺,讓他們能夠磨練自己的技能,但僅靠VR無法模擬逼真的觸覺,無法感受到手術(shù)刀穿透皮膚或與骨骼的碰撞,這是模擬培訓(xùn)仍然缺失的一塊拼圖。

談到觸覺反饋,它可以讓你在駕駛游戲中感受車輪與道路摩擦帶來的振感。FundamentalVR使用了高級的動覺反饋(Kinesthetic Feedback)而不是單純的皮膚觸覺來讓外科醫(yī)生體會從手套到觸覺臂等各種不同外科手術(shù)工具的使用感受,精度可以達(dá)到1毫米。
FundamentalVR聯(lián)合創(chuàng)始人兼CEO Richard Vincent在接受DigitalTrends采訪時(shí)表示:“我們在外科手術(shù)中需要的精度與模擬撿球或按下開關(guān)需要的精度完全不同。理想情況下,當(dāng)外科醫(yī)生在準(zhǔn)備進(jìn)行手術(shù)時(shí),他已經(jīng)在虛擬的患者身上進(jìn)行了十多次的開刀手術(shù)。如果我們無法為醫(yī)生提供正確操作和錯(cuò)誤操作之間的差異化反饋,醫(yī)生就無法通過虛擬的模擬來演練現(xiàn)實(shí)中的手術(shù)?!?/p>

而隨著技術(shù)的進(jìn)一步發(fā)展,多項(xiàng)尖端科技的匯聚將會徹底重塑手術(shù)室的前沿。
“AI以及XR(擴(kuò)展現(xiàn)實(shí),VR/AR/MR)可能會從根本上改變我們執(zhí)行某些流程的方式”,Sauer最后從原理上對醫(yī)學(xué)的外來進(jìn)行了展望:“想象一下,當(dāng)AI在桌上分析患者時(shí),程序可能已經(jīng)完成了對器官的實(shí)時(shí)空間檢測,為外科醫(yī)生們顯示出了內(nèi)臟的輪廓,以確保盡可能精確的完成某些精細(xì)的手術(shù)。醫(yī)學(xué)領(lǐng)域?qū)⒊霈F(xiàn)一些全新的基礎(chǔ)治療形式。在不遠(yuǎn)的將來,醫(yī)生們將能夠圍繞著可縮放的病人三維模型,從任意的角度去研究病人的問題,然后再設(shè)計(jì)出侵入性最小且最安全的治療流程。實(shí)際的手術(shù)可以通過機(jī)器人或者人為操縱的高精度機(jī)械臂完成。這一切的實(shí)現(xiàn)已經(jīng)迎來了曙光……”
「毫無疑問,明天我們還無法實(shí)現(xiàn)這一切」,Sauer最后說道,「但或許后天我們就能夠見證它的到來。」








