近期，深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用（包括眼科、皮膚科、放射科和病理科（pathology））顯示了極大的前景，提高全世界高質(zhì)量醫(yī)療的準(zhǔn)確率和可用性。谷歌也發(fā)布了研究結(jié)果（Detecting Cancer Metastases on Gigapixel Pathology Images），展示卷積神經(jīng)網(wǎng)絡(luò)能夠檢測乳腺癌在淋巴結(jié)中的轉(zhuǎn)移，準(zhǔn)確率堪比訓(xùn)練有素的病理醫(yī)生。但是，由于使用復(fù)式光學(xué)顯微鏡得到直接組織可視化仍然是病理醫(yī)生診斷疾病的主要手段，因此深度學(xué)習(xí)在病理科的傳播和采用的關(guān)鍵阻礙是對微觀組織數(shù)字表征的依賴。

谷歌在美國癌癥研究協(xié)會（AACR）年會上發(fā)表演講，介紹論文《An Augmented Reality Microscope for Real­time Automated Detection of Cancer》（under review）。演講介紹了一種增強現(xiàn)實顯微鏡（ARM）原型平臺，有望幫助加速和促進世界各地病理醫(yī)生對深度學(xué)習(xí)工具的采用。該平臺包含改良光學(xué)顯微鏡，可以實時地將圖像分析和機器學(xué)習(xí)算法結(jié)果直接呈現(xiàn)。重要的是，ARM 平臺可以利用低價、易獲取的組件進行改造，以適應(yīng)世界各地醫(yī)院、診所的現(xiàn)有光學(xué)顯微鏡，且無需分析組織的整張幻燈片數(shù)字圖像。

現(xiàn)代計算組件和深度學(xué)習(xí)模型（如建立在 TensorFlow 之上的模型）使得該平臺可以運行多種預(yù)訓(xùn)練模型。在傳統(tǒng)的模擬顯微鏡（analog microscope）中，用戶通過目鏡觀察樣本。機器學(xué)習(xí)算法可以實時地將它的輸出投影回光學(xué)路徑上。這種數(shù)字投影在視覺上是疊加在樣本的原始（模擬）圖像上的，以幫助觀察者定位或量化感興趣的特征。重要的是，其計算和視覺反饋的更新是很快的，目前的實現(xiàn)以大約每秒 10 幀的速率運行，因此隨著用戶通過移動幻燈片和/或改變放大倍數(shù)來掃描組織，模型輸出可以無縫地進行更新。

原則上，ARM 可以提供多種視覺反饋，包括文本、箭頭、等高線、熱圖或動畫，并且可以運行多種不同的機器學(xué)習(xí)算法來解決不同的問題，如目標(biāo)檢測、量化或分類。

作為 ARM 的潛在效用的展示，谷歌將其用于運行兩種不同的癌癥檢測算法：一個在淋巴結(jié)樣本上檢測乳腺癌轉(zhuǎn)移，另一個在前列腺切除術(shù)樣本上檢測前列腺癌。這些模型可以在 4-40 倍的放大率上運行，給定模型的輸出結(jié)果通過綠線描繪的檢測到的腫瘤區(qū)域進行展示。這些輪廓可以幫助病理醫(yī)生集中注意力到感興趣的區(qū)域上，而不需要遮擋潛在的腫瘤細(xì)胞外觀。