作家：思宇研發(fā)院官方

序言

緊隨人口的增長(zhǎng)與科技的快速成長(zhǎng)，人們敵手術(shù)治愈的高需要、強(qiáng)需要極大地鞭策了加強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)技巧在醫(yī)療行業(yè)的運(yùn)用。加強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)和虛擬現(xiàn)實(shí)(Virtual Reality，VR)技巧在醫(yī)療行業(yè)中獲取了明顯的聚焦力，正在少量地運(yùn)用于多個(gè)醫(yī)療情景。

虛擬現(xiàn)實(shí)和加強(qiáng)現(xiàn)實(shí)是借用計(jì)算機(jī)技巧與現(xiàn)實(shí)場(chǎng)景交互的一項(xiàng)科技，變成可以供應(yīng)醫(yī)學(xué)場(chǎng)景的兩類首要措施。醫(yī)師能夠看見真正手術(shù)部位和可視化虛擬三維解剖全息圖并在全息圖上對(duì)感興致的部位進(jìn)行標(biāo)志，為醫(yī)師創(chuàng)立了一類真假結(jié)合的半沉溺式手術(shù)場(chǎng)景。依據(jù)國(guó)際信息企業(yè)（IDC）世界半年加強(qiáng)和虛擬現(xiàn)實(shí)消費(fèi)指南，AR/VR支付的五年復(fù)合年增長(zhǎng)率（CAGR）將為78.3％。估計(jì)2023年世界加強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)支付將到達(dá)1600億美圓，遠(yuǎn)高過2019年預(yù)判的168億美圓。在醫(yī)療行業(yè)，依據(jù)Research&Markets.com調(diào)研顯現(xiàn)，AR/VR醫(yī)療正在歷經(jīng)大幅度的提高，其預(yù)料復(fù)合年增長(zhǎng)率為33.36%，市場(chǎng)價(jià)值估計(jì)將從2018年的6.217億美圓增至2024年的34.97億美圓。

一、什么是AR&VR？

Lavallee等人早在1995年就提出了基于加強(qiáng)現(xiàn)實(shí)的混合建立模型（hybrid model construction）建立一個(gè)虛擬模型針對(duì)醫(yī)師施行手術(shù)是非常必須到，因而它提出了將CT/MRI/X光等醫(yī)學(xué)影像信息、AR/VR頭顯設(shè)施、患者、手術(shù)機(jī)械人等建立T1、T2…Tn坐標(biāo)系，將T1…Tn多個(gè)坐標(biāo)系串聯(lián)起來，用來為手術(shù)體系采集不同類型的數(shù)據(jù)。

針對(duì)AR/VR的詳細(xì)差別，知乎大神說得較好——VR是夢(mèng)到鬼了，AR是大白晝碰到鬼了。虛擬現(xiàn)實(shí)技巧為客戶締造一個(gè)特定情景的虛擬空間，應(yīng)用戶完全沉溺在一個(gè)虛擬的合成場(chǎng)景中，不能看見真正場(chǎng)景，擁有交互性（Interaction）、沉溺性（Immersion）和設(shè)想性(Imagination)三大特征，也被稱為3I特征。加強(qiáng)現(xiàn)實(shí)技巧可以把全息圖、

、視頻、聲響等交融在現(xiàn)實(shí)場(chǎng)景中真假結(jié)合，真正的場(chǎng)景情景與虛擬的全息數(shù)據(jù)進(jìn)行交互，兩類數(shù)據(jù)交互補(bǔ)足和疊加。PokemonGo是加強(qiáng)現(xiàn)實(shí)技巧的詳細(xì)表現(xiàn)，玩家通過在現(xiàn)實(shí)世界中走動(dòng)以抓取虛擬寵物腳色。

以下就讓咱們就來看看AR/VR在醫(yī)療行業(yè)的詳細(xì)運(yùn)用吧！

二、AR醫(yī)療首要運(yùn)用情景

1、術(shù)前模仿/計(jì)劃/培訓(xùn)

ImmersiveTouch

ImmersiveTouch位于芝加哥的伊利諾伊州，建立于2005年，首要應(yīng)用Vive和Oculus Rift頭戴式顯現(xiàn)器（HMD）并且觸覺反饋設(shè)施設(shè)計(jì)多種AR/VR交互式醫(yī)療應(yīng)用情景，已順利為到神經(jīng)內(nèi)科、矯形內(nèi)科、眼科、耳鼻喉科等多科室的術(shù)前模仿、術(shù)中應(yīng)用供應(yīng)了輔助。現(xiàn)在企業(yè)營(yíng)業(yè)首要?jiǎng)潪槿齻€(gè)模塊：ImmersiveView? VR、ImmersiveView Surgical Planning (IVSP?)。

ImmersiveSim? Training首要供應(yīng)手術(shù)培訓(xùn)、手術(shù)模仿的性能，首要面向醫(yī)學(xué)院學(xué)生及逐個(gè)醫(yī)療器械企業(yè)。該平臺(tái)可以為應(yīng)用者供應(yīng)身臨其境的獨(dú)到模仿/培訓(xùn)機(jī)會(huì)，開發(fā)了多種學(xué)習(xí)模塊能夠代替低廉的尸首訓(xùn)練，能夠通過觸覺反饋設(shè)施清楚地體驗(yàn)到患者肌膚、肌肉、骨骼之間的觸覺差別。每個(gè)模塊能為應(yīng)用者供應(yīng)及時(shí)的教程反饋，并可配備修正性培訓(xùn)和高難的評(píng)分體系，以改進(jìn)和量化手術(shù)操控標(biāo)準(zhǔn)性。該平臺(tái)與克利夫蘭診所、芝加哥大學(xué)醫(yī)學(xué)院、約翰霍普金斯大學(xué)醫(yī)學(xué)院等醫(yī)療機(jī)構(gòu)協(xié)作，少量試驗(yàn)信息顯現(xiàn)該平臺(tái)可以提升手術(shù)的確切性、變短手術(shù)時(shí)間，減小手術(shù)并發(fā)癥，加大內(nèi)科醫(yī)師的信念。

ImmersiveSim 示企圖

Medivis

兩位來自紐約大學(xué)醫(yī)學(xué)核心(NYU Medical Center)的醫(yī)師Osamah Choudhry、Christopher Morley在2017年聯(lián)合創(chuàng)建了Medivis，Medivis是眾多尋求將AR和VR等新技巧引入OR的企業(yè)之一。往年3月Medivis頒布了基于HoloLens和Magic Leap的解剖學(xué)培訓(xùn)平臺(tái)AnatomyX，AnatomyX平臺(tái)可供應(yīng)5000個(gè)以上的解剖構(gòu)造3D模型，這類模型信息來自于真正病人的CT和MRI。學(xué)生們可通過手勢(shì)和100多種語音指令與這類模型交互，在Magic Leap One中它還追隨6DoF手柄交互。另外，該平臺(tái)最多可追隨20人實(shí)時(shí)合作。西海岸大學(xué)、賓夕法尼亞大學(xué)已然在應(yīng)用這類平臺(tái)。除了與微軟存在設(shè)備協(xié)作同伴聯(lián)系外，Medivis還與通訊大頭Verizon協(xié)作，變成其大舉宣揚(yáng)的5G網(wǎng)絡(luò)協(xié)作同伴。5G的到來促使SurgicalAR能在30秒內(nèi)從服務(wù)器中提煉醫(yī)學(xué)圖片進(jìn)行全息顯現(xiàn)。Medivis還正在調(diào)整機(jī)械學(xué)習(xí)的性能，以便在病人開啟策劃手術(shù)流程時(shí)，從他們的醫(yī)療記載和診療中辨認(rèn)出最有關(guān)的數(shù)據(jù)。

AnatomyX示企圖

Touch Surgery

Touch Surgery建立于2013年，由兩位倫敦的內(nèi)科醫(yī)師創(chuàng)建?？蛻纛^戴微軟的HoloLens頭顯，客戶會(huì)看見一個(gè)專業(yè)內(nèi)科醫(yī)師的實(shí)時(shí)視頻反饋，在這之上還會(huì)覆蓋虛擬引導(dǎo)，奉告手術(shù)是怎樣進(jìn)行的。現(xiàn)在已開發(fā)出數(shù)百個(gè)內(nèi)科手術(shù)的視頻教學(xué)，比較馳名的是Go Surgery，客戶能直接應(yīng)用iPhone/ipad，它將為醫(yī)學(xué)生供應(yīng)全息逐漸指南，手把手地手術(shù)教程，每一項(xiàng)手術(shù)操控含蓋全面的簡(jiǎn)介，含蓋解剖位子、麻醉方法、順應(yīng)癥及忌諱癥、術(shù)后并發(fā)癥等，現(xiàn)已順利在英國(guó)和美國(guó)的醫(yī)院完結(jié)了測(cè)驗(yàn)。

Panteleimon Pantelidis等人刊登了《Virtual and Augmented Reality in Medical Education》論文，此中羅列了許多在AR&VR醫(yī)療行業(yè)的產(chǎn)品，在解剖、內(nèi)窺鏡手術(shù)、神經(jīng)手術(shù)、骨盆手術(shù)等行業(yè)的運(yùn)用產(chǎn)品，如下圖所示。

2、術(shù)中診療/導(dǎo)航/手術(shù)

Medivis

Medivis在建立早期就收到了Initialized Capital、DELL、微軟等企業(yè)的鼎力追隨，獲取了230萬美圓的出資，并頒布了第一代產(chǎn)品SurgicalAR，隨后SurgicalAR一路風(fēng)生水起，在往年6月獲取了FDA認(rèn)證。現(xiàn)在內(nèi)科手術(shù)仍舊首要依附二維成像技巧來解讀和操控極其高難的病人病理。Medivis將全息可視化和導(dǎo)航技巧引入內(nèi)科手術(shù)，為內(nèi)科醫(yī)師供應(yīng)加強(qiáng)現(xiàn)實(shí)信息集成和可視化工具，從基本上推動(dòng)了手術(shù)干預(yù)，徹底變化了內(nèi)科醫(yī)師對(duì)病人的安全操控方法。Medivis可以訪問患者信息，并將其可視化地表達(dá)為三維模型，供醫(yī)師在策劃手術(shù)時(shí)考慮。這類模型被映照到病人身上，進(jìn)而為內(nèi)科醫(yī)師供應(yīng)一類最好的手術(shù)計(jì)劃。Medivis首席施行官、神經(jīng)內(nèi)科醫(yī)師喬杜里Choudhry表達(dá)“全息可視化是手術(shù)成像和導(dǎo)航的終極前端。”

Surgical AR示企圖

EchoPixel

EchoPixel在2017年的第103屆北美放射學(xué)會(huì)(RSNA)聚會(huì)上展現(xiàn)了最新版本的交互式的混合現(xiàn)實(shí)醫(yī)療軟件True 3D，現(xiàn)在True 3D已獲FDA認(rèn)證。該軟件借用DICOM圖片信息創(chuàng)立器官、血管和其余構(gòu)造的真正尺寸的全息版本，容許醫(yī)師轉(zhuǎn)動(dòng)、調(diào)節(jié)大小、解剖和作出切口，以虛擬病人特定的解剖。這一性能使醫(yī)師可以更快地讀取圖片，進(jìn)而更快地進(jìn)行診療，并供應(yīng)更好的術(shù)前計(jì)劃，還擴(kuò)展了計(jì)算機(jī)斷層掃描(CT)和磁共振成像(MRI)之外的追隨形式，多種醫(yī)學(xué)影像信息可以有助于更好地評(píng)價(jià)植入式裝置的大小、子宮肌瘤和子宮血管的散布并且胎心的評(píng)價(jià)。該企業(yè)在2017年獲取了由英特爾領(lǐng)投的850萬美圓A輪融資。

ImmersiveTouch

ImmersiveView? VR將患者的CT、CBCT、3D血管造影和MRI掃描等術(shù)中實(shí)時(shí)醫(yī)學(xué)影像展現(xiàn)在醫(yī)師佩帶的頭顯上，使醫(yī)師看到另一個(gè)數(shù)字化患者(digital twin)。該平臺(tái)可用來放射室、手術(shù)室、醫(yī)師辦公室，使醫(yī)師查閱患者術(shù)中的要害掃描數(shù)據(jù)，也能使患者更清晰診斷狀況，現(xiàn)在這款平臺(tái)已通過FDA及CE認(rèn)證。

IVSP?沉溺式手術(shù)計(jì)劃平臺(tái)將DICOM信息轉(zhuǎn)換為高保真的三維VR模型進(jìn)行可視化，在此根基上供應(yīng)了對(duì)應(yīng)的可視化手術(shù)工具，輔助醫(yī)師隊(duì)伍研發(fā)、評(píng)價(jià)、計(jì)劃手術(shù)并在手術(shù)中應(yīng)用，以及可以與醫(yī)學(xué)數(shù)字成像信息(DICOM)并且患者檔案和通信體系(PACS)兼容，可應(yīng)用Oculus Rift手柄能夠?qū)嵭星懈?、丈量、?biāo)志等手術(shù)操控。該平臺(tái)能使醫(yī)師加入到耳鼻喉腔道、神經(jīng)束等細(xì)微視角，也有上帝視角觀測(cè)全局解剖構(gòu)造，由深及近地進(jìn)行手術(shù)計(jì)劃?，F(xiàn)在 IVSP?已通過FDA認(rèn)證，HIPAA認(rèn)證及CE認(rèn)證。

IVSP?示企圖

Surgical Theater

Surgical Theater是由前以色列空軍職員創(chuàng)建的，結(jié)合了以色列軍方的頂尖斗爭(zhēng)機(jī)飛翔模仿技巧。Surgical Theater的首要產(chǎn)品為Precision VR，通過VR 技巧進(jìn)行內(nèi)科手術(shù)的影像引導(dǎo)，改進(jìn)內(nèi)科醫(yī)師手術(shù)方法，輔助手術(shù)順?biāo)爝M(jìn)行。Surgical Theater與光學(xué)導(dǎo)航體系NordicNeuroLab企業(yè)協(xié)作，將其企業(yè)的nordicBrainEX DTI(彌散張量成像)解決運(yùn)用調(diào)整在Precision VR平臺(tái)中，如此會(huì)使醫(yī)師對(duì)有關(guān)的解剖、性能組織和細(xì)部組織進(jìn)行深入的細(xì)節(jié)擴(kuò)展和提升沉溺感。Surgical Theater曾在2016年獲取HTC供應(yīng)的1100萬美圓A+輪出資。

3、術(shù)后痊愈

Vivid Vision

Vivid Vision企業(yè)建立于2014年，企業(yè)建立動(dòng)機(jī)是想運(yùn)用VR技巧治愈弱視和斜視類眼疾?，F(xiàn)在順利頒布痊愈治愈類游戲《Vivid Vision》，借助VR讓患者通過特定設(shè)計(jì)的視覺成效去牽連大腦感覺本領(lǐng)，在游戲流程中通過準(zhǔn)確的痊愈動(dòng)作訓(xùn)練客戶眼部?jī)?nèi)未被應(yīng)用過或正在休眠的肌肉組織，進(jìn)而到達(dá)治愈成效。此外之外，借助 VR 技巧修復(fù)視力，以免了苦痛、乏味的物理治愈方法。現(xiàn)在產(chǎn)品僅在北美的41家眼科診所供應(yīng)服務(wù)，且必需由醫(yī)師處方才能獲得，估計(jì)往年晚些時(shí)候推向國(guó)際市場(chǎng)，現(xiàn)在在申報(bào)FDA認(rèn)證。

VRHealth

VRHealth建立于2016年，是世界上首批通過ISO認(rèn)證且其一切醫(yī)療運(yùn)用均獲取FDA受權(quán)的VR醫(yī)療保健企業(yè)之一。其旗艦產(chǎn)品VRPhysio運(yùn)用軟件已然獲取了FDA認(rèn)證，以及首先用在了斯波爾丁痊愈醫(yī)院和波士頓的Beth Israel Deaconess醫(yī)療核心，其在歐洲的CE認(rèn)證也將要完結(jié)。VRHealth策劃在一年內(nèi)公布四款新的產(chǎn)品，VRPsyc用來精神阻礙，含蓋常見的緊繃、恐慌癥、焦急癥、進(jìn)食阻礙和創(chuàng)傷后應(yīng)激阻礙(PTSD) ；VRCoordi會(huì)與VRPhysio配套應(yīng)用，首要對(duì)于有成長(zhǎng)協(xié)作阻礙和各類不同程度的自閉癥的孩子們，改進(jìn)他們的協(xié)作本領(lǐng)；VRCogni首要用來改進(jìn)中風(fēng)患者、老年癡呆癥患者、腦震蕩患者、帕金森病患者的領(lǐng)悟性能；VRReliever目標(biāo)是應(yīng)用戶通過完結(jié)特定的動(dòng)作分散注重力來治理慢性疼痛。以治愈創(chuàng)傷性腦傷害為例，患者參加虛擬游戲，任務(wù)是將拳擊手套與在他們面前彈出的一組燈相搭配。他們的呼應(yīng)時(shí)間、錯(cuò)誤和進(jìn)度是實(shí)時(shí)丈量和解析的?？捎脕碓u(píng)價(jià)運(yùn)發(fā)動(dòng)在腦震蕩后的狀況。

SeeMe VR

SeeMe VR首要用來中風(fēng)或內(nèi)傷性腦傷害患者，早在2009年就已然上市，使其變成首個(gè)用來此類患者的商用VR體系。SeeMe借助Kinect雙目攝像頭或規(guī)范的網(wǎng)絡(luò)攝像頭，將特定的醫(yī)療情景圖片傳輸?shù)交颊叩碾娔X，使患者沉溺到一個(gè)訂制的治愈情景中。在這個(gè)情景中，患者須要完結(jié)由醫(yī)師制訂的練習(xí)項(xiàng)目。醫(yī)師能夠應(yīng)用該體系來評(píng)價(jià)患者的力量、耐力、運(yùn)動(dòng)范疇、姿態(tài)操控、反應(yīng)時(shí)間、本體體驗(yàn)、運(yùn)動(dòng)品質(zhì)、知覺、分派性注重和記憶力等。

三、結(jié)語

前段時(shí)間HoloLens2終究揭開了秘密的面紗，27388元非消費(fèi)級(jí)程度的價(jià)錢仍舊讓許多人對(duì)這項(xiàng)黑科技直呼“真香”，這距離HoloLens1公布的時(shí)間已過去了四年。HoloLens2的到來能否估計(jì)了AR/VR會(huì)迎來一個(gè)簇新的成長(zhǎng)浪潮？

反觀幾年前時(shí)常被用來與HoloLens作較為的Magic Leap，那時(shí)英氣地說出“The World is Your New Desktop”（世界就是你的新桌面）的Magic Leap現(xiàn)在被傳出銷量昏暗、盈余嚴(yán)重、抵押專利、高管離任。Magic Leap現(xiàn)在正在開發(fā)代號(hào)為ML2的第二代AR頭顯，會(huì)兼容5G、具有更強(qiáng)的深度感覺。一位參加該項(xiàng)目標(biāo)職工表達(dá)，因?yàn)楦镜募记上薅?，這款設(shè)施還須要數(shù)年時(shí)間才能頒布。

黑科技層出不窮，有人歡喜有人憂，但絕對(duì)能夠必定的是：AR/VR在醫(yī)療行業(yè)的運(yùn)用絕對(duì)會(huì)為愈加普及、愈加完美。AR/VR/5G/近程醫(yī)療并且多種人工自動(dòng)技巧的成長(zhǎng)，在絕對(duì)水平上會(huì)牽連乃至變化傳統(tǒng)的醫(yī)療診斷方法，有望在將來數(shù)年鞭策AR/VR醫(yī)療的成長(zhǎng)。

- END -

作家 謝坦然 | 編纂 劉稷軒 | 排版 Elsa

本文轉(zhuǎn)載自其余網(wǎng)站，不代表健康界觀念和態(tài)度。真有內(nèi)容和

的著述權(quán)異議，請(qǐng)即時(shí)聯(lián)絡(luò)咱們（郵箱：guikequan@hmkx.cn）