增強現(xiàn)實技術（AR）是在虛擬現(xiàn)實（VR）技術基礎上發(fā)展起來的圖形學領域新技術，可以將依托計算機建立的虛擬模型與使用者肉眼所見到的真實場景相融合，即將虛擬場景、模型或系統(tǒng)信息與真實場景相疊加，從而憑借從虛擬場景中所獲得的視覺系統(tǒng)無法獲取的額外信息增強對真實場景的認識和感知。AR以注冊、跟蹤、顯示和交互為技術支撐，具有真實場景和虛擬場景的信息集成、實時交互和三維注冊等三個突出特點。AR技術廣泛應用于軍事、醫(yī)療、教育、建筑等領域，在外科領域，AR技術利用VR技術將X線、CT、MR、PET等多模態(tài)影像三維重建后融合于患者相應的臟器位置，外科醫(yī)生可以獲得肉眼無法看到的臟器內(nèi)部情況和與相鄰器官的空間信息，強化手術的精確性和真實感，對于術前計劃制定、術中引導和提高手術質(zhì)量等方面均具有較大的應用價值。由于解剖的復雜性和創(chuàng)傷的不可預見性，創(chuàng)傷骨科的手術難度和風險較高，AR技術在創(chuàng)傷骨科的有效應用將極大地提高手術成功率，但目前仍處于探索階段，本文對AR技術在國內(nèi)創(chuàng)傷骨科領域的應用進行了分類綜述。
AR的技術原理
AR技術是在VR技術基礎上發(fā)展起來的，VR技術利用計算機產(chǎn)生虛擬場景，強調(diào)虛擬場景給人感觀效果上的沉浸感，使用者可以及時、全方位地觀察三維空間內(nèi)的情況，以自然的方式與虛擬對象進行交互溝通，例如利用CT或MR的三維重建技術模擬真實病灶的情況，測量病變的實際大小和形狀。而AR則利用圖形技術、可視化技術和傳感技術，將虛擬的場景準確地呈現(xiàn)在真實環(huán)境中，是對真實場景的補充，不改變使用者在真實場景中的客觀感受，使用者通過各種方式與虛擬對象進行交互溝通。AR技術可幫助骨科醫(yī)生制定詳細的術前計劃，設計手術入路、骨窗范圍和螺釘進入角度，如圖1——3。
AR技術硬件要求相對較低，關鍵技術是配準的精確度和顯示技術的真實感。在創(chuàng)傷骨科領域的基本操作步驟為：通過X線、CT或MR等采集骨折處的解剖信息，利用VR技術形成虛擬模型圖像，將虛擬圖像與內(nèi)固定器材等真實圖像精確配準，并在手術過程中實時跟蹤顯示。本文從配準、跟蹤、顯示和交互等四個支撐技術方面對其原理進行介紹。
配準技術 要實現(xiàn)虛擬和真實物體的精確重疊，需將虛擬物體重現(xiàn)在真實物體的準確位置，即配準技術。如果缺乏準確地配準技術，虛擬場景可能會漂浮在真實場景之外，因此配準對AR技術至關重要，見圖4——6。采用基準點配準法，通過對肢體的DR圖像灰度對比度的調(diào)整，得到清晰的皮膚和骨骼邊緣線，利用三點決定一個平面的原理進行配準，將兩幅圖像中的皮膚和骨髂邊緣線用一系列的藍點和紅點標注出來，利用專用的計算軟件使合成后的圖像藍點線和紅點線重合，即將光學圖像的皮膚邊緣和X線影像的皮膚邊緣匹配。
跟蹤技術 跟蹤技術主要是實時顯示病變部位和手術器械位置變化情況，要求范圍大、精確度高，目前主要是通過機械式、磁力式、超聲式和光學式位置傳感器完成。但這些傳感器各有不足，尚不能完全滿足AR技術的要求。今后的發(fā)展方向為混合式?蹤技術，相互彌補各傳感器的不足從而提高跟蹤效率。
顯示技術 AR的顯示技術分為基于計算機屏幕和基于頭盔式顯示器，基于計算機屏幕的顯示方式在醫(yī)學中最為常用，可以3D形式顯示場景圖像，方便使用者戴立體眼鏡進行觀看。頭盔式顯示器分為視頻透視式和光學透視式，視頻透視式通過安裝在使用者頭部的攝像機獲取真實影像，并通過計算機將虛擬圖像疊加在視頻信號上。光學透視式則通過安裝在眼前的半透半反光學合成器，看到真實場景及增強圖像。但由于影響手術醫(yī)師的操作及聚焦虛實影像共同平面的困難度，目前在外科領域應用極少。
交互技術 利用手勢識別、語音識別、力反饋設備、六自由度鼠標、數(shù)據(jù)手套及特定標志等工具，在系統(tǒng)中預先設定對應的動作，以便在系統(tǒng)識別后進行相應操作，實現(xiàn)術者與計算機系統(tǒng)之間的溝通對話，從而在復雜結(jié)構區(qū)域的手術中發(fā)揮重要作用。
AR技術在創(chuàng)傷骨科領域應用的必要性
在創(chuàng)傷骨科領域，由于脊柱、骨盆和脛骨近端等部位解剖結(jié)構的復雜性，加之骨折損傷的不可預見性，手術操作中易導致神經(jīng)和血管的損傷，利用AR技術進行個體化內(nèi)固定物設計、模擬復位和固定效果，結(jié)合生物學內(nèi)固定的理念，指導手術過程中鋼板的塑形和固定螺釘?shù)木珳手梅牛u估手術治療的效果，可有效提升骨折手術的安全性和精確性，縮短手術時間。在脊柱手術中，AR技術可幫助手術醫(yī)師完善立體概念，利用數(shù)字化技術、三維建模技術和術中導航技術，制定個體化的術前計劃，降低手術的難度和風險，減少醫(yī)患雙方放射線的暴露，在關節(jié)外科可根據(jù)關節(jié)的三維形態(tài)學信息，通過運動范圍模擬、術中定位和跟蹤，對選擇手術入路、提高定位的精度意義重大，可結(jié)合材料學設計個性化關節(jié)假體，更符合患者的生物力學特點和運動功能，提高假體的質(zhì)量和使用壽命。在骨折后的康復治療中，AR技術可以日常常規(guī)動作為基礎，為康復訓練提供可重復進行的目的性主動運動，有效喚醒神經(jīng)元的殘余功能，促使大腦對動作質(zhì)量進行修正，最終恢復原有的功能并建立新的代償，實現(xiàn)功能重塑從而改善肢體功能，將學習到的運動技能轉(zhuǎn)移到真實環(huán)境中，同時可輔助骨科教學。
AR技術在創(chuàng)傷骨科中的應用現(xiàn)狀
在脊柱骨折中的應用 陳宣煌等采用Mimics軟件三維重建設計結(jié)合3D打印技術，設計了腰椎椎弓根螺釘置釘?shù)篮椭沃?，在手術中進行數(shù)字化導航置釘，準確率達97%，優(yōu)良率達95%。樊勇等采用術前計算機軟件設計了截骨區(qū)域、范圍，術中采用三維導航技術進行精確截骨矯形，可提高矯正胸腰椎段骨折術后繼發(fā)角狀后凸畸形手術的安全性，有效提高復雜脊柱畸形的治療效果。譚海濤等采用了CT連續(xù)掃描重建頸椎三維模型，設計與頸椎椎板吻合的反向模板，模擬最佳螺釘進釘通道，采用導航模板輔助置入椎弓根螺釘164枚，未發(fā)現(xiàn)相關動脈、神經(jīng)損傷并發(fā)癥，認為數(shù)字化導航模板可提高頸椎置釘?shù)臏蚀_性，增加手術的安全性。
在關節(jié)骨折中的應用 Zemirline等以增強現(xiàn)實為基礎的導航系統(tǒng)與腕關節(jié)鏡相結(jié)合清晰顯示腕關節(jié)骨折情況、位置關系和移位情況，在復雜性腕關節(jié)骨折治療中準確提供切口位置及定位距離，手術成功率明顯高于傳統(tǒng)手術方式。張進等利用薄層CT掃描進行三維建模，導入GeomagicStudio和GeomagicSpark進行反求及正向設計，用3D打印技術制作出經(jīng)皮導板，精準定位后對肩關節(jié)傷病患者進行穿刺活檢，實現(xiàn)了肩關節(jié)周圍的精準穿刺。章瑩等采用CT三維重建、快速成形、三維模擬手術和個體化預手術的基礎上輔助實施肩關節(jié)骨折手術治療，認為可縮短骨折復位固定時間，提高手術的精確度。
在骨盆骨折中的應用 莊巖等針對髖臼后柱解剖結(jié)構個體差異大的特點，依據(jù)正常側(cè)髖臼CT數(shù)據(jù)進行三維重建，測量股骨頭直徑、髖臼后壁、近端和遠端3段曲率半徑，基于此結(jié)果設計出3種解剖型接骨板，較傳統(tǒng)?骨板設計更為合理。張元智等利用CT三維重建和逆向工程技術，對志愿者標準骶骨前后位進行多層剖分，確定經(jīng)皮橫向骶髂關節(jié)螺釘最優(yōu)釘?shù)?，治療骶骨縱行骨折患者12例，未發(fā)生血管、神經(jīng)損傷和螺釘松動等并發(fā)癥。韋葛堇等對復雜骨盆骨折患者行CT掃描重建骨折數(shù)字化模型，模擬骨折復位，與螺釘、鋼板等內(nèi)固定器材擬合，建立數(shù)字化骨盆虛擬手術設計系統(tǒng)，個體化設計復雜骨盆骨折手術方案，使內(nèi)固定器材的植入更加準確和直觀。
在長骨骨折中的應用 屠永剛等對脛骨骨折處及對應健側(cè)骨骼處采用CT薄層掃描獲得原始數(shù)據(jù)，采用鏡像技術、成型技術和數(shù)控模具工程技術，根據(jù)患者骨骼及骨折的個體化差異設計出數(shù)字化接骨板，治療脛骨干骺端合并脛骨干復雜骨折10例，患者踝關節(jié)和膝關節(jié)功能恢復滿意。童德迪等采用術中即時三維計算機導航輔助吻合血管的腓骨移植術治療股骨頭缺血壞死，用注冊過的磨鉆清除囊變病灶及硬化骨，磨除過程在計算機顯示屏實時監(jiān)控下完成，可徹底、精確地清除病灶，為保留關節(jié)提供了新的術式。林海濱等對股骨遠端骨折患者予以三維重建、骨折復位，3D打印后進行現(xiàn)實骨骼模型內(nèi)固定，然后導航放置接骨板及螺釘，結(jié)果顯示術前設計與現(xiàn)實手術實施效果相似度極高，可以精確地指導接骨板放置和螺釘固定。
AR技術的發(fā)展與局限性
AR技術在骨科領域的最終目標是將計算機生成的虛擬場景與術者所處的真實場景進行有機結(jié)合，通過軟硬件系統(tǒng)的協(xié)調(diào)作用，使術者以自然的方式在虛擬和真實場景中進行三維交互，術者能夠精準地計劃與模擬手術步驟，使手術更加精準、微創(chuàng)，降低手術對全身內(nèi)環(huán)境的干擾和造成的局部創(chuàng)傷，減少術中醫(yī)患雙方接受的放射劑量，提高手術治療的效果，使骨科手術的治療效果呈現(xiàn)質(zhì)的飛躍，AR技術代表了今后骨科的發(fā)展方向，必將對骨科的發(fā)展產(chǎn)生深遠的影響，是精準骨科不可或缺的基礎條件。
創(chuàng)傷骨科中由于創(chuàng)傷的不可預見性及復合傷的復雜性，使AR技術的應用顯得尤為重要，目前的研究多列入國家和省部級科學基金項目，充分說明國家對AR技術的重視與大力投入。在國內(nèi)創(chuàng)傷骨科領域，目前研究多集中于利用CT、MR影像進行虛擬現(xiàn)實的三維重建，然后利用AR技術進行3D打印模型的創(chuàng)建，或先打印出實際骨折部位，利用AR技術進行模擬手術操作，從而獲得更加真實的手術感受，可大幅降低手術風險。但目前研究多集中于虛實配準和可視化兩部分，在跟蹤和交互部分涉及較少，研究問題相對單一，涉及面較窄。此外，AR技術在創(chuàng)傷骨科仍處于研究發(fā)展階段，遠不能滿足臨床需求，需進一步完善軟硬件性能，虛實場景之間配準誤差、骨折復位時移位跟蹤問題、術者與系統(tǒng)之間的交互問題仍舊困擾著臨床和科研工作者?？傊?，AR技術在創(chuàng)傷骨科具有廣闊的發(fā)展前景，但仍有漫長的道路需要前行。（來源：醫(yī)脈通）
文獻來源：張愛民， 方艷偉， 張英澤。 增強現(xiàn)實技術在創(chuàng)傷骨科疾病的應用現(xiàn)狀[J]. 中華老年骨科與康復電子雜志， 2017（2）：120-123.