摘 要:概述了虚拟内窥镜的基本原理、优点及发展现状;针对目前虚拟内窥镜系统存在的问题,结合各种处理算法,以其实现过程为主线,具体分析了虚拟内窥镜系统的几个关键性技术,重点讨论了路径规划、实时绘制及导航的研究内容;最后对虚拟内窥镜的研究特点和趋势作了总结。
随着医学图像处理和三维可视化技术的发展,虚拟内窥镜(virtual endoscopy,VE)以其非入侵性、可重复性等明显的优势获得广泛的研究和应用。自1993年ViNIng等人[1]首次提出虚拟支气管内窥镜以来,虚拟内窥镜技术已被应用到许多临床实验和各种医学诊断中,主要集中在那些具有空腔组织结构的器官上,如结肠、气管、血管、内耳等。比较典型的应用有美国 GE Research&DevelopmentCenter开发的虚拟内窥镜医学应用系统(VEMA),可以检查人体的多个部位:虚拟结肠、虚拟支气 管和虚拟脉管。WestForest大学虚拟内窥镜研究中心研发了 一套Free Flight虚拟内窥镜软件系统。美国Boston SurgicPlanning Laboratory建立的一种虚拟耳窥镜系统,以三维形式显示耳的解剖结构来模拟传统内窥镜对内耳的检查过程。法国LaennecHospital开发的虚拟内窥镜系统主要用来对食管、喉进行虚拟内窥。国内对虚拟内窥镜技术也十分重视,目前许多重点大学和机构都在研究。其中西北大学的交互式虚拟内窥镜系统、中国科学院自动化所的3DMED系统已初现成效;浙江大学、中国科技大学等高校也有相关的研究。
现阶段的虚拟内窥镜系统还存在一些不足之处,至今仍处于临床实验阶段[2]。许多临床研究表明,目前虚拟内窥镜检查的效果不是很理想(比如在虚拟结肠内窥镜检查中,对于直径大于10 mm的息肉,VE检测只有75% ~100%的灵敏度;直径小于5 mm的息肉,VE检测只有0~67%的灵敏度[3]),在虚拟支气管内窥镜检查中,不能进行活组织检查,不能显示内腔颜色和表面黏膜信息;同时三维成像速度较慢,不能很好地满足实时性的要求;没有一种普适的路径规划方法;目前的中心路径提取算法计算复杂度较高;交互式导航还不能很好地解决虚拟摄像机碰壁、抖动等问题。为解决VE存在的问题,人们分别采用软、硬技术,试图从VE的各个实现过程进行改进。例如综合利用统计学、数学形态学、人工智能等方法对组织器官进行分割;利用相邻帧之间、相邻像素之间的信息相关性提高实时绘制速度;利用特定的器官组织结构控制虚拟摄像机的导航等。从研究趋势上来看有综合的特点。本文对目前VE的各种实现算法进行总结归类,剖析算法提出的依据,从而总结出VE研究的方法和方向。
1 VE的概念和优点
虚拟内窥镜主要采用虚拟现实技术,涉及计算机图形学、计算机可视化、图像处理和医学影像等多个领域[4]。它通过CT、MRI等影像设备获取人体的断层扫描数据,使用先进的医 学图像处理技术,重建出三维图像,形成虚拟人体组织。然后把视点置入人体器官内甚至血管中进行视点漫游、变动视距、调整视角、对视点前方组织结构进行动态实时绘制和显示,帮 助医生在计算机屏幕上完成内窥镜检查。
虚拟内窥镜作为一种新兴的医学诊断方法,与传统内窥镜相比,存在诸多优点: a)为非侵入性检查,病人无痛苦,尤其适用于不能承受纤维内窥镜检查的病人; b)能从狭窄或阻塞远端观察病灶,如虚拟喉内窥镜能够检查纤维内窥镜不能观察到的声门结构下表面; c)能观察到纤维内窥镜无法到达的管腔,如对脑、内耳、血管、椎管等进行检查; d)能帮助引导纤维内窥镜活检及治疗; e)视点可任意设置,可改变透明度,透过管腔观察管外情况; f)能准确定位病灶的位置,为手术前规划和手术后处理提供依据; g)同一套体数据可重复操作任意多次。
虚拟内窥镜作为一种新颖的医学图像后处理技术,综合利用多学科的先进技术,提供一种完全无接触的检查,可多角度、多方位任意观察,所以它在计算机辅助医学教学、外科手术导航、手术规划、临床诊断等领域有着广阔的应用前景。
2 VE的实现过程和性能要求
VE的实现过程描述为:首先用影像设备(CT、MRI等)获得一系列的二维医学切片图像(一般为DICOM格式)。然后对这些图像进行必要的预处理,如图像过滤、插值变换、图像分割等。再把分割出来的对象利用三维可视化技术,如面绘制、体绘制等方法重建出对象内表面的三维投影图像,并显示在屏幕上,使用者预览这些三维图像,进行取舍或改进。同时利用处理后的三维体数据提取对象的漫游路径,使用者可以选择自由或交互导航方式漫游对象,观察器官。如图1是使用者漫游结肠时的一帧。随着计算机性能以及可视化技术的不断发展,基于直接体绘制的虚拟内窥镜技术成为一种趋势和主流。参照文献[5],基于透视体绘制的虚拟内窥镜系统处理过程(图2)主要分为六个基本步骤,包括放射影像图像采集、图像的组织分割、路径规划、三维重建、实时绘制、交互导航。
一个基本的虚拟内窥镜系统具有实时性、交互性的要求[6]。这里的实时性包括图像处理的实时性和三维重建的实时性,尽管目前基本采用图像后处理技术,但是研究快速的图像自动分割技术及三维可视化技术可以有效地满足实时性要求。人们分别从硬件和软件方面进行研究,研制了支持面绘制和体绘制的硬件加速卡,采用大量的加速算法改进成像速度。交互性是指使用者可以选择不同的方法或参数来操作控制VE系统,包括图像处理时的交互性、路径规划的交互性、导航方式的交互性等。
3 关键技术分析
VE每一步对整个系统的实现都非常重要。数据采集、图像分割是系统实现的基础;三维重建给出器官的总体结构;路径规划和实时绘制是自动导航的基础,自动或交互式导航是虚拟内窥镜系统的目的。本文介绍VE特有的几个关键技术。
3·1 数据采集与器官分割
准确地采集和表示脏器的数据是建构虚拟环境的基础。一般根据检查器官的类型选用不同设备,如气管、支气管、胃、结肠的检查首选螺旋CT,可以缩短采集时间,从而减少由于病 人呼吸和移动造成的伪影,还可以在不增加曝光时间的情况下提供重叠的图像资料;而对于神经系统一般选择MRI,可以较长时间地采集数据,得到高分辨率的图像。同时根据检查器官的生理特性,做好前期的准备工作,有效地消除伪影,有助于图像的分割处理,如在结肠检查中,文献[7, 8]采用电子洗肠的方法比常规的物理方法能更为有效地消除伪影。电子洗肠技术让病人口服含有碘或钡的对比剂,可以标记结肠中流体和消化物的残余量,揭示被隐含的结肠表面,从而消除结肠残留物造成的伪影。
图像分割是指将图像中具有特殊含义的不同区域区分开来。图像分割可用的特征包括图像灰度、颜色、纹理、局部统计特征或频谱特征,利用这些特征的差别进行区分图像中的不 组织器官。目前许多图像分割程序首先利用区域增长法,手工或自动设置种子作为初始点,根据体素连通性增加分割物体的面积。然而区域增长法会随着CT值的衰减而局部波动,从而产生分割体空洞,导致表面粗糙,因此需要更有效的分割方法来改进。最近结合特定理论工具实现的分割方法越来越多,如可变模型法、人工神经网络法、基于小波变换的方法、基于统计学的方法、基于分形的方法、基于数学形态学的方法等。由于医学图像的各区域没有清楚的边界,为了解决在医学图像分割中遇到不确定性的问题,引入模糊理论的模糊阈值、模糊边界和模糊聚类等概念。综合利用各种算法的优点进行分割是医学图像分割的趋势。文献[9]综合利用区域增长法、波形传递、模式匹配方法对支气管进行分割,结果如图3所示。
3·2 路径规划
路径规划是虚拟内窥镜实现导航的基础,也是VE区别于其他可视化技术的特点之一。由于手工导航非常困难,耗时且易迷失方向,为让使用者如同使用传统内窥镜那样在器官中漫游,需要进行路径规划,使视点能够在规划好的路径上行进。
一个理想的路径应该保证每一个边界体素都能被至少一个中心路径点所看到[10],还应具有连通性、单一性、高效性、鲁棒性的特点[11]。目前路径规划技术主要有手工标定法[12]、拓扑细化法[13, 14]、距离变换(距离编码)法[15]、最短路径法[16]、基于水平集( level set)方法等[17]。主要存在以下缺点:需要手工选取路径的起点和终点;计算复杂度高;需要启发式地去除路径分支,且不能够很好地去除分支;受限于器官的特有结构,如结肠的结构;存在较多的盲区。为完全而准确地诊断,规划路径不应该产生太多的盲区,然而最近研究表明现存路径规划算法中,对于结肠检查,结肠表面存在20%的盲区[18]。
现存的路径规划方法中,中心线被认为是最方便的漫游路径[19]。在空腔器官中,一般通过中轴来表示中心线,中轴是指至少与器官表面两个边界点相切的最大球的球心轨迹组成的点集。有关中心路径的选取方法可以归纳为三类[20],即拓扑细化和距离变换、边界模型、混合提取方法。其中混合提取法是路径规划的一个趋势,一般先用距离变换法对空腔器官内的点作距离变换,定义点值为该点到边界点的最小距离,因此位于器官中心线位置的点应该具有局部最大值。这些点的集合构成中心路径的雏形,然后进一步处理,如用样条函数细化、插值、平滑等,最终形成中心路径。图4为一段结肠路径规划的结果[27]。
在路径规划时,需要注意一些特殊情况。针对最短距离变换法产生的路径容易出现贴壁现象,使得视点没有开阔的视野,Bitter等人提出补偿距离法[21]。为避免交互导航时,视点的穿壁现象,采用欧拉距离函数定义势能场,根据势能等级映射中心路径[22]。在器官的高度弯曲部分,如结肠的褶皱处,最容易出现盲区,且视点易抖动,可以采用双向导航[23]、减小视点的前进步长等方法,也可采用交互式路径规划方式,提供几种规划路径由用户选择[24]。Kim等人利用图像分割的结果实现对血管的全自动路径规划[25, 26]:应用自适应区域增长法分两步实现器官的分割和路径提取,由八叉树获得区域增长点和视点。利用八叉树获得的边界距离场,其计算复杂度要比用Dijkstra最短路径算法获得的低许多[24]。
3·3 实时绘制
在虚拟内窥镜系统中,虚拟摄像机模型是一个很重要的概念,它在虚拟现实中起到感知器的作用。实时绘制相当于用虚拟摄像机对体数据拍摄的一个个快照。虚拟摄像机与传统摄像机一样,一般有摄像机原点、光轴和焦距三个参数,但是成像的方式不同,像平面可以位于对象的任何一侧。常把摄像机的原点作为视点放在中心路径上,光轴垂直于像平面,焦距可以任意设定。这样从屏幕每个像素发出的光线经过视点与三维数据场相交形成视锥体。一般算法都是对视锥体内的体数据进行处理,实时绘制图像。
可以用面绘制或体绘制方法绘制图像[28]。体绘制具有高度保真性,目前主要用体绘制或其改进技术,但其计算量大,直接影响绘制速度,所以一般通过实时加速技术来解决这一问题。实时加速方法主要通过使用平行投影逼近透视投影技术、空间跳跃重采样、层次细节模型( level of detai,l LOD)以及相邻帧之间的连贯性关系、相邻像素之间的递推关系等算法实现加 速的目的。另外还可以利用硬件加速、文献[29]提出基于Volume-Pro加速卡(支持体绘制技术)的加速算法、文献[30]提出一种基于硬件深度缓存的交互光线投射算法、PC图形卡的W_Buffering特性,对提取出来的等值面片或边界体素进行预投影,产生深度信息;然后从图形卡中获取深度信息快速定位等值面,再进行光线投射,显著提高了成像速度及图像质量。
3·4 导航
导航是使用者实现虚拟内窥镜检查的必要途径,是VE实现的目的。导航的研究内容就是如何让使用者交互、自由地操纵虚拟摄像机,在空腔器官内部有目的地移动及转动,以实现高效率的观察和疾病诊断。一般有两种导航方式,即交互导航和自动导航。在规划好的路径上,让系统自动控制摄像机的行为,用动画的方式把器官展现给使用者,就是自动导航;交互导航是指使用者在一定约束条件下,通过输入设备控制虚拟摄像机的位置和方向等参数。两种导航方式可以灵活转换。
导航时一个控制难点是如何控制虚拟摄像机的参数。如前所述,自动导航时把摄像机原点放在中心路径上,中心路径的切线方向为视向方向。为保证镜头的平稳,避免图像的抖动,除保证规划路径的平滑外,还需要保证摄像头在垂直于视向方向的平面上不能骤然旋转,即需要控制摄像机的水平和垂直方向。一般选取世界坐标系向上的方向为摄像机的垂直方向,利用器官的特定结构,适当控制摄像机的旋转方向将会更加有效。文献[31]根据结肠带的旋转方向,相应控制摄像机的垂直方向,有效避免了摄像机的骤然旋转。图5为基于结肠带的摄像机同步控制,其中曲线表示结肠带。
在交互导航中,另一个控制难点就是碰撞检测。有时为了对某块感兴趣的区域进行近距离的观察,需要将视点偏离漫游主路径,移至管壁附近。因此需要实时检测视点的位置,防止视点穿过器官管壁。一般控制方法是首先提取空腔内的全部体素;然后判断视点是否在这些体素内。然而这种算法计算量很大,人们相继提出许多改进技术,如位置—体素对照表法。比较经典的碰壁检测法有层次包围盒技术、机器人避障控制方法等。
4 结束语
根据以上分析,虚拟内窥镜系统具有常规内窥镜系统无法替代的优势,必将随着现代医学图像处理技术的发展,在未来的医学诊断技术领域扮演越来越重要的角色。从VE的实现过程以及各种算法的研究状况分析,总体的研究特点可以概括为: a)多种算法相结合。由于人体器官的解剖结构复杂,任何一种单独的算法都难以实现所有的处理。b)根据采集器官的灰度分布、形状特征及生理结构提出有针对性的分割方法、路径规划方法或成像方法。c)利用相邻切片或相邻帧之间的信息相关性,提高器官分割、绘制等关键技术的速度。d)在三维数据场处理数据。利用二维切片数据进行组织分割、路径提取往往导致图像粗糙,路径不够平滑。由大量二维切片数据构成的三维数据场为在3D空间构造算法提供可能。虚拟内窥镜的总体发展趋势可以概括为向着灵活性、交互性、实时性的方向发展。VE的最终目标是实现能够自动检查、自动手术的全真机器人。
参考文献:
[1] VINING D J, PADHANIA R,WOOD S,et al.Virtual bronchoscopy:a new perspective for viewing the tracheobronchial tree (abstraction)[C] //Proc ofRadiology. 1993.
[2] WOOD B J,RAZAVIP.Virtual endoscopy: a promising new technolo-gy[J].American Fam ily Physician,2002,66(1): 107-112.
[3] VALEV V,WANG G,VANNIER M W.Techniques ofCT colonogra-phy[J].C ritRev B iom Engin,1999,27: 1-25.
[4]田捷,包尚联,周明全.医学影像处理与分析[M].北京:电子工业出版社, 2003.
[5] ROBB R A.Virtual endoscopy: developmentand evaluation using thevisible human datasets[ J].Computerized Medical Imaging andG raphics Volume,2000,24(3): 133-151.
[6] HAIGRON P, EBERRE G L. 3D navigation in medicine[ J].IEEEEMB Mar,1996,15(2): 70-78.
[7] CHEN Dong-qing, LI Li-hong,WAX M,et al.Electronic colon clean-sing by colonicmaterial tagging and image segmentation for polyp de-tection: detectionmodel andmethod evaluationC] //Proc ofNuclearScience Symposium. 2000: 131-135.
[8] ZALISM E, PERUMPILLICHIRA J,HAHN P F. Digital subtractionbowel cleansing for CT colonography using morphological and linearfiltrationmethods[J].IEEE Trans on Med mag,2004,23(11):1335-1343.
[9] BARTZ D,MAYER D, FISCHER J,et al.Hybrid segmentation andexploration of the human lungs[C] //Proc of IEEE Visualization.2003: 177-184.
[10] HE Tao-song,HONG Li-chan, CHEN Dong-qing,et al.Reliable pathfor virtual endoscopy: ensuring complete examination of human organs[J].IEEE Trans on V isualization and Computer G raphics,2001,7(4): 333-342.
[11]王怡,周明全,耿国华.虚拟内窥镜中心路径抽取技术[J].西北大学学报:自然科学版, 2005,35(6): 695-698.
[12] RUBIN G D, BEAULIEU C F,ARGIRO V,et al.Perspective volumerendering ofCT andMR images: applications for endoscopic imaging[J].Radiology,1996,199: 321-30.
[13] GE Y, STELSD R,WANG J,etal.Computing centerline ofa colon: arobust and efficientmethod based on 3D skeletons[ J].Journal ofComputerAssisted Tomography,1999,23(5): 786-794.
[14] PAIK D S, BEAULIEU C F, JEFFERY R B,et al.Automated flightpath planning for virtual endoscopy[ J].Medical Physics,1998,25(5): 629-637.
[15] WANMing,DACHILLE F,KAUFMAN A.Distance-field based skele-tons for virtual navigation[C] //Proc of IEEE Visualization. San Die-go: [s. n. ], 2001: 239-245.
[16] DESCHAMPS T,COHEN L D. Fast extraction ofminimalpaths in 3Dimages and applications to virtual endoscopy[ J].Medical ImageAnalysis,2001,5(4): 281-299.
[17] TELEA A,VILANOVA A.A robust level-set algorithm for centerlineextraction[C] //Proc ofSymposium on DataVisualisation. 2003: 185-194.
[18] KANG D G,RA J B. A new path planning algorithm formaximizingvisibility in computed tomography colonography[J].IEEE Trans onMedical Imaging,2005, 24(8): 957-968.
[19] IORDANESCU G, SUMMERS R M.Automated centerline for compu-ted tomography colonography[J].Acad Radio,l2003,10(11): 1291-1301.
[20] HASSOUNAM S, FARAG A A,HUSHEK S G. 3D path planning forvirtual endoscopy[C] //Proc of International Congress Series. 2005:115-120.
[21] BITTER I,KAUFMAN A E, SATO M. Penalized distance volumetricskeleton algorithm[J].IEEE Trans on V isualand ComputG raph,2001,7(3): 195-206.
[22] DESCHAMPS T,COHEN L D. Fast extraction ofminimalpaths in 3Dimages and applications to virtual endoscopy[ J].Medical ImageAnalysis,2001,5(4): 281-299.
[23] HAYASHIY,MORIK,HASEGAWA J,et al.A method for detectingundisplayed regions in virtual colonoscopy and its application to quan-titative evaluation of fly-throughmethods[J].Acad Radio,2003,10:1380-1391.
[24] CHAUDHURIP,KHANDEKAR R, SETHID,et al.An efficient cen-tral path algorithm for virtual navigation[C] //Proc of the ComputerGraphics International (CGI’04). 2004.
[25] KIM D Y,CHUNG SM, PARK JW.Automatic navigation path gene-ration based on two-phase adaptive region-growing algorithm forvirtualangioscopy[ J].Medical Engineering & Physics,2006,28: 339-347.
[26] KIM D Y, PARK JW.Visualization of the internal carotid artery usingMRA images[J].Magnetic Resonance Imaging,2005,23: 27-33.
[27] BOUIX S, SIDDIQIK,TANNENBAUM A. Flux driven automatic cen-terline extraction[J].Medical Image Analysis,2005,9: 209-221.
[28]唐泽圣.三维数据场可视化[M].北京:清华大学出版社, 1996:153-154.
[29] KREEGER K, WEI L,i LAKARE S. Perspective virtual endoscopywithVolume-Pro parallel rendering[C] //Proc ofComputerGraphicsConference. 2001: 241-248.
[30]袁非牛,周荷琴,冯焕清.基于PC图形卡W_Buffer的交互直接体绘制[J].中国科学技术大学学报, 2003,33(4): 480-485.
[31] HUANG A,ROY D, FRANASZEKM,et al.Teniae coli guided navi-gation and registration for virtual colonoscopy[C] //Proc ofVisuali-zation’05. 2005: 279-285.
