摘 要 传统光学显微图像观测通过计算机硬件和软件技术实现光电-数字化,是显微图像分析技术在信息化时代的升级换代。本文阐述实现数字显微图像技术跃变过程中若干重要的设计研究问题,包括图像的光电转换、图像处理、静态观测、活态观测和动力学观测、通用和特殊图像处理方法、若干专用显微图像信息处理技术等,并介绍所取得的成果。
1 前 言
光学显微镜的发明和应用,是人类从宏观进入到微观世界认识自然的跃进,籍助显微镜人们看到了细菌、细胞、微血管和种种生物组织,从而为现代生物学、现代医学的建立和发展奠定了基础;直到今天,尽管已发展了种种高新技术结晶的新颖显微系统(如可以“看到”原子的隧道扫描电子显微镜、原子力显微镜等),但光学显微镜仍然是最广泛使用,为人类认识自然、改造自然仍在作出巨大贡献的手段,尤其在生物、医学、环保、微细材料(如纳米材料)、微细器件(如高集成度微电子器件)等等领域的研究、临床、生产工作中,光学显微分析仍是大量应用的基本观测手段。
但是,传统的光学显微观测方法不但是效率低、劳动强度大的单人肉眼主观观测过程,而且光学显微图像只能通过显微摄影予以记录、见到什么图像只能拍什么图像,不能对图像进行必要的处理、不能快速存贮和复现、更不能通过网络远距离传输图像信息。因此,在这信息时代,传统的目视光学显微观测已经远远不适应时代发展的新要求;在另一方面,近年来微电子技术、计算机技术等领域的快速发展,已经在微电子器件、数字化硬件、数据处理技术和软件方面,为传统目视光学显微观测技术和仪器向光电数字化方向跃升,提供了良好的、广泛的条件和基础。
利用现代光电转换、计算机硬件、数据和图像处理软件,实现光学显微图像光电数字化,将难以观测的显微镜视光学图像,变成在计算机屏幕上的大面积、高亮度、真彩色图像,不但可供多人同时轻松观测分析,而且还可对屏幕上的图像作种种处理(例如缩放、切割、转移、颠倒…)或应用多媒体技术实现图像、文字、图形、声音多媒体综合效果,并可随时存贮或复现,更可通过网络向远方传输。这是数字化显微图像技术的基本内容,是显微观测的第一步跃升;如何针对具体应用领域不同的观测要求,开发设计适用的图像处理技术和信息处理技术,对原始图像进行“加工”、从中“提取”更多符合我们所要求的信息,则是数字化显微图像系统的进一步发展:由不满足于“能看到什么就是什么”转到向“想怎么看就怎么看”理想的发展,就需要使信息的获取和处理更加准确、有效[1,2,3]。
2 光学显微图像的光电数字化转换
在光学显微镜中,显微物镜将试样形成放大的实像,目镜系统再将其形成供给人眼观测的放大虚像。如要拍摄显微图像,则换上摄影目镜(投影透镜)将物镜实像再次放大成实像,投射到感光片上。如果将物镜形成的实像通过适当的光学图像适配器以一定缩放倍率成像、投射到光电探测器光敏元件的接受面上,将光学显微图像的不同光强分布图形转换成电荷、电流不同分布的“电像”,通过适当的图像采集卡,将这种“电像”模拟信号,作数字化变换和适当处理以后,就可输入计算机获得可见的屏幕图像。
因此,实现光学显微图像光电数字化转换,必须有适当设计的光学图像适配器、光电探测器、图像采集卡和计算机,如图1所示
2·1 光学图像适配器的设计
光学图像适配器实际上是一个投影透镜,任务是将显微物镜像以适当的缩放倍率投射在确定的位置,形成一定尺度大小清晰的实像。
根据不同类型的显微镜、不同类别的光电探测器,可以设计出适用的光学图像匹配器,甚至可以通过光学图像匹配器调整投射倍率以适应不同光敏区尺寸的光电探测器,或改变计算机屏幕上的图像大小。在实际工作中,尤其考虑到方便、快速、价廉、实用,可以不重新设计、制造专门的光学图像匹配器,而利用摄影显微镜上原有的显微摄影投影目镜,根据显微镜、投影目镜、光电探测器的实际结构和尺寸,设计制作一个专用的投影目镜筒,一端固定在显微镜筒上、另一端可供光电探测器固定,投影目镜固定在镜筒内。为了调整需要,镜筒由两段构成,供作调整长度。对于商品摄影显微镜,其显微摄影目镜是按36×24mm2(135底片)像面、像差校正的平场物镜要求设计的,直接用作固态半导体面阵光电探测器(如CCD器件)的转像透镜,没有原理性困难。
用这种方法,我们在不破坏显微镜结构的前提下,在不同型号的Olympus,Zeiss显微镜上完成了光学图像适配工作,都获得了清晰的屏幕图像。
2·2 光电探测器的选择
光学显微图像是二维图像,因此必须选用面阵光电探测器。近年来,高性能、较低价的电荷耦合器(CCD, charge coupled device)已从实验室走出成为市场商品;由于CCD比起光电二极管阵列、光电导摄像器件等面阵光电探测器件具有一系列优点:如自扫描、高分辨率、高稳定、体积小、重量轻、工作电压低、功耗小、抗烧毁,以及在动态响应范围、灵敏度、可实时传输等方面也都优于其它各种面阵光电探测器。因此,对于常规应用要求,CCD器件是光学显微图像优选的光电探测器[4]。
市场已有各种商品化的面阵CCD摄像器件,可按不同工作要求选用适当性能和价格的CCD摄像头。我们在完成医用常规显微图像采集、传输和显示装置时,采用日本爱米佳公司的EM-335P彩色CCD摄像头,其分辨率为380线(H)、最低照度2·5 lux,在计算机屏幕上获得的血细胞、组织切片等等试样的高亮度彩色图像,完全可以满足医用研究和临床分析工作要求;在研发人类染色体图像分析系统和精子运动参数定量检测系统时,我们都采用了台湾敏通公司的MTV-1881 EX型CCD摄像器件,其面元数为795(H)×592(V)、水平分辨率为600线,最低照度0·02lux、信噪比优于48 dB,满足了染色体分析和精子运动检测所需的高分辨率和信噪比要求。在设计用于单个活细胞实时检测的数字显微图像系统时,采用了PI公司的MicroMax-5MHz-782 Y型致冷CCD,其灵敏度高(10-4lux)、光谱响应范围大(300~1000nm)、-20℃的致冷程度可大为改善检测信噪比、高达60Frames/S的采样速率,对快速运动对象检测极为重要,尤其是该系统的BinNIng技术,对改善图像的时间-空间分辨率大有用处。
2·3 图像采集卡的选择
图像采集卡是将来自CCD摄像器件的已经变换成模拟视频信号的显微图像信号转化为数字信号、输入计算机的关键部件。图像采集卡的性能好坏,直接影响到形成的光电数字图像的质量,也会直接影响图像分析、数据计算的准确性和可靠性。
根据不同的工作要求,可在市场上选择适当性能和价格的各种图像采集卡。在医用常规显微图像系统研发工作中,我们采用中科院大恒公司的多媒体图像采集卡,完成显微图像模拟信号的A/D变换、数字信号的存贮、数字视频信号显示的D/A变换、VGA信号与多媒体视频信号的切换显示等任务,与计算机一起实现图像、文字、语音、图形的多媒体综合处理。在精子运动参数检测系统设计中,因活精子在不受外界约束时呈现三维运动状态,需要采集一组随时间变化的序列图像,才能进行精子运动状态的记录,并测出其三维运动参数(如精子头部实际曲线速度、平均直线速度、平均路径速度、头部侧摆幅度、精子尾部鞭打频率等)。为此,对图像采集卡的要求不仅要能实现采集、传输图像,而且必须能快速、连续采集多幅序列图像。我们采用中科院自动化所的CA-MPE-1000黑白图像采集卡,其图像传输速率高达25MB/s,不但可连续采集相邻帧图像并向计算机可靠地实时传送,而且采样图像点阵精度高、数字视频信号误差小,为快速、连续、准确的精子运动参数检测提供了基础[5]。
2·4 数字化显微图像系统的噪声、干扰和检测误差
在数字化显微图像系统中,由于光学显微镜、光电探测器、电子系统以及试样本身都会存在噪声、干扰、试样变化等等因素,直接影响显微观测精度。显微镜光源亮度不均匀、显微镜光学系统中光束切割、拦截等光学因素CCD器件光敏面不均匀灵敏度分布等,都会造成数字化显微图像灰度不均匀(中间亮四周较暗或反之),这会直接导致图像区域过饱和或边缘图像模糊。这些缺陷可通过背景校正或边缘检测算子进行平滑滤波和边缘检测,将这种影响加以限制或消除。
CCD器件如同一切微电子器件一样,存在有本身噪声(如电荷注入噪声、电荷转移噪声等)和暗电流,以及光电变换噪声(光子噪声、输出电路热噪声等);图像采集卡A/D、D/A变换也会因其数据位数等产生一定的变换误差。这些都要通过适当的措施或特殊设计的软件方法,予以修正或改善,如设计针对确定噪声模型的滤波器、消除随机噪声影响的基于人眼视觉神经感知特性的自适应仿生滤波器,等等。在精子运动参数检测系统中,因试样精液中除了精子细胞以外还存在精原细胞、初级精母细胞等“闲杂”细胞或颗粒状干扰物,都会直接影响检测精度;在检测过程中,精液的流动也会直接造成检测误差。在检测软件设计和实际应用中,都需从仔细准备试样到运动直线度估算等等途径予以排除。
3 通用和特殊的图像处理技术
完成光学显微图像-数字化显微图像的转换,只是数字化显微图像技术的基础,要得到高质量数字化图像分析效果,好的显微镜和面阵探测器、图像卡、计算机等硬件当然是必要的,然而设计适合的通用或特殊图像处理软件,往往起更大的决定性作用。
从根本上说,图像处理的目的,是通过适当软件处理使原始数字图像得到适当变化、以适应人的视觉信息感知和获取特性,更便于或提高图像有用信息的提取。原始图像因为噪声干扰,使图像模糊,难以获取关键的特征信息。常用的除噪处理手段有平滑和滤波处理,可在空间域或频率域进行。消除噪声影响后,还需进一步提高图像的视觉效果(图像增强)、改善图像的清晰度、对比度,突出图像的关键特征信息。常用的图像增强处理方法有锐化处理、灰度变换、边缘提取、二值化、反显、伪彩色处理等等。其中边缘提取处理可突出目标对象与背景间的突变,明显地突出目标对象;伪彩色处理则充分利用人眼彩色辨别能力强于对灰度差辨别能力的特性、将其难以分辨的细微灰度差别变换成相应但更敏锐可辨的彩色(色调、明度)差别,从而提高图像细节的分辨率。采用数学变换技术(如傅里叶变换、离散余弦变换、以及沃而什-阿达玛变换等),可以将空间域十分复杂的图像处理问题转换到频率域成为简单易行的问题,也是有效的手段。
针对一般性图像处理问题,可以按具体应用要求灵活地采用一种或多种通用图像处理技术,以及提高图像质量和更有效地获得图像中关键的特征信息。但在实际分析工作(尤其生物医学试样实时显微分析检测工作)中,存在种种特殊的观测对象,提出很不一般的检测要求,因此必须有针对性地设计开发种种特殊图像处理技术。
3·1 彩色图像处理的颜色空间变换
由于人眼分辨色差能力的色坐标变化为十分明显的非线性,因此,为了在计算机上进行彩色计算和彩色图像处理,必须建立适合彩色图像处理的颜色空间。在国际照明委员会给出的均匀色调空间L*a*b的基础上,通过空间变换找出新的LHS空间[6],将原始彩色图像变换到LHS空间后,图像处理变得更方便、直观而有效:在不改变彩色图像颜色特征H(色调,hue)和S(彩色饱和度,saturation)的情况下,可以充分利用常用的灰度处理技术,对L(明度,亮度,lu-minosity)进行处理。例如在荧光图像中与荧光波长很靠近的激发光噪声,通过色调分割,可以方便地予以排除;一般说色调处理在颜色分割、图像识别、背景噪声抑制等方面都很有用处;由于人眼对彩色饱和度的变化不太敏感,因而可通过S分量的线性拉伸突出彩色图像中色调较单一的图像细节。针对不同的彩色图像,对LHS三分量进行适当的处理,可以有效地降低图像噪声、提高图像的对比度以及改善图像质量或突出图像的细节。
3·2 基于人眼视觉特性的图像处理方法
图像分析最终是要通过人眼观察进行的,而人眼对光强、灰度、彩色等因素的变化都有特殊的视觉特性;因此,必须基于人眼的视觉特性发展相适应的图像处理方法,才能得到更有效、更满意的图像处理结果。
基于人眼视觉马赫带效应的滤波技术[6]:图像中往往包含种种噪声,因而会掩盖图像细节或妨碍图像特征信息的提取;滤波(例如中值滤波)技术是除噪的有效手段,但在除噪和保持图像清晰(防止图像模糊)之间有一定的矛盾。大量的实验证明,人眼在观察不同灰度平列竖条图形时,对灰度均匀的每一竖条都会产生左右边缘不同亮暗的感觉,这是被称为人眼视觉的马赫带效应。在细胞显微图像处理过程中,运用马赫带效应不但可保持中值滤波的优点,而且由于与视觉感知特性吻合而增强了细胞边缘的感知度,使边缘变化更显目,在一定程度上增强了图像的对比度。
基于Weber-Fechner定理的图像增强技术[6]:在实验基础上提出的W-F定理,表明人眼的主观亮度感觉是与客观亮度的对数呈线性关系,因此可推断人眼分辨亮度变化量的能力并不取决于图像灰度的绝对差值,而是由图像灰度的相对变化量决定的。因此,在作图像变换处理以求达到图像增强目的时,必须考虑使图像灰度的相对变化率,符合人眼对亮度变化的视觉特性,才能使图像质量进一步符合视觉特性,获得更佳的图像增强效果。
3·3 运动目标模糊图像的恢复
在生物和医学研究和临床分析工作中,经常有活细胞或运动大分子试样,观测目标被CCD光电探测器感受的相对运动,会造成图像模糊,影响图像质量和观测精度,如果缩短采样(曝光)时间可以减小模糊量,但会导致检测灵敏度降低。因此,必须采用适当的处理技术使模糊图像得到恢复[7,8]。我们在精子运动参数检测、单个活细胞膜上受体运动检测等显微图像处理系统设计中,在考虑了快速曝光(采样)期间观测目标的移动量的数学规律后,都设计了相应的处理软件,可在X,Y两方向进行位移修正,保证了图像质量和应有的观测精度。
4 若干专用显微图像信息的处理技术
在生物学研究和医学临床分析工作中,常常会遭遇一些不同于一般图像处理要求的特殊情况(例如观测对象尺度小于光学显微镜的衍射分辨率、单个微小粒子运动情况追踪,同时要求高时间分辨和空间分辨、染色体图像分割和特征信息提取等),因此,必须发展针对专门要求的显微图像信息处理技术,并通过实验予以验证。
4·1 微粒光斑的亚像素观测技术
生物学研究工作中,所观测的许多荧光标记微粒(如细胞膜上的低密度脂蛋白受体,LDL受体)的几何尺度,都小于光学显微镜的最小可分辨极限值,因而其显微图像是覆盖CCD成像面几个像素的受衍射花样限制的光斑,光斑中的能量分布可用二维高斯函数描述。细胞膜内外物质输运交换和膜受体的运动过程,是研究膜功能和膜结构的重要渠道,为此发展了SPT算法(single particle trace单粒子追踪)、解决微粒光斑的识别、精确定位和运动位置追踪问题。
在数字图像系统中,由于图像的离散性、光斑直接定位只能精确到CCD像面的一个像素;而受体运动速度很低(在40x物镜、3·3X投影目镜的条件下,受体每秒的移动距离小于一个像素相应的距离),因此必须通过精确计算对受体运动位置作出精确的定位,即发展出亚像素的观测技术。通过对光斑的“形心”或高斯分布峰值的位置精确计算,可以在适当选择观测放大率的情况下达到亚像素(甚至1/100像素尺度)的微粒光斑定位精度;在考虑了飘移、噪声等一系列因素的影响和进行修正后,我们得到了整个实验系统的校正定位精度约为30nm左右,在一系列实验中,可以准确地在250~1500nm限制区域内,对Hela细胞每个LDL受体的运动状况以30nm左右精度进行了追踪,并根据测得的运动轨迹,分析提出了膜蛋白运动“主观调控与客观限制相互作用”的假设,以期对LDL受体在细胞膜上的运动状况作出较全面的解释。
4·2 改善显微图像时-空分辨率的Binning(小区化)技术和空间分辨率的恢复[6]
采用CCD光电探测器时所能获得的显微图像空间分辨率,主要由光学显微镜分辨率和CCD器件阵元密度所决定。对于尺度在10nm左右的LDL受体等生物观测目标,其尺度已小于光学显微镜的光学分辨极限、更小于CCD象面一个阵元的尺寸;在受体运动观测实验中,发现以较高时间分辨能力,可以观察到低时间分辨水平上发觉不到的受体运动状态的自我(主观)调控特性,因而对显微图像以较高时间分辨率进行观测,成为首要的要求。
为获得较高的时间分辨能力,可籍助于CCD器件信号采集的Binning技术,将2X2或更多象素采集的图像信号相加,形成较大的虚拟大象素信号,从而提高信号采集速度和强度、达到提高图像观测时间分辨率和检测灵敏度目的。细胞LDL受体图像观测实验结果表明,图像时间分辨率确有提高(可提高59%或更高),但图像的空间分辨率却相应下降(光斑边缘模糊、甚至光斑形状失真)。
为恢复因采用Binning技术提高时间分辨率而损失的图像的空间分辨率,精确计算光斑光强分布,得到光强衍射分布峰值位置(一般可达到1/10象素的定位精度),由此获得光斑应有的准确位置,从而将Binning后损失的空间分辨能力予以恢复(达到亚像素的分辨率,在40x物镜下约50nm左右)。
4·3 染色体图像分割和染色体特征的提取[9]
数字化显微图像分析系统为人类染色体生物学研究和医学分析临床工作提供了现代化手段,使人摆脱了依靠目视、手绘或剪贴的烦琐、费力耗时的艰苦劳动。但染色显带后的染色体有丝分裂图像是一堆模糊、横七竖八甚至互相重叠的条形图像。为了实现染色体图像的核型自动分类和识别,必须解决染色体图像的分割及特征的提取问题。
根据染色体图像中分割目标(染色体)数目多,而且每条染色体存在明暗交替的带纹的特点,在对图像进行二值化处理后我们采用基于边界灰度的门限分割法进行染色体图像的分割,速度快而且比一般灰度门限分割图像的方法效果好。完成对染色体的边缘平滑(消除噪声影响)和边界跟踪后,就可得到很好的二值分割图像和明确的各条染色体的位置信息。为实现自动分类,必须提取染色体特征(检测其形态和结构参数)。为此我们提出用正交多项式拟合染色体的中线,然后沿中线等步长地测量染色体的长度、灰度轮廓和宽度轮廓。这种处理可以避免染色体的旋转,既可以使测量精度提高,又可以使运算时间缩短,也避免了灰度误差积累,为随后进行的染色体核型自动分类、识别提供了基础。
参考文献
[1] 范世福等.微粒光电显微计数仪的研制,仪器仪表学报, 1994,15(2):204206
[2] 范世福、张思祥等.计算机化多媒体显微图像采集、传输和显示装置,中国发明专利公报,vol.11,No.26,CN1124383A,1996
[3] 张思祥.细胞显微光学全分析技术和应用研究,[天津大学博士论文],1996.8
[4] 王庆有. CCD应用技术,天津:天津大学出版社,2000.11
[5] 肖松山.精子运动参数检测系统的研究和设计,[天津大学硕士学位论文],1999.3
[6] 肖松山.单个活细胞的图像分析技术和应用研究,[天津大学博士学位论文],2001,1
[7] 李介谷.计算机视觉的理论和实践,上海:上海交通大学出版社,1991
[8] 容观澳.计算机图像处理,北京:清华大学出版社,1998
[9] 李彦芳.人类染色体图像分析与核型分类识别系统研究,[天津大学硕士学位论文],2000.5
本文作者：范世福 李 昀 肖松山 张思祥
