申请/专利权人：电子科技大学

申请日：2019-05-29

公开（公告）日：2020-10-23

公开（公告）号：CN110146974B

主分类号：G02B21/24(20060101)

分类号：G02B21/24(20060101);G02B21/36(20060101);G06T5/40(20060101);G06T7/33(20170101);G06T3/40(20060101)

优先权：

专利状态码：有效-授权

法律状态：2020.10.23#授权;2019.09.13#实质审查的生效;2019.08.20#公开

摘要：本发明公开了一种智能生物显微镜，属于显微领域，尤其是能自动对焦，拼接图像并识别有形成分的智能生物显微镜。硬件模块，图像采集模块与电脑通过连接线相连，软件模块运行在电脑端。通过三部步进电机与工业相机的协作，完成单筒显微镜的自动对焦以及图像拍摄，电脑端运行的图像处理软件通过预处理、图像配准、建立变换模型、图像变换、图像融合输出拼接后的大视野图像，最终运行软件中的算法单元对输出的图像进行有形成分识别与计数。本发明使用过程中，采用一键式操作，极大程度减轻了医生的工作负担，且对微小病变与疑难病例有着极高的识别能力，后期处理的定量化分析为医生诊断提供了可靠的参考。

主权项：1.一种智能生物显微镜，包括硬件模块、图像采集模块、软件模块及算法模块；所述图像采集模块包括显微镜和相机，所述相机采集经显微镜放大后的图像；所述硬件模块包括自动对焦单元与自动拍图单元，所述自动对焦单元包括步进电机K1，所述软件模块通过控制步进电机K1控制物镜在对焦轴上的移动；所述自动拍图单元包括步进电机K2和步进电机K3，所述软件模块通过控制步进电机K2控制显微镜在y轴上的平移，软件模块通过控制步进电机K3控制载玻片在x轴上的平移，所述x轴y轴都位于载玻片平面；所述软件模块包括通信单元、步进电机K1控制单元、步进电机K2、K3控制单元、图像拼接单元，所述步进电机K2、K3控制单元控制步进电机K2、K3使相机依次连续拍摄图像直到拍摄完整个目标区域，所述图像拼接单元使将获取的图像拼接为完整目标区域图像；所述步进电机K1控制单元的控制方法为：首先以步长L控制物镜在对焦轴上沿某一方向的步进运动，其中0.03mm≤L≤0.04mm，每步进一次拍摄一次目标图像并采用公式1计算一次当前目标图像的清晰度； 其中，Df表示计算的图像清晰度，m，n表示图像的长和宽，dfdx表示灰度变化的微分；当连续Q次拍摄的图像的清晰度小于前一次拍摄的图像时，停止该方向上的步进运动，其中4≤Q≤7；然后沿反方向以步长为S控制物镜在对焦轴上步进运动，其中S＝L4，运动距离为2QL，每步进一次拍摄一次目标图像，采用公式2计算出拍摄目标图像中最清晰的一幅图像； 其中，fx,y表示图像函数；所述步进电机K2、K3控制单元的控制方法为：拍摄完第一张图像后控制步进电机K2和步进电机K3中的一个，使相机拍摄到的视野沿某一方向水平移动一段距离拍摄第二幅图像，设该某一方向为第一方向，此时控制的步进电机为第一电机，再沿第一方向水平移动一段距离拍摄第三幅图像，直到相机拍摄到的图像中识别出目标区域的边缘；然后控制步进电机K2和步进电机K3中的另一个，使相机拍摄到的视野沿另一方向水平移动一段距离拍摄下一幅图像，设该另一方向为第二方向，此时控制的步进电机为第二电机；再控制第一步进电机使相机拍摄的视野沿第一方向的反方向步进运动，依次拍摄图像，直到在拍摄的图像中识别出目标区域的边缘；再控制第二步进电机使视野沿第二方向移动一段距离，拍摄图像；再控制第一步进电机使相机拍摄的视野沿第一方向步进运动，依次拍摄图像，重复上述方法直到拍摄完整个目标区域；其中拍摄的当前图像与前一幅图像有重叠区域；所述识别出目标区域边缘的方法为识别出载玻片上的液体块的边缘：步骤1：计算每个像素的梯度值，将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度比另外两个像素都大，则该像素保留为边缘点；步骤2：设定梯度阈值Q1，若步骤1中检测出的边缘点梯度值大于Q1，认定该像素为边缘点；步骤3：设定梯度阈值Q2，Q2大于Q1，找出步骤2得到的边缘点中梯度值大于等于Q1，小于等于Q2像素，逐个计算这些像素是否是边缘点，计算方法为：该像素周围8领域是否存在梯度大于Q2的像素，若存在则认为该像素为边缘点，若不存在则认为该像素不是边缘点；步骤4：找出步骤2得到的边缘点中梯度值大于Q2的像素，与步骤3得到的边缘点像素合并一起为目标区域的边缘。

全文数据：一种智能生物显微镜技术领域本发明是一种生物医学显微领域，特别涉及不同有形成分细胞所在不同层面的自动对焦，拼接图像并完成最终识别的智能生物显微镜。背景技术近些年来，病理分析逐渐成为诊断、预后分析和指导治疗的黄金标准。2017年需约12万名病理医生，但经过训练的医生数量却不足2万，人员压力极大，且医生需要亲自操作显微镜进行拍图，一个玻片需要切换多个视野来进行整体判断，任务繁重。目前，国内医院现有的显微镜大多使用显微照相软件对观测到的显微图像进行拍照，每次只能观测到极小的局部，通常需要多次移动玻片位置来获取不同视野，每次移动所带来的位置与角度的变化，常导致显微图像产生巨大差异；并且每次拍摄的图像独立成图，不利于医生对整体的把握；对于一些显微图像中的微小病变或疑难病例，医生仅靠肉眼，很难挖掘其病理特征。发明内容本发明所要解决的技术问题和提出的技术任务是对现有技术进行改进，提供一种智能生物显微镜，解决目前技术中的显微镜采用人工取放玻片进行观测的方式及肉眼诊断所带来的效率低下、劳动强度大、微小病变诊断难的问题。本发明解决上述问题提供的一种解决方案是：一种智能生物显微镜，包括硬件模块、图像采集模块、软件模块及算法模块；所述图像采集模块包括显微镜和相机，所述相机采集经显微镜放大后的图像；所述硬件模块包括自动对焦单元与自动拍图单元，所述自动对焦单元包括步进电机K1，所述软件模块通过控制步进电机K1控制物镜在对焦轴上的移动；所述自动拍图单元包括步进电机K2和步进电机K3，所述软件模块通过控制步进电机K2控制显微镜在y轴上的平移，软件模块通过控制步进电机K3控制载玻片在x轴上的平移，所述x轴y轴都位于载玻片平面；所述软件模块包括通信单元、步进电机K1控制单元、步进电机K2、K3控制单元、图像拼接单元，所述步进电机K2、K3控制单元控制步进电机K2、K3使相机依次连续拍摄图像直到拍摄完整个目标区域，所述图像拼接单元使将获取的图像拼接为完整目标区域图像；所述步进电机K1控制单元的控制方法为：首先以步长L控制物镜在对焦轴上沿某一方向的步进运动，其中0.03mm≤L≤0.04mm，每步进一次拍摄一次目标图像并采用公式1计算一次当前目标图像的清晰度；其中，Df计算的图像清晰度，m，n表示图像的长和宽，dfdx表示灰度变化的微分，在计算时可以用近似表示；当连续Q次拍摄的图像的清晰度小于前一次拍摄的图像时，停止该方向上的步进运动，其中4≤Q≤7；然后沿反方向以步长为S控制物镜在对焦轴上步进运动，其中S＝L4，运动距离为2QL，每步进一次拍摄一次目标图像，采用公式2计算出拍摄目标图像中最清晰的一幅图像；其中，fx,y表示图像函数；所述步进电机K2、K3控制单元的控制方法为：拍摄完第一张图像后控制步进电机K2和步进电机K3中的一个，使相机拍摄到的视野沿某一方向水平移动一段距离拍摄第二幅图像，设该某一方向为第一方向，此时控制的步进电机为第一电机，再沿第一方向水平移动一段距离拍摄第三幅图像，直到相机拍摄到的图像中识别出目标区域的边缘；然后控制步进电机K2和步进电机K3中的另一个，使相机拍摄到的视野沿另一方向水平移动一段距离拍摄下一幅图像，设该另一方向为第二方向，此时控制的步进电机为第二电机；再控制第一步进电机使相机拍摄的视野沿第一方向的反方向步进运动，依次拍摄图像，直到在拍摄的图像中识别出目标区域的边缘；再控制第二步进电机使视野沿第二方向移动一段距离，拍摄图像；再控制第一步进电机使相机拍摄的视野沿第一方向步进运动，依次拍摄图像，重复上述方法直到拍摄完整个目标区域；其中拍摄的当前图像与前一幅图像有重叠区域；所述识别出目标区域边缘的方法为识别出载玻片上的液体块的边缘：步骤1：计算每个像素的梯度值，将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度比另外两个像素都大，则该像素保留为边缘点；步骤2：设定梯度阈值K1，若步骤1中检测出的边缘点梯度值大于K1，认定该像素为边缘点；步骤3：设定梯度阈值K2，K2大于K1，找出步骤2得到的边缘点中梯度值大于等于K1，小于等于K2像素，逐个计算这些像素是否是边缘点，计算方法为：该像素周围8领域是否存在梯度大于K2的像素，若存在则认为该像素为边缘点，若不存在则认为该像素不是边缘点；步骤4：找出步骤2得到的边缘点中梯度值大于K2的像素，与步骤3得到的边缘点像素合并一起为目标区域的边缘。本产品针对显微镜的复杂操作，实现了一键式操作，通过对医生平常使用习惯的调研，将常见的功能进行了模块化开发，基本可以满足医生的常规使用。医生只需要点击相应的按钮就可控制显微镜自动工作。这是显微镜智能化的一次探究，能够极大的减少显微镜繁杂的操作，与传统显微镜相比，优势明显。本发明对焦方法中可以实现显微镜的快速对焦，可大大提高显微镜的使用效率。附图说明图1是本发明一种智能生物显微镜的系统结构框图。图2是本发明一种智能生物显微镜的硬件模块结构图。图中A为工业相机，B为镜筒，C为物镜，D为光源，E为调焦齿轮，F为支架立柱，G为光源齿轮，H为支架底座，K1为调焦电机，K2为X方向电机，K3为Y方向电机。图3是本发明一种智能生物显微镜的3×3图像采集与拼接体系图。图4是本发明一种智能生物显微镜的软件模块工作流程图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例，对本发明做进一步详细说明，应当理解，此处所描述的具体实施案例仅用于解释本发明，并不用于限定本发明。请参阅图1至图4，本发明的一种智能生物显微镜，包括电脑、硬件模块、软件模块和图像采集模块，所述三个模块连接线与电脑相连，所述电脑运行软件模块对硬件模块，图像采集模块加以控制，由硬件模块进行自动对焦，3×3图像采集模块进行图像采集，最后由软件模块进行3×3图像拼接与识别，最终确定生物显微图像中的有形成分。所述硬件模块包括工业相机A、镜筒B、物镜C、光源D、调焦齿轮E、支架立柱F、光源齿轮G、支架底座H、调焦电机K1、X方向电机K2、Y方向电机K3。所述单筒显微镜B、C经光路改造可达生物显微镜识别精度，所述调焦电机K1控制物镜C的焦距调整，控制物镜在z轴方向移动，所述X方向电机K2控制单筒显微镜整体在x轴方向移动，所述Y方向电机K3控制待测玻片在y轴方向移动，K2、K3协作在xoy平面为图像采集系统定位，构成3x3图像拍摄体系，所述工业相机C附于单筒显微镜的目镜上方，并与所述电脑相连用于拍摄图像。清晰度反馈调节法；在自动对焦过程中，自动拍图单元持续获取运动过程中拍到的图片，并将拍得的图片数字化反馈给软件模块，软件模块内部集成有清晰度评价函数，他将数字化图片进行清晰度计算，从而获取到每一张图片的清晰度，由一个数值表示，通过对一系列清晰度数值进行一维搜索，找到其中的最大值，通过对一维搜索算法的优化，避免误取局部最大值；通过对当前图片以及他前后图片的清晰度对比结果，控制步进电机的运动方向，从而实现动态自动对焦。在对拍摄获取的图像清晰度评价方面，为了使得测试的结果更具说服力，使电机驱动显微镜载物台进行连续采图，在P1，P2，P3，P4四组样本中均按照每次拍图间隔2000个脉冲250微米所得的图片含有最佳对焦位置。于是在实验中，采用对采集到的四组含有最佳对焦位置的图片进行遍历法广度直接搜索的方法，来对比各清晰度评价函数的运算效率。具体运算时间结果如下表1所示。由于在测试中发现，除了信息熵函数四组数据均为5分钟以上之外，其余四种清晰度评价函数的运算时间虽然有差距，但是都在能接受的时间效率范围之内2分钟以内，即运算效率并没有很大区别，所以主要的差异在于单峰性和对比度。通过对单峰性、运算量以及对比度的综合考量，认为在进行步长较大的粗对焦搜索时，应采用单峰性最好的清晰度评价函数，即八邻域的锐度清晰度评价函数；而在进行步长较小的精确对焦搜索时，应采用对比度较大的清晰度评价函数，即能量梯度清晰度评价函数。一种智能生物显微镜的使用方法，包括如下步骤：步骤1：开启各模块电源，检查连接线，确保各模块之间通信状况良好；步骤2：打开软件，放置玻片，点击自动对焦按钮，开始对焦；步骤2-1：步进电机K1开始运动，按照广度大步长与爬山搜索算法相结合的方法，控制对焦旋钮，调整物镜与玻片在z轴上的相对位置；步骤2-2：工业相机A获取对焦过程中所拍摄的图片，软件端结合五种清晰度评价函数对所拍图片进行分析对比，获取最佳对焦位置；步骤2-3：根据步骤2-2所获取的最佳对焦位置信息，步进电机K1继续运动，调整物镜C至该位置，停止运动。步骤3：点击软件端的图像采集按钮，步进电机K2、K3与工业相机协作，进行3x3图像采集。步骤3-1：如附图3所示，以步骤2-3所获取的位置为5，步进电机K2与步进电机K3调整显微镜位置至位置2，工业相机A进行拍摄，得到图片1；步骤3-2：步进电机K2不动，步进电机K3运动，依次调整显微镜位置至位置2、位置3，工业相机A进行拍摄，得到图片2、图片3；步骤3-3：步进电机K3不动，步进电机K2运动，调整显微镜位置至位置6，工业相机A进行拍摄，得到图片6；步骤3-4：步进电机K2不动，步进电机K3运动，依次调整显微镜位置至位置5、位置4，工业相机A进行拍摄，得到图片5、图片4；步骤3-5：步进电机K3不动，步进电机K2运动，调整显微镜位置至位置7，工业相机A进行拍摄，得到图片7；步骤3-6：步进电机K2不动，步进电机K3运动，依次调整显微镜位置至位置8、位置9，工业相机A进行拍摄，得到图片8、图片9；步骤3-7：软件端按照附图3所示位置，按数字对应排列由步骤3-1至3-6所拍摄到的9张图片，图像采集完毕；步骤4：点击软件界面的图像拼接按钮，对步骤3所拍摄到的9张图片进行拼接。步骤4-1：对步骤3-7所排列的9张图片做图像预处理，依次进行直方图均衡化、中值滤波操作、傅里叶变换；步骤4-2：提取步骤4-1所处理后的图片边缘处的特征点，将带拼接的相邻两幅图像做特征点亮度匹配；步骤4-3：对步骤4-2中已经完成匹配的两幅图像建立坐标系，寻找两幅图像之间的坐标变换关系，将两幅图像的坐标变换在同一坐标系；步骤4-4：将步骤4-3处理后的两幅图像进行拼接，并依次拼接剩余图片，获取3x3图像拼接后的大视野图像；步骤5：点击软件界面的自动识别按钮，借助BP神经网络和模糊聚类方法对图片内有形成分进行识别并计数。与现有显微镜相比，本发明的自动对焦功能实现了避免手动对焦引起的误差；本发明的3×3图像采集功能将玻片的二维移动，转化为玻片的一维运动与显微镜的一维运动相结合，有效降低了拍图误差；本发明的3×3图像拼接功能，使用特征点亮度匹配与多线程相结合的方法，极大提高了图像拼接的速度；本发明的基于BP神经网络与模糊聚类的图像识别算法的检测率已满足临床要求；本发明的模块化开发与一键式操作，为使用者和后期维护、维修人员提供了极大的便利。以上所述仅为本发明的较好实施案例，并不能因此限制本发明的专利范围，凡是在本发明的构思之内所作的任何修改，等同替换和改进等均应包含在本发明的专利保护范围内。表1四种清晰度评价函数在遍历四组实验数据下的运算时间对比测试组数点锐度能量梯度频谱分析改进SobelP1136.326秒79.022秒51.530秒85.720秒P2140.387秒76.953秒42.138秒90.136秒P3126.349秒61.032秒55.249秒82.477秒P4112.420秒73.979秒44.731秒85.916秒

权利要求：1.一种智能生物显微镜，包括硬件模块、图像采集模块、软件模块及算法模块；所述图像采集模块包括显微镜和相机，所述相机采集经显微镜放大后的图像；所述硬件模块包括自动对焦单元与自动拍图单元，所述自动对焦单元包括步进电机K1，所述软件模块通过控制步进电机K1控制物镜在对焦轴上的移动；所述自动拍图单元包括步进电机K2和步进电机K3，所述软件模块通过控制步进电机K2控制显微镜在y轴上的平移，软件模块通过控制步进电机K3控制载玻片在x轴上的平移，所述x轴y轴都位于载玻片平面；所述软件模块包括通信单元、步进电机K1控制单元、步进电机K2、K3控制单元、图像拼接单元，所述步进电机K2、K3控制单元控制步进电机K2、K3使相机依次连续拍摄图像直到拍摄完整个目标区域，所述图像拼接单元使将获取的图像拼接为完整目标区域图像；所述步进电机K1控制单元的控制方法为：首先以步长L控制物镜在对焦轴上沿某一方向的步进运动，其中0.03mm≤L≤0.04mm，每步进一次拍摄一次目标图像并采用公式1计算一次当前目标图像的清晰度；其中，Df计算的图像清晰度，m，n表示图像的长和宽，dfdx表示灰度变化的微分，在计算时可以用近似表示；当连续Q次拍摄的图像的清晰度小于前一次拍摄的图像时，停止该方向上的步进运动，其中4≤Q≤7；然后沿反方向以步长为S控制物镜在对焦轴上步进运动，其中S＝L4，运动距离为2QL，每步进一次拍摄一次目标图像，采用公式2计算出拍摄目标图像中最清晰的一幅图像；其中，fx,y表示图像函数；所述步进电机K2、K3控制单元的控制方法为：拍摄完第一张图像后控制步进电机K2和步进电机K3中的一个，使相机拍摄到的视野沿某一方向水平移动一段距离拍摄第二幅图像，设该某一方向为第一方向，此时控制的步进电机为第一电机，再沿第一方向水平移动一段距离拍摄第三幅图像，直到相机拍摄到的图像中识别出目标区域的边缘；然后控制步进电机K2和步进电机K3中的另一个，使相机拍摄到的视野沿另一方向水平移动一段距离拍摄下一幅图像，设该另一方向为第二方向，此时控制的步进电机为第二电机；再控制第一步进电机使相机拍摄的视野沿第一方向的反方向步进运动，依次拍摄图像，直到在拍摄的图像中识别出目标区域的边缘；再控制第二步进电机使视野沿第二方向移动一段距离，拍摄图像；再控制第一步进电机使相机拍摄的视野沿第一方向步进运动，依次拍摄图像，重复上述方法直到拍摄完整个目标区域；其中拍摄的当前图像与前一幅图像有重叠区域；所述识别出目标区域边缘的方法为识别出载玻片上的液体块的边缘：步骤1：计算每个像素的梯度值，将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较，如果当前像素的梯度强度比另外两个像素都大，则该像素保留为边缘点；步骤2：设定梯度阈值K1，若步骤1中检测出的边缘点梯度值大于K1，认定该像素为边缘点；步骤3：设定梯度阈值K2，K2大于K1，找出步骤2得到的边缘点中梯度值大于等于K1，小于等于K2像素，逐个计算这些像素是否是边缘点，计算方法为：该像素周围8领域是否存在梯度大于K2的像素，若存在则认为该像素为边缘点，若不存在则认为该像素不是边缘点；步骤4：找出步骤2得到的边缘点中梯度值大于K2的像素，与步骤3得到的边缘点像素合并一起为目标区域的边缘。

百度查询： 电子科技大学 一种智能生物显微镜

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD