申请/专利权人：中国科学院苏州生物医学工程技术研究所

申请日：2019-01-30

公开（公告）日：2023-03-14

公开（公告）号：CN109903240B

主分类号：G06T5/00

分类号：G06T5/00;G06T5/50;G06T1/20;H04N5/14

优先权：

专利状态码：有效-授权

法律状态：2023.03.14#授权;2019.07.12#实质审查的生效;2019.06.18#公开

摘要：本发明公开了一种医用超高清图像实时增强系统，包括：图像采集模块、图像增强模块、视频切换模块、通讯模块、微控制器和上位机；该系统对超高清图像进行采集和增强，再经所述视频切换模块进行通道选择和输出，最后由所述通讯模块传输给上位机进行显示。1本发明通用性强、适配性好，可增强多种不同格式的视频图像。2其图像增强处理速度快、实时性强，对于2160p及以下图像，可支持所有帧速率输出。3其系统采用嵌入式主板设计，体积小、功耗低。4其系统对医用图像增强效果明显。可将医疗图像中的细节明显突出，帮助医生观察到难以发现的早期病灶、增生、微小异物和极为细小的血管部分，以此降低漏诊率和降低手术难度。

主权项：1.一种医用超高清图像实时增强系统，其特征在于，包括：图像采集模块、图像增强模块、视频切换模块、通讯模块、微控制器和上位机；该系统对超高清图像进行采集和增强，再经所述视频切换模块进行通道选择和输出，最后由所述通讯模块传输给上位机进行显示；所述图像采集模块包含前置采样单元、数据缓存单元、信号处理单元、信号校正单元和时序驱动单元；所述图像增强模块完成对输入多格式视频的处理功能，其由GPU计算阵列组成，所述图像增强模块采用基于双边滤波的自适应加权方法，具体包括以下步骤：1GPU内存分配与初始化：由微控制器控制GPU模块进行初始化，为图片数据和滤波模板分配对应大小的内存区，形成二维矩阵，用于并行化增强计算；2图像输入：通过所述图像采集模块输入图像；3通道分离：对输入的彩色图像进行通道分离，三通道分别进行增强；4求取局部标准差：根据滤波窗口半径计算标准差，假设一幅图像中像素点表示为xi，j,那么以i，j为中心，窗口大小为2n+1*2n+1的区域内，其局部均值和方差分别表示为： 5求取增益系数：利用局部标准差对每个像素的增益系数进行求取，增益系数ki,j为全局标准差与局部标准差倒数乘积： 6双边滤波分离高低频图像：采用双边滤波方法进行平滑，平滑图像为低频图像，原图像与平滑图像做差得到高频待增强图像，双边滤波权重系数表达式如下所示： 其中，σs为值域高斯函数的标准差，σr为空域高斯函数的标准差，xc,yc为中心点；7高频图像增强：将得到的高频待增强图像与增益系数相乘进行增强；8高低频图像合并：将增强后的高频图像与低频图像合并，同时进行溢出检查；9通道合并：多通道图像合并，形成增强后图像；10增强图像输出：输出增强后图像，等待下一张图像输入。

全文数据：医用超高清图像实时增强系统技术领域本发明涉及医疗图像处理技术领域，特别涉及一种医用超高清图像实时增强系统。背景技术医用电子内窥镜是通过前端CCD感光器件获取体内图像，经内部镜体传输至图像处理器进行处理与显示的医疗诊断仪器。医用电子内窥镜系统具有微创、直视等优势，应用广泛。医生通过电子内窥镜直接观察人体内脏器官和组织病变的情况，对于颜色及形态已经明显改变的病灶，可以直接观察发现；对于微小血管、扁平的癌变和增生则难以发现，容易发生漏诊。通过高分辨率的医学电子内窥镜及对应图像增强技术，可帮助医生观察到更多细节，提高浅表病杜及早期癌变的检出率，具有突出的诊疗优势。目前常用的医用图像处理系统以处理高清图像为主，大多基于PC机或FPGA片上系统进行设计和开发，可以满足高清视频图像实时增强的基本要求，可移植性强、性价比高。但当视频图像分辨率进一步提高时，需要处理的信息量会成倍增加，PC机平台的处理时间会成倍增加，很难达到实时性要求；基于FPGA的片上系统则需要扩展处理阵列数量，不仅增加设计复杂度，而且会提升系统成本。发明内容本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种医用超高清图像实时增强系统。本发明采用基于GPU的嵌入式系统完成医疗图像的实时处理过程，可对超高清医疗图像进行实时增强，最高可达到2160p60fps水平，具有实时性好、性价比高、可扩展性强的优势。为解决上述技术问题，本发明采用的技术方案是：一种医用超高清图像实时增强系统，包括：图像采集模块、图像增强模块、视频切换模块、通讯模块、微控制器和上位机；该系统对超高清图像进行采集和增强，再经所述视频切换模块进行通道选择和输出，最后由所述通讯模块传输给上位机进行显示；所述图像采集模块包含前置采样单元、数据缓存单元、信号处理单元、信号校正单元和时序驱动单元。优选的是，所述图像采集模块对超高清视频源进行采集和转换，输出标准数字格式的视频流给后续模块加以处理。优选的是，其中，所述数据缓存单元包括视频前置缓存单元和视频处理缓存单元，所述视频前置缓存单元为Ping-Pong结构的RAM，用于存储YUV信号；所述视频处理缓存单元同样为Ping-Pong结构，用于视频处理数据缓存，即去隔行计算的数据。优选的是，其中，模拟视频信号经所述前置采样单元中的前置高速视频AD转换，转换后存入所述视频前置缓存区域。优选的是，其中，所述信号处理单元用于对AD采样数据进行去隔行扫描、帧频变换和图像尺寸缩放控制，其处理依据由前置采样信号的视频模式识别结果进行自适应性选择。优选的是，其中，所述信号校正单元用于对原信号的YUV格式进行颜色空间转换，将其映射到YCbCr或RGB空间，同时完成显示图像部分的校正，包括对比度、亮度参数。优选的是，其中，时序驱动单元利用晶振时钟后端电路提供时钟管理基准，进行视频图像重叠和模块整体逻辑控制，输出处理后视频。优选的是，所述图像增强模块完成对输入多格式视频的处理功能，其由GPU计算阵列组成，所述图像增强模块采用基于双边滤波的自适应加权方法，具体包括以下步骤：1GPU内存分配与初始化：由微控制器控制GPU模块进行初始化，为图片数据和滤波模板分配对应大小的内存区，形成二维矩阵，用于并行化增强计算；2图像输入：通过所述图像采集模块输入图像；3通道分离：对输入的彩色图像进行通道分离，三通道分别进行增强；4求取局部标准差：根据滤波窗口半径计算标准差，假设一幅图像中像素点表示为xi，j,那么以i，j为中心，窗口大小为2n+1*2n+1的区域内，其局部均值和方差分别表示为：5求取增益系数：利用局部标准差对每个像素的增益系数进行求取，增益系数ki,j为全局标准差与局部标准差倒数乘积：6双边滤波分离高低频图像：采用双边滤波方法进行平滑，平滑图像为低频图像，原图像与平滑图像做差得到高频待增强图像，双边滤波权重系数表达式如下所示：其中，σs为值域高斯函数的标准差，σr为空域高斯函数的标准差，xc,yc为中心点；7高频图像增强：将得到的高频待增强图像与增益系数相乘进行增强；8高低频图像合并：将增强后的高频图像与低频图像合并，同时进行溢出检查；9通道合并：多通道图像合并，形成增强后图像；10增强图像输出：输出增强后图像，等待下一张图像输入。优选的是，所述视频切换模块同时接收所述图像采集模块传输的原始视频图像和图像增强模块传输的增强后的视频图像，并通过所述微控制器控制所述视频切换模块对两路信号进行选择性输出；所述视频切换模块定时对所述图像采集模块和图像增强模块状态进行判断，正常情况下输出增强后的视频图像，当所述增强模块遇到故障时，视频切换模块输出原始视频图像，保障视频流的稳定输出。优选的是，所述通讯模块负责所述微控制器和上位机的指令的发送和接收，其由微控制器进行控制。本发明的有益效果是：1本发明通用性强、适配性好，可增强多种不同格式的视频图像，视频格式范围由720p至4k，包含下720p、1080p、1080i、2KDCI、4KDCI和2160p等多视频格式。2本发明的图像增强处理速度快、实时性强，对于1080p及以下图像，可支持所有帧速率输出，包含24fps、29.97fps、30fps、50fps、59.94fps和60fps；对于超高清图像2160p，支持帧速率包括29.97fps、30fps、50fps、59.94fps和60fps；对于标准2K和4K视频图像，可支持23.98p、24p和25p速率。3本发明的系统采用嵌入式主板设计，体积小、功耗低。主系统采用ARM处理器与嵌入式GPU结合方式完成图像增强核心工作，体积较传统PC平台相比具有轻量化优势、大小和mini主机相当，功耗仅数十瓦，经济环保。4本发明的系统对医疗图像增强效果明显。可将医疗图像中的细节明显突出，帮助医生观察到难以发现的早期病灶、增生、微小异物和极为细小的血管部分，以此降低漏诊率和降低手术难度。附图说明图1为本发明的医用超高清图像实时增强系统的原理结构示意图；图2为本发明的图像采集模块的原理结构示意图；图3为本发明的图像增强模块的处理流程示意图；图4为本发明的图像切换模块的原理结构示意图；图5为本发明的图像增强原理示意图。具体实施方式下面结合实例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。如图1所示，本实例的一种医用超高清图像实时增强系统，包括：图像采集模块、图像增强模块、视频切换模块、通讯模块、微控制器和上位机；该系统对超高清图像进行采集和增强，再经所述视频切换模块进行通道选择和输出，最后由所述通讯模块传输给上位机进行显示。所述图像采集模块对医用超高清视频源进行采集和转换，输出标准数字格式的视频流给后续模块加以处理。所述图像采集模块包含前置采样单元、数据缓存单元、信号处理单元、信号校正单元和时序驱动单元。其中，所述数据缓存单元包括视频前置缓存单元和视频处理缓存单元，所述视频前置缓存单元为Ping-Pong结构的RAM，用于存储YUV信号；所述视频处理缓存单元同样为Ping-Pong结构，用于视频处理数据缓存，即去隔行计算的数据；其中，所述信号处理单元用于对AD采样数据进行去隔行扫描、帧频变换和图像尺寸缩放控制，其处理依据由前置采样信号的视频模式识别结果进行自适应性选择。其中，所述信号校正单元用于对原信号的YUV格式进行颜色空间转换，将其映射到YCbCr或RGB空间，同时完成显示图像部分的校正，包括对比度、亮度等参数。其中，时序驱动单元利用晶振时钟后端电路提供时钟管理基准，进行视频图像重叠和模块整体逻辑控制，输出处理后视频。参照图2，输入的模拟视频信号经前置高速视频AD转换，转换后存入视频前置缓存区域；再通过信号处理单元进行去隔行扫描、帧频变换和图像尺寸缩放控制；再由信号校正单元对信号的YUV格式进行颜色空间转换，将其映射到YCbCr或RGB空间，同时完成显示图像部分的对比度、亮度等参数的校正，输出标准视频信号。所述图像增强模块完成对输入多格式视频的处理功能，其由GPU计算阵列组成，所述图像增强模块采用基于双边滤波的自适应加权方法，参照图3，具体包括以下步骤：1GPU内存分配与初始化：由微控制器控制GPU模块进行初始化，为图片数据和滤波模板分配对应大小的内存区，形成二维矩阵GPU计算阵列，用于并行化增强计算；2等待图像输入：通过所述图像采集模块输入图像；3通道分离：对输入的彩色图像进行通道分离，三通道分别进行增强；4求取局部标准差：根据滤波窗口半径计算标准差，假设一幅图像中像素点表示为xi，j,那么以i，j为中心，窗口大小为2n+1*2n+1的区域内，其局部均值和方差分别表示为：5求取增益系数：利用局部标准差对每个像素的增益系数进行求取，增益系数ki,j为全局标准差与局部标准差倒数乘积：6双边滤波分离高低频图像：采用双边滤波方法进行平滑，平滑图像为低频图像，原图像与平滑图像做差得到高频待增强图像，双边滤波权重系数表达式如下所示：其中，σs为值域高斯函数的标准差，σr为空域高斯函数的标准差，xc,yc为中心点；7高频图像增强：将得到的高频待增强图像与增益系数相乘进行增强；8高低频图像合并：将增强后的高频图像与低频图像合并，同时进行溢出检查；9通道合并：多通道图像合并，形成增强后图像；10增强图像输出：输出增强后图像，等待下一张图像输入。参照图5，为图像增强原理示意图。参照图4，所述视频切换模块同时接收所述图像采集模块传输的原始视频图像和图像增强模块传输的增强后的视频图像，并通过所述微控制器控制所述视频切换模块对两路信号进行选择性输出；所述视频切换模块定时对所述图像采集模块和图像增强模块状态进行判断，正常情况下输出增强后的视频图像，当所述增强模块遇到故障、初始化较慢等情况时，视频切换模块输出原始视频图像，保障视频流的稳定输出。所述通讯模块负责所述微控制器和上位机的指令的发送和接收，其由微控制器进行控制。上位机指令主要包含复位、视频通道和视频模式选择、算法参数动态调节、采集模式选择等功能，上位机可通过对应指令更改相应的模块参数配置信息和选项。尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

权利要求：1.一种医用超高清图像实时增强系统，其特征在于，包括：图像采集模块、图像增强模块、视频切换模块、通讯模块、微控制器和上位机；该系统对超高清图像进行采集和增强，再经所述视频切换模块进行通道选择和输出，最后由所述通讯模块传输给上位机进行显示；所述图像采集模块包含前置采样单元、数据缓存单元、信号处理单元、信号校正单元和时序驱动单元。2.根据权利要求1所述的医用超高清图像实时增强系统，其特征在于，所述图像采集模块对超高清视频源进行采集和转换，输出标准数字格式的视频流给后续模块加以处理。3.根据权利要求2所述的医用超高清图像实时增强系统，其特征在于，其中，所述数据缓存单元包括视频前置缓存单元和视频处理缓存单元，所述视频前置缓存单元为Ping-Pong结构的RAM，用于存储YUV信号；所述视频处理缓存单元同样为Ping-Pong结构，用于视频处理数据缓存，即去隔行计算的数据。4.根据权利要求3所述的医用超高清图像实时增强系统，其特征在于，其中，模拟视频信号经所述前置采样单元中的前置高速视频AD转换，转换后存入所述视频前置缓存区域。5.根据权利要求4所述的医用超高清图像实时增强系统，其特征在于，其中，所述信号处理单元用于对AD采样数据进行去隔行扫描、帧频变换和图像尺寸缩放控制，其处理依据由前置采样信号的视频模式识别结果进行自适应性选择。6.根据权利要求5所述的医用超高清图像实时增强系统，其特征在于，其中，所述信号校正单元用于对原信号的YUV格式进行颜色空间转换，将其映射到YCbCr或RGB空间，同时完成显示图像部分的校正，包括对比度、亮度参数。7.根据权利要求6所述的医用超高清图像实时增强系统，其特征在于，其中，时序驱动单元利用晶振时钟后端电路提供时钟管理基准，进行视频图像重叠和模块整体逻辑控制，输出处理后视频。8.根据权利要求7所述的医用超高清图像实时增强系统，其特征在于，所述图像增强模块完成对输入多格式视频的处理功能，其由GPU计算阵列组成，所述图像增强模块采用基于双边滤波的自适应加权方法，具体包括以下步骤：1GPU内存分配与初始化：由微控制器控制GPU模块进行初始化，为图片数据和滤波模板分配对应大小的内存区，形成二维矩阵，用于并行化增强计算；2图像输入：通过所述图像采集模块输入图像；3通道分离：对输入的彩色图像进行通道分离，三通道分别进行增强；4求取局部标准差：根据滤波窗口半径计算标准差，假设一幅图像中像素点表示为xi，j,那么以i，j为中心，窗口大小为2n+1*2n+1的区域内，其局部均值和方差分别表示为：5求取增益系数：利用局部标准差对每个像素的增益系数进行求取，增益系数ki,j为全局标准差与局部标准差倒数乘积：6双边滤波分离高低频图像：采用双边滤波方法进行平滑，平滑图像为低频图像，原图像与平滑图像做差得到高频待增强图像，双边滤波权重系数表达式如下所示：其中，σs为值域高斯函数的标准差，σr为空域高斯函数的标准差，xc,yc为中心点；7高频图像增强：将得到的高频待增强图像与增益系数相乘进行增强；8高低频图像合并：将增强后的高频图像与低频图像合并，同时进行溢出检查；9通道合并：多通道图像合并，形成增强后图像；10增强图像输出：输出增强后图像，等待下一张图像输入。9.根据权利要求1所述的医用超高清图像实时增强系统，其特征在于，所述视频切换模块同时接收所述图像采集模块传输的原始视频图像和图像增强模块传输的增强后的视频图像，并通过所述微控制器控制所述视频切换模块对两路信号进行选择性输出；所述视频切换模块定时对所述图像采集模块和图像增强模块状态进行判断，正常情况下输出增强后的视频图像，当所述增强模块遇到故障时，视频切换模块输出原始视频图像，保障视频流的稳定输出。10.根据权利要求1所述的医用超高清图像实时增强系统，其特征在于，所述通讯模块负责所述微控制器和上位机的指令的发送和接收，其由微控制器进行控制。

百度查询： 中国科学院苏州生物医学工程技术研究所 医用超高清图像实时增强系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD