申请/专利权人：深圳市美侨医疗科技有限公司

申请日：2023-07-25

公开（公告）日：2023-11-17

公开（公告）号：CN116630867B

主分类号：G06V20/40

分类号：G06V20/40;G06T7/246;G06N3/0464;G06N3/096;G06V10/82;G06V10/75

优先权：

专利状态码：有效-授权

法律状态：2023.11.17#授权;2023.09.08#实质审查的生效;2023.08.22#公开

摘要：本申请涉及医学细胞识别的技术领域，尤其涉及一种基于MaskR‑CNN的白带滴虫检测与跟踪方法。本申请通过使用MaskR‑CNN实例分割模型准确地识别出视频序列中的Detections，Detections包括滴虫的质心坐标、外接矩形框及mask区域，然后通过使用Deepsort算法对滴虫进行实时跟踪并统计运动滴虫和非运动待确认滴虫的个数。当在Detections中不包含运动滴虫的情况下，对检出的Detections进行二次判断，从而识别出一些运动幅度不大或者主体不动只有鞭毛摆动的静态滴虫，最后综合检测结果输出白带标本的属性，相比较于相关技术中基于时间序列的帧差法对运动目标进行分析的方法，检出率更高、识别率更好，大大降低了白带临床检测中滴虫的假阴性率。

主权项：1.一种基于MaskR-CNN的白带滴虫检测与跟踪方法，其特征在于，包括如下步骤：在预设轨迹点上对白带标本进行拍摄，得到视频序列并对所述视频逐帧进行预处理；其中，所述预处理包括对所述视频逐帧进行色彩变换；利用MaskR-CNN模型对预处理后的视频序列进行检测，得到目标检测对象，记为Detections，其中，所述Detections包括视频序列中滴虫的质心坐标、外接矩形框以及mask区域；使用Deepsort算法对所述Detections中的滴虫进行实时跟踪并统计运动滴虫和非运动待确认滴虫的个数；在所述Detections中不包含运动滴虫的情况下，对所述Detections中非运动待确认滴虫进行二次判断；若二次判断结果中滴虫个数大于0，则判定所述白带标本为滴虫阳性，否则为滴虫阴性；其中，所述使用Deepsort算法对所述Detections中的滴虫进行实时跟踪并统计运动滴虫和非运动待确认滴虫的个数的过程中，包括如下步骤：将第1次检测出的Detections初始化为对应的轨迹，记为Tracks，设定所述Tracks的状态为不确定态；初始化卡尔曼滤波的运动变量，使用卡尔曼滤波预测所述Tracks对应的矩形框，得到已预测Tracks；将当前帧图像中检测到的Detections与所述已预测Tracks进行目标匹配，得到目标匹配结果，所述目标匹配结果包括Tracks失配、Detections失配和匹配成功；在同一所述已预测Tracks连续匹配成功次数≥3的情况下，确定所述Detections为滴虫，将所述Detections对应的Tracks的状态设定为确定态，标记所述Detections的ID并记录所述Detections的位置信息；将状态为确定态的Tracks与当前帧检测到的Detections进行级联匹配，统计匹配结果；在重复循环所述目标匹配直到统计完整个视频的匹配结果之后，依据ID遍历所有追踪到的滴虫，分别计算同一ID滴虫记录的第一次质心坐标和中间一次、最后一次质心坐标之间的欧式距离，取两者中的最大值作为距离值，若所述距离值大于预设欧式距离阈值，则判定该滴虫为运动滴虫，否则判定为非运动待确认滴虫；统计运动滴虫和非运动待确认滴虫的个数，若运动滴虫个数大于0，则直接判定白带样本为滴虫阳性，检测结束；其中，所述将当前帧图像中检测到的Detections与所述已预测Tracks进行目标匹配，得到目标匹配结果的过程中，包括如下步骤：确认当前已存在的所有Tracks的状态，其中，Tracks的状态包括确定态Tracks和不确定态Tracks；将所有不确定态Tracks与当前帧检测到的Detections逐一进行交并比匹配，依据匹配结果计算代价矩阵；将所有所述代价矩阵输入匈牙利算法，得到目标匹配结果，所述目标匹配结果包括Tracks失配、Detections失配和匹配成功；在Tracks失配的情况下，若当前该Detections对应的Tracks为不确定态，则直接删除；若为确定态，且满足已经和Detections连续失配次数达30次以上，则直接删除，否则继续进行匹配；在Detections失配的情况下，创建一个新Tracks，状态设定为不确定态，继续进行匹配，若其连续匹配成功次数≥3时，将其状态更改为确定态，否则直接删除；在匹配成功的情况下，若当前该Tracks为不确定态，继续进行匹配；当连续匹配成功次数≥3时，将其状态更改为确定态，通过卡尔曼滤波更新其对应的Tracks变量进行级联匹配，若连续匹配成功次数3，则直接删除该轨迹；其中，所述将状态为确定态的Tracks与当前帧检测到的Detections进行级联匹配，统计匹配结果的过程中，包括如下步骤：以当前检测帧为基准，依次遍历前N帧追踪过程中存在的确定态Tracks，计算每层中所有确定态Tracks的深度特征与当前帧检测到的所有Detections的对应特征之间的余弦距离，取所有所述余弦距离中的最小值作为该Tracks与检测结果之间的计算值，得到代价矩阵；对所述代价矩阵进行运动信息约束，计算当前Tracks与所有Detections的马氏距离，并将代价矩阵中马氏距离大于预设马氏距离阈值的值设为无穷大；将已进行运动信息约束的代价矩阵输入匈牙利算法，得到级联匹配结果，为匹配成功的滴虫标记相同ID，记录其位置信息，通过卡尔曼滤波更新其对应的Tracks变量，并利用Deepsort模型提取当前对应Detections的深度特征和运动信息特征并保存；其中，在所述Detections中不包含运动滴虫的情况下，对所述Detections中非运动待确认滴虫进行二次判断的过程中，包括如下步骤：基于记录的Detections的ID，遍历各Detections的质心坐标，去除位置重复区域；将Detections包含的Mask区域以及外接矩形框区域映射到原始白带样本图像中；计算Detections的面积、圆形度和最小外接矩形，依据面积阈值、最小外接矩形宽高比阈值和圆形度阈值，对与滴虫差异大于预设阈值的区域进行过滤；计算剩余待判断Detections的最小外接矩形与水平方向的倾斜角度a，并将其最小外接矩形区域包含的彩色子图像沿逆时针方向旋转倾斜角度a后保存；将保存的子图像分为滴虫与非滴虫两类，并统一所述子图像的尺寸；修改resnet50网络输出层，冻结该网络的前26层，将基于ImageNet数据集的预训练权重迁移到该模型中作为初始权重进行训练，得到滴虫的2分类resnet50模型；使用resnet50模型对统一尺寸后的所述子图像进行分类，判断所述子图像是否为滴虫，并进行计数。

全文数据：

权利要求：

百度查询： 深圳市美侨医疗科技有限公司 一种基于Mask R-CNN的白带滴虫检测与跟踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD