申请/专利权人：中日友好医院(中日友好临床医学研究所)

申请日：2024-02-28

公开（公告）日：2024-05-14

公开（公告）号：CN117789284B

主分类号：G06V40/18

分类号：G06V40/18;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.05.14#授权;2024.04.16#实质审查的生效;2024.03.29#公开

摘要：缺血型视网膜静脉阻塞的识别方法及装置，能提取全局信息和上下文信息，又能准确地抓取其局部信息，全方位地准确识别缺血型视网膜静脉阻塞。包括：（1）数据读取：读取标注好的FFA影像，对数据进行预处理和增强，并按照比例随机划分为训练集、验证集和测试集；（2）模型训练：分别经过VisionTransformer和CNN网络提取特征，将两张特征图拼接，进行融合；送入全连接层来获取FFA影像的识别结果，期间通过损失函数进行反向传播，以此训练模型；（3）模型测试：使用训练好的模型的参数文件来进行参数的加载，读取待识别的FFA影像，对影像进行预处理使其与训练数据的格式一致，送入模型得到识别结果。

主权项：1.缺血型视网膜静脉阻塞的识别方法，其特征在于：其包括以下步骤：（1）数据读取：读取标注好的FFA影像，每一幅FFA影像的分辨率为768像素×768像素，标注由眼科医生对FFA影像进行手工标注缺血型视网膜静脉阻塞RVO无灌注区，然后对数据进行预处理和增强，并按照比例随机划分为训练集、验证集和测试集，用以训练，验证和评估所提出的网络；（2）模型训练：预处理后的FFA影像分别经过VisionTransformer和CNN网络提取特征，将两张特征图进行concat拼接，然后利用1×1的卷积对经过VisionTransformer提取的特征和经过CNN提取的特征进行融合，从而全方位提取FFA影像的特征信息；最后将融合后的特征图送入全连接层来获取FFA影像的识别结果，期间通过损失函数进行反向传播，以此训练模型；（3）模型测试：使用训练好的模型的参数文件来进行参数的加载，读取待识别的FFA影像，对影像进行预处理使其与训练数据的格式一致，将其送入步骤（2）的模型中，得到缺血型视网膜静脉阻塞的识别结果；所述步骤（2）包括以下分步骤：（2.1）将分辨率为768像素×768像素的FFA影像，作为输入按批次送入标准的VisionTransformer模型进行特征提取，每个批次的大小为16，其输出大小为224像素×224像素，记为F1；（2.2）将分辨率为768像素×768像素的FFA影像，作为输入按批次送入Resnet18网络结构的CNN模型进行特征提取，每个批次的大小为16，其输出大小为224像素×224像素，记为F2；（2.3）将两张特征图F1和F2进行concat拼接，得到特征图F12，其大小为224像素×224像素×2；（2.4）利用1×1的卷积对特征图F12进行融合后，得到特征图F，其大小为224像素×224像素；（2.5）融合后的特征图F送入全连接层L来获取FFA影像的识别结果P，F×L=P，全连接层L大小为224×224；（2.6）将P与真实值T进行比较，根据公式（5）的损失函数计算后，进行反向传播； （5），其中，表示第个样本的真实标签值，表示第个样本的预测值，默认对数以自然数为底，和表示医生依据临床经验赋予第个正样本的权重；（2.7）直到损失函数的值趋于稳定才停止训练；（2.8）保存整个网络结构以及所有参数值的大小；所述步骤（2.1）中，将缺血型RVO的无灌注区在荧光造影FFA影像上的绝对位置信息，引入到VisionTransformer的Token中，与其相对位置信息进行融合；所述步骤（2.1）中，绝对位置编码用1到patches的块数表示，根据公式（1）计算，其中，表示token向量，表示绝对位置编码，其维度与token相同 （1）相对位置编码，用patches的中心与后极部的中心之间的距离来表示，根据公式（2）计算，与自注意力机制进行融合，其中表示token向量，表示相对位置编码，其维度与token相同，表示信息参数矩阵；根据公式（3）计算，是对的softmax处理；根据公式（4）计算，其中，是查询参数矩阵，是关键字参数矩阵，和表示相对位置编码，其维度与token相同，表示token向量的维度 （2） （3） （4）。

全文数据：

权利要求：

百度查询： 中日友好医院(中日友好临床医学研究所) 缺血型视网膜静脉阻塞的识别方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD