申请/专利权人：湖州师范学院

申请日：2023-03-11

公开（公告）日：2023-06-23

公开（公告）号：CN116310335A

主分类号：G06V10/26

分类号：G06V10/26;G06V10/40;G06V10/80;G06V10/82;G06T7/11;G06T7/13;G06T7/00;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2023.09.26#实质审查的生效;2023.06.23#公开

摘要：本发明公开了一种基于VisionTransformer的翼状胬肉病灶区域的分割方法，属于图像处理与应用技术领域，本发明目的是解决现有针对翼状胬肉病灶区域定位、分割不准确等问题。本方法包括：选取合作医院提供的眼前节图像作为原始样本，将样本划分为训练集、验证集和测试集，并进行一系列预处理操作；提出了融合VisionTransformer、卷积网络和金字塔池化模块相融合的语义分割模型对眼前节图像中翼状胬肉病灶区域进行语义分割，利用本发明提出的基于VisionTransformer的翼状胬肉病灶区域的分割方法可以提取出更多的目标信息从而实现对眼前节图像中翼状胬肉的高效且准确的分割。

主权项：1.基于VisionTransformer的翼状胬肉病灶区域的分割方法，所述分割方法包括采集模块、语义分割网络模块和训练模块，利用数据采集模块、语义分割网络模块和训练模块对患病眼前节图像进行分割处理，其特征是，具体为以下步骤：1所述的患病眼前节图像构成一组翼状胬肉分割数据集，所述翼状胬肉分割数据集作为原始数据样本，所述数据采集模块对所述的原始数据样本中的图像进行预处理操作，以保证图像的长和高相同，形成一组训练集图像；2利用所述语义分割网络模块对所述训练集图像进行分割，所述语义分割网络模块包括VisionTransformer网络和卷积网络；所述VisionTransformer网络利用一种图像分块方法对所述训练集图像进行处理，通过叠加多层的多头注意力机制获得一种图像块关联关系，进而取得图像注意力图；所述卷积网络通过一种多层的卷积操作取得图像特征图；所述图像注意力图和图像特征图通过矩阵加法运算得到所述图像特征图，通过一种金字塔池化方法获得翼状胬肉分割图；3利用训练模块对分割模型进行训练，将所述翼状胬肉分割数据集输入所述语义分割网络模块进行训练，训练时通过设置学习率、损失函数方法、学习迭代周期调整模型参数，最终形成翼状胬肉病灶区域分割模型；所述的预处理操作为：本发明方法要求的输入图像尺寸为M×N×3，M和N为正整数，原始图像尺寸为H×W，H和W为正整数，先将图像进行缩放为M×NH×W，再将较短的边两边平均补上灰边将其尺寸转换为M×N；所述的图像分块方法为：先通过上采样操作将M×N×3大小的图像上采样为M’×N’×3，将M’×N’×3的图像输入到VisionTransformer，将输入图片划分成M’Patch×N’Patch个Patch×Patch大小的图像块后，并在每个所述图像块上添加大小为1×M’Patch×N’Patch×3×Patch×Patch可训练的位置信息参数；所述的多头注意力机制为：以所述图像块为单位输入多头注意力机制，通过矩阵运算计算出各图像块之间的关系并生成新的M’Patch×N’Patch×3×Patch×Patch大小的图像特征，循环12-16次所述多头注意力机制；将所述多头注意力机制中生成的图像特征经过一种变换操作获得所述图像注意力图，通过连接一个卷积核大小为3×3的卷积模块获得大小为2048×30×30图像注意力图；所述的卷积网络为：采用ResNet50模型在公开数据集ImageNet上预训练后获得的参数作为所述卷积网络的初始化参数，经过4层大小结构不同的卷积模块，提取出所述图像特征图；所述的金字塔池化方法如下：将所述图像注意力图和图像特征图通过矩阵加法运算得到新的图像特征图，输入到金字塔池化模块中，先通过卷积操作将所述图像特征图维度转换为其维度的14；再利用4种不同大小的池化块分别进行池化操作得到图像特征图a、图像特征图b、图像特征图c、图像特征图d；最后将所述图像特征图a、图像特征图b、图像特征图c、图像特征图d上采样后与新的图像特征图进行堆叠得到图像特征图e；将所述图像特征图a、图像特征图b、图像特征图c、图像特征图d输入阶段上采样模块，通过上采样和特征融合操作获得图像特征图，并与所述图像特征图e进行堆叠得到全新的图像特征图f，最后通过对所述图像特征图f进行卷积操作得到语义分割图像。

全文数据：

权利要求：

百度查询： 湖州师范学院 一种基于Vision Transformer的翼状胬肉病灶区域的分割方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD