申请/专利权人：汉中中园农业科技发展(集团)有限公司;汉中市科技资源统筹中心(汉中植物研究所)

申请日：2024-01-16

公开（公告）日：2024-04-26

公开（公告）号：CN117576571B

主分类号：G06V20/10

分类号：G06V20/10;G06N3/045;G06V10/44;G06V10/50;G06V10/56;G06V10/80;G06V10/82;G06F16/35

优先权：

专利状态码：有效-授权

法律状态：2024.04.26#授权;2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本发明涉及植物病害识别技术领域，尤其涉及基于图像和文本的多模态果蔬叶片病害识别方法及系统，该方法的步骤包括：获取叶片病害图像和文本信息，文本信息包括时间信息、地理位置信息、环境信息和用户输入的文本描述信息；对文本信息进行预处理，预处理包括缺失值填充和降噪；通过卷积神经网络提取叶片病害图像中的病斑特征信息并获取生长阶段信息；对文本信息和生长阶段信息进行文本特征分析，提取文本特征信息；对病斑特征信息和文本特征信息进行融合，输出病害识别结果。本发明通过对图像信息和文本信息进行多模态融合并对缺失的文本信息进行有效填充，提高了病害识别的可靠性和准确率。

主权项：1.基于图像和文本的多模态果蔬叶片病害识别方法，其特征在于，包括下述步骤：获取叶片病害图像和文本信息，文本信息包括时间信息、地理位置信息、环境信息和用户输入的文本描述信息；对文本信息进行预处理，预处理包括缺失值填充和降噪；通过卷积神经网络提取叶片病害图像中的病斑特征信息并获取生长阶段信息；对文本信息和生长阶段信息进行文本特征分析，提取文本特征信息；对病斑特征信息和文本特征信息进行融合，输出病害识别结果；所述缺失值填充用于对文本信息中的缺失值进行填充，具体步骤包括：当地理位置信息或时间信息存在缺失时，通过叶片病害图像获取叶片病害背景图像相似性并按照从大到小排序，将排序中前个叶片病害背景图像相似性对应的叶片病害图像映射的文本信息中出现频次最高的地理位置信息或时间信息作为缺失值进行填充，其中，为大于0的正整数；当环境信息存在缺失时，通过地理位置信息和时间信息获取时空信息相似性，将时空信息相似性最高的文本信息中的环境信息作为缺失值进行填充；当文本描述信息存在缺失时，通过叶片病害图像获取病斑图像相似性，将病斑图像相似性最高的文本信息中的文本描述信息作为缺失值进行填充；所述叶片病害背景图像相似性计算的具体步骤包括：通过DeepLabV3+模型获取叶片病害背景图像，将缺失地理位置信息或时间信息的叶片病害背景图像记作第一背景图像，将文本信息完整的叶片病害背景图像记作第二背景图像；计算叶片病害背景图像相似性，用下式表示： ；式中表示第一背景图像，表示第二背景图像，表示第一背景图像的宽度，表示第一背景图像的高度，表示第二背景图像的宽度，表示第二背景图像的高度，表示取最小值函数，表示第一背景图像的平均亮度，表示第二背景图像的平均亮度，表示第一背景图像和第二背景图像的协方差，表示第一背景图像的方差，表示第二背景图像的方差，和表示稳定性常数，表示第一背景图像和第二背景图像的相似性；所述时空信息相似性最高的文本信息获取的具体步骤包括：将环境信息缺失的文本信息作为第一文本信息，将信息完整的文本信息作为第二文本信息；通过地理位置信息获取距离差值，用下式表示： ；式中表示地球半径，表示第一文本信息中地理位置信息的纬度与第二文本信息中地理位置信息的纬度之差，表示第一文本信息中地理位置信息的纬度，表示第二文本信息中地理位置信息的纬度，表示第一文本信息中地理位置信息的经度与第二文本信息中地理位置信息的经度之差，表示距离差值；通过对第一文本信息中的时间信息和第二文本信息中的时间信息作差，获取时间差值；将距离差值小于预设距离阈值且时间差值最小的文本信息作为时空信息相似性最高的文本信息；所述病斑图像相似性计算的具体步骤包括：通过U-Net模型获取叶片病害图像中的病斑图像，将缺失文本描述信息的叶片病害图像的病斑图像记作第一病斑图像，将文本信息完整的叶片病害图像的病斑图像记作第二病斑图像；计算病斑图像相似性，用下式表示： ；式中表示权重参数，表示颜色空间中的颜色数量，表示第一病斑图像颜色直方图中第个颜色的归一化频率，表示第二病斑图像颜色直方图中第个颜色的归一化频率，表示第一病斑图像中像素灰度值和像素灰度值在相同的距离和方向上共同出现的概率，表示第二病斑图像中像素灰度值和像素灰度值在相同的距离和方向上共同出现的概率，表示病斑图像相似性；所述文本信息与叶片病害图像为一对一映射关系，其中，时间信息为获取叶片病害图像的时间信息，地理位置信息为获取叶片病害图像的地理位置信息，环境信息为获取叶片病害图像的环境信息，用户输入的文本描述信息以叶片病害图像为描述对象；所述环境信息包括气象信息和土壤信息，其中，气象信息包括天气类型、温度信息、湿度信息、日照时长信息和降水量信息，土壤信息包括土壤温度信息和土壤湿度信息；所述文本描述信息包括果蔬种类、种植时间、病斑颜色和病斑面积占叶片面积的比例。

全文数据：

权利要求：

百度查询： 汉中中园农业科技发展(集团)有限公司;汉中市科技资源统筹中心(汉中植物研究所) 基于图像和文本的多模态果蔬叶片病害识别方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD