申请/专利权人：中国科学技术大学

申请日：2023-10-18

公开（公告）日：2024-02-23

公开（公告）号：CN117095694B

主分类号：G10L25/18

分类号：G10L25/18;G10L25/45;G10L25/51;G06N3/0442;G06N3/0464;G06N3/048;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.02.23#授权;2023.12.08#实质审查的生效;2023.11.21#公开

摘要：本发明提供一种基于标签层级结构属性关系的鸟类鸣声识别方法，属于生态学与人工智能技术交叉领域，包括：为每只鸟（如目、科和属）引入了分层多粒度标签，并利用分层语义嵌入框架来捕获不同粒度级别的特征信息。在整个网络中使用特定的注意力机制来提取和选择层级间的一般属性和特有属性，从而提高分类的准确性。本发明还采用一种简单而有效的路径校正策略来更正模型产生的不符合层级约束的预测结果。本发明可以大大提升类别预测的准确性并降低分类错误损失。

主权项：1.一种基于标签层级结构属性关系的鸟类鸣声识别方法，其特征在于，包括如下步骤：步骤1、对每条原始音频进行预处理，所述预处理包括原始音频的信噪分离、预加重、分帧、加窗、离散傅里叶变换，应用梅尔滤波器组进行信号平滑化获得时序信号，并利用差分算子处理所得时序信号，组合为3D频谱图，获得训练鸟类鸣声识别算法模型所需的特征，包括：步骤（1.1）对原始音频的格式进行归一化，获得声音文件；步骤（1.2）将声音文件按照训练集：验证集：测试集=8:1:1进行划分；步骤（1.3）进行声音文件的信号与噪声分离，包括：将音频通过汉明窗口函数来进行短时傅立叶变换，然后将每个帧元素除以最大值，使得所有值在区间[0，1]中，形成标准化声谱图；对于信号部分，选择标准化声谱图中大于行中值三倍且大于列中值三倍的所有像素，将这些像素设置为1，将其他像素设置为0；应用一个4×4二进制侵蚀滤波器和两个4×1二进制膨胀滤波器去除噪声并连接片段；创建一个新的指示向量，对标准化声谱图中包含至少一个1的列进行指示，代表提取的信号部分；所述信号部分代表鸟鸣或鸣叫元素；对于噪声部分，选择标准化声谱图中小于行和列中值2.5倍的所有像素，将这些像素设置为1，将其他像素设置为0；应用一个4×4二进制侵蚀滤波器和两个4×1二进制膨胀滤波器去除噪声并连接片段；创建一个新的指示向量，对标准化声谱图中包含至少一个1的列进行指示，代表提取的噪声部分；所述噪声部分代表背景声音或杂音；通过连接属于鸟鸣或鸣叫元素、背景声音或杂音的所有帧，分别形成BirdsOnly文件和NoiseOnly文件；将信号部分和噪声部分保存，为后续数据扩充作准备；步骤（1.4）通过信号可视化的三维特征图提取构造输入数据；步骤（1.5）设计对场景适应的数据增强策略：对于所有鸟类音频，采用以下3种数据增强方法：（ⅰ）添加BirdsOnly文件中的鸟鸣或鸣叫元素以增加数据集；（ⅱ）采用概率为0.5的随机频谱图混合，以适应鸣声重叠的情况；（ⅲ）采用概率为0.25的随机tanh失真，以适应低质量音频情况；对于珍稀鸟类和濒危鸟类，分别进行随机数据扩充，以缓解数据中长尾分布的问题，包括以下2种数据增强方法：（ⅰ）随机选择并添加来自NoiseOnly文件的背景声音或杂音；（ⅱ）随机裁剪并拼接同一鸟类音频以扩充样本；上述两种数据增强方法以0.25的概率应用于珍稀鸟类，以0.5的概率应用于濒危鸟类；步骤2、搭建基于层级结构的鸟类鸣声识别算法模型，并利用步骤1获得的特征训练基于层级结构的鸟类鸣声识别算法模型；通过带位置注意力的Xception模型增强鸟类鸣声在所有层级粒度的表达能力，并通过层级信息交互模块的设计使位于不同层级粒度的特有特征具有区分性与判别性；采用少数服从多数、底层优先、分数优先的路径矫正策略进行后处理；步骤3、利用所述鸟类鸣声识别算法模型，对外部测试集进行鸟类鸣声识别，针对焦点声音识别与声景识别两种不同应用场景设计不同的模型推理过程，得到识别结果。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于标签层级结构属性关系的鸟类鸣声识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD