申请/专利权人：南京林业大学

申请日：2022-03-02

公开（公告）日：2024-04-02

公开（公告）号：CN114596632B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/77;G06V10/762;G06V10/764;G06V10/82;G06N3/0464;G06N3/042;G06N3/045;G06N3/084;G06N3/048

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2022.06.24#实质审查的生效;2022.06.07#公开

摘要：一种基于架构搜索图卷积网络的中大型四足动物行为识别方法，步骤包括：首先基于动物骨架的行为特征的提取，针对复杂野外环境下的中大型四足动物视频图像，利用姿态估计算法DeepLabCut快速跟踪动物身体部位关节点的位置，构成时空骨架图，进而捕捉四足动物不同行为的时空特征。然后设计多个基于动物骨架的时空图卷积操作模块，构成基于图的搜索空间，其中融合了残差连接、瓶颈结构和多种注意力机制，提高识别模型性能的同时，使网络更加轻量化。接着，基于可微架构搜索策略实现搜索空间的连续化，以自动搜索用于中大型四足动物行为识别的低成本时空图卷积模型，最终实现区分动物日常行为的目的，具有一定的应用前景。

主权项：1.一种基于架构搜索图卷积网络的中大型四足动物行为识别方法，步骤包括：1首先采集野外环境下的中大型四足动物视频；2基于中大型四足动物骨架的行为特征提取身体关节点位置，构建动物骨架图，其特征还包括：3设计基于中大型四足动物时空骨架图的多个时空图卷积操作模块以构建基于图的搜索空间；4基于可微架构搜索策略，自动搜索用于中大型四足动物行为识别的低成本时空图卷积模型，来区分动物简单日常行为；所述步骤3包括：3.1将动物关节点按照身体部位划分，构成基于动物身体部位的部分图，从而每个行为的时空骨架图由2方面组成：各个关节点构成的关节图和各个身体部位构成的部分图；3.2对于基于动物骨架的行为识别模型的搜索空间，设计多个时空图卷积操作以搜索动态图的最优操作组合方式：基于动物关节点构成的关节图设计了4个时空图卷积操作，分别为：基础时空图卷积操作、基于残差结构的时空图卷积操作、基于通道注意力机制的时空图卷积操作和基于时间注意力机制的时空图卷积操作；基于动物身体部位构成的部分图设计了3种基于部分注意力机制的时空图卷积操作，分别为基于部分注意力机制的时空图卷积操作、基于部分卷积注意力机制的时空图卷积操作和基于部分分享注意力机制的时空图卷积操作；3种部分注意力机制的时空图卷积操作的执行流程一致，区别是它们的池化操作不同；所述步骤4包括：4.1针对步骤3构建的搜索空间，组成网络架构搜索的基本单元；4.2通过重复堆叠多层基本单元构成最终的行为识别模型，从而识别中大型四足动物的行为；所述步骤3.2中，3种基于部分注意力机制的时空图卷积操作的流程相同：首先，将动物各个身体部分特征在时间维度上池化连接；然后经过一个带有BatchNorm和Relu函数的二维卷积层；最后利用多个二维卷积层计算身体部位特征的注意力矩阵，注意力矩阵的数量与身体部位构成的部分图的数量对应，并利用Softmax函数确定不同身体部位的重要性程度；步骤3.2的基于动物关节点构成的关节图的时空图卷积操作中：基础时空图卷积操作首先对输入特征执行空间图卷积操作，然后在此基础上进行一维时间卷积；基于残差结构的时空图卷积操作是在时空卷积层的前后分别插入1*1的卷积，实现bottleneck结构，同时在时空模块间添加跨连接来获取更多信息；基于时间注意力机制的时空图卷积操作针对输入特征映射分别采用平均池化和最大池化两种操作，再将池化后的特征重新组合，经二维卷积处理后，与输入融合共同归一化，激活函数采用Relu，最结果使不同帧在网络中的重要性程度发生改变；基于通道注意力机制的时空图卷积操作对输入特征采用平均池化，再对通道进行二维卷积处理，激活函数采用的是Relu，最终结果使网络自适应地调整每个通道的注意力权重。

全文数据：

权利要求：

百度查询： 南京林业大学 基于架构搜索图卷积网络的中大型四足动物行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD