申请/专利权人：成都中医药大学

申请日：2023-12-13

公开（公告）日：2024-03-08

公开（公告）号：CN117423041B

主分类号：G06V20/40

分类号：G06V20/40;G16H50/20;G16H20/90;G06V40/16;G06V10/44;G06V10/764;G06N3/0455;G06N3/0499;G06N3/0464;G06N3/082

优先权：

专利状态码：有效-授权

法律状态：2024.03.08#授权;2024.02.06#实质审查的生效;2024.01.19#公开

摘要：本发明公开了一种基于计算机视觉的面部视频判别中医气血系统，该系统包括视频采集模块、视频预处理模块、特征提取模块、气血辨识模块和模型升级模块；视频采集模块采集受试者面部视频；视频预处理模块将视频裁剪为视频帧；特征提取模块基于Transformer构建气血特征提取模型，使用多头注意力机制、3D卷积等深度神经网络提取所述视频帧的气血特征；气血辨识模块获取最终辨识结果，并通过多任务学习提升模型表现；模型升级模块通过提高模型对难以分类样本的关注度，实现模型闭环优化。本发明以面部视频为采样媒介并采用计算机视觉和人工智能技术构建气血特征提取模型，基于模型提取的气血特征实现中医气血辨证及分类，极大减少了人为干预。

主权项：1.一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，该系统包括：视频采集模块，采集面部视频；视频预处理模块，将所述面部视频切割，划分为视频帧；特征提取模块，基于Transformer构建气血特征提取模型，从所述视频帧中提取中医气血相关特征；所述气血特征提取模型包括浅层粗特征提取单元、中间层patchembedding单元以及深层注意力机制单元；所述浅层粗特征提取单元从所述视频帧中提取粗略时空特征；所述中间层patchembedding单元将所述粗略时空特征分成非重叠的tubetoken并且编码；所述深层注意力机制单元包括时空多头自注意力和时空前馈神经网络，所述时空多头自注意力使用3D卷积神经网络构建所述tubetoken的向量Q、K、V投影，并对向量Q、K进行归一化，将向量Q、K、V展平并送入指定个数的注意力头中，再对每个注意力头的特征输出进行特征拼接、线性投影及残差连接后得到注意力特征；将所述注意力特征喂入所述时空前馈神经网络，所述时空前馈神经网络输出所述中医气血相关特征；气血辨识模块，获取气血分类结果以及模型训练；获取所述气血分类结果的步骤包括：依次对所述中医气血相关特征进行时间上采样、空间平均、卷积和线性投影，获取气血分类结果；所述模型训练的步骤包括：使用交叉熵损失函数计算气血辨证损失，使用均方差损失函数分别计算心率损失和血压损失，最后计算气血辨证损失、心率损失和血压损失的加权求和，获取总损失，使用所述总损失进行模型训练，确定气血特征提取模型参数；模型升级模块，用于所述气血特征提取模型参数的修正，具体步骤包括：若所述气血分类结果与专家实际辨识结果不一致，则将视频帧数据重新送入模型，并使用OHEM训练方式进行迭代训练，直至修正后的气血特征提取模型输出的气血分类结果与专家实际辨识结果达到一致。

全文数据：

权利要求：

百度查询： 成都中医药大学 一种基于计算机视觉的面部视频判别中医气血系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD