申请/专利权人：南京纳实医学科技有限公司

申请日：2023-12-27

公开（公告）日：2024-03-26

公开（公告）号：CN117475360B

主分类号：G06V20/40

分类号：G06V20/40

优先权：

专利状态码：有效-授权

法律状态：2024.03.26#授权;2024.02.20#实质审查的生效;2024.01.30#公开

摘要：发明公开了基于改进型MLSTM‑FCN的音视频特点的生物体征提取与分析方法，具体涉及生物特征提取领域，首先，通过音视频分离得到音频和视频数据，并利用分离效能系数生成分离质量信号，在高度和中度分离质量信号下，使用SwinTransformer‑Base模型提取连续的41维AU特征向量和39维MCFF特征，确保音视频数据长度和维度相同，随后，利用MLSTM‑FCN模型和分离效能系数转换数据为生物特征质量概率模型，以明确样本属性，解决传统方法中的限制、参数庞大和高成本问题，提高生物特征分析的准确性和可行性，为决策提供可靠的数据支持。

主权项：1.基于改进型MLSTM-FCN的音视频特点的生物特征提取与分析方法，其特征在于，包括如下步骤：步骤S1，针对数据样本的视频进行音视频分离得到音频数据和视频数据，并将音频和视频数据转化为对应的文件格式，采集音视频分离前后的结构信息，结构信息包括音频互相关指数和视频互相关指数，对音频互相关指数和视频互相关指数综合处理得到分离效能系数，对分离效能进一步分析，得到分离等级信号，分离等级信号包括高度、中度和低度分离质量信号；步骤S2，在确认为高度、中度分离质量信号的情况下，使用SwinTransformer-Base模型对视频进行帧率分割，将每一帧的图像预测出41维的AU特征向量，形成连续的AU序列；步骤S3，在确认为高度、中度分离质量信号的情况下，提取音频中MCFF特征，输出结果为m个时间以及每个时间步上的39个特征值的特征矩阵；步骤S4，在步骤S3和S2的基础上，获取处理过后的音频和视频数据，对音频数据和视频数据进行预处理，确保输入模型的音频和视频数据具有相同的长度和维度；步骤S5，将预处理过后的数据传入到改进后MLSTM-FCN模型，分别得到8维中间向量结果，将中间结果传入FC中加权得到对应的生物特征质量概率模型，将模型结果通过映射并结合分离效能系数得到概率值，对概率值进一步分析生成提示信号，提示信号包括高度、低度相似信号；音频互相关指数的获取逻辑为：步骤S1-001，获取音视频未分离前后的原始、分离后音频数据集合，以及原始、分离后视频数据集合；步骤S1-002，通过原始、分离后音频数据集合以及原始、分离后视频数据集合获得音频互相关指数和视频互相关指数；步骤S1-003，对于音频数据，音频互相关指数的计算公式为：；其中： 表示音频互相关指数； 分别表示原始音频数据、分离后音频数据的平均振幅； 分别表示原始音频数据、分离后音频数据的振幅标准差； 表示原始音频和分离后音频之间的振幅协方差； 是用于稳定计算的常数，以避免分母为零，且均为小正数；视频互相关指数的获取逻辑为：步骤S1-011，对于视频数据，首先将原始、分离后视频分别间隔抽帧进行分解，得到每一帧的图像；步骤S1-012，对于每一对对应的帧，计算每一对对应帧的结构相关系数，计算公式为：；其中： 表示第对对应帧的结构相关系数； 分别表示第对对应原始帧、分离后帧的亮度均值； 分别表示第对对应原始帧、分离后帧的亮度标准差； 表示第对对应原始帧和分离后帧之间的亮度协方差； 分别是用于稳定计算的常数，且均大于0； 分别表示为原始帧、分离后帧； 表示亮度相似性； 表示对比度相似性； 表示结构相似性；步骤S1-013，将每一对对应帧的结构相关系数和区分阈值进行比较，若每一对对应帧的结构相关系数大于等于区分阈值，则合格分离帧数量累加1，计算合格分离帧数量与所有对应帧总数的比值得到视频互相关指数；在获取分离效能系数后，将分离效能系数和分类第一、第二阈值分别进行比较；若分离效能系数大于等于分类第二阈值，生成高度分离质量信号；若分离效能系数大于等于分类第一阈值，且小于分类第二阈值，生成中度分离质量信号；若分离效能系数小于分类第一阈值，生成低度分离质量信号；应用Softmax函数来将分数向量映射到概率分布，以获得每个生物特征质量类别的概率值，表示为：；式中，表示每个类别的生物特征质量的估计概率，即概率值，表示分离效能系数，分别为分离第一阈值、分离第二阈值，为的权重因子，且大于0。

全文数据：

权利要求：

百度查询： 南京纳实医学科技有限公司 基于改进型MLSTM-FCN的音视频特点的生物特征提取与分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD