申请/专利权人：南京纳实医学科技有限公司

申请日：2023-12-27

公开（公告）日：2024-01-30

公开（公告）号：CN117475360A

主分类号：G06V20/40

分类号：G06V20/40

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.02.20#实质审查的生效;2024.01.30#公开

摘要：发明公开了基于改进型MLSTM‑FCN的音视频特点的生物体征提取与分析方法，具体涉及生物特征提取领域，首先，通过音视频分离得到音频和视频数据，并利用分离效能系数生成分离质量信号，在高度和中度分离质量信号下，使用SwinTransformer‑Base模型提取连续的41维AU特征向量和39维MCFF特征，确保音视频数据长度和维度相同，随后，利用MLSTM‑FCN模型和分离效能系数转换数据为生物特征质量概率模型，以明确样本属性，解决传统方法中的限制、参数庞大和高成本问题，提高生物特征分析的准确性和可行性，为决策提供可靠的数据支持。

主权项：1.基于改进型MLSTM-FCN的音视频特点的生物体征提取与分析方法，其特征在于，包括如下步骤：步骤S1，针对数据样本的视频进行音视频分离得到音频数据和视频数据，并将音频和视频数据转化为对应的文件格式，采集音视频分离前后的结构信息，结构信息包括音频互相关指数和视频互相关指数，对音频互相关指数和视频互相关指数综合处理得到分离效能系数，对分析效能进一步分析，得到分离等级信号，分离等级信号包括高度、中度和低度分离质量信号；步骤S2，在确认为高度、中度分离质量信号的情况下，使用SwinTransformer-Base模型对视频进行帧率分割，将每一帧的图像预测出41维的AU特征向量，形成连续的AU序列；步骤S3，在确认为高度、中度分离质量信号的情况下，提取音频中MCFF特征，输出结果为m个时间以及每个时间步上的39个特征值的特征矩阵；步骤S4，在步骤S3和S2的基础上，获取处理过后的音频和视频数据，对音频数据和视频数据进行预处理，确保输入模型的音频和视频数据具有相同的长度和维度；步骤S5，将预处理过后的数据传入到改进后MLSTM-FCN模型，分别得到8维中间向量结果，将中间结果传入FC中加权得到对应的生物特征质量概率模型，将模型结果通过映射并结合分离效能系数得到概率值，对概率值进一步分析生成提示信号，提示信号包括高度、低度相似信号。

全文数据：

权利要求：

百度查询： 南京纳实医学科技有限公司 基于改进型MLSTM-FCN的音视频特点的生物体征提取与分析方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD