申请/专利权人：李岱勋

申请日：2021-05-06

公开（公告）日：2024-04-02

公开（公告）号：CN113255470B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/82;G06N3/0464;G06N3/08;G10L25/51

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2021.08.31#实质审查的生效;2021.08.13#公开

摘要：本发明提供了一种基于手部姿态估计的多模态钢琴陪练系统及方法。该系统包括：数据采集模块，采集演奏过程中的手势信息和琴音信息；数据识别模块，根据琴音信息和预设算法识别手势信息中的小关节点，并发送给数据比对模块；数据比对模块，将小关节点识别结果与标准数据库进行比对，获得演奏过程中的错误手势信息和错误琴音片段信息；结果显示模块，将错误手势信息和错误琴音片段信息在琴谱上进行标注，并通过多模态形式反馈给用户。本发明通过多种算法多方面进行手势特征提取识别，从而有效提取视频帧的时间特征信息和空间特征信息，同时依靠麦克风收音极大降低了算力消耗，通过小关节定位提高了钢琴陪练效果。

主权项：1.一种基于手部姿态估计的多模态钢琴陪练系统，其特征在于，所述多模态钢琴陪练系统包括：数据采集模块、数据识别模块、数据比对模块和结果显示模块；所述数据采集模块，用于采集演奏过程中的手势信息和琴音信息，并将两组信息进行对齐后发送给所述数据识别模块；所述数据识别模块，用于根据所述琴音信息和预设算法识别所述手势信息中的小关节点，获得小关节点识别结果，并将所述小关节点识别结果发送给数据比对模块；所述数据比对模块，用于将所述小关节点识别结果与标准数据库进行比对，获得演奏过程中的错误手势信息和错误琴音片段信息，并将所述错误手势信息和错误琴音片段信息发送给结果显示模块；所述结果显示模块，用于将所述错误手势信息和错误琴音片段信息在琴谱上进行标注，获得标注结果，并通过多模态形式将所述标注结果反馈给用户；所述数据识别模块和所述数据比对模块位于云端后台，所述预设算法包括：手势识别算法，音频识别算法和图像处理算法；所述音频识别算法具体为：基于麦克风阵列，对琴音信息进行滤波处理和加窗处理，确定声音区间，辅助判断演奏时的手部位置；所述多模态形式是指：将所述错误手势信息和错误琴音片段信息在琴谱上进行标注，通过点击错误标注反复查看错误位置10s内的错误片段，并同时展示出正确手势和正确琴音，得到纠正评价提示，通过选择显示模式显示或不显示演奏过程中小关节点的标注；所述显示模式包括：高级模式和普通模式，所述高级模式显示演奏过程中的小关节点标注，所述普通模式不显示演奏过程中的小关节点标注。

全文数据：

权利要求：

百度查询： 李岱勋 基于手部姿态估计的多模态钢琴陪练系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD