申请/专利权人：小叶子(北京)科技有限公司

申请日：2021-01-21

公开（公告）日：2024-03-15

公开（公告）号：CN112883804B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/045

优先权：

专利状态码：有效-授权

法律状态：2024.03.15#授权;2021.06.18#实质审查的生效;2021.06.01#公开

摘要：本申请实施例公开一种乐器演奏手部动作的纠错方法、装置及电子设备，涉及乐器演奏技术领域，为有效提高演奏手部动作的纠错效率而发明。所述方法包括：获取乐器演奏图像，所述乐器演奏图像中包括键盘图像信息和演奏者的手部图像信息；基于预设的卷积神经网络模型，在所述乐器演奏图像中识别所述演奏者的演奏手部动作，所述演奏手部动作包括演奏指法和或演奏手型；根据所述演奏手部动作与预设的标准手部动作的差异，对所述演奏手部动作纠错。本申请实施例适用于对乐器演奏手部动作进行纠错。

主权项：1.一种乐器演奏手部动作的纠错方法，其特征在于，包括：获取乐器演奏图像，所述乐器演奏图像中包括键盘图像信息和演奏者的手部图像信息；基于预设的卷积神经网络模型，在所述乐器演奏图像中识别所述演奏者的演奏手部动作，所述演奏手部动作包括演奏指法和或演奏手型；根据所述演奏手部动作与预设的标准手部动作的差异，对所述演奏手部动作纠错；所述卷积神经网络模型包括第一卷积神经网络模型和第二卷积神经网络模型；所述手部动作为演奏指法，所述基于预设的卷积神经网络模型，在所述乐器演奏图像中识别所述演奏者的演奏指法，包括：基于预设的第一卷积神经网络模型，在所述乐器演奏图像中识别出被按下的琴键的坐标信息；基于预设的第二卷积神经网络模型，在所述乐器演奏图像中识别出所述演奏者的手部关节的坐标信息；根据所述被按下的琴键的坐标信息和所述手部关节的坐标信息，识别出所述演奏者的演奏指法；所述被按下的琴键为由演奏者某个手指按下的琴键；所述被按下的琴键的坐标信息包括琴键上的各个拐角处的坐标信息；所述基于预设的第一卷积神经网络模型，在所述乐器演奏图像中识别出被按下的琴键的坐标信息，包括：所述预设的第一卷积神经网络模型包括一个输入层，一个输出层，以及连接输入层与输出层的多个隐层；每个输入层输入一个或多个乐器演奏图像，卷积神经网络对所述乐器演奏图像进行并行处理，从输出端输出中间结果，再利用所述中间结果得到被按下的琴键的坐标信息；所述被按下的琴键的坐标信息包括琴键上的各个拐角处的坐标信息，当琴键表面为长方形时，用所述长方形的四个顶点处的坐标信息表示被按下的琴键的坐标信息；当琴键为多边形时，用所述多边形的各个顶点处的坐标信息表示被按下的琴键的坐标信息；其中，在所述乐器演奏图像中，用像素点的坐标信息表示被按下的琴键的坐标信息；所述被按下琴键的坐标信息的参考点为演奏图像的左上角像素点的坐标；通过乐器上各个琴键的坐标信息以及确定被按下的琴键，得到被按下的琴键的坐标信息；或者，所述第一卷积神经网络模型包括第一子卷积神经网络模型和第二子卷积神经网络模型；所述基于预设的第一卷积神经网络模型，在所述乐器演奏图像中识别出被按下的琴键的坐标信息，包括：基于所述第一子卷积神经网络模型，识别出被按下的琴键；所述乐器演奏图像包括预定时间段内的多个图像；所述第一子卷积神经网络模型包括：3D-CNN神经网络运动检测模型；所述基于预设的第一子卷积神经网络模型，识别被按下的琴键，包括：利用所述3D-CNN神经网络运动检测模型，对所述预定时间段内的多个图像的动作进行分类与定位，获取琴键的动作以及动作的位置；根据所述琴键的动作以及动作的位置识别出被按下的琴键；基于所述第二子卷积神经网络模型，在所述乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息；根据所述各个琴键的坐标信息及所述被按下的琴键，识别出被按下的琴键的坐标信息；所述基于所述第二子卷积神经网络模型，在所述乐器演奏图像中识别出所述键盘上的各个琴键的坐标信息，包括：基于所述第二子卷积神经网络模型，在所述乐器演奏图像中识别出各个琴键的轮廓信息；所述琴键包括黑琴键和白琴键；所述第二子卷积神经网络模型包括：基于CNN的图像语义分割技术的CNN模型；根据所述各个琴键的轮廓信息，识别出各个琴键的坐标信息；所述基于所述第二子卷积神经网络模型，在所述乐器演奏图像中识别出各个琴键的轮廓信息，包括：利用训练好的CNN模型对输入的三通道乐器演奏图像进行特征提取，提取出能代表黑琴键的特征，所述特征包括颜色，根据所述提取出来的特征对图像中的每一个像素点进行分类，获取像素点分类结果，所述像素点分类结果分类结果包括一个像素点代表黑琴键或者一个像素点代表背景，最终输出像素级的分类结果图作为最终的黑琴键分割结果；依据所述分割结果运用图像处理方法求出黑琴键的轮廓信息，再根据第一先验信息对所述黑琴键轮廓信息进行过滤，过滤掉分割错误的黑琴键信息，然后根据第二先验信息计算出白琴键的轮廓信息，最终求出每个八度的坐标信息，即每个琴键的坐标信息；所述第一先验信息包括黑琴键的长款比、面积；所述第二先验信息包括黑白琴键的长款比、黑白琴键的位置关系。

全文数据：

权利要求：

百度查询： 小叶子(北京)科技有限公司 一种乐器演奏手部动作的纠错方法、装置及电子设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD