申请/专利权人：航天科工深圳(集团)有限公司

申请日：2020-12-25

公开（公告）日：2024-04-09

公开（公告）号：CN112720527B

主分类号：B25J11/00

分类号：B25J11/00;G10L25/30;G10L25/48

优先权：

专利状态码：有效-授权

法律状态：2024.04.09#授权;2021.05.21#实质审查的生效;2021.04.30#公开

摘要：本发明揭示了一种音乐舞蹈自编程机器人，包括：机器人本体，与机器人本体转动连接的四肢与头部，设置在机器人本体内的控制系统；控制系统包括：电机，与四肢、头部电连接；电源，与电机电连接；获取模块，获取音频数据和视频数据；存储模块，存储音乐舞蹈自编程算法；处理模块，处理模块通过获取模块所获取的音频数据和视频数据，执行存储在存储模块的音乐舞蹈自编程算法，输出音视频旋律动作，并控制电机在电源供电的基础上驱动四肢与头部的舞动。本方案音乐舞蹈自编程机器人巧妙的把音频数据和视频数据结合并向量化，实现了音频数据和视频数据两类不同数据的结合，做到自编程实现的“翩翩起舞”，具有智能化。

主权项：1.一种音乐舞蹈自编程机器人，其特征在于，包括：机器人本体，与所述机器人本体转动连接的四肢与头部，设置在所述机器人本体内的控制系统；所述控制系统包括：电机，与所述四肢、所述头部电连接；电源，与所述电机电连接；获取模块，获取音频数据和视频数据；存储模块，存储音乐舞蹈自编程算法；处理模块，与所述电机、所述电源、所述获取模块以及所述存储模块连接，所述处理模块通过所述获取模块所获取的音频数据和视频数据，执行存储在所述存储模块的音乐舞蹈自编程算法，输出音视频旋律动作，并控制所述电机在所述电源供电的基础上驱动所述四肢与所述头部的舞动；所述音乐舞蹈自编程算法包括：S100：获取音频数据和视频数据，所述视频数据在内容上描述了对应于所述音频数据的旋律动作；S300：对所述音频数据和所述视频数据进行数值描述，生成在音频和视频维度上关联的特征向量；S500：将音频特征向量和视频特征向量结合，得到特征向量矩阵；S700：所述特征向量矩阵通过预训练的神经网络生成个性化适配所述音频数据和所述视频数据的音视频旋律动作，所述音视频旋律动作是面向所述音频数据和所述视频数据实现动态交互的音视频数据；所述音频特征向量的实现包括：S310A：对获取的音频信号进行预处理；S320A：对预处理后的音频信号进行傅里叶变换得到语音频谱信号；S330A：所述语音频谱信号通过梅尔滤波器得到语音梅尔刻度；S340A：通过所述语音梅尔刻度计算得到梅尔倒谱系数，并得到音频特征向量；所述视频特征向量的实现包括：S310B：获取视频信号，所述视频信号与所述音频信号在时间序列上相关联；S320B：提取所述视频信号中的帧图像，并对图像中的目标设定关键点；S330B：获取所述关键点的位置数据，并根据所述位置数据计算得到视频特征向量；所述S500包括：S510：将所述音频特征向量和所述视频特征向量累加得到融合特征向量；具有动作属性的关键节点的视频特征向量与具有音乐属性的声音的音频特征向量，在时间序列上的一具体时刻的生成融合特征向量，该融合特征向量的上半部分是视频特征向量，下半部分是音频特征向量；S520：所述融合特征向量按照时间序列形成特征向量矩阵；所述S700包括：S710：所述特征向量矩阵通过编码器进行编码，再通过解码器进行解码，生成时间序列的个性化特征向量矩阵；S720：所述个性化特征向量矩阵适配所述音频数据和所述视频数据的音视频旋律动作。

全文数据：

权利要求：

百度查询： 航天科工深圳(集团)有限公司 音乐舞蹈自编程机器人

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD