申请/专利权人：青岛培诺教育科技股份有限公司

申请日：2024-01-16

公开（公告）日：2024-04-02

公开（公告）号：CN117576982B

主分类号：G09B19/06

分类号：G09B19/06;G06F18/25;G06V20/20;G06V40/20;G06V40/16;G06V10/82;G06N3/0455

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2024.03.08#实质审查的生效;2024.02.20#公开

摘要：本申请涉及数据处理的技术领域，尤其涉及一种基于ChatGPT的口语训练方法、装置、电子设备及介质，该方法包括：获取用户训练需求以及历史训练数据，创建第一训练模型，将用户训练需求输入至第一训练模型中进行训练，得到训练输出信息，创建第二训练模型，将训练输出信息输入至第二训练模型中进行输出审核，得到输出反馈信息，判断输出反馈信息是否满足预设反馈需求，若不满足，确定二级训练口语数据以及二级训练虚拟场景，对第一训练模型进行增幅交互训练，得到第三训练模型，将用户训练需求输入至第三训练模型中进行训练，生成用户训练需求的口语训练结果，将口语训练结果返回至用户终端。本申请提高了用户对口语学习的学习效率。

主权项：1.一种基于ChatGPT的口语训练方法，其特征在于，包括：获取用户训练需求以及历史训练数据，所述用户训练需求包括口语训练任务的一级训练口语数据和一级训练虚拟场景，所述历史训练数据用于表示在预设历史周期内所有的用户训练需求对应的训练反馈数据；基于ChatGPT以及所述口语训练任务创建第一训练模型，并将所述用户训练需求输入至所述第一训练模型中进行训练，得到训练输出信息；根据所述历史训练数据创建第二训练模型，并将所述训练输出信息输入至所述第二训练模型中进行输出审核，得到输出反馈信息；判断所述输出反馈信息是否满足预设反馈需求，若不满足，则根据基于所述口语训练任务、所述一级训练口语数据以及所述一级训练虚拟场景确定二级训练口语数据以及二级训练虚拟场景，并将所述二级训练口语数据以及所述二级训练虚拟场景作为训练数据对所述第一训练模型进行增幅交互训练，得到第三训练模型，所述二级训练口语数据为所述口语训练任务在执行过程中所产生的增强口语数据，所述二级训练虚拟场景为与所述二级训练口语数据相适配的虚拟场景；将所述用户训练需求输入至所述第三训练模型中进行训练，生成所述用户训练需求的口语训练结果，并将所述口语训练结果返回至用户终端；所述方法还包括：采集训练图像数据，所述训练图像数据包括与所述口语训练任务相对应的口语训练结果以及与所述口语训练结果对应的目标图像，所述目标图像为输出所述口语训练结果的虚拟人物图像；对所述口语训练结果进行特征提取，得到对应的音频样本特征；基于所述目标图像提取人脸关键点数据和面部遮挡区域的人脸图片；通过所述音频样本特征训练预设的第一神经网络模型，得到训练后的音频特征；将所述音频特征输入至预设的第二神经网络中的音频编码网络，得到音频编码特征；将所述人脸关键点数据和所述人脸图片输入所述第二神经网络中的图像编码网络，得到人脸关键点编码特征和图像编码特征；将所述人脸关键点编码特征、所述图像编码特征与所述音频编码特征进行拼接，得到拼接特征；将所述拼接特征输入至所述第二神经网络模型中的解码网络，得到与所述音频特征对应的预测人脸图片；将生成的所述预测人脸图片缩放到原始图片大小嵌入原模板图片，通过融合技术将所述预测人脸图片与所述原模板图片融合，将融合后的所述预测人脸图片合成与所述音频特征对应的数字人模型，并将所述数字人模型返回至用户终端。

全文数据：

权利要求：

百度查询： 青岛培诺教育科技股份有限公司 一种基于ChatGPT的口语训练方法、装置、电子设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD