申请/专利权人：深圳萌想文化传播有限公司

申请日：2024-02-05

公开（公告）日：2024-04-26

公开（公告）号：CN117934674A

主分类号：G06T13/20

分类号：G06T13/20;G06T17/00;G06V40/20;G06T15/00;G06Q50/20

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.14#实质审查的生效;2024.04.26#公开

摘要：本发明涉及一种深度学习与三维动画交互式协作方法及系统，对生物群落与环境综合体进行仿真交互式调查实验，本发明包括数据采集端、管理员端和用户端，所述数据采集端是对输入的数据进行预处理，所述管理员端设置有前期任务及后期任务，所述前期任务涉及到的三维模型建模与优化，使用增强现实技术将仿真自然生态系统，并将其注册到现实中，所述后期任务是通过人机交互、人人交互收集的数据对其进行生态系统实验，所述用户端可利用机器视觉技术通过虚拟现实设备对三维模型进行定位与处理；本发明所采用的stablediffusion算法通过设计时空注意力层对该生态系统进行优化，使用户参与实验的场景更真实，并可以展示出改变生态因素后该生态系统时空变化的过程。

主权项：1.一种深度学习与三维动画交互式协作方法，其特征在于：S1.输入三维模型、二维图像和语音数据并通过素材库模块、三维模型优化模块以及语音提示模块的处理来建立初始生态系统模型；S2.通过语音提示模块、生物识别特征模块以及定位单元模块的处理来识别终端用户手势及语音；S3.通过数据采集分析模块对生成的三维模型、二维图像和语音数据进行采集、分析，再经三维模型优化模块进行数据融合，以上得到的数据由数据处理模块生成最终生态系统模型并对当前模型进行评价；以上步骤中，还包括对“对三维模型、二维图像及语音数据”的处理，具体步骤为：SS1.构建stablediffusion训练数据集，该数据集包括：输入的粗糙时序三维模型、输入的生态系统二维图像、输入的对应语音描述以及输出的三维模型；SS2.搭建stablediffusion深度学习开源框架，并在该框架内设计基于时空注意力层的LDM网络模型，该时空注意力层对输入的粗糙时序三维模型、输入的生态系统二维图像及输入的对应语音描述之间的相关性进行建模；SS3.对于输入的粗糙三维生态系统和二维图像序列首先通过输入编码器得到隐空间的特征ZX；与此同时，通过条件编码器将对应的语音描述和手势映射到隐空间得到条件特征ZC；SS4.将输入特征ZX与条件特征ZC输入LDM网络模型中，采用提出的时空注意力层对二者特征进行融合，在进行T步去噪之后得到重建后的特征Zf；SS5.将重建后的特征Zf输入到解码器中，得到预测时序三维模型y；SS6.计算预测时序三维模型y与真实时序三维模型y_gt之间的loss，通过loss进行反向传播对LDM网络模型的参数进行更新；SS7.经以上步骤训练后的LDM网络模型进行网络结构剪枝与量化；SS8.根据量化后的网络模型搭建推理框架并用于三维动画交互式协作。

全文数据：

权利要求：

百度查询： 深圳萌想文化传播有限公司 深度学习与三维动画交互式协作方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD