买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉无锡雪浪数制科技有限公司申请的专利人机交互处理方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118963623B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411427795.4，技术领域涉及：G06F3/0484；该发明授权人机交互处理方法、装置、设备及存储介质是由王峰;梁新乐;辛伟设计研发完成，并于2024-10-14向国家知识产权局提交的专利申请。

本人机交互处理方法、装置、设备及存储介质在说明书摘要公布了：本申请提供了一种人机交互处理方法、装置、设备及存储介质，其中，该方法包括：按照预设的频率获取用户界面的图像；获取用户的操作指令；将图像输入预先训练得到的图像处理模型，对图像进行内容提取，生成图像对应的结构化信息；将图像、结构化信息以及操作指令输入预先训练得到的多模态大模型，生成操作指令对应的任务语句；针对用户界面执行任务语句，并向用户输出执行结果。本申请通过能够对多模态信息进行准确的整合以及推理决策，实现多模态下的人机交互，同时，还可以通过多次执行本申请实施例提供的人机交互处理方法，以对用户复杂的操作需求进行人机交互处理，使得本申请实施例提供的人机交互处理方法还能够适用于复杂工业场景下。

本发明授权人机交互处理方法、装置、设备及存储介质在权利要求书中公布了：1.一种人机交互处理方法，其特征在于，包括：按照预设的频率获取用户界面的图像；获取用户的操作指令；将所述图像输入预先训练得到的图像处理模型，对所述图像进行内容提取，生成所述图像对应的结构化信息，所述结构化信息用于表征所述图像中各元素的类型以及位置，各所述元素的结构化信息的数据结构为{标号，类型，文本描述，位置}；将所述图像、所述结构化信息以及所述操作指令输入预先训练得到的多模态大模型，生成所述操作指令对应的任务语句，所述任务语句至少包括所述操作指令对应的待操作区域以及待执行操作；针对所述用户界面执行所述任务语句，并向所述用户输出执行结果；所述多模态大模型包括：预处理模块、拼接模块以及处理模块；所述将所述图像、所述结构化信息以及所述操作指令输入预先训练得到的多模态大模型，生成所述操作指令对应的任务语句，包括：将所述图像输入所述预处理模块进行预处理，得到预处理后的图像序列；将所述图像序列、所述结构化信息以及所述操作指令输入所述拼接模块，生成待处理序列；将所述待处理序列输入所述处理模块，生成所述操作指令对应的任务语句；所述将所述图像序列、所述结构化信息以及所述操作指令输入所述拼接模块，生成待处理序列，包括：通过所述拼接模块对所述结构化信息以及所述操作指令的维度进行处理，生成目标结构化信息以及目标操作指令，并将所述图像序列、所述目标结构化信息以及所述目标操作指令依次拼接，生成待处理序列；所述预处理模块包括：分割模块以及线性映射层；所述将所述图像输入所述预处理模块进行预处理，得到预处理后的图像序列，包括：将所述图像输入所述分割模块，对所述图像进行图像分割处理，生成所述图像对应的多个子图像块；将各所述子图像块输入所述线性映射层进行投影，生成所述预处理后的图像序列。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人无锡雪浪数制科技有限公司，其通讯地址为：214000 江苏省无锡市经济开发区清舒道99号雪浪小镇10号楼1-3层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。