申请/专利权人：清华大学

申请日：2023-12-20

公开（公告）日：2024-04-09

公开（公告）号：CN117851638A

主分类号：G06F16/78

分类号：G06F16/78;G06F16/783;G11B27/10;G06N3/045;G06N3/0455;G06N3/0464;G06N3/08

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.26#实质审查的生效;2024.04.09#公开

摘要：本申请提供一种基于视觉模型的大语言模型视频时序定位方法及产品，涉及人工智能技术领域，包括：获取目标视频以及与目标视频对应的输入文本；基于目标视频，获取多个视频帧图像，将每个视频帧图像输入视觉模型，基于视觉模型获取多个视频帧图像对应的视觉描述信息；基于目标视频以及输入文本对多个视频帧图像对应的视觉描述信息进行整合处理，得到视觉描述序列；将视觉描述序列输入大语言模型，输出视频数据定位结果。本申请通过将视频信息转换为文本属性的视觉描述信息，并基于视觉模型获取目标视频中每一帧对应的时序内容，保证大语言模型能够从文本信息中获取充足的时序信息特征，有效提升大语言模型对于视频时序定位任务的处理性能。

主权项：1.一种基于视觉模型的大语言模型视频时序定位方法，其特征在于，所述方法包括：获取目标视频以及与所述目标视频对应的输入文本；基于所述目标视频，获取多个视频帧图像，将每个视频帧图像输入视觉模型，基于所述视觉模型获取多个视频帧图像对应的视觉描述信息，所述视觉描述信息为表征每个视频帧图像的图像内容的文本信息；基于所述目标视频以及输入文本对所述多个视频帧图像对应的视觉描述信息进行整合处理，得到视觉描述序列；将所述视觉描述序列输入大语言模型，以对所述视觉描述序列进行时序定位预测，输出视频数据定位结果。

全文数据：

权利要求：

百度查询： 清华大学 一种基于视觉模型的大语言模型视频时序定位方法及产品

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD