申请/专利权人：中国科学技术大学

申请日：2021-06-18

公开（公告）日：2024-04-02

公开（公告）号：CN113343029B

主分类号：G06F16/75

分类号：G06F16/75;G06F16/783;G06F16/33;G06F18/22;G06Q50/00;G06V40/10;G06V10/764;G06V10/82;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.04.02#授权;2021.09.21#实质审查的生效;2021.09.03#公开

摘要：本发明公开了一种社交关系增强的复杂视频人物检索方法，一方面，通过社交关系作为纽带，可以充分挖掘并揭示与目标人物相关的语义信息，从而准确检索出目标人物的全部出场片段，而且也能够为支撑其他相关应用提供基础；另一方面，可以提供更为优良的复杂人物抽取模型，在准确率、召回率和流畅度等主客观指标上都能获得更好的结果。

主权项：1.一种社交关系增强的复杂视频人物检索方法，其特征在于，包括：对于待检索视频进行采样得到视频帧序列，并从待检索视频中提取出相应的文本信息；对所述视频帧序列进行人物检测与场景分割，并结合待检索视频的时间戳，建立每一场景所包含的人物区域集合；对于每一人物区域集合构建相应的关系传播图，其中人物区域作为节点，称为候选节点，候选节点之间以完全图的方式连接，为每一候选节点初始化一个类别向量，以及将每一候选节点与给定的目标查询人物集合对应的关系图中所有查询节点连接；对于每一关系传播图，结合相应的文本信息预测两个候选节点之间的关系与类别概率；利用候选节点与查询节点对应的视觉特征以及候选节点之间的关系与类别概率，计算候选节点之间、以及候选节点与查询节点之间的相似度，并结合邻居节点特征聚合的方式更新每个候选节点的类别向量，直至收敛；类别向量中每一维代表属于一个目标查询人物的概率，维度数为目标查询人物的数目，收敛后类别向量中概率最大值则表示候选节点为对应的目标查询人物，将候选节点对应的人物区域的图像以及候选节点迭代后的类别向量作为对应目标查询人物的检索结果；所述利用相应的文本信息预测两个候选节点之间的关系与类别概率的公式为： 其中，rkj与pkj各自表示两个候选节点gk与gj之间的关系预测结果与类别概率；SVM表示校准支持向量机；et表示候选节点所处场景内文本信息的文本表征向量；为两个候选节点gk与gj的性别表征，为两个候选节点gk与gj的年龄表征；计算候选节点之间、以及候选节点与查询节点之间的相似度的公式为：Simnx,ny＝Simvnx,ny+αr*Simrnx,ny其中，nx与ny表示两个节点，当其中一个为候选节点时，另一个为候选节点或者查询节点；αr表示关系相似度的权重，Simv表示视觉相似度，利用两个节点的视觉特征计算；Simr表示关系指引相似度，利用候选节点之间的关系与类别概率计算；视觉相似度的计算公式为： 其中，αb表示权重，与表示两个节点对应的重识别特征，与表示两个节点对应的面部特征，Cos.表示特征之间的余弦相似度；重识别特征与面部特征作为节点对应的视觉特征；如果两个节点为候选节点与查询节点，记为候选节点gj与查询节点qi，则关系指引相似度的计算步骤包括：提取出候选节点gj与所有候选节点gj在关系传播图中的邻居候选节点gk∈κgj的关系与类别概率： 其中，rjk与pjk各自表示候选节点gj与其邻居节点gk之间的关系预测结果与类别概率；SVM表示校准支持向量机；et表示候选节点所处场景内弹幕文本信息的文本表征向量；与表示候选节点gj与其邻居节点gk的性别与年龄表征向量；κgj表示候选节点gj的邻居候选节点集合；依照预先标注的查询节点之间的关系图Gr，在查询节点中找出所有与查询节点qi构成Relj中同样关系的查询节点集合：Qij＝{qu,rjk|Grqi,qu＝rjk,rjk,pjk∈Relj}其中，Grqi,qu代表在关系图Gr中查询得到查询节点对qi,qu所构成的关系；通过下述公式计算候选节点gj与查询节点qi的关系指引相似度：Simrqi,gj＝max{pjk*Simvqu,gk|rjk,pjk∈Relj,qu,rjk∈Qij}；如果两个节点均为候选节点，记为候选节点gs与gj，则关系指引相似度的计算步骤包括：提取出候选节点gs与gj的关系rsj与类别概率psj，通过查询预先标注的查询节点之间的关系图Gr，得到查询节点中拥有相同关系的查询节点对集合：Q′sj＝{qt,ql|Grqt,ql＝rsj}其中，Grqt,ql表示在关系图Gr中查询得到查询节点对qt,ql所构成的关系；利用查询节点对集合Q′ij得到候选节点gs与gj在查询节点中的对应节点： 通过下述公式计算候选节点gj与查询节点qi的关系指引相似度：Simrgs,gj＝pij*Simvqk′,ql′。

全文数据：

权利要求：

百度查询： 中国科学技术大学 社交关系增强的复杂视频人物检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD