申请/专利权人：南京大学

申请日：2021-04-14

公开（公告）日：2022-09-23

公开（公告）号：CN113269226B

主分类号：G06V10/774

分类号：G06V10/774;G06V10/762;G06V10/82;G06K9/62;G06N3/04

优先权：

专利状态码：有效-授权

法律状态：2022.09.23#授权;2021.09.03#实质审查的生效;2021.08.17#公开

摘要：本发明公开一种基于局部与全局信息的图片选择标注方法，通过让学习模型自动地选择部分图片进行标注，能够利用尽可能少的有标记图片学到尽可能好的模型。为了降低图片标记的需求，该方法利用深度模型的特征提取能力构建图片样本的特征表示空间，基于图片样本在特征表示空间的局部信息衡量样本对于模型更新的作用。同时基于特征表示空间的全局信息将图片数据空间划分为不同的区域，根据模型在不同区域上的性能动态分配标注预算，从而高效地利用图片标记信息，降低图片标记的需求。

主权项：1.一种基于局部与全局信息的图片选择标注方法，其特征在于，包括如下内容：首先建立一个图片对象库；接下来从图片对象库中随机选取部分图片对象，获取这些图片对象的标记，组成初始训练集；设置深度模型的结构、每一轮选取的图片对象数目、迭代总轮数；接着，基于训练集训练深度学习模型；利用深度模型将图片对象库中的图片对象转换为特征表示，即提取图片对象库中图片的特征；所述特征表示组成的空间被称为特征表示空间；然后，在特征表示空间中，根据局部信息计算方法估计每个对象的信息量，并按照全局信息预算分配方法分配标注预算；基于所述预算，挑选出信息量高的一批图片对象，收集这些图片对象的标记；更新有标记图片对象集合和未标记图片对象集合；同时，使用有标记图片对象集合重新训练深度模型，利用新模型重新提取图片对象的特征表示；迭代指定轮数；最后一轮的模型即为最终的深度模型；最后在预测阶段，用户将待测图片对象输入到训练得到的深度模型，深度模型给用户返回预测结果；记图片对象库中的数据的类别数为C；表示有标记图片对象组成的集合，表示未标记图片对象组成的集合；选择的深度模型记该模型为f·；Θ，其中为模型参数，为模型的全连接层参数，θ为模型中的其他参数，用户选择每一轮选取的样本数目B与迭代总轮数T；使用有标记的图片对象训练深度模型，当前轮数t＝1；将未标记图片对象输入到深度模型中，根据深度模型提取图片对象的特征表示rθx与softmax层输出fx；Θ；用概率平滑与局部信息用于计算对象信息量，其具体步骤为：步骤1041，选定局部近邻区域的范围∈；步骤1042，对于未标记图片对象x，其softmax层输出为fx；Θ＝p1,…,pC，模型fx；Θ预测的标记为进行如下的概率平滑： 其中gx；Θ＝gx；Θ1,…,gx；ΘC；步骤1043，对于未标记图片对象与基于平滑后的概率计算信息量 步骤1044，记图片对象x的近邻区域为其中rθx为图片对象x的特征表示，图片对象x的信息量为 步骤1045，为所有的未标记图片对象计算并输出；根据全局信息预算分配方法将未标记数据在特征表示空间内聚成C个聚簇，在不同聚簇中分配预算B1,…,BC，其中Bj为分配给第j个聚簇的标记预算，具体步骤为：步骤1051，由用户选定Gibbs分布的温度参数τ；步骤1052，使用kmeans++方法把未标记图片对象的特征表示聚成C个聚簇，第j个聚簇中的图片对象组成的集合为步骤1053，估计模型在不同聚簇上的性能，将其记模型在第j个聚簇上的表现为γj 步骤1054，根据γj构建预算的Gibbs分布α＝α1,…,αC τ为温度参数用于调节Gibbs分布的平滑程度；步骤1055，根据Gibbs分布α进行B次采样，得到各个聚簇中所分配的预算B1,…,BC并输出，其中∑jBj＝B，B为总的标记预算。

全文数据：

权利要求：

百度查询： 南京大学 一种基于局部与全局信息的图片选择标注方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD