申请/专利权人：华为技术有限公司;中国科学院计算技术研究所

申请日：2017-12-28

公开（公告）日：2021-07-16

公开（公告）号：CN109982088B

主分类号：H04N19/42(20140101)

分类号：H04N19/42(20140101);G06N3/08(20060101);G06K9/46(20060101);G06K9/00(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.07.16#授权;2019.07.30#实质审查的生效;2019.07.05#公开

摘要：本申请实施例提供一种图像处理方法及其装置，其中方法包括如下步骤：将原始图像对应的前景图像转换为压缩图像；预估采用所述原始图像进行深度特征提取所需的第一提取时间和采用所述压缩图像进行深度特征提取所需的第二提取时间；根据所述第一提取时间和所述第二提取时间确定采用所述原始图像进行深度特征提取或采用所述压缩图像进行深度特征提取。采用本申请实施例，可以有效降低图像深度特征提取过程的计算量，从而改善视频物体检测的执行时间。

主权项：1.一种图像处理方法，其特征在于，包括：将原始图像对应的前景图像转换为压缩图像；预估采用所述原始图像进行深度特征提取所需的第一提取时间和采用所述压缩图像进行深度特征提取所需的第二提取时间；若所述第一提取时间大于所述第二提取时间，则将所述压缩图像输入深度神经网络模型进行深度特征提取；若所述第一提取时间小于所述第二提取时间，则将所述原始图像输入深度神经网络模型进行深度特征提取。

全文数据：图像处理方法及装置技术领域本申请实施例涉及图像处理技术领域，具体涉及一种图像处理方法及其装置。背景技术深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。随着以深度学习为代表的人工智能技术的迅速发展，深度学习技术开始在真实环境下的图像分类、物体检测等场景中得以使用。物体检测指确定给定图像包含的所有目标的位置，并提供每个目标的类别。基于视频的物体检测识别技术具有广泛的应用场景，例如交通监控视频中的车辆识别可以用于交通流量的估计与交通事故辨别，道路卡口与交通枢纽监控视频中的行人身份识别对公安安防具有重要意义。视频物体检测过程可以被分为三个阶段：视频预处理、图像特征提取和确定物体位置与类别。其中，图像预处理阶段完成对视频的解码，将视频逐帧转换为图像。图像特征提取是将图像从像素空间变换到合适的特征空间的处理过程，这一过程需要获得区分能力足够强的特征以用于后续的分类、回归等任务。根据提取图像特征使用方法的不同，可以将图像特征提取分为深度特征提取与传统特征提取两种方式。传统特征提取是指使用各种经典计算机视觉相关算法获得的颜色特征、纹理特征和形状特征等，例如图像直方图、尺度不变特征等，传统特征提取其计算比较简便，但是区分能力有限。深度特征提取实际上是将图像输入深度神经网络deepneuralnetwork，DNN，把深度神经网络某个中间层的计算结果作为特征。深度特征提取的区分能力强，但获得图像深度特征的计算开销巨大、耗时较长。为了加速深度神经网络的计算过程，需要降低深度神经网络执行的计算量。目前通过压缩深度神经网络模型的参数规模，以降低参数数目，进而降低模型的计算量。该方法首先对深度神经网络模型参数进行阈值剪枝，该阈值为人为设置的固定值，深度神经网络中所有低于该阈值的参数均被置为零，由于零不影响深度神经网络的运算结果，因此可以丢弃被置零的参数。然后使用聚类算法对参数进行聚类，落入一个聚类类别中所有的参数都使用聚类中心作为自己新的参数值，从而实现一个聚类类别中的参数共享，减少实际的参数数目，经过这一步，只有聚类中心的参数值被保留下来。最后使用哈夫曼编码技术对参数进行编码，降低模型参数需要占用的存储空间，从而降低模型的计算量。该方法基于阈值进行剪枝会产生没有规律的非结构稀疏性，这种稀疏性很难被转换为深度神经网络执行时间的减少，影响视频物体检测的执行时间。发明内容本申请实施例所要解决的技术问题在于，提供一种图像处理方法及其装置，可以有效降低图像深度特征提取过程的计算量，从而改善视频物体检测的执行时间。本申请实施例第一方面提供一种图像处理方法，包括：将原始图像对应的前景图像转换为压缩图像；预估采用原始图像进行深度特征提取所需的第一提取时间和采用压缩图像进行深度特征提取所需的第二提取时间；根据第一提取时间和第二提取时间确定采用原始图像进行深度特征提取或采用压缩图像进行深度特征提取。本申请实施例第二方面提供一种图像处理装置，包括用于执行以上第一方面各个步骤的单元或手段means。本申请实施例第三方面提供一种图像处理装置，包括至少一个处理元件和至少一个存储元件，其中至少一个存储元件用于存储程序和数据，至少一个处理元件用于执行本申请实施例第一方面中提供的方法。本申请实施例第四方面提供一种图像处理装置，包括用于执行以上第一方面的方法的至少一个处理元件或芯片。本申请实施例第五方面提供一种计算机程序产品，该程序在被处理器执行时用于执行以上第一方面的方法。本申请实施例第六方面提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行前述第一方面的方法。可见，在以上第一至第六方面，通过预估采用原始图像进行深度特征提取的第一提取时间和采用压缩图像进行深度特征提取的第二提取时间，并根据两者之间的大小来选择采用原始图像还是压缩图像来进行深度特征提取，从而可以有效降低图像深度特征提取过程的计算量，从而改善视频物体检测的执行时间。在一种可能实现的方式中，在将原始图像对应的前景图像转换为压缩图像之前，对输入终端的待处理视频进行解码，并对解码后的待处理视频进行分解得到原始图像。对待处理视频进行解码分解处理可以得到多帧原始图像，某一帧原始图像在进行背景分割处理时可参考前一阵原始图像的背景区域，这样可以提高原始图像背景分割的准确性。在一种可能实现的方式中，对原始图像进行背景分割处理得到原始图像对应的前景图像，以便对前景图像进行转换得到压缩图像。前景图像保留了原始图像中的有效信息，即与物体检测相关的信息，去掉了背景信息。前景图像只是减少了背景信息，但是数据规模并没有发生变化，将其转换为压缩图像，以改变数据规模，从而在前景区域占比较小的情况下，可缩短深度特征提取的执行时间。在一种可能实现的方式中，通过获取执行环境信息，并根据该执行环境信息对应的性能记录来预估采用原始图像进行深度特征提取的第一提取时间和采用压缩图像进行深度特征提取的第二提取时间，可包括如下步骤：获取执行环境信息，该执行环境信息可为终端的执行环境信息，包括硬件平台信息和或软件栈信息，硬件平台信息用于描述硬件平台设备类型和型号，软件栈信息用于描述所依赖库的版本信息，该执行环境信息可通过操作系统或函数库的接口获取；根据该执行环境信息在数据库中查找该执行环境信息对应的第一性能记录和第二性能记录，该数据库包括至少一个适用于原始图像格式的第一性能记录和至少一个适用于压缩图像格式的第二性能记录，上述原始图像的格式为原始图像格式，上述压缩图像的格式为压缩图像格式；根据第一性能记录预估采用原始图像进行深度特征提取的第一提取时间，根据第二性能记录预估采用压缩图像进行深度特征提取的第二提取时间。通过数据库所包括的执行环境信息与性能记录之间的对应关系来预估原始图像的提取时间和压缩图像的提取时间，以便从中确定提取时间较短的方式，即采用原始图像还是压缩图像进行深度特征提取。第一性能记录和第二性能记录是基于终端的执行环境信息获取的，换言之，第一性能记录和第二性能记录贴合图像处理装置的当前使用环境，使得预估的提取时间与真实的提取时间差异较小。在一种可能实现的方式中，上述第一性能记录包括层的多层中每层对应的第一归一化执行时间和每层对应的执行环境信息，层可以是卷积层、激活层或拼接层等等，根据原始图像计算每层对应的数据规模，根据每层对应的第一归一化执行时间和每层对应的数据规模预估每层对应的第一执行时间，即预估每层的第一执行时间，然后根据每层对应的第一执行时间预估采用原始图像进行深度特征提取的第一提取时间，即对每层对应的第一执行时间进行求和得到第一提取时间。根据第一性能记录预估每层基于原始图像格式的第一执行时间，从而求和得到第一提取时间，计算方便简单，计算量小。在一种可能实现的方式中，上述第二性能记录包括层的多层中每层对应的第二归一化执行时间和每层对应的执行环境信息，层可以是卷积层、激活层或拼接层等等，根据压缩图像计算每层对应的数据规模，根据每层对应的第二归一化执行时间和每层对应的数据规模预估每层对应的第二执行时间，即预估每层的第二执行时间，然后根据每层对应的第二执行时间预估采用压缩图像进行深度特征提取的第二提取时间，即对每层对应的第二执行时间进行求和得到第二提取时间。根据第二性能记录预估每层基于压缩图像格式的第二执行时间，从而求和得到第二提取时间，计算方便简单，计算量小。在一种可能实现的方式中，在预估得到第一提取时间和第二提取时间的情况下，通过判断第一提取时间与第二提取时间之间的大小来确定采用原始图像还是压缩图像进行深度提取，若第一提取时间大于第二提取时间，则采用压缩图像进行深度特征提取；若第一提取时间小于第二提取时间，则采用原始图像进行深度特征提取，从而使得采用最终确定的深度特征提取方式进行深度特征提取的耗时最短，从而有利于改善视频物体检测的执行时间。若第一提取时间与第二提取时间相同，则采用压缩图像或原始图像进行深度特征提取，即在两个提取时间相同的情况下，采用压缩图像与采用原始图像的效果相同，选择其中一种即可。在一种可能实现的方式中，若确定采用原始图像进行深度特征提取，则将原始图像输入原始深度神经网络模型进行深度特征提取，其中，该原始深度神经网络模型为现有的深度神经网络模型，采用该原始图像以及该深度神经网络模型进行深度特征提取的耗时较短。在一种可能实现的方式中，若确定采用压缩图像进行深度特征提取，则将压缩图像输入特定深度神经网络模型进行深度特征提取，其中，该特定深度神经网络模型可以支持压缩图像格式的图像进行深度特征提取，是在现有的深度神经网络模型的基础上改进、处理和优化得到的，采用该压缩图像以及该深度神经网络模型进行深度特征提取的耗时较短。在一种可能实现的方式中，在采用原始图像进行深度特征提取之后，记录采用原始图像进行深度特征提取的每层对应的第三执行时间，并根据每层对应的第三执行时间更新数据库中执行环境信息对应的第一性能记录，即将采用原始图像进行深度特征提取过程中的每层对应的第三执行时间记录，并更新对应的第一性能记录，以避免离线数据与实际应用场景间存在数据偏移的情况。在一种可能实现的方式中，在采用压缩图像进行深度特征提取之后，记录采用压缩图像进行深度特征提取的每层对应的第四执行时间，并根据每层对应的第四执行时间更新数据库中执行环境信息对应的第二性能记录，即将采用压缩图像进行深度特征提取过程中的每层对应的第四执行时间记录，并更新对应的第二性能记录，以避免离线数据与实际应用场景间存在数据偏移的情况。在一种可能实现的方式中，在执行将原始图像对应的前景图像转换为压缩图像之前，预先生成执行环境信息对应的第一性能记录和第二性能记录，并将第一性能记录和第二性能记录添加至数据库，以便根据数据库所记录的性能记录进行预估。预先生成的过程可为离线阶段，即在正式进行深度特征提取之前生成并记录性能记录。在一种可能实现的方式中，在执行将原始图像对应的前景图像转换为压缩图像之前，确定图像特征提取算法为深度特征提取算法还是非深度特征提取算法，若为深度特征提取算法，则执行将原始图像对应的前景图像转换为压缩图像的步骤，以便预估压缩图像和原始图像进行深度特征提取的提取时间。可根据选择指令来确定图像特征提取算法为深度特征提取算法还是非深度特征提取算法。在一种可能实现的方式中，若确定出图像特征提取算法为非深度特征提取算法，则获取原始图像的数据规模，根据原始图像的数据规模和数据库确定最短提取时间对应的执行方式，采用该执行方式对原始图像进行非深度特征提取。其中，数据库包括各个非深度特征提取算法下各个执行方式的基本执行时间，将原始图像的数据规模与各个执行方式的基本执行时间相乘即可得到各个执行方式对应的提取时间，从中选择最短提取时间对应的执行方式，并采用该执行方式进行非深度特征提取，从而使得非深度特征提取的耗时最短，从而有利于改善视频物体检测的执行时间。附图说明为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。图1为应用本申请实施例的系统架构示意图；图2为本申请实施例提供的图像处理装置的示意图；图3为本申请实施例提供的一种图像处理方法的流程示意图；图4为本申请实施例提供的另一种图像处理方法的流程示意图；图5为本申请实施例提供的卷积计算过程示例图；图6为本申请实施例提供的深度神经网络模型的结构示意图；图7为本申请实施例提供的图像处理装置的逻辑结构示意图；图8为本申请实施例提供的图像处理装置的实体结构示意图。具体实施方式下面将对本申请实施例涉及的名词进行解释：原始图像，为对输入视频进行解码、分解处理后得到的多帧图像中的任意一帧图像，这多帧图像在时间上连续。可以理解的是，原始图像为进行背景分割、压缩处理之前的图像。原始图像的图像格式为原始图像格式。前景图像，为利用背景建模方法对原始图像的前景区域和背景区域进行分割得到的，保留了原始图像中物体检测相关的信息，去掉了背景信息。例如，原始图像为道路交通监控图像，那么前景图像可以包括行人、机动车、非机动车等。背景图像，为利用背景建模方法对原始图像的前景区域和背景区域进行分割得到的，包括与物体检测无关的信息。例如，原始图像为道路交通监控图像，那么背景图像可以包括道路、建筑物、树木等。压缩图像，为利用预定义压缩存储格式对前景图像进行压缩处理得到的。压缩图像的图像格式为压缩图像格式。深度特征提取，将图像输入深度神经网络，把深度神经网络某个中间层的计算结果作为特征。深度神经网络可以包括卷积神经网络convolutionalneuralnetwork，CNN和循环神经网络recurrentneuralnetwork，RNN。本申请实施例中所涉及的深度神经网络模型以卷积神经网络模型为例，该卷积神经网络模型包括多层，多层中包括卷积层，卷积层的数量不限定。在卷积神经网络中，可以认为一个卷积核代表着一种“特征提取模式”，也即一个卷积核只提取一种形式的特征，并形成一个特征图featuremap，也就是说一个特征图就代表着一种特征。在同一张图上如果仅仅使用一个卷积核进行提取的话，那么得到的只有一张特征图，也就是我们只能提取到一种类型的特征，但是最终的分类任务需要从该图上提取到不同的特征。举例来说，一个普通的分类任务需要对“狗、猫”进行分类，那么我们使用的其中一个卷积核是用来提取狗头这个特征，而另一个卷积核是用来提取狗尾巴这个特征，而第三个卷积核是用来提取狗身子的特征，而剩下的几个卷积核是用来提取猫的各个部位的特征。那么也就是说不同的特征图含有不同的特征，最后的分类器是根据这些不同的特征的“齐全度”来判断最终的类别是狗还是猫，比如若其中关于狗头、狗尾巴、狗身子的3个特征图的响应值非常高，而剩下的描述猫的特征的特征图的响应值非常低的话，那么就表示原图上是狗，那么最终的分类器就会判断这张图上是狗。所以特征图越多是为了提取到更多可能有用的特征。卷积核，给定输入图像，在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均，其中权值由一个函数定义，这个函数称为卷积核。卷积核通常用一个矩阵表示。原始深度神经网络模型，即目前广泛采用的深度神经网络模型，该深度神经网络模型是针对原始图像格式设计的，网络中层的运算支持具有规则矩形形状的原始图像格式。特定深度神经网络模型，为对原始深度神经网络模型进行处理后的模型，该深度神经网络模型针对压缩图像格式设计的，将网络中层的运算转换为规则矩阵的计算，并尽可能降低这一转换过程的开销。具体来说，原始深度神经网络模型中层的计算过程是针对原始图像设计的，网络中层的运算对具有规则矩形形状的原始图像有很好的支持，计算效率较高。由于压缩图像仅包含前景区域，无法保证该区域的形状，故当压缩图像作为网络的输入时，直接使用深度神经网络模型不能获得最佳性能。非深度特征提取，即传统特征提取，指使用各种经典计算机视觉相关算法获得的颜色特征、纹理特征和形状特征等，例如图像直方图、尺度不变特征等。通道数通道数目，为红绿蓝三个通道的通道数目。下面将结合附图对本申请实施例提供的图像处理方法及其装置进行介绍。请参见图1，为本申请实施例提供的图像处理装置所处终端100的系统架构示意图。如图1所示，终端100包括软件层和硬件层。其中，在本申请实施例中，软件层中的应用程序101可以为视频物体检测应用程序，该视频物体检测应用程序用于对输入的视频中的物体进行检测，以识别视频中物体的类别，确定视频中物体的位置等等，例如对交通监控视频中的车辆进行识别，便于交通流量的估计与交通事故辨别；再例如，对道路卡口与交通枢纽监控视频中的行人身份进行识别，便于公安安防。该视频物体检测应用程序应用在道路交通中可检测行人、机动车、非机动车等。该终端的软件层向视频物体检测应用程序提供软件栈软件库102，以便视频物体检测应用程序在执行过程中调用。软件栈软件库102可以包括但不限于开源计算机视觉库opensourcecomputervisionlibrary，openCV、基础线性代数子程序库basiclinearalgebrasubprograms，BLAS、显示运算平台例如英伟达NVIDIA的通用并行计算架构computeunifieddevicearchitecture，CUDA等等。其中，openCV可以实现图像处理和计算机视觉方面的很多通用算法。BLAS拥有大量已经编写好的关于线性代数运算的程序。CUDA使图像处理器graphicsprocessingunit，GPU能够解决复杂的计算问题。其中，该终端的硬件层可向软件层提供硬件平台，应用在本申请实施例中，视频物体检测应用程序需要运行在硬件平台上，该硬件层可以包括但不限于中央处理器centralprocessingunit，CPU103、图像处理器GraphicsProcessingUnit，GPU105和内存104等设备。硬件平台为该视频物体检测应用程序提供硬件基础设施，以支持该视频物体检测应用程序的运行。鉴于目前图像特征提取过程的提取时间较长，存在视频物体检测的执行时间较长的弊端，本申请实施例提供一种图像处理方法及其装置，通过预估原始图像和压缩图像的图像特征提取时间来选择执行时间较短的方案，可以有效降低图像深度特征提取过程的计算量，缩短图形深度特征提取过程的耗时，从而改善视频物体检测的执行时间。本申请实施例涉及的终端可以包括但不限于台式计算机、笔记本电脑、手机、平板电脑、便携式设备、车载终端等电子设备。本申请实施例涉及的图像处理装置可以为上述终端设备100的全部或部分。请参见图2，为本申请实施例提供的图像处理装置的示意图。图像处理装置可分为三个模块执行视频物体检测，视频预处理模块201、图像特征提取模块202和物体定位与分类模块203。其中，图像处理装置在接收到输入的视频数据时，视频预处理模块201对该视频数据进行解码，将视频数据逐帧分解为图像；图像特征提取模块202对图像进行深度特征提取传统特征提取；物体定位与分类模块203确定物体的具体类型以及在图像中出现的位置。视频预处理模块201的输出的原始图像和压缩图像可作为图像特征提取模块202的输入，图像特征提取模块202输出的特征可作为物体定位与分类模块203的输入。图2中实线所示的流程对应于图像特征提取算法为深度特征提取算法时的流程，①所示的流程对应于图像特征提取算法为非深度特征提取算法时的流程，②和③所示的流程对应于图像特征提取算法为深度特征提取算法时的流程，其中②对应于采用原始图像进行深度特征提取的流程，③对应于采用压缩图像进行深度特征提取的流程。本申请实施例中的非深度特征提取算法即为传统特征提取算法，例如图像直方图提取算法、尺度不变特征提取算法、纹理特征提取算法等。其中，视频预处理模块201包括解码分解器2011和视频背景分析器2012。解码分解器2011可以为一个对输入视频数据进行处理的程序，负责对输入的视频进行解码，并将视频逐帧分解为图像。输入视频经过解码分解器2011的处理可以得到原始图像，即解码分解器2011的输出为原始图像。若确定出图像特征提取算法为传统特征提取算法，则图像特征提取算法性能预测器2021可提供传统特征提取算法在不同执行方式下的基本执行时间，以便确定最短传统执行方式对应的执行方式。若确定出图像特征提取算法为深度特征提取算法，则图像特征提取算法性能预测器2021可提供原始图像格式的提取时间和压缩图像格式的提取时间。视频背景分析器2012对输入的视频数据进行处理，通过计算机视觉背景建模方法对输入视频进行建模，利用模型可以实现对视频每一帧原始图像前景区域与背景区域的分割，即对解码分解器2011输入的原始图像进行前景区域和背景区域的分割，可得到前景图像。图像特征提取模块202包括图像特征提取算法性能预测器2021、压缩图像生成器2022、压缩图像深度特征提取算法优化器2023、深度神经网络模块2024和性能数据纠偏器2025。图像特征提取模块202可调用数据库3013。图像特征提取算法性能预测器2021：利用数据库3013的数据，对当前图像特征提取算法的各个备选实现性能做出预测。预测①、②和③所示的执行时间，以便从中确定一种方式进行特征提取。压缩图像生成器2022根据预定义压缩存储格式和视频背景分析器2012对图像前景和背景区域的分割结果，生成原始图像对应的压缩图像，即对前景图像进行处理得到压缩图像。压缩图像深度特征提取算法优化器2023：针对以压缩图像作为输入的深度特征提取算法场景，对该场景下深度特征提取算法进行优化，即通过对深度神经网络模块2024中的深度神经网络模型进行改进、优化，使改进后的深度神经网络模型能够高效支持压缩图像的深度特征提取。深度神经网络模块2024包括深度特征提取算法中使用的深度神经网络模型的结构以及该深度神经网络模型参数的数值。压缩图像深度特征提取算法优化器2023作用于深度神经网络模块2024，以改进、优化深度神经网络模块2024，使得改进后的深度神经网络模块2024能够支持压缩图像的深度特征提取。若未改进深度神经网络模块2024，则深度神经网络模块2024能够支持原始图像的深度特征提取。性能数据纠偏器2025：在视频物体检测应用程序的运行过程中，动态的收集使用到的图像特征提取算法实现的性能数据，并将该性能数据传输至数据库3013，以使数据库3013对离线阶段建立的相应的性能数据记录进行更新，以避免离线数据与实际应用场景间存在数据偏移的情况。数据库3013：为图像特征提取算法性能数据库，为图像特征提取算法性能预测器2021的输入，包含离线阶段获得的所有特征提取算法实现的性能数据和采集性能数据时的运行环境特征。数据库3013还可接收性能数据纠偏器2025传输的性能数据，并根据该性能数据更新相应的离线阶段获得的性能数据。数据库3013可以存储在图像处理装置所处的终端的存储器中，也可以存储在云端服务器中，图像特征提取模块202需要调用该性能数据库时可从云端服务器下载。其中，离线阶段获得的性能数据可通过性能数据收集模块3011进行收集，离线阶段获得的运行环境特征可通过运行环境特征收集模块3012进行收集。性能数据收集模块3011和环境特征收集模块3012可以位于云端服务器。性能数据收集模块3011：为了预测不同图像特征提取算法实现的性能情况，需要获得这些不同实现运行时的性能数据。在离线阶段，运行各个图像特征提取算法，记录其运行时的真实性能数据，并把各个图像特征提取算法实现运行的性能数据记录在系统中，最终输出所需要的数据库3013。在视频物体检测应用程序正式运行阶段，把已生成的数据库3013传递给图像特征提取算法性能预测器2021，让其对各个实现的性能做出预测。另外，性能数据可同时提供给性能数据纠偏器2025，保证性能数据纠偏器2025可以对相关性能数据做出修正。运行环境特征收集模块3012：不同硬件平台、软件栈和输入数据规模下，同一图像特征提取算法实现的性能也会发生变化。运行环境特征收集模块在离线阶段对性能数据收集模块输出的性能数据进行完善，在性能数据记录上增加硬件平台信息和软件栈信息，再根据此次运行的输入数据规模，对性能数据进行归一化，消除数据规模对性能数据的影响，以便图像特征提取算法性能预测器2021使用。其中，离线阶段或离线过程指的是视频物体检测应用程序部署前，软件开发阶段，该阶段的主要处理流程的目标是尽可能收集反应实际执行情况的图像特征提取算法实现的运行性能数据记录，并建立数据库3013。离线过程可以包括如下步骤：步骤A，通过性能数据收集模块3011，获取不同特征提取算法各个实现运行的执行时间。根据不同的图像特征提取算法采用不同的流程进行处理。对于传统特征提取算法，调用算法库中的函数，记录调用前和调用后的时间戳，之后相减便可获得该特征提取算法实现本次执行的执行时间。对于深度特征提取算法，由于深度神经网络模型的结构千变万化，将深度神经网络模型整体作为性能记录的基本单位，在离线过程中穷举所有可能的深度神经网络模型的结构是不可行的。本申请实施例中将深度神经网络模型进行分解，获得组成深度神经网络模型的不同层，再记录每一层此次的执行时间。由于组成深度神经网络的层的类型是有限的，所以从层的抽象层次能够更好地覆盖在线执行过程中可能遇到的深度神经网络模型。在每一层执行前后分别记录时间戳，之后相减便可获得该层本次执行的执行时间。在本申请实施例中，深度神经网络模型可为卷积神经网络模型，卷积神经网络模型可包括卷积层、激活层和拼接层。针对每种层，记录该层离线执行的时间T。为了获取一个层的执行时间，需要记录该层执行前和执行后两个时间戳，设其分别为t1，t2，则可以计算出T：T＝t2-t1假设T＝2毫秒，用type表示该层的类型，以卷积窗口为1*1的卷积层为例，该步骤输出的性能记录入下表1所示。表1类型执行时间硬件平台信息软件栈信息1*1卷积2毫秒步骤B，通过运行环境特征收集模块3012，记录性能数据收集模块记录性能数据时，与特征提取算法性能相关的运行环境特征。按照视频物体检测应用程序的执行场景，需要收集的运行环境特征包含：执行的硬件平台设备类型和型号，以及该特征提取算法依赖库的版本信息。上述信息均可使用硬件设备或软件库提供的接口方便的获得。举例来说，获得的GPU型号为NvidiaPascalP4；对于卷积层，其执行时间相关软件包括CUDA、cudnn，分别获得它们的版本信息：CUDA8.0，cudnn5.0.15。结合步骤A中的性能记录，在步骤B之后，性能记录如下表2所示。表2步骤C，对性能数据收集模块记录3011的性能数据按照数据规模进行归一化处理，存入数据库3013中。图像特征提取算法的执行时间与输入图像的数据规模密切相关。根据图像特征提取算法的特点，计算出此次执行的数据规模。例如，对色彩空间转化等逐像素点处理的算法，数据规模为输入图像的像素点数目，即图像宽和图像高的乘积。对2维卷积等基于滑动窗口的算法，数据规模为窗口的数目。将步骤A记录的执行时间与本次执行的数据规模相除，便可以获得对数据规模归一化后的性能数据，使该性能记录可以用于不同数据规模的情况。假设步骤A中性能记录的执行时间为该层实际执行时间，该时间为输入数据规模S的函数，需要将性能记录中的执行时间T转换为与数据规模无关的值，以用于特征提取算法性能预测器的性能预测。假设某层输出特征图的高为h，输出特征图的宽为w，输出特征图的通道数为c，输入图像的通道数为C，对于卷积层，其数据规模计算公式如下：Sconv＝h*w*c*C对于激活层，激活层的数据规模等于输出元素个数，其计算公式如下：Srelu＝h*w*c假设卷积层输出特征图尺寸为64*64，包含16个通道，输入数据为3个通道，根据执行时间归一化的公式，可以计算得到归一化后的执行时间T'conv：计算出归一化后的执行时间，对性能记录进行修改。修改后的性能记录入下表3所示。表3该性能记录会被添加至数据库3013中。在一种可能实现的方式中，上述表3还包括图像格式，图像格式可分为原始图像格式和压缩图像格式，可如下表3.1所示。表3.1类型执行时间硬件平台信息软件栈信息图像格式1*1卷积0.00001017毫秒NvidiaPascalP4CUDA8.0，cudnn5.0.15原始图像格式在离线阶段，分别记录采用原始深度神经网络模型进行深度特征提取的性能记录和采用特定深度神经网络模型进行深度特征提取的性能记录。由于特定深度神经网络模型存在将不规则形状转换为规则矩阵的过程，因此相比原始深度神经网络模型存在一定的时间开销，两者可能在归一化后的执行时间上存在差异。上面步骤A-步骤C介绍了离线过程，下面将结合附图2-附图4对本申请实施例提供的图像处理方法进行详细介绍，也即对在线过程进行介绍。请参见图3，为本申请实施例提供的一种图像处理方法的流程示意图，该方法可以包括但不限于步骤S301-步骤S303。步骤S301，将原始图像对应的前景图像转换为压缩图像。在一种可能实现的方式中，图像处理装置在将原始图像对应的前景图像转换为压缩图像之前，可对输入终端的待处理视频进行解码，并对解码后的待处理视频进行分解得到原始图像。其中，待处理视频由用户选择输入终端，可以是交通监控视频、道路卡口与交通枢纽监控视频、小区进出口监控视频等等。需要说明的是，图像处理装置对解码后的待处理视频进行分解可以得到多帧原始图像，这多帧原始图像在时间上连续。本申请实施例以一帧原始图像为例进行介绍，每帧原始图像的处理流程与这一帧原始图像的处理流程相同。结合图2所示的示意图，解码分解器2011对输入终端的待处理视频进行解码，并对解码后的待处理视频进行分解得到原始图像。具体地，视频预处理模块可以将待处理视频逐帧分解为红绿蓝redgreenblue，RGB三通道彩色的原始图像，可以将原始图像提供给视频背景分析器1012。在一种可能实现的方式中，图像处理装置在将原始图像对应的前景图像转换为压缩图像之前，确定图像特征提取算法是深度特征提取算法还是传统特征提取算法。方式一，图像处理装置可根据用户输入的选择指令确定图像特征提取算法是深度特征提取算法还是传统特征提取算法。该选择指令可在输入待处理视频时输入，即与待处理视频同时输入，也可在输入待处理视频之后，输出图像特征提取算法对话框，根据针对该对话框输入的选择指令确定何种图像特征提取算法。方式二，图像处理装置可随机选择确定或由系统自主确定图像特征提取算法是深度特征提取算法还是传统特征提取算法。确定图像特征提取算法的方式在本申请实施例中不作限定。在确定出图像特征提取算法为深度特征提取算法的情况下，图像处理装置对原始图像进行背景分割得到前景图像，并将前景图像转换为压缩图像。在一种可能实现的方式中，图像处理装置可利用背景建模方法对原始图像的前景和背景区域进行分割，在实际应用中表现为对每一帧原始图像进行前景和背景区域的分割。针对道路交通监控视频，背景区域可以包括与物体检测无关的道路、建筑物、树木等区域，即视频中不变化或者变化微小的区域，前景区域可以包括行人、机动车、非机动车等区域，即视频中变化较大的区域。可以理解的是，前景图像保留了原始图像中物体检测相关的信息，去掉了背景信息。尽管前景图像保留了原始图像中物体检测相关的信息，去掉了背景信息，但是前景图像与原始图像的结构相同，依然是规则的二维结构，数据规模并没有发生变化，若直接采用前景图像进行深度特征提取，其执行时间和原始图像进行深度特征提取的执行时间无差异，不会缩短执行时间，因此需对前景图像进行压缩处理，改变规则的二维结构，以减少数据规模，进而针对前景区域占比较小的情况，可以缩短执行时间。图像处理装置对前景图像进行压缩处理，得到压缩图像，并存储压缩图像。可以理解的是，压缩图像的存储格式为压缩格式，原始图像的存储格式为原始图像格式。图像处理装置可采用预定义的压缩存储格式对前景图像进行转换。结合图2所示的示意图，视频背景分析器2012对原始图像进行背景分割得到前景图像。物体检测关心的物体均位于前景部分中，原始图像的背景部分不包含有效信息，有效信息即物体检测相关的信息，以道路交通图像为例，有效信息可包括行人、机动车、非机动车等。压缩图像生成器2022利用预定义压缩存储格式，将前景图像存储为压缩图像格式，同时可建立后续深度特征提取算法所需的辅助信息，该辅助信息可以包括压缩图像的高、宽，前景图像在原始图像中的位置等等。预定义压缩存储格式定义了丢弃背景区域的图像数据在视频物体检测应用中的数据结构和存储方式。该格式包括前景数据部分和图像元数据部分。其中，前景数据部分仅包含原始图像中前景区域的数据，相对于原始图像数据，数据规模减小的比例取决于视频背景分析器2012输出的背景分割结果。另外，图像元数据部分需要维护图像的元数据信息，元数据metadata信息是关于数据的组织、数据域及其关系的信息，图像的元数据信息包含图像的尺寸、通道数目等。步骤S302，预估采用所述原始图像进行深度特征提取所需的第一提取时间和采用所述压缩图像进行深度特征提取所需的第二提取时间。图像处理装置预估采用原始图像进行深度特征提取的第一提取时间和采用压缩图像进行深度特征提取的第二提取时间。在一种可能实现方式中，图像处理装置可通过获取执行环境信息，该执行环境信息可为终端的执行环境信息，根据执行环境信息在数据库中查找该执行环境信息对应的第一性能记录和第二性能记录，并根据第一性能记录预估采用原始图像进行深度特征提取所需的第一提取时间，以及根据第二性能记录预估采用压缩图像进行深度特征提取所需的第二提取时间。即在该种方式中，需考虑原始深度神经网络模型与特定深度神经网络模型之间的时间差异，即可根据表3.1查找该执行环境信息对应的性能记录。第一性能记录和第二性能记录是基于终端的执行环境信息获取的，换言之，第一性能记录和第二性能记录贴合图像处理装置的当前使用环境，使得预估的提取时间与真实的提取时间差异较小。其中，图像处理装置可通过以下两种方式获取终端的执行环境信息。方式一，图像处理装置可通过调用终端的硬件设备接口和函数库接口来获取执行环境信息，例如，调用CPU接口来获取CPU的类型和型号，调用软件库的接口来获取CUDA的版本号。方式二，图像处理装置可通过向终端的系统发送查询指令来获取执行环境信息，该查询指令用于查询终端的执行环境信息。这两种方式并不构成对本申请实施例的限定，还可通过其他方式获取终端的执行环境信息。其中，执行环境信息包括硬件平台信息和软件栈信息。硬件平台信息用于指示硬件平台设备的类型和型号，例如，GPU型号为NvidiaPascalP4；软件栈信息用于指示相关软件的名称及其版本号，例如CUDA8.0，cudnn5.0.15。其中，第一性能记录为在离线阶段，基于原始图像格式进行深度特征提取得到的性能记录，具体为在离线阶段，将原始图像格式的图像输入原始深度神经网络模型进行深度特征提取得到的性能记录。第一性能记录包括多层中每层的层类型、每层对应的第一归一化执行时间和每层对应的执行环境信息。第一性能记录还包括图像格式为原始图像格式。其中，层可以是卷积层、激活层或拼接层等。同理，第二性能记录为在离线阶段，基于压缩图像格式进行深度特征提取得到的性能记录，具体为在离线阶段，将压缩图像格式的图像输入特定深度神经网络模型进行深度特征提取得到的性能记录。第二性能记录包括多层中每层的层类型、每层对应的第二归一化执行时间和每层对应的执行环境信息。第一性能记录还包括图像格式为压缩图像格式。可以理解的是，针对同一终端，在排除硬件和或软件更新的情况下，不同层对应的执行环境信息相同。数据库对于不同图像格式的性能记录分别进行记录、存储。具体的，图像处理装置根据原始图像计算每层对应的数据规模，即计算原始图像在原始深度神经网络模型中每层对应的数据规模，并根据每层对应的第一归一化执行时间和每层对应的数据规模预估每层对应的第一执行时间，根据每层对应的第一执行时间预估采用原始图像进行深度特征提取的第一提取时间。同理，图像处理装置根据压缩图像计算每层对应的数据规模，即计算压缩图像在特定深度神经网络模型中每层对应的数据规模，并根据每层对应的第二归一化执行时间和每层对应的数据规模预估每层对应的第二执行时间，根据每层对应的第二执行时间预估采用压缩图像进行深度特征提取的第二提取时间。结合图2所示的部署示意图，图像特征提取算法性能预测器2021预估采用原始图像进行深度特征提取的第一提取时间和采用压缩图像进行深度特征提取的第二提取时间。图像特征提取算法性能预测器2021对于传统特征和深度特特征需要采用不同的方式进行处理。传统特征提取过程往往对应于算法库的调用，基于数据库3013的记录，再结合当前图像的数据规模便可以计算出预测性能，即预估传统特征提取算法的执行时间。深度特征提取的性能与深度神经网络模型的结构紧密相关，而在离线过程中难以覆盖视频物体检测应用程序中可能使用的全部深度神经网络模型，因此需要从更低的抽象层次“层”出发，对深度神经网络模型每一层的运行时间给出预测，最终获得深度特征提取过程的预测性能，即预估深度特征提取算法的执行时间。举例来说，卷积神经网络模型分解为多层，假设分解得到的层集合为L，L＝{conv1,conv1_1,conv5_1,relu1,relu3_1,relu5_1,conv3_2,conv5_2,relu3_2,relu5_2,conv5_3,relu5_3,concat}，conv表示卷积层，relu表示激活层，concat表示拼接层。硬件平台信息hardware＝NvidiaPascalP4，软件栈信息software＝CUDA8.0,cudnn5.0.15，使用plat表示包括硬件平台信息和软件栈信息的执行环境信息，即plat＝hardware+software。使用form表示图像格式，form1表示原始图像格式，form2表示压缩图像格式。对于L层中的某一层l，根据终端的执行环境信息在数据库3013DB中查找该执行环境信息和图像格式对应的第一性能记录：从公式中可以看出，对于离线过程没有覆盖到的执行环境，即在数据库3013未查找到与执行环境和图像格式相匹配的性能记录，那么图像特征提取算法性能预测器会保守地使用数据库3013中该层在所有执行环境中最慢的执行时间。后续性能数据纠偏器会在数据库3013中动态添加此执行环境下的记录。从数据库3013中获得的σ1l,plat,form1是基于原始图像格式对数据规模归一化后的时间，即层l对应的第一归一化时间，还需要计算原始图像的每层的数据规模。对于conv1，conv1_1，conv5_1，它们的输入数据规模为输入图像的数据规模；后续层的数据规模为其前一层输出数据的规模，可按照层之间的数据依赖关系依次计算获得。假设层l的数据规模为sl，l∈L，则可计算得到层l对应的第一执行时间tl，即计算得到每层预估执行时间：tl＝σ1l,plat,form1*sl由于深度神经网络模型执行时会逐层进行计算，因此可以计算得到整个深度特征提取过程的预估执行时间：上述tsum1即为第一提取时间。按照上述计算流程，对于压缩图像，可从数据库3013中获得的层l对应的第二归一化执行时间σ2l,plat,form2，若层l的数据规模为sl'，则层l对应的第二执行时间为tl'＝σ2l,plat,form2*sl'，进而计算得到第二提取时间tsum2。按照上述计算可预估原始图像所需的第一提取时间和压缩图像所需的第二提取时间，实现对两种深度特征提取算法的预估。在一种可能实现的方式中，图像处理装置可通过先获取终端的执行环境信息，根据执行环境信息在数据库中查找该执行环境信息对应的性能记录，并根据该性能记录预估采用原始图像进行深度特征提取所需的第一提取时间和采用压缩图像进行深度特征提取所需的第二提取时间。即在该种方式中，不考虑原始深度神经网络模型与特定深度神经网络模型存在的时间差异，即可根据表3查找该执行环境信息对应的性能记录。其中，性能记录为离线阶段，进行深度特征提取得到的性能记录，包括每层的层类型、每层对应的归一化执行时间和每层对应的执行环境信息。具体的，图像处理装置根据原始图像计算每层对应的数据规模，即计算原始图像在原始深度神经网络模型中每层对应的数据规模，并根据每层对应的归一化执行时间和每层对应的数据规模预估每层对应的第一执行时间，根据每层对应的第一执行时间预估采用原始图像进行深度特征提取的第一提取时间。同理，图像处理装置根据压缩图像的每层对应的数据规模，即计算压缩图像在特定深度神经网络模型中每层对应的数据规模，并根据每层对应的归一化执行时间和每层对应的数据规模预估每层对应的第二执行时间，根据每层对应的第二执行时间预估采用特定图像进行深度特征提取的第二提取时间。举例来说，对于L层中的某一层l，根据终端的执行环境信息在数据库3013DB中查找该执行环境信息对应的性能记录：从数据库3013中获得的σl,plat是对数据规模归一化后的时间，即层l对应的归一化时间，还需要计算原始图像的每层的数据规模，压缩图像的每层的数据规模。假设原始图像层l的数据规模为sl，l∈L，则可计算得到层l对应的执行时间tl：tl＝σl,plat*sl假设压缩图像层l的数据规模为sl'，l∈L，则可计算得到层l对应的执行时间tl’：tl'＝σl,plat*sl'进而可以预估原始图像所需的第一提取时间tsum1和压缩图像所需的第二提取时间tsum2：步骤S303，根据所述第一提取时间和所述第二提取时间确定采用所述原始图像进行深度特征提取或采用所述压缩图像进行深度特征提取。图像处理装置根据第一提取时间和第二提取时间确定采用原始图像进行深度特征提取或采用压缩图像进行深度特征提取。图像处理装置判断第一提取时间是否大于第二提取时间，若第一提取时间大于第二提取时间，即基于压缩图像格式预估的时间较短，则采用压缩图像进行深度特征提取；若第一提取时间小于第二提取时间，即基于原始图像格式预估的时间较短，则采用原始图像进行深度特征提取；若第一提取时间等于第二提取时间，则可采用原始图像或压缩图像进行深度特征提取。针对前景区域占20％左右的场景，采用压缩图像进行深度特征提取的执行时间更短。针对前景区域占用比例较大的场景，采用原始图像进行深度特征提取的执行时间更短。在一种实现方式中，若采用原始图像进行深度特征提取，则将原始图像输入原始深度神经网络模型进行深度特征提取。原始深度神经网络模型即对现有的深度神经网络模型未进行处理的神经网络模型，换言之，原始深度神经网络模型即为目前广泛采用的深度神经网络模型。在一种实现方式中，若采用压缩图像进行深度特征提取，则将压缩图像输入特定深度神经网络模型进行深度特征提取。特定深度神经网络模型在现有的深度神经网络模型的基础上进行了处理，使其能够支持压缩图像格式的深度特征提取。特定深度神经网络模型在相邻层之间存在格式不匹配的情况下，在它们之间自动加入数据格式转换层，之后对使用压缩图像格式作为输入的层进行优化，以尽可能将输入数据规模的降低转化为执行时间的收益，即缩短执行时间。压缩图像格式仅保留原始图像中的前景部分，破坏了图像原有的二维结构。而原始深度神经网络模型中的卷积、下采样等计算过程依赖于原始图像的二维结构才能实现高效执行。对于压缩图像，经过优化、改进的特定深度神经网络模型采用新的计算方法以实现高效的深度特征提取。由于下采样过程与卷积十分类似，仅以卷积计算过程为例说明这一新的计算方法：将卷积层对压缩图像的运算转化为规则的矩阵乘法运算。首先根据卷积层滤波器的形状，将卷积滤波器的参数转化为参数矩阵，之后再根据压缩图像中记录的前景区域数据和元数据信息，将包含前景区域的卷积计算需要的图像数据组织为图像矩阵。之后通过图像矩阵与参数矩阵之间的矩阵乘法计算获得卷积结果。由于压缩图像中仅包含前景部分，因此其数据规模小于原始图像的数据规模，这会直接反映在图像矩阵的维度上，矩阵乘法操作可以有效地将其转化为性能收益。另外，将压缩存储的输入数据组织为图像矩阵的过程，需要建立压缩图像中每个前景数据位置到图像矩阵中坐标的映射；这一映射仅与输入数据形状和卷积操作形状卷积滤波器形状、卷积的步长、数据补齐的大小相关，因此存在卷积神经网络模型中多个卷积层共享同一映射关系的机会。经过优化的特定深度神经网络模型能够抽取出可共享该映射的卷积层，可以避免此过程的重复计算，进一步提升特定深度神经网络模型对压缩图像进行深度特征提取的性能。上述过程可参见图5所示的卷积计算过程示例图，以一个2*2卷积为例。图5中左侧所示为压缩图像的处理过程。原始图像中背景区域为白色，前景区域为灰色。从前景区域的分布可以看到，大部分卷积窗口仅包含无效的背景区域，仅有4个卷积窗口包含有效的前景区域，分别被标注为1-4。压缩图像的前景数据结合元数据信息，可以确定每个前景数据在原始图像中的位置。每一个有效的卷积窗口被拉伸为一行，排列到4*4图像矩阵中。图5中右侧的3个2*2卷积核首先被转换为4*3的参数矩阵，每个卷积核被拉伸成参数矩阵的一列。图像矩阵与参数矩阵通过乘法即可获得卷积结果。压缩图像的前景数据中的每个元素被排列到了图像矩阵中的特定位置，被曲线标记的元素给出了从前景数据到图像矩阵中位置的映射示例。特定深度神经网络模型能确定可共享这一映射的卷积层，实现对该映射的重复利用，提升卷积计算的性能。结合图2所示的部署示意图，压缩图像深度特征提取算法优化器1023作用于深度神经网络模型1024能够根据原始深度神经网络模型的结构特点和压缩图像的数据分布特征，将网络中的层对压缩图像的计算转换为规则的计算过程，并尽可能降低这一转换的开销，从而有效将压缩图像格式输入图像数据规模的降低转化为图像深度特征提取过程的性能收益，即缩短深度特征提取的执行时间。请参见图6，为本申请实施例提供的深度神经网络模型的结构示意图，该深度神经网络模型的结构示意图可为上述特定深度神经网络模型。图6中conv1，conv1_1，conv5_1均为卷积窗口为1*1的卷积层，卷积步长为1，数据补齐大小为0。conv3_2，conv5_2，conv5_3均为卷积窗口为3*3的卷积层，卷积步长为1，数据补齐大小为1。relu为使用线性整流函数作为激活函数的激活层。concat为拼接层，将来自relu1，relu3_2，relu5_3三层的输出拼接到一起，组成一个完整的输出结果。需要说明的是，图6用于举例，并不构成对本申请实施例的限定。其中，在拼接层前加入格式转换层，将前述输出的压缩图像格式数据转换为原始图像格式数据。其中，卷积层conv1，conv1_1，conv5_1可共享卷积计算所需要的映射，即卷积层conv1，conv1_1，conv5_1可共享压缩图像中每个前景数据位置到图像矩阵中坐标的映射，例如图5中曲线标记的元素从前景数据中的位置到图像矩阵中的位置的映射可共享，同理卷积层conv3_2，conv5_2，conv5_3可以共享映射，从而降低使用压缩图像格式数据计算的开销，有利于获得更好的性能收益。在图3所示的实施例中，通过预估采用原始图像进行深度特征提取的第一提取时间和采用压缩图像进行深度特征提取的第二提取时间，并根据两者之间的大小来选择采用原始图像还是压缩图像来进行深度特征提取，从而可以有效降低图像深度特征提取过程的计算量，从而改善视频物体检测的执行时间。作为一种可能的实施例，在步骤S303之后，图像处理装置记录采用原始图像进行深度特征提取的每层对应的第三执行时间，并根据每层对应的第三执行时间更新所述数据库中执行环境信息对应的第一性能记录；或，记录采用压缩图像进行深度特征提取的每层对应的第四执行时间，并根据每层对应的第四执行时间更新数据库中执行环境信息对应的第二性能记录。结合图2所示的部署示意图，性能数据纠偏器1025记录本次图像特征提取过程的执行时间，并对数据库3013中的性能记录进行更新。性能数据纠偏器记录每层的执行时间，记录方法与离线性能数据收集过程中的步骤A相同。沿用步骤S302的符号，性能数据纠偏器按照如下公式对数据库3013进行更新：其中，w为可由用户设置的更新速度参数，当w较小时，性能数据更新过程倾向于在线执行过程的获得的执行时间；反之倾向于离线性能数据收集过程获得的执行时间。另外，当DB中没有当前情况的记录时，w＝0，即相当于在数据库3013中插入代表当前情况的性能记录，供图像特征提取算法性能预测器在后续性能预测时使用。上述第一性能记录和第二性能记录可按照上述公式进行更新，以避免离线数据与实际应用场景间存在数据偏移的情况，以便下一次更好地选择采用原始图像进行深度特征提取还是采用压缩图像进行深度特征提取。请参见图4，为本申请实施例提供的另一种图像处理方法的流程示意图，可以包括但不限于步骤S401-步骤S403。步骤S401，获取原始图像的数据规模。图像处理装置在确定图像特征提取算法之前，可对输入终端的待处理视频进行解码，并对解码后的所述待处理视频进行分解得到原始图像，具体可参见步骤S301相应的描述。若确定出图像特征提取算法为非深度特征提取算法，即为传统特征提取算法，则图像处理装置获取原始图像的数据规模。图像处理装置可根据具体的传统特征提取算法的特点，计算原始图像的数据规模。例如，传统特征提取算法为色彩空间转换等逐像素点处理的算法，则原始图像的数据规模为原始图像的像素点数目，即原始图像的宽和高的乘积。步骤S402，根据所述原始图像的数据规模和数据库确定最短提取时间对应的执行方式；图像处理装置根据原始图像的数据规模和数据库确定最短传统执行时间对应的执行方式。其中，数据库包括各个传统特征提取算法在各个执行方式下的基本执行时间，例如包括传统特征提取算法1在执行方式A下的基本执行时间为t1，在执行方式B下的基本执行时间为t2。对于某个传统特征提取算法，不同厂商为适应各自的性能需求或产品需求可能会针对该算法进行改动执行环境的改动和或算法本身的改动，例如改变调用软件库的版本，这样便导致该传统特征提取算法存在不同的执行方式。数据库收集各个传统特征提取算法在不同执行方式下的基本执行时间，每个传统特征提取算法下存在至少一个执行方式。数据库所包括的多个基本执行时间的记录是在离线阶段收集、处理、记录的。需要说明的是，该基本执行时间是不考虑数据规模的执行时间。在一种可能实现的方式中，图像处理装置可确定一种传统特征提取算法，并根据该传统特征提取算法在不同执行方式下的基本执行时间和原始图像的数据规模确定各个不同执行方式的提取时间，即将该传统特征提取算法在不同执行方式下的基本执行时间与原始图像的数据规模相乘，得到各个不同执行方式的传统执行时间，并从中选择出最短提取时间，并确定出该最短提取时间对应的执行方式。在一种可能实现的方式中，图像处理装置暂不确定使用哪种传统特征提取算法，根据原始图像的数据规模和各个传统特征提取算法在不同执行方式下的基本执行时间计算各个传统特征提取算法在不同执行方式下的提取时间，并从中选择最短提取时间，并确定该最短提取时间对应的传统特征提取算法以及该传统特征提取算法对应的执行方式。图像处理装置根据原始图像的数据规模和数据库预估特定传统特征提取算法下各个执行方式的提取时间，或预估各个传统特征提取算法下各个执行方式的提取时间，减少了预估提取时间的计算量，有利于快速确定进行传统特征提取将采用的执行方式。步骤S403，采用所述执行方式对所述原始图像进行非深度特征提取。在确定出最短传统执行时间对应的执行方式的情况下，采用该执行方式进行传统特征提取，从而使得原始图像通过该执行方式进行传统特征提取的耗时最短。在图4所示的实施例中，通过获取原始图像的数据规模，并根据数据库确定最短非提取时间对应的执行方式，进而采用该执行方式进行非深度特征提取，从而可以有效降低非深度特征提取过程的计算量，从而改善视频物体检测的执行时间。需要说明的是，图3为图像特征提取算法为深度特征提取算法的流程示意图，对应于图2中的②和③所示的流程。图4为图像特征提取算法为传统特征提取算法的流程示意图，对应于图2中①所示的流程。下面将对本申请实施例提供的图像处理装置进行介绍，图像处理装置用于实现图3和图4所示的方法实施例，装置实施例未描述的部分可参见方法实施例的具体描述。请参见图7，为本申请实施例提供的图像处理装置的逻辑结构示意图，该图像处理装置60包括转换单元602、预计单元603和执行单元604。转换单元602，将原始图像对应的前景图像转换为压缩图像。预估单元603，用于预估采用所述原始图像进行深度特征提取所需的第一提取时间和采用所述压缩图像进行深度特征提取所需的第二提取时间。执行单元604，用于根据所述第一提取时间和所述第二提取时间确定采用所述原始图像进行深度特征提取或采用所述压缩图像进行深度特征提取。在一种实现方式中，该图像处理装置还包括解码单元601，用于对输入终端的待处理视频进行解码，并对解码后的所述待处理视频进行分解得到原始图像。在一种实现方式中，预估单元602包括：环境信息获取单元，用于获取执行环境信息；性能记录查找单元，用于根据所述执行环境信息在数据库中查找所述执行环境信息对应的第一性能记录和第二性能记录，所述数据库包括至少一个基于原始图像格式的第一性能记录和至少一个基于压缩图像格式的第二性能记录；执行时间预估单元，用于根据所述第一性能记录预估采用所述原始图像进行深度特征提取的第一提取时间，根据所述第二性能记录预估采用所述压缩图像进行深度特征提取的第二提取时间。在一种实现方式中，所述第一性能记录包括每层对应的第一归一化执行时间和所述每层对应的执行环境信息；所述执行时间预估单元具体用于根据所述原始图像计算所述每层对应的数据规模；根据所述每层对应的第一归一化执行时间和所述每层对应的数据规模预估所述层对应的第一执行时间；根据所述每层对应的第一执行时间预估采用所述原始图像进行深度特征提取的第一提取时间。在一种实现方式中，所述第二性能记录包括每层对应的第二归一化执行时间和所述每层对应的执行环境信息；所述执行时间预估单元具体用于根据所述压缩图像计算所述每层对应的数据规模；根据所述每层对应的第二归一化执行时间和所述每层对应的数据规模预估所述每层对应的第二执行时间；根据所述每层对应的第二执行时间计算采用所述压缩图像进行深度特征提取的第二提取时间。在一种实现方式中，所述执行单元604包括：判断单元，用于判断所述第一提取时间是否大于所述第二提取时间；压缩执行单元，用于若所述第一提取时间大于所述第二提取时间，则采用所述压缩图像进行深度特征提取；原始执行单元，用于若所述第一提取时间小于所述第二提取时间，则采用所述原始图像进行深度特征提取。在一种实现方式中，所述原始执行单元具体用于将所述原始图像输入原始深度神经网络模型进行深度特征提取。在一种实现方式中，所述压缩执行单元具体用于将所述压缩图像输入特定深度神经网络模型进行深度特征提取。在一种实现方式中，图像处理装置60还包括：记录单元，用于记录采用所述原始图像进行深度特征提取的层对应的第三执行时间；更新单元，用于根据所述第三执行时间更新所述数据库中所述执行环境信息对应的第一性能记录；或，记录单元，用于记录采用所述压缩图像进行深度特征提取的层对应的第四执行时间；更新单元，用于根据所述第四执行时间更新所述数据库中所述执行环境信息对应的第二性能记录。在一种实现方式中，图像处理装置60还包括：生成单元，用于生成所述执行环境信息对应的第一性能记录和第二性能记录；添加单元，用于将所述第一性能记录和所述第二性能记录添加至所述数据库。上述解码单元601可以对应于图2所示的解码分解器1011；上述转换单元602用于执行图3所示实施例中的步骤S301，可以对应于图2所示的视频背景分析器2012和压缩图像生成器2022；上述预估单元603用于执行图3所示实施例中的步骤S302，可以对应于图2所示的图像特征提取算法性能预测器2021；上述执行单元604用于执行图3所示实施例中的步骤S303，可以对应于图2所示的压缩图像深度特征提取算法优化器2023和深度神经网络模块2024，或对应于图2所示的深度神经网络模块2024。上述记录单元和更新单元可以对应于图2所示的性能数据纠偏器2025。上述几个单元的具体实现过程可参见图3所示实施例的具体描述，在此不再赘述。请参见图8，为本申请实施例提供的图像处理装置的实体结构示意图，该图像处理装置70可以包括处理器701、存储器702，还可以包括输入设备703和输出设备704。这些部件之间可以通过总线705相互连接，也可以通过其它方式相连接。图6所示的解码单元601、分割单元602、预估单元603和执行单元604所实现的相关功能可以通过一个或多个处理器701来实现。处理器701可以包括一个或多个处理器，例如包括一个或多个中央处理器centralprocessingunit，CPU，一个或多个GPU，在处理器701是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。应用在本申请实施例中，处理器701用于执行图3所示实施例中的步骤S301-步骤S304，具体可参见图3所示实施例的描述，在此不再赘述。处理器701可以用于实现图2所示的解码分解器2011、视频背景分析器2012、压缩图像生成器2022、压缩图像深度特征提取算法优化器2023、图像特征提取算法性能预测器2021、深度神经网络模块2024和性能数据纠偏器2025。还可用于实现图2所示的物体定位与分类模块203。存储器702包括但不限于是随机存储记忆体randomaccessmemory，RAM、只读存储器read-onlymemory，ROM、可擦除可编程只读存储器erasableprogrammablereadonlymemory，EPROM、或便携式只读存储器compactdiscread-onlymemory，CD-ROM，该存储器702用于存储相关程序代码及数据。应用在本申请实施例中，若图像处理装置可以本地存储数据库3013，则存储器702可以包括图2所示的数据库3013。输入设备703可以包括但不限于显示屏、触控笔、键盘、鼠标、麦克风等，用于接收用户的输入操作。应用在本申请实施例中，输入设备703用于接收输入的待处理视频。输出设备704可以包括但不限于显示屏、音响、扩音器等，用于输出音频文件、视频文件、图像文件等。应用在本申请实施例中，输出设备704用于输出处理后的图像、视频。可以理解的是，图7仅仅示出了图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的收发器、通信单元等，而所有可以实现本申请的设备都在本申请的保护范围之内。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指示相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。因此，本申请又一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。本申请又一实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。本领域普通技术人员可以意识到，结合本申请中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线例如同轴电缆、光纤、数字用户线digitalsubscriberline，DSL或无线例如红外、无线、微波等方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带、光介质例如，DVD、或者半导体介质例如固态硬盘solidstatedisk，SSD等。

权利要求：1.一种图像处理方法，其特征在于，包括：将原始图像对应的前景图像转换为压缩图像；预估采用所述原始图像进行深度特征提取所需的第一提取时间和采用所述压缩图像进行深度特征提取所需的第二提取时间；根据所述第一提取时间和所述第二提取时间确定采用所述原始图像进行深度特征提取或采用所述压缩图像进行深度特征提取。2.根据权利要求1所述的方法，其特征在于，所述预估采用所述原始图像进行深度特征提取的第一提取时间和采用所述压缩图像进行深度特征提取的第二提取时间，包括：获取执行环境信息；根据所述执行环境信息在数据库中查找所述执行环境信息对应的第一性能记录和第二性能记录，所述数据库包括至少一个适用于原始图像格式的第一性能记录和至少一个适用于压缩图像格式的第二性能记录；根据所述第一性能记录预估采用所述原始图像进行深度特征提取的第一提取时间，根据所述第二性能记录预估采用所述压缩图像进行深度特征提取的第二提取时间。3.根据权利要求2所述的方法，其特征在于，所述第一性能记录包括多层中每层对应的第一归一化执行时间和所述每层对应的执行环境信息；所述根据所述第一性能记录预估采用所述原始图像进行深度特征提取的第一提取时间，包括：根据所述原始图像计算所述每层对应的数据规模；根据所述每层对应的第一归一化执行时间和所述每层对应的数据规模预估所述每层对应的第一执行时间；根据所述每层对应的第一执行时间预估采用所述原始图像进行深度特征提取的第一提取时间。4.根据权利要求2所述的方法，其特征在于，所述第二性能记录包括多层中每层对应的第二归一化执行时间和所述每层对应的执行环境信息；所述根据所述第二性能记录预估采用所述压缩图像进行深度特征提取的第二提取时间，包括：根据所述压缩图像计算所述每层对应的数据规模；根据所述每层对应的第二归一化执行时间和所述每层对应的数据规模预估所述每层对应的第二执行时间；根据所述每层对应的第二执行时间计算采用所述压缩图像进行深度特征提取的第二提取时间。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一提取时间和所述第二提取时间确定采用所述原始图像进行深度特征提取或采用所述压缩图像进行深度特征提取，包括：判断所述第一提取时间是否大于所述第二提取时间；若所述第一提取时间大于所述第二提取时间，则采用所述压缩图像进行深度特征提取；若所述第一提取时间小于所述第二提取时间，则采用所述原始图像进行深度特征提取。6.根据权利要求5所述的方法，其特征在于，所述采用所述原始图像进行深度特征提取，包括：将所述原始图像输入原始深度神经网络模型进行深度特征提取。7.根据权利要求5所述的方法，其特征在于，所述采用所述压缩图像进行深度特征提取，包括：将所述压缩图像输入特定深度神经网络模型进行深度特征提取。8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述第一提取时间和所述第二提取时间确定采用所述原始图像进行深度特征提取或采用所述压缩图像进行深度特征提取之后，还包括：记录采用所述原始图像进行深度特征提取的所述每层对应的第三执行时间，并根据所述每层对应的第三执行时间更新所述数据库中所述执行环境信息对应的第一性能记录；或，记录采用所述压缩图像进行深度特征提取的所述每层对应的第四执行时间，并根据所述每层对应的第四执行时间更新所述数据库中所述执行环境信息对应的第二性能记录。9.根据权利要求1-8任一项所述的方法，其特征在于，所述将原始图像对应的前景图像转换为压缩图像之前，还包括：生成所述执行环境信息对应的第一性能记录和第二性能记录，并将所述第一性能记录和所述第二性能记录添加至所述数据库。10.一种图像处理装置，其特征在于，包括：转换单元，用于将原始图像对应的前景图像转换为压缩图像；预估单元，用于预估采用所述原始图像进行深度特征提取所需的第一提取时间和采用所述压缩图像进行深度特征提取所需的第二提取时间；执行单元，用于根据所述第一提取时间和所述第二提取时间确定采用所述原始图像进行深度特征提取或采用所述压缩图像进行深度特征提取。11.根据权利要求10所述的装置，其特征在于，所述预估单元包括：环境信息获取单元，用于获取终端的执行环境信息；性能记录查找单元，用于根据所述执行环境信息在数据库中查找所述执行环境信息对应的第一性能记录和第二性能记录，所述数据库包括至少一个适用于原始图像格式的第一性能记录和至少一个适用于压缩图像格式的第二性能记录；执行时间预估单元，用于根据所述第一性能记录预估采用所述原始图像进行深度特征提取的第一提取时间，根据所述第二性能记录预估采用所述压缩图像进行深度特征提取的第二提取时间。12.根据权利要求11所述的装置，其特征在于，所述第一性能记录包括多层中每层对应的第一归一化执行时间和所述每层对应的执行环境信息；所述执行时间预估单元具体用于根据所述原始图像计算所述每层对应的数据规模；根据所述每层对应的第一归一化执行时间和所述每层对应的数据规模预估所述每层对应的第一执行时间；根据所述每层对应的第一执行时间预估采用所述原始图像进行深度特征提取的第一提取时间。13.根据权利要求11所述的装置，其特征在于，所述第二性能记录包括多层中每层对应的第二归一化执行时间和所述每层对应的执行环境信息；所述执行时间预估单元具体用于根据所述压缩图像计算所述每层对应的数据规模；根据所述每层对应的第二归一化执行时间和所述每层对应的数据规模预估所述每层对应的第二执行时间；根据所述每层对应的第二执行时间计算采用所述压缩图像进行深度特征提取的第二提取时间。14.根据权利要求10-13任一项所述的装置，其特征在于，所述执行单元包括：判断单元，用于判断所述第一提取时间是否大于所述第二提取时间；压缩执行单元，用于若所述第一提取时间大于所述第二提取时间，则采用所述压缩图像进行深度特征提取；原始执行单元，用于若所述第一提取时间小于所述第二提取时间，则采用所述原始图像进行深度特征提取。15.根据权利要求14所述的装置，其特征在于，所述原始执行单元具体用于将所述原始图像输入原始深度神经网络模型进行深度特征提取。16.根据权利要求14所述的装置，其特征在于，所述压缩执行单元具体用于将所述压缩图像输入特定深度神经网络模型进行深度特征提取。17.根据权利要求10-16任一项所述的装置，其特征在于，所述装置还包括：记录单元，用于记录采用所述原始图像进行深度特征提取的所述每层对应的第三执行时间；更新单元，用于根据所述每层对应的第三执行时间更新所述数据库中所述执行环境信息对应的第一性能记录；或，记录单元，用于记录采用所述压缩图像进行深度特征提取的所述每层对应的第四执行时间；更新单元，用于根据所述每层对应的第四执行时间更新所述数据库中所述执行环境信息对应的第二性能记录。18.根据权利要求10-17任一项所述的装置，其特征在于，所述装置还包括：生成单元，用于生成所述执行环境信息对应的第一性能记录和第二性能记录；添加单元，用于将所述第一性能记录和所述第二性能记录添加至所述数据库。19.一种图像处理装置，其特征在于，包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-9任一项所述的方法。20.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9任一项所述的方法。

百度查询： 华为技术有限公司;中国科学院计算技术研究所 图像处理方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD