申请/专利权人：卡西欧计算机株式会社

申请日：2018-03-22

公开（公告）日：2020-10-23

公开（公告）号：CN108632553B

主分类号：H04N5/76(20060101)

分类号：H04N5/76(20060101);H04N9/79(20060101);H04N9/64(20060101)

优先权：["20170322 JP 2017-055624","20180129 JP 2018-012519"]

专利状态码：有效-授权

法律状态：2020.10.23#授权;2018.11.02#实质审查的生效;2018.10.09#公开

摘要：提供一种能将显示图像和其它被拍摄体均记录为适当的图像的图像处理装置。图像处理装置10具备拍摄图像取得部、内容取得部、显示区域确定部、加工信息创建部以及图像处理部。拍摄图像取得部取得包含由显示装置显示内容的显示区域和该显示区域的周边区域的区域的拍摄图像。内容取得部取得上述内容。显示区域确定部确定拍摄图像中的显示区域。加工信息创建部基于拍摄图像创建加工信息。图像处理部使用加工信息进行包含将基于内容的图像合成到拍摄图像的显示区域的图像处理。

主权项：1.一种图像处理装置，其特征在于，具备：拍摄图像取得部，其取得包含由显示装置显示内容的显示区域和该显示区域的周边区域的区域的拍摄图像；内容取得部，其取得与上述内容对应的内容图像数据；显示区域确定部，其确定上述拍摄图像中的上述显示区域；加工信息创建部，其基于上述拍摄图像创建加工信息；以及图像处理部，其使用上述加工信息进行包含将基于上述内容图像数据的图像合成到上述拍摄图像的上述显示区域的图像处理，上述加工信息创建部创建包含上述拍摄图像的色调和基于上述内容图像数据的图像的色调中的至少任意一种色调的信息的上述加工信息，上述图像处理部以使得合成后的图像中的上述拍摄图像的色调和基于上述内容图像数据的图像的色调匹配的方式，进行对上述拍摄图像和上述内容图像数据中的至少任意一方调整色调的图像处理。

全文数据：图像处理装置、投影仪、图像处理方法以及存储介质[0001]本申请主张以2017年3月22日申请的日本特愿2017-055624号为基础的优先权和以2018年1月29日申请的日本特愿2018-012519号为基础的优先权，将其全部内容引入本申请中。技术领域[0002]本发明涉及图像处理装置、投影仪、图像处理方法以及存储图像处理程序的存储介质。背景技术[0003]有时演讲者一边用大型显示装置、投影仪显示资料一边进行演讲。为了不仅能让演讲会场的听众收看还能让更多人收看，或者为了作为记录进行保存，有时对这样的演讲进行录像。[00041例如，在特开2014—102598号公报中公开了一种演示装置，该演示装置具有：显示与演示关联的图像等的液晶显示器;以及记录从演示的开始到结束的摄像机。[0005]在对演讲进行录像时，优选对显示装置等所显示的资料和演讲者的状态一起录像。然而，当调节照相机的焦点使得焦点对准例如演讲者的脸时，有时焦点不会对准资料等显示图像。另外，当通过投影仪显示资料时，有时进行几何校正以消除投影图像的变形。这样的几何校正一般会降低显示图像的画质。[0006]本发明的目的在于提供能将显示图像和其它被拍摄体记录为适当的图像的图像处理装置、投影仪、图像处理方法以及图像处理程序。发明内容[0007]本发明的一方式是一种图像处理装置，具备:拍摄图像取得部，其取得包含由显示装置显示内容的显示区域和该显示区域的周边区域的区域的拍摄图像；内容取得部，其取得与上述内容对应的内容图像数据;显示区域确定部，其确定上述拍摄图像中的上述显示区域;加工信息创建部，其基于上述拍摄图像创建加工信息；以及图像处理部，其使用上述加工信息进行包含将基于上述内容图像数据的图像合成到上述拍摄图像的上述显示区域的图像处理。[0008]本发明的另一方式是一种投影仪，具备:上述图像处理装置;投影部，其作为将基于上述内容图像数据投影到上述显示区域的图像输出的上述显示装置；以及拍摄部，其生成上述拍摄图像。[0009]本发明的再一方法是一种图像处理方法，包含:取得包含由显示装置显示内容的显示区域和该显示区域的周边区域的区域的拍摄图像;取得与上述内容对应的内容图像数据;确定上述拍摄图像中的上述显示区域;基于上述拍摄图像创建加工信息；以及使用上述加工信息进行包含将基于上述内容的图像合成到上述拍摄图像的上述显示区域的图像处理。[0010]本发明的再一方法是一种存储介质，存储在图像处理装置中执行的图像处理程序，上述图像处理程序执行以下的功能:取得包含由显示装置显示内容的显示区域和该显示区域的周边区域的区域的拍摄图像;取得与上述内容对应的内容图像数据;确定上述拍摄图像中的上述显亦区域;基于上述拍摄图像创建加工彳目息；以及使用上述加工信息进行包含将基于上述内容的图像合成到上述拍摄图像的上述显示区域的图像处理。[0011]根据本发明，能提供能将显示图像和其它被拍摄体记录为适当的图像的图像处理装置、投影仪、图像处理方法以及图像处理程序。附图说明[0012]图1是示出一实施方式的演讲视频创建系统的构成例的概略的图。[0013]图2是示出演讲视频创建系统的动作的一例的概略的流程图。[0014]图3是示出由演讲视频创建系统进行的事先处理的一例的概略的流程图。[0015]图4是示出拍摄图像的拍摄区域与显示区域的位置关系的一例的概略的图。[0016]图5是示意性地示出拍摄区域内的各坐标的亮度的一例的概略的图。[0017]图6是示意性地示出阿尔法混合alphablending用掩模图像数据的一例的概略的图。[0018]图7是示出由演讲视频创建系统进行的演讲录像处理的一例的概略的流程图。[0019]图8是示出由演讲视频创建系统进行的演讲视频创建处理的一例的概略的流程图。[0020]图9是示出演讲视频创建处理的一例的概略的流程图。[0021]图10是用于说明演讲视频创建处理的一例的概略的图。[0022]图11是示出演讲视频创建处理的一例的概略的流程图。[0023]图12是示出演讲视频创建处理的一例的概略的流程图。[0024]图13是用于说明演讲视频创建处理的一例的概略的图。[0025]图14是示出演讲视频创建处理的一例的概略的流程图。具体实施方式[0026][演讲视频创建系统的概要][0027]本实施方式的演讲视频创建系统例如在使用投影仪将演讲资料投影到屏幕上，演讲者在该屏幕的旁边进行演讲的状况下使用。[0028]演讲包含各种讲课、学习、研讨会、演示等。[0029]该演讲视频创建系统具有数码相机。[0030]数码相机构成为在例如包含所显示的演讲资料和演讲者的视角进行视频拍摄。[0031]另外，演讲视频创建系统对使用投影仪投影到屏幕上的图像的数据进行记录。[0032]演讲视频创建系统创建在由数码相机拍摄的视频内将应该投影的图像嵌入到资料所投影的区域而成的演讲视频。[0033][演讲视频创建系统的构成][0034]图1示出本实施方式的演讲视频创建系统1的构成例的概略。演讲视频创建系统i具备图像处理装置10、个人计算机PC5〇、数码相机6〇、麦克风70以及投影仪80。[0035]在PC50中，例如演示用的应用软件进行动作。用户操作该软件来进行要投影到屏幕340上的图像的操作。PC50根据用户的操作输出作为要投影到屏幕340上的图像的内容的数据。PC50输出的内容数据向图像处理装置10输入。[0036]投影仪S0具有投影部，经由图像处理装置10取得从PC50输出的内容数据，将基于该数据的内容的图像投影到屏幕340上。将图像所投影的区域称为显示区域320。[0037]数码相机60具有拍摄部，进行包含图像所投影的屏幕340和位于其周边的演讲者330的拍摄区域的拍摄，创建作为包含屏幕340和演讲者330的图像的数据的拍摄图像数据。将包含屏幕340和演讲者330并且由数码相机60拍摄的范围称为拍摄区域310。数码相机60输出拍摄图像数据。数码相机60输出的拍摄图像数据向图像处理装置10输入。在本实施方式中，从数码相机60向图像处理装置10输入的拍摄图像数据为在时间上连续的视频的数据。[0038]麦克风70基于主要包含演讲者发出的声音的演讲会场的声音生成声音信号。该声音信号向图像处理装置10输入。[0039]图像处理装置10具备经由总线19相互连接的处理器11、存储器12、大容量存储装置13、输入装置14、内容输入接口（IF15、图像输入接口（IF16、声音输入接口（IF17以及图像输出接口（IF18。[0040]从PC50输出的内容数据经由内容输入IF15向图像处理装置10输入。从数码相机60输出的拍摄图像数据经由图像输入IF16向图像处理装置10输入。从麦克风70输出的声音信号经由声音输入IF17向图像处理装置10输入。内容数据从图像处理装置10经由图像输出IF18向投影仪80输出。[0041]处理器11控制图像处理装置10的各部的动作。处理器11能包含中央处理单元CentralProcessingUnit;CPU、专用集成电路（ApplicationSpecificIntegratedCircuit;ASIC、现场可编程门阵列FieldProgrammableGateArray;FPGA或图形处理单元GraphicsProcessingUnit;GPU等集成电路。处理器11可以是1个集成电路等，也可以是多个集成电路等的组合。[0042]存储器12是由例如半导体集成电路实现的随机存取存储器（RandomAccessMemory;RAM等，作为主存储器、缓冲存储器等发挥功能。大容量存储装置13是硬盘或半导体存储器等。[0043]从PC50输入的内容数据被录像并记录在大容量存储装置I3中。换句话说，在大容量存储装置13中将基于从PC50输入的内容数据沿着时间系列显示于投影仪80的图像记录为视频。将这样记录的图像称为内容视频。另外，从数码相机60输入的拍摄图像数据被录像并记录在大容量存储装置13中。换句话说，在大容量存储装置13中基于从数码相机60输入的拍摄图像数据将沿着时间系列拍摄的图像记录为视频。将这样记录的图像称为拍摄视频。另外，在大容量存储装置13中也能记录在处理器11中使用的程序、各种参数。[0044]输入装置14例如包含按钮开关、触摸面板等。用户使用输入装置14输入关于图像处理装置10的动作的指示。[0045]例如，使用记录在大容量存储装置13中的图像处理程序进行动作的处理器11如后所述实现作为拍摄图像取得部、内容取得部、显示区域确定部、加工信息创建部以及图像处理部的功能。在此，拍摄图像取得部经由图像输入IF16取得通过由数码相机60拍摄而生成的拍摄图像数据。拍摄图像数据是通过对包含由作为显示装置的投影仪80显示内容的显示区域和该显示区域的周边区域的拍摄区域进行拍摄而生成的拍摄图像的数据。内容取得部经由内容输入IF15取得用于由作为显示装置的投影仪80进行显示的内容数据。显示区域确定部基于拍摄图像数据确定拍摄图像的显示区域。加工信息创建部基于拍摄图像数据创建加工信息。图像处理部通过将基于内容视频进行图像处理而创建的嵌入图像的视频合成到基于拍摄图像数据的拍摄图像的视频的显示区域，来创建作为演讲视频的合成视频。此时，图像处理部可以使用加工信息。[0046][演讲视频创建系统的动作][0047]〈演讲视频创建的动作的概要〉[0048]演讲视频创建系统1的动作大致分为3个阶段。图2是示出演讲视频创建系统1的动作的一例的概略的流程图。[0049]在步骤S101中，演讲视频创建系统1进行事先处理。事先处理是在要制作演讲视频的该演讲之前进行的处理。在事先处理中，确定投影仪80在数码相机60的拍摄区域中所占的显示区域。[0050]在步骤S102中，演讲视频创建系统1进行演讲录像处理。演讲录像处理是对要制作演讲视频的该演讲进行录像的处理。数码相机60拍摄包含演讲中的演讲者330和屏幕340的拍摄区域的状态，数码相机60的拍摄结果被记录为视频。另外，在演讲中由投影仪80投影的图像即内容被记录为视频。[0051]在步骤S103中，演讲视频创建系统1进行演讲视频创建处理。演讲视频创建处理是在演讲结束后进行的处理。在演讲视频创建处理中，拍摄图像和嵌入图像被合成，创建作为演讲视频的合成视频。在此使用的拍摄图像是由数码相机60拍摄并已记录的拍摄图像。嵌入图像是已记录的内容，且是以与由投影仪80投影的投影图像对应的方式创建的图像。[0052]〈事先处理〉[0053]参照图3所示的流程图说明在步骤S101的事先处理中进行的图像处理装置10的处理。事先处理是通过在例如演讲之前用户指示开始事先处理而进行的。事先处理开始指示是例如通过按压输入装置14所包含的事先处理的开始按钮等而进行的。[0054]在步骤S201中，处理器11使投影仪80投影显示区域识别图案。即，处理器11创建针对显示区域识别图案的图像数据，将创建的图像数据经由图像输出IF18向投影仪80输出。其结果是，投影仪80将显示区域识别图案投影到屏幕340上。在此，显示区域识别图案优选是易于将由数码相机60拍摄的图像中的显示区域提取出的图像。显示区域识别图案例如可以是整个面明亮的单色的图像等。[0055]此外，优选以使显示区域320成为长方形的方式对投影图像适当地进行所谓的梯形校正这样的几何校正。另外，优选投影图像准确地聚焦到屏幕340上。[0056]在步骤S202中，处理器11取得拍摄图像数据。即，数码相机60对拍摄区域310内进行拍摄并创建拍摄图像数据，将其输出。处理器11经由图像输入IF16取得关于显示区域识别图案所投影的拍摄区域310的拍摄图像数据。[0057]在步骤S203中，处理器11对在步骤S202中取得的拍摄图像数据进行解析，确定拍摄图像的拍摄区域内的显示区域。例如，当作为明亮的单色的图像的显示区域识别图案被投影到屏幕340的显示区域320时，处理器11通过对拍摄图像的拍摄区域内的各坐标的亮度值进行解析，检测图像中的对比度亮度的差异），能确定拍摄图像中的显示区域。[0058]图4示出拍摄图像400的拍摄区域410与显示区域420的位置关系的一例的概略。如该图所示，将拍摄区域410的左下的坐标设为坐标0，0，将拍摄区域41〇的右上的坐标设为坐标Xm，Ym。显示区域420存在于拍摄区域410内。在图4中在显示区域420附有阴影线。将显示区域420的左下的坐标设为坐标Xcl，Ycl，将拍摄区域410的右上的坐标设为坐标Xc2,Yc2〇[0059]图5示意性地示出在图4的例子的情况下由处理器11解析的拍摄区域410内的各坐标的亮度的一例的概略。如该图所示，针对拍摄区域410内的各坐标取得亮度值。在图5中对与显示区域420对应的坐标附有阴影线。[0060]在步骤S204中，处理器11创建阿尔法混合用的掩模图像am。即，处理器丨丨将在步骤S203中被判断为显示区域420的外侧的暗的点的a值设定为1，将被判断为显示区域420的明亮的点的a值设定为0。[0061]图6示意性地示出阿尔法混合用掩模图像数据的一例的概略。在图6中，在与附有阴影线的显示区域420对应的坐标中，a值设定为0。在其它坐标中，a值设定为1。设定了这样的a值的阿尔法混合用掩模图像数据是在图4中附有阴影线的显示区域420完全透明而除此以外的区域完全不透明的图像数据。[0062]通过以上所示创建阿尔法混合用掩模图像数据，结束事先处理。[0063]此外，在此为了确定显示区域420而示出了1个简单的方法，但是确定显示区域420的方法不限于上述方法。为了确定显示区域420,能使用各种方法。[0064]〈演讲录像处理〉[0065]参照图7所示的流程图说明在步骤S102的演讲录像处理中进行的图像处理装置10的处理。演讲录像处理是通过例如在即将开始演讲之前用户指示开始演讲录像处理而进行的。演讲录像处理的开始指示是通过例如按压输入装置14所包含的录像开始按钮等而进行的。[0066]在步骤S301中，处理器11开始对从数码相机60取得的拍摄图像数据和从PC50取得的内容数据的录像。拍摄图像和内容分别与时间信息相关联，作为视频记录在大容量存储装置13中。[0067]在步骤S302中，处理器11判断是否结束录像。例如，当用户输入了录像结束的指示时，判断为结束录像。录像结束的指示是在演讲结束后通过例如按压输入装置14所包含的录像结束按钮等而进行的。当在步骤S302的判断中判断为不结束录像时，处理反复进行步骤S302。此时，继续拍摄图像和内容的录像，继续将与时间信息关联起来的拍摄图像和内容作为视频记录在大容量存储装置13中。当在步骤S302的判断中判断为结束录像时，处理进入步骤S303。[0068]在步骤S303中，处理器11将作为关于拍摄图像的视频的拍摄视频Mb和作为关于内容的视频的内容视频Me文件化并保存在大容量存储装置13中。[0069]如以上所示，通过保存拍摄视频Mb和内容视频Me，结束演讲录像处理。[0070]〈演讲视频创建处理〉[0071]参照图8所示的流程图说明在步骤S103的演讲视频创建处理中进行的图像处理装置10的处理。演讲视频创建处理是通过在例如演讲结束后的任意的时点用户指示开始演讲视频创建处理而进行的。演讲视频创建处理的开始指示是通过例如按压输入装置14所包含的演讲视频创建按钮等而进行的。[0072]在步骤S401中，处理器11调整内容视频Me的尺寸，创建作为嵌入图像的调整视频Mn。调整视频Mn的整体的图像尺寸被调整为与拍摄视频Mb的图像尺寸相同。即，调整视频Mn的整体的图像尺寸例如若在图4所示的例子中由坐标表示则被调整为与〇,〇-Xm，Ym相当的尺寸。处理器11按照与显示区域420相当的部分的大小将内容视频Me缩小或放大。而且，处理器11将缩小或放大后的投影视频的位置调成与显示区域420相当的位置。这样，创建投影视频的位置和大小被调整到与显示区域420相当的部分的调整视频Mn。即，若在例如图4所示的例子中由坐标表示，则会按照Xcl，Ycl-Xc2，Yc2调整内容视频Me的尺寸和位置。内容视频Me所包含的时间信息也被该调整视频Mn继承。创建的调整视频Mn例如保存在大容量存储装置13中。[0073]在步骤S402中，处理器11创建将拍摄视频Mb和调整视频Mn合成的合成视频Ma。例如，处理器11将拍摄视频Mb作为前景侧，通过使用阿尔法混合用的掩模图像am和调整视频Mn进行阿尔法混合，创建合成视频Ma。此时，使用拍摄视频Mb和调整视频Mn所包含的时间信息，将这些视频调整为同步。创建的合成视频Ma例如保存在大容量存储装置13中。该合成视频Ma成为目标演讲视频。以上是演讲视频创建系统1的动作。[0074]根据本实施方式的演讲视频创建系统1，创建将由数码相机60拍摄的拍摄视频Mb中的与显示区域320相当的位置的图像以内容视频Me置换的合成视频Ma。该合成视频Ma为视觉识别性优异的图像。即，在数码相机60的拍摄中，焦点一般会对准演讲者330。其结果是，投影到屏幕340上的投影图像可能成为焦点偏离的状态。另外，能对投影图像进行所谓的梯形校正这样的几何校正，使得图像投影到长方形的显示区域320。由于这种校正，在投影图像中，亮度降低或画质劣化。另外，在投影图像中可能产生在使用DLP注册商标投影仪作为投影仪80的情况下可能产生的辐射光等噪声。辐射光虽然在用肉眼观察投影图像的情况下难以识别，但是有时在拍摄的图像中是能识别的。在本实施方式所创建的合成视频Ma中，显示区域420的图像是基于内容数据创建的，因此在显示区域420的图像中不会产生上述这样的焦点的偏离、亮度的降低、画质的劣化、噪声的叠加等。[0075]说明本实施方式的变形例。在此，说明与上述实施方式的不同点，对同一部分标注同一附图标记而省略其说明。在本实施方式中，创建根据使用数码相机60得到的拍摄视频Mb实施了加工的合成视频Ma。[0076]拍摄视频Mb所包含的显示区域420内的图像的色调与内容视频Me的色调有时会根据拍摄条件等而不同。在本实施方式中，在创建调整视频Mn时，例如实施使内容视频Me的色调与拍摄视频Mb所包含的显示区域420内的图像的色调匹配的处理。使用这样创建的调整视频Mn来创建合成视频Ma。其结果是，能创建在视频的整个画面中色调自然的合成视频Ma。使内容视频Me的色调与拍摄视频Mb所包含的显示区域420内的图像的色调匹配的方法有多种。以下示出其例子。[0077][第1方法][0078]说明本实施方式的第1方法。参照图9所示的流程图说明本方法的演讲视频创建处理。[0079]在步骤S501中，处理器11对拍摄视频Mb进行解析。更详细地说，处理器11确定构成拍摄视频Mb的图像所包含的显示区域420内的色调的信息。在此，色调例如可能根据以下因素而变化。即，色调可能根据数码相机6〇在拍摄时的白平衡的设定等拍摄条件而变化。另外，色调可能根据投影仪80的光源等的特性这样的投影条件而变化。另外，色调可能根据演讲的会场的照明状态这样的环境条件而变化。[0080]在步骤S502中，处理器11调整内容视频Me的尺寸，创建调整视频Mn。另外，此时，处理器11根据步骤S501的解析结果来调整内容视频Me的色调。即，处理器11以使内容视频Me的色调与拍摄视频Mb所包含的显示区域420内的图像的色调匹配的方式进行图像处理。这样，创建色调被调整而且投影视频的位置和大小被调整到与显示区域420相当的部分的调整视频Mn。[0081]此外，拍摄视频Mb的解析可以针对视频的全部期间进行，并在按每个时间而不同的条件下进行调整视频Mn的色调的调整。另外，拍摄视频Mb的解析也可以例如仅在演讲的最初的状态下进行，并在视频的全部期间在同一条件下进行调整视频Mn的色调的调整。另外，拍摄视频Mb的解析还可以例如按每固定期间反复进行，并在按每固定期间重新设定的条件下进行调整视频Mn的色调的调整。[0082]内容视频Me所包含的时间信息也被该调整视频Mn继承。创建的调整视频Mn例如保存在大容量存储装置13中。[0083]在步骤S5〇3中，处理器11创建将拍摄视频Mb和调整视频Mn合成的合成视频Ma。创建的合成视频Ma例如保存在大容量存储装置I3中。该合成视频Ma成为目标演讲视频。[0084]如以上所示，能创建在动态图像的整个画面中在色调方面具有自然的特性的合成视频Ma。[0085]在此，示出了调整基于内容视频Me创建的调整视频Mn的色调的图像处理的例子，但是不限于此。也可以通过图像处理调整拍摄视频Mb的色调来代替调整基于内容视频Me创建的调整视频Mn的色调。在该情况下，处理器11以使拍摄视频Mb的显示区域420以外的区域的色调与未被调整的内容视频Me的色调匹配的方式对拍摄视频Mb进行调整色调的图像处理。处理器11将调整色调后的拍摄视频Mb和内容视频Me合成，创建合成视频Ma。另外，处理器11也可以对调整视频Mn和拍摄视频Mb这两者进行调整色调的处理以使两者的视频的色调匹配。[0086][第2方法][0087]说明本实施方式的第2方法。在第1方法中，通过对拍摄视频Mb进行解析，确定显示区域420内的色调的信息。与此相对，在本方法中，基于与拍摄视频Mb的数据关联起来记录的拍摄时的各种条件来确定显示区域420内的色调的信息。[0088]例如，在演讲录像处理的步骤S303中，将拍摄时的数码相机6〇的白平衡的设定、投影仪80的设定等各种设定中的1个以上的设定与拍摄视频Mb的数据关联起来记录。[0089]在演讲视频创建处理中，处理器11读出拍摄视频Mb以及与拍摄视频Mb关联起来的上述信息。处理器11基于该信息，与步骤S502的处理同样地，调整内容视频Me的色调，创建调整视频Mn。其它与第1方法的情况相同。[0090]如上所示，能创建在动态图像的整个画面中色调具有自然的特性的合成视频Ma。[0091]说明本实施方式的变形例。在此，说明与上述实施方式的不同点，对同一部分标注同一附图标记而省略其说明。在本实施方式中，创建根据使用数码相机60得到的拍摄视频Mb实施了加工的合成视频Ma。[OO92]在上述的实施方式中，说明了通过事先处理将拍摄图像的显示区域预先确定为固定^区域的情况的例子。与此相对，例如，在演讲者、指示器等侵入了显示区域的情况下等，显示区域及其以外的周边区域的边界有时会随着时间经过而变化。例如，当如图10所示，演讲者330的一部分352与原来的显示区域320重叠的情况下，若进行上述实施方式这样的处理，则在合成视频Ma中，与原来的显示区域：320重叠的演讲者330的一部分352会消失。另外，若进行上述实施方式这样的处理，则由例如演讲者3：3〇具有的激光指示器332示出的亮点354在合成视频Ma中不会被再现。为了应对这样的状况，图像处理装置10可以构成为使显示区域随着时间而变化。[0093]显示区域与周边区域的边界例如通过比较内容的图像和拍摄图像而能容易地确定。即，当演讲者330等未侵入显示区域320时，内容的图像和拍摄图像的显示区域320的图像一致。另一方面，当演讲者等侵入了显示区域320时，在侵入的部分，内容的图像和拍摄图像的显示区域的图像变得不一致。因此，基于这样的变得不一致的区域，能确定显示区域与周边区域的边界。[0094]另外，当在拍摄图像中存在由激光指示器332形成的亮点354时，该亮点354的亮度非常高，因此能将亮点354确定为亮度高的点。[0095]在任何情况下，只要将在显示区域420内例如由于映出了演讲者等而应该显示拍摄图像的位置的阿尔法混合的a值即使在显示区域420内也变更为1即可。这样，即使在显示区域420内存在显示图像以外之物的情况下，也能创建自然的演讲视频。以下，参照附图进一步说明本实施方式的处理方法的几个例子。[0096][第1方法][0097]参照图11所示的流程图说明本方法的演讲视频创建处理。[0098]在步骤S601中，处理器11对初始显示区域和内容视频Me进行解析，检测演讲中的各时点的像素的差异。在此，初始显示区域是例如演讲者33〇等未侵入屏幕340的区域的初始状态下的拍摄视频Mb的显示区域420。另外，在参照图3说明的事先处理中确定的显示区域可以设定为初始显示区域。拍摄视频Mb的初始显示区域和内容视频Me的差异是在合成视频Ma中初始显示区域内的应该示出与内容视频Me的像素不对应的像素的区域。例如，侵入初始显示区域内的演讲者330的图像被检测为差异。另外，激光指示器332的照射到初始显示区域的亮点354的图像被检测为差异。[0099]在步骤S602中，处理器11针对在步骤S601中检测出的差异部分，更新阿尔法混合用掩模图像am的Q值。例如，针对检测出差异的部分，将a值设定为1。这样，创建在沿着时间系列的各时点在初始显示区域的各像素中a值有时会不同的阿尔法混合用掩模图像am。[0100]即，初始显示区域中的差异部分以外是新的显示区域。在该新的显示区域，合成基于内容视频Me的图像。[0101]在步骤S6〇3中，处理器11与上述实施方式的情况同样地，调整内容视频Me的尺寸，创建并保存调整视频Mn。[0102]在步骤S604中，处理器11使用在步骤S602中创建的阿尔法混合用掩模图像am，将拍摄视频Mb和调整视频Mn合成，创建合成视频Ma。创建的合成视频Ma例如保存在大容量存储装置13中。该合成视频Ma成为目标演讲视频。在该合成视频Ma中，在与进入了初始显示区域的演讲者33〇、激光指示器332的亮点354对应的部分，不是显示基于内容视频Me的图像，而是显示基于拍摄视频Mb的图像。[0103]如上所示，即使拍摄视频Mb包含进入了数码相机60和显示区域320之间的演讲者330的图像或亮点354的图像，也能创建作为自然的视频的合成视频Ma。[0104]此外，本方法也可以包含基于拍摄视频Mb来调整内容视频Me的色调的处理。[0105]另外，色调的调整不限于对内容视频Me或拍摄视频Mb的全部像素均一样地进行。下面示出色调的调整的另一例作为第2方法。[0106][第2方法][0107]参照图12所示的流程图说明本方法的演讲视频创建处理。[0108]在步骤S7〇l中，处理器11对拍摄视频Mb的色调进行解析。即，处理器11确定构成拍摄视频Mb的图像所包含的显示区域420内的色调的信息。[0109]在步骤S702中，处理器11与第1方法的步骤S601同样，对拍摄视频Mb的初始显示区域和内容视频Me进行解析，检测演讲中的各时点的对应的像素的差异。[0110]在步骤S703中，处理器11与第1方法的步骤S602同样，针对在步骤S702中检测出的差异部分，更新阿尔法混合用掩模图像am的a值。在步骤S704中，处理器11调整内容视频Me的尺寸，创建调整视频Mn。另外，处理器11基于步骤S701的解析结果，通过图像处理来调整内容视频Me的色调，创建调整视频Mn。处理器11进行以特别是在合成的拍摄视频Mb和内容视频Me的边界上使得图像平滑连接的方式调整色调的图像处理。此时，处理器11可以对内容视频Me的整体一样地进行色调的调整。另外，处理器11也可以基于在步骤S702中检测出的差异，确定在合成时基于拍摄视频Mb的图像和基于内容视频Me的图像的边界的位置，使用其进行色调的调整。该边界相当于从初始显示区域除去了差异部分的新的显示区域的边缘。处理器11也可以是以使所确定的边界看起来自然的方式在边界部分中朝向边界逐步调整内容视频Me的色调。这样的色调的调整可以对显示区域的边缘的全长进行，例如，也可以对与差异部分的周边相当的显示区域的边缘进行。[0112]在步骤S7〇5中，处理器11基于步骤S7〇l的解析结果，通过图像处理来调整拍摄视频Mb的色调，创建调整拍摄视频Md。处理器11进行以特别是在合成的拍摄视频Mb和内容视频Me的边界上使得图像平滑连接的方式调整色调的图像处理。此时，处理器11可以对拍摄视频Mb的整体一样地进行色调的调整。另外，处理器11也可以确定基于步骤S702中检测出的差异确定的显示区域的边缘，使用其进行色调的调整。处理器11也可以是以使所确定的边缘看起来自然的方式在边界部分中朝向边界逐步调整拍摄视频Mb的色调。这样的色调的调整可以对显示区域的边缘的全长进行，例如，也可以对与差异部分的周边相当的显示区域的边缘进行。[0113]在步骤S7〇6中，处理器11使用在步骤S7〇3中创建的阿尔法混合用掩模图像am，将调整拍摄视频Md和调整视频Mn合成，创建合成视频Ma。创建的合成视频Ma例如保存在大容量存储装置13中。该合成视频Ma成为目标演讲视频。[0114]在该合成视频Ma中，在进入了显示区域320的演讲者330、激光指示器332的亮点354的部分，不是显示基于内容视频Me的图像，而是显示基于拍摄视频Mb的图像。另外，根据本方法，合成的调整拍摄视频Md和调整视频Mn的边界变得平滑。[0115]在上述的例子中，示出了调整拍摄视频Mb和内容视频Me这两者的色调的例子，但是不限于此。也可以调整拍摄视频Mb和内容视频Me中的任意一方的色调。另外，也可以与拍摄视频Mb或内容视频Me的色调的调整无关地，或者在色调的调整的基础之上，使用阿尔法混合用掩模图像am，使拍摄视频Mb和内容视频Me的边界平滑。即，也可以在边界部分中，根据离边界的距离使调整拍摄视频Md和调整视频Mn的合成比率逐步变化。[0116]说明上述实施方式的变形例。在此，说明与上述实施方式的区别点，对同一部分标注同一附图标记而省略其说明。在本实施方式中，创建根据使用数码相机60得到的拍摄视频Mb实施了加工的合成视频Ma。在本实施方式中，基于拍摄视频Mb，将在实际的演讲中不存在的图像合成到合成视频Ma。[0117]例如，如图13所示，当演讲者330使用激光指示器332进行了规定的动作时，与该动作相应的显示被包含于合成视频Ma中。例如，当使亮点的位置以往返规定次数的方式变化时，与亮点的轨迹相应的线4M会包含于合成视频Ma中。例如当演讲者330想要在内容中的希望强调的部分标注下划线时，演讲者330只要在该位置使亮点的位置往返规定次数即可。另外，当以包围某位置的方式使亮点的位置变化时，与亮点的轨迹相应的围线466会包含于合成视频Ma中。例如当演讲者330想要用四边形、圆包围内容中的希望强调的部分时，演讲者330只要以用亮点包围该部分的方式操作激光指示器332即可。另外，为了强调由激光指示器332指示的位置，在合成视频Ma中，也可以在亮点部分显示例如箭头的图形462。[0118]参照图14所示的流程图说明本实施方式的演讲视频创建处理。[0119]在步骤S801中，处理器11调整内容视频Me的尺寸，创建调整视频Mn。[0120]在步骤S802中，处理器11对拍摄视频Mb的初始显示区域和内容视频Me进行解析，检测演讲中的各时点的像素的差异。在本实施方式中，处理器11基于该差异，确定激光指示器332的亮点。处理器11将亮点确定为作为在初始显示区域的内部演讲者330所指示的位置的指示位置。[0121]在步骤S803中，处理器11对作为在步骤S802中确定的指示位置的亮点的运动进行解析。例如，处理器11細析壳点是沿着时间系列以往返于相同位置规定次数的方式运动，还是亮点以包围任意的位置的方式运动等。[0122]在步骤S804中，处理器11对在内容视频Me中内容的显示页是否发生了变更等进行解析。处理器11通过对例如内容视频Me进行解析，能确定内容是否被翻页。另外，也可以在演讲录像处理中，记录演讲者330对内容的翻页动作的定时，处理器11基于该记录，确定内容是否被翻页。[0123]在步骤S805中，处理器11基于步骤S803和步骤S804的解析结果，创建要包含于合成视频Ma的叠加视频Me，例如将其存储在大容量存储装置13中。例如，处理器丨丨在亮点往返于相同位置规定次数时，为了在该位置显示下划线而创建在该位置包含线464的叠加视频Me。另外，处理器11在亮点包围了任意的位置时，为了沿着亮点的位置显示围线而创建在该位置包含围线妨6的叠加视频Me。另外，处理器11为了按照亮点的位置来显示箭头的图形462，而创建在亮点的位置包含箭头的图形462的叠加视频Me。[0124]叠加视频Me中的线464等可以构成为随着内容的页的变更而被删除。即，即使内容的页改变，如果与前一页的内容对应的下划线等仍然存在，就反而会成为难以理解的演讲视频，因此以使得下划线等在内容翻页的同时被删除的方式创建叠加视频Me。[0125]在步骤S8〇6中，处理器11使用阿尔法混合用掩模图像am，将拍摄视频Mb和调整视频Mn合成。而且，处理器11合成叠加视频Me，创建合成视频Ma。创建的合成视频Ma例如保存在大容量存储装置I3中。该合成视频Ma成为目标演讲视频。[0126]在该合成视频Ma中，包含与激光指示器332的亮点的运动相应的图像。其结果是，演讲视频成为在实际的演讲中进一步附加有信息的易于理解的视频。[0127]在此示出的在亮点往返规定次数时显示线或者在亮点包围了规定的位置时显示围线等是作为指示位置的亮点的运动与显示的图像的关系的一例。[0128]另外，在上述的例子中，示出了基于拍摄视频Mb和内容视频Me的差异检测亮点的例子，但是亮点检测的方法不限于此。例如，也可以将拍摄视频Mb所包含的具有规定以上的亮度的点确定为激光指示器的亮点。另外，作为激光指示器332,也可以使用示出肉眼不能识别但是能在拍摄视频Mb中被确定的示出规定的闪烁图案的激光指示器。在该情况下，基于该闪烁图案，能确定亮点的位置。[0129]另外，在上述实施方式中，示出了激光指示器332的亮点用作指示位置并且基于该亮点创建叠加视频的例子。然而不限于此，也可以基于演讲者330的手势，创建要叠加的图像。例如，也可以将演讲者330用手指示的位置作为指示位置，在检测出演讲者330的规定的动作时，将与该动作相应的图像创建为叠加图像。[0130]另外，在能实时创建要叠加的图像的情况下，该图像能由投影仪80投影。在该情况下，下划线等显示在屏幕340上，因此会显示对实际听演讲的人来说也容易理解的图像。[0131]本实施方式也可以构成为与上述变形例组合起来实施。[0132]说明了资料的图像由显示装置提示，演讲者在该图像的旁边进行演讲的情况。在此，举例说明使用投影仪作为显示装置的情况。提示资料的显示装置不限于投影仪。例如也可以使用液晶显示器等各种装置来代替投影仪。在该情况下，在上述任意的实施方式的说明中，作为“投影”说明的部分能置换为“显示”。这在以下示出的变形例中也是同样的。此夕卜，在第3实施方式中，研宄了例如演讲者330侵入显示区域320的情况。这种情况下，若显示装置是投影仪，则是演讲者330进入屏幕与投影仪之间，图像被投影到演讲者33〇上。另一方面，若显示装置是液晶显示器等，则是演讲者330进入显示器等与数码相机之间。[0133]举例说明了以使显示区域320成为长方形的方式调整投影的状态的情况，但是显示区域320也可以不是长方形。能按照基于拍摄图像确定的显示区域4洲，通过图像处理对合成的调整视频Mn的形状适当地进行校正。通过这样的图像处理，即使显示区域32〇的形状和内容的图像的形状不一致，也能创建适当的演讲视频。[0134]在使投影图像变化时，用户对PC50或投影仪8〇进行操作。例如，当进行投影图像的翻页时，用户进行PC50的操作，当进行投影图像的梯形校正时，用户进行投影仪8〇的操作。处理器11也可以取得对PC50或投影仪80进行的操作的信息，使用该信息创建调整视频血。[0135]而且，例如，即使在从PC50输出的内容数据不变化的情况下，有时也会使用投影仪80的功能将投影图像的一部分放大，或者使放大的部分向上下左右移动。在这样的情况下，处理器11也可以取得关于输入到投影仪80的操作的变更信息，使用所取得的变更信息创建调整视频Mn。通过使用这样的方法，与仅使用拍摄视频Mb来决定通过图像处理应该创建的调整视频Mn相比，调整视频Mn的创建变得容易。[0136]此外，作为从PC50输出并由投影仪80投影的内容的图像可以是静态图像也可以是视频。另外，在内容中也可以包含声音。内容所包含的声音能由投影仪80或其它装置输出。演讲视频所包含的内容的声音可以是使用麦克风70录制的，也可以是与例如演讲者发出的声音等同样地处理过的，还可以是基于从Peso向图像处理装置10输入的声音数据创建的。[0137]在上述实施方式中，说明了使用阿尔法混合的方法进行的图像合成，但是合成方法不限于此。图像合成能使用各种方法。[0138]另外，在上述各实施方式中，说明了图像处理装置10进行事先处理、演讲录像处理、演讲视频创建处理中的所有处理，但是不限于此。例如，演讲视频创建处理也可以由与进行事先处理和演讲录像处理的装置不同的装置进行。即，如果提供有拍摄视频Mb、内容视频Me以及掩模图像am，则也可以基于它们由PC或服务器等进行演讲视频创建处理。[0139]另外，在上述各实施方式中，说明了图像处理装置10通过图像合成创建演讲视频的构成，但是不限于此。例如，在拍摄视频Mb的显示区域420内一部分的画质发生了降低的情况下，也可以基于内容视频Me仅对该部分进行校正。即，也可以考虑根据该部分的画质的降低程度，使用内容视频Me的与该部分对应的部分的信息进行校正。只要是使拍摄视频Mb的显示区域420对于观看演讲视频的人来说质量足够高的图像处理即可，不限于嵌入图像的合成。[0140]另外，如果处理器11的处理能力足够高，则也可以实时进行拍摄视频Mb和内容视频Me的合成。如果实时进行演讲视频的创建，则通过将创建的演讲视频发送到远程地，远程地的听众能与演讲同时以高质量的图像观看该演讲。[0141]能举出图像处理装置10独立于PC50和投影仪80设置的情况的例子进行说明，但是作为图像处理装置10的功能，可以设置在例如投影仪80内，也可以设置在PC50内。例如，也可以将上述的功能作为将图1所示的投影仪80、数码相机60、麦克风70以及图像处理装置10收纳在1个壳体中的投影仪进行提供。投影仪所配置的位置是适合对显示图像进行投影的位置，其成为适合同时拍摄投影图像和演讲者的位置。另外，内容数据一般是为了进行投影而输入到投影仪，但其成为用于同时创建合成图像的内容数据。因此，将数码相机和图像处理装置收纳在投影仪的壳体中是合理的。[0142]此外，上述实施方式的PC50是一例，PC50能置换为平板型的信息终端、智能手机等、演示用的应用软件进行动作的各种设备。另外，即使没有这些设备，例如投影仪80也可以承担其功能。在该情况下，记录有关于演示的数据的记录介质连接到投影仪80,投影仪80基于该数据进行投影。此时，投影仪80将所投影的图像的数据作为内容数据向图像处理装置10传递。另外，图像处理装置10也可以承担PC50的功能。在该情况下，记录有关于演示的数据的记录介质连接到图像处理装置10,或者该数据记录在大容量存储装置13中。图像处理装置10基于这些数据将内容数据向投影仪80传递。[0143]这些变形例均能进行各种组合，任何变形例和它们的组合也均能与上述第1实施方式至第4实施方式中的任何实施方式进行组合。[0144]此外，本发明不限定于上述实施方式，能在实施阶段中在不脱离其主旨的范围内进行各种变形。另外，各实施方式也可以适当组合进行实施，在该情况下能得到组合的效果。而且，上述实施方式中包含各种发明，通过从公开的多个构成要件选择出的组合能提取出各种发明。例如，即使从实施方式中示出的全部构成要件删除几个构成要件，在能解决问题并得到效果的情况下，删除该构成要件后的构成能被提取为发明。

权利要求：1.一种图像处理装置，其特征在于，具备：拍摄图像取得部，其取得包含由显示装置显示内容的显示区域和该显示区域的周边区域的区域的拍摄图像；内容取得部，其取得与上述内容对应的内容图像数据；显示区域确定部，其确定上述拍摄图像中的上述显示区域；加工信息创建部，其基于上述拍摄图像创建加工信息；以及图像处理部，其使用上述加工信息进行包含将基于上述内容图像数据的图像合成到上述拍摄图像的上述显示区域的图像处理。2.根据权利要求1所述的图像处理装置，上述加工信息创建部基于上述拍摄图像确定随着时间经过而变化的上述显示区域，上述图像处理部进行将基于上述内容图像数据的图像合成到随着时间经过而变化的上述拍摄图像的上述显示区域的图像处理。3.根据权利要求2所述的图像处理装置，上述加工信息创建部通过将作为上述拍摄图像的初始状态的上述显示区域的初始显示区域的内部的图像和上述内容图像数据进行比较，确定随着时间经过而变化的上述显示区域。4.根据权利要求3所述的图像处理装置，上述加工信息创建部创建包含上述拍摄图像的色调和基于上述内容的图像的色调中的至少任意一种色调的信息的上述加工信息，上述图像处理部以使得在合成后的图像中的上述显示区域的边缘的至少一部分中上述拍摄图像的色调和基于上述内容图像数据的图像的色调匹配的方式，进行对上述拍摄图像和上述内容图像数据中的至少任意一方的至少一部分调整色调的图像处理。5.根据权利要求1至3中的任意一项所述的图像处理装置，上述加工信息创建部创建包含上述拍摄图像的色调和基于上述内容图像数据的图像的色调中的至少任意一种色调的信息的上述加工信息，上述图像处理部以使得合成后的图像中的上述拍摄图像的色调和基于上述内容图像数据的图像的色调匹配的方式，进行对上述拍摄图像和上述内容图像数据中的至少任意一方调整色调的图像处理。6.根据权利要求1至5中的任意一项所述的图像处理装置，上述加工信息创建部基于上述拍摄图像确定上述显示区域的内部的指示位置，创建基于上述指示位置的叠加图像，上述图像处理部还将上述叠加图像合成到将上述拍摄图像和基于上述内容图像数据的图像合成而创建的图像。7.根据权利要求6所述的图像处理装置，_上述加工信息创建部创建包含表示上述指示位置的图形和表示上述指示位置的轨迹的图形中的至少任意一种图形的上述叠加图像。8.根据权利要求7所述的图像处理装置，上述内容包含多页，_上述加工信息创建部创建当上述内容的页发生了变更时表示上述指示位置的轨迹的图形被删除的上述叠加图像。9.根据权利要求6至8中的任意一项所述的图像处理装置，上述加工信息创建部确定作为激光指示器的亮点的上述指示位置或者由演讲者的动作确定的上述指示位置。10.根据权利要求1至9中的任意一项所述的图像处理装置，上述图像处理部从对上述内容实施图像处理并显示上述内容的上述显示装置取得关于该图像处理的变更信息，基于该变更信息进行图像处理。11.一种投影仪，其特征在于，具备：权利要求1至10中的任意一项所述的图像处理装置；投影部，其作为将基于上述内容图像数据投影到上述显示区域的图像输出的上述显示装置;以及拍摄部，其生成上述拍摄图像。12.—种图像处理方法，其特征在于，包含：取得包含由显示装置显示内容的显示区域和该显示区域的周边区域的区域的拍摄图像；取得与上述内容对应的内容图像数据；确定上述拍摄图像中的上述显示区域；基于上述拍摄图像创建加工信息；以及使用上述加工信息进行包含将基于上述内容的图像合成到上述拍摄图像的上述显示区域的图像处理。13.—种存储介质，存储在图像处理装置中执行的图像处理程序，其特征在于，上述图像处理程序执行以下的功能：取得包含由显示装置显示内容的显示区域和该显示区域的周边区域的区域的拍摄图像；取得与上述内容对应的内容图像数据；确定上述拍摄图像中的上述显示区域；基于上述拍摄图像创建加工信息；以及_使用上述加工信息进行包含将基于上述内容的图像合成到上述拍摄图像的上述显示区域的图像处理。

百度查询： 卡西欧计算机株式会社 图像处理装置、投影仪、图像处理方法以及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD