申请/专利权人：株式会社万代南梦宫娱乐

申请日：2017-02-04

公开（公告）日：2024-04-02

公开（公告）号：CN107067457B

主分类号：G06T15/02

分类号：G06T15/02;G06T15/08;G06T15/20;G06T15/30;G06T15/80;G06T5/70;A63F13/655

优先权：["20160205 JP 2016-021039"]

专利状态码：有效-授权

法律状态：2024.04.02#授权;2019.03.01#实质审查的生效;2017.08.18#公开

摘要：提供能够生成合成被拍摄体的部位图像并且也能反映被拍摄体的肤色信息的角色的图像的图像生成系统以及图像处理方法等。图像生成系统包括：输入处理部，获得被拍摄体的摄像图像；提取处理部，进行色信息的提取处理；以及图像生成部，生成将被拍摄体的摄像图像所包含的被拍摄体的指定部位的部位图像合成于角色的图像的合成图像。提取处理部根据被拍摄体的指定部位的部位图像，进行被拍摄体的肤色信息的提取处理。图像生成部根据提取的肤色信息，设定角色的指定部位之外的部位的色信息，生成角色的图像。

主权项：1.一种图像生成系统，其特征在于，包括：输入处理部，获得被拍摄体的摄像图像；提取处理部，进行色信息的提取处理；图像生成部，通过将所述被拍摄体的所述摄像图像所包括的所述被拍摄体的指定部位的部位图像合成于角色的图像，从而生成所述指定部位成为所述被拍摄体的所述部位图像、所述指定部位以外的部分成为所述角色的电脑绘图图像的合成图像；以及被拍摄体信息获得部，根据来自传感器的传感器信息，获得用于确定所述被拍摄体的动作的被拍摄体信息，所述图像生成部根据所述被拍摄体信息，确定所述被拍摄体的所述指定部位，从所述被拍摄体的所述摄像图像中切出所述部位图像，所述提取处理部根据基于所述被拍摄体信息切出的所述被拍摄体的所述指定部位的所述部位图像，进行所述被拍摄体的肤色信息的提取处理，所述图像生成部根据提取的所述肤色信息，设定所述角色的所述指定部位之外的部位的色信息，生成所述角色的图像，并通过合成所述角色的图像与所述部位图像，从而合成所述部位图像的合成位置与所述被拍摄体的动作对应而变化的所述合成图像，所述角色是由多个对象构成的模型对象，所述图像生成部根据所述被拍摄体的所述肤色信息，在所述模型对象的所述多个对象中，设定所述指定部位之外的部位的对象的色信息，通过进行所述模型对象的透视处理，生成所述模型对象的图像，所述合成图像是如下图像，即作为所述模型对象的所述角色根据通过所述被拍摄体信息检测的所述被拍摄体的动作而动作。

全文数据：图像生成系统以及图像处理方法技术领域[0001]本发明涉及图像生成系统、图像处理方法及信息存储介质等。背景技术[0002]以往已知对游戏者等的被拍摄体拍照，使摄像图像反映到游戏的角色等的类型的图像生成系统。作为这种图像生成系统的现有技术，例如有专利文献1中公开的技术。在这种现有技术中，形成合成来自摄像部的实像和来自绘图存储部的绘图图像的角色，在显示部的画面显示形成的角色。[0003]在先技术文献[0004]专利文献[0005]专利文献1:日本特开7-192143号公报。发明内容[0006]发明要解决的课题[0007]根据这种现有技术，能在画面显示合成游戏者的摄像图像的角色来进行游戏。但是，关于角色的脸，使用游戏者的脸图像，关于角色的脸之外的部位，使用作为CG图像的绘图图像。因此，现在还没有一个能够给予游戏者角色是自己的分身这种感觉。[0008]根据本发明的几个方式，能够提供能生成合成被拍摄体的部位图像并且也能反映被拍摄体的肤色信息的角色的图像的图像生成系统、图像处理方法以及信息存储介质等。[0009]解决课题的手段[0010]本发明的一方式涉及图像生成系统，包括:输入处理部，获得被拍摄体的摄像图像;提取处理部，进行色信息的提取处理；以及图像生成部，生成合成图像，所述合成图像将所述被拍摄体的所述摄像图像所包括的所述被拍摄体的指定部位的部位图像合成于角色的图像，所述提取处理部根据所述被拍摄体的所述指定部位的所述部位图像，进行所述被拍摄体的肤色信息的提取处理，所述图像生成部根据提取的所述肤色信息，设定所述角色的所述指定部位之外的部位的色信息，生成所述角色的图像。此外，本发明涉及作为上述各部使计算机发挥功能的程序，或者存储该程序的计算机可读取的信息存储介质。[0011]根据本发明的一方式，被拍摄体的摄像图像所包括的被拍摄体的指定部位的部位图像合成于角色的图像。此时，在本发明的一方式中，根据被拍摄体的该部位图像，提取肤色信息。而且，根据提取的肤色信息，设定角色的指定部位之外的部位的色信息，生成角色的图像。这样，能够将基于被拍摄体的指定部位的部位图像获得的肤色信息反映为角色的指定部位之外的部位的色信息。因此，能够生成合成被拍摄体的部位图像并且也反映被拍摄体的肤色信息的角色的图像。[0012]此外，在本发明的一方式中，所述部位图像是所述被拍摄体的脸图像，所述提取处理部根据所述脸图像，进行所述肤色信息的提取处理，所述图像生成部根据从所述脸图像提取的所述肤色信息，可以设定所述角色的脸之外的部位的色信息。[0013]这样，能够将被拍摄体的脸图像合成于角色，并且能够将基于被拍摄体的脸图像而获得的肤色信息作为角色的脸之外的部位的色信息反映。[0014]另外，在本发明的一方式中，所述角色是由多个对象构成的模型对象，所述图像生成部根据所述被拍摄体的所述肤色信息，在所述模型对象的所述多个对象中，可以设定所述指定部位之外的部位的对象的色信息，通过进行所述模型对象的透视处理，生成所述模型对象的图像。[0015]这样，将从被拍摄体的指定部位的部位图像中提取的肤色信息设定为构成模型对象的对象中指定部位之外的部位的对象的色信息，进行透视处理，能够生成模型对象的角色的图像。[0016]此外，在本发明的一方式中，所述图像生成部可以在所述角色的图像和所述部位图像的边界区域进行校正处理。[0017]通过这种方式，能够通过校正处理对在角色的图像和部位图像的边界区域的图像变得不自然的图像进行校正。_[0018]此外，在本发明的一方式中，所述图像生成部可以在所述边界区域进行所述角色的图像的色信息和所述部位图像的色信息的半透明合成处理作为所述校正处理。[0019]通过这样的方式，能够将角色的图像和部位图像在边界区域的图像校正成对角色的图像的色信息和部位图像的色信息半透明合成后的图像。[0020]此外，在本发明的一方式中，所述图像生成部可以对所述边界区域进行修饰处理作为所述校正处理。[0021]通过这种方式，能够通过修饰处理使角色的图像和部位图像在边界区域不自然的图像不显眼。[0022]此外，在本发明的一方式中，所述提取处理部从所述被拍摄体的所述部位图像中提取与肤色条件一致的像素，根据提取的像素的色信息，可以求得所述被拍摄体的所述肤色信息。[0023]这样，在被拍摄体的部位图像的像素中，选择与肤色的提取相适应的像素，能够提取肤色信息。[0024]此外，在本发明的一方式中，包括被拍摄体信息获得部，所述被拍摄体信息获得部根据来自传感器的传感器信息，获得用于确定所述被拍摄体的动作的被拍摄体信息使计算机作为被拍摄体信息获得部发挥功能），所述图像生成部可以生成通过所述被拍摄体信息确定的根据所述被拍摄体的动作而动作的所述角色的图像。[0025]这样，根据基于传感器信息获得的被拍摄体信息，确定被拍摄体的动作，能够生成根据该被拍摄体的动作而动作的角色的图像。而且，对于这种根据被拍摄体的动作而动作的角色，能够正确地合成被拍摄体的部位图像，并且也能够反映被拍摄体的肤色信息。[0026]此外，在本发明的一方式中，所述图像生成部根据所述被拍摄体信息，确定所述被拍摄体的所述指定部位，从所述被拍摄体的所述摄像图像中切出所述部位图像，将切出的所述部位图像合成于所述角色的图像，所述提取处理部可以根据基于所述被拍摄体信息确定的所述指定部位的所述部位图像，进行所述被拍摄体的所述肤色信息的提取处理。[0027]这样，利用用于确定被拍摄体的动作的被拍摄体信息，确定被拍摄体的指定部位，将确定的指定部位的部位图像合成于角色的图像，或者能够从确定的指定部位的部位图像中提取被拍摄体的肤色信息。[0028]此外，在本发明的一方式中，所述被拍摄体信息获得部根据所述传感器信息，获得所述被拍摄体的骨架信息作为所述被拍摄体信息，所述提取处理部可以根据基于所述骨架信息确定的所述指定部位的所述部位图像，进行所述被拍摄体的所述肤色信息的提取处理。[0029]这样，利用用于确定被拍摄体的动作的骨架信息，确定被拍摄体的指定部位，能够从确定的指定部位的部位图像中提取被拍摄体的肤色信息。[0030]此外，本发明的其他方式涉及图像处理方法，进行:输入处理，获得被拍摄体的摄像图像;提取处理，进行色信息的提取处理；以及图像生成处理，生成合成图像，所述合成图像将所述被拍摄体的所述摄像图像中所包括的所述被拍摄体的指定部位的部位图像合成于角色的图像，在所述提取处理中，根据所述被拍摄体的所述指定部位的所述部位图像，进行所述被拍摄体的肤色信息的提取处理，在所述图像生成处理中，根据提取的所述肤色信息，设定所述角色的所述指定部位之外的部位的色信息，生成所述角色的图像。附图说明[0031]图1是本实施方式的图像生成系统的构成例。[0032]图2是本实施方式的图像生成系统对商业用游戏装置的适用例。[0033]图3的〇\、图3的¢是本实施方式的图像生成系统对家庭用游戏装置、个人计算机的适用例。[0034]图4的A、图4的⑻是深度信息、身体指数信息的例子。[0035]图5是骨架信息的说明图。[0036]图6是角色的图像和游戏者的脸图像的图像合成方法的说明图。[0037]图7的A是游戏者的摄像图像的例子，图7的〇3是角色和脸图像的合成图像的例子。[0038]图8是通过本实施方式生成的游戏图像的例子。[0039]图9是本实施方式的方法的说明图。[0040]图10是本实施方式的方法的说明图。[0041]图11是示出肤色信息的提取处理的例子的流程图。[0042]图12的㈧、图12的⑻是模型对象信息、对象信息的例子。[0043]图13是根据游戏者的动作使角色动作的方法的说明图。[0044]图14是利用骨架信息使角色动作的方法的说明图。[0045]图15是模型对象的透视处理的说明图。[0046]图16是通过骨架信息确定脸图像的位置的方法的说明图。[0047]图17是在半透明合成处理的边界区域的校正处理的说明图。[0048]图18是在角色的图像和脸图像的图像合成处理时进行半透明合成处理的方法的说明图。[0049]图19是在修饰处理的边界区域的校正处理的说明图。[0050]图20是示出本实施方式的详细处理例的流程图。[0051]符号说明[0052]PL、游戏者被拍摄体）CHP、角色[0053]IMF、脸图像部位图像）IM、摄像图像[0054]如、胸口AR、AL、手[0055]LR、LL、脚BD、边界区域[0056]AC、显示物SC、骨架[0057]100、处理部102、输入处理部[0058]110、运算处理部111、游戏处理部[0059]112、对象空间设定部113、角色处理部[0060]114、被拍摄体信息获得部115、提取处理部[0061]118、游戏成绩运算部119、假想照相机控制部[0062]120、图像生成部130、声音生成部[0063]132、印刷处理部140、输出处理部[0064]150、付出口152、硬币投入口[0065]160、操作部162、传感器[0066]164、彩色传感器166、深度传感器[0067]170、存储部I?2、对象信息存储部[0068]178、绘图缓冲器18〇、信息存储介质[0069]190、显示部192、声音输出部[0070]194、IF部I95、便携型信息存储介质[0071]196、通信部198、印刷部。具体实施方式[0072]下面，对本实施方式进行说明。此外，以下所说明的本实施方式，并非不当地限定权利要求书的范围所记载的本发明的内容。并且，在本实施方式中说明的构成的全部，不一定是本发明的必须构成要件。[0073]1.图像生成系统[0074]图1示出本实施方式的图像生成系统（图像生成装置、游戏系统、游戏装置的构成例。图像生成系统包括处理部100、操作部160、传感器162、存储部170、显示部190、声音输出部192、IF部1M、通信部1%、印刷部198。此外，本实施方式的图像生成系统的构成并不限定于图1，可以进行省略其构成要素各部分的一部分，或者增加其他构成要素等的各种变形实施。[0075]处理部100根据来自操作部160的操作信息、来自传感器162的传感器信息、程序等，进行输入处理、运算处理、输出处理等各种处理。[0076]处理部100的各部分进行的本实施方式的各处理各功能）能够通过处理器包括硬件的处理器实现。例如本实施方式的各处理能够通过基于程序等的信息而动作的处理器，以及存储程序等的信息的存储器实现。例如处理器可以各部分的功能通过单独的硬件实现，或者各部分的功能可以通过一体的硬件实现。例如，处理器包括硬件，该硬件能够包括处理数字信息的电路以及处理虚拟信号的电路的至少一部分。例如，处理器能够通过安装在电路基板的一个或多个电路装置例如IC等），或者一个或多个电路元件例如电阻、电容器等）构成。处理器例如可以是CPUCentralProcessingUnit:中央处理器）。但是，处理器并不限定于CPU，可以使用GPUGraphicsProcessingUnit:图形处理器）或者DSPDigitalSignalProcessor:数字信号处理器等各种处理器。另外，处理器也可以是通过ASIC的硬件电路。另外，处理器可以包括处理虚拟信号的放大器电路或滤波电路等。存储器存储部170可以是SRAM、DRAM等的半导体存储器，也可以是寄存器。或者可以为硬盘装置HDD等的磁存储装置，可以为光盘装置等的光学式存储装置。例如，存储器存储通过计算机可读取的命令，通过该命令由处理器执行，实现处理部100的各部分的处理功能）。此处的命令可以是构成程序的命令组，也可以是对处理器的硬件电路指示动作的命令。[0077]处理部100包括输入处理部102、运算处理部110、输出处理部140。输入处理部102进行各种信息的输入处理。例如输入处理部102将接收游戏者通过操作部160输入的的操作信息的处理作为输入处理进行。例如进行获得通过操作部160检测的操作信息的处理。此外，输入处理部102将从传感器162获得传感器信息的处理作为输入处理进行。此外，输入处理部102将从存储部170读出信息的处理作为输入处理进行。例如，进行从存储部170读出在读出指令中指定的信息的处理。此外，输入处理部102将经由通信部196接收信息的处理作为输入处理进行。例如，进行经由网络从图像生成系统的外部装置其他图像生成系统、服务器系统等接收信息的处理。接收处理是指示通信部196接收信息，或者获得通信部196接收的信息并写入存储部170的处理等。[0078]运算处理部110进行各种运算处理。例如运算处理部110进行游戏处理、对象空间设定处理、角色处理、游戏成绩运算处理、假想照相机控制处理、图像生成处理或者声音生成处理等的运算处理。该运算处理部110包括游戏处理部111、对象空间设定部112、角色处理部113、被拍摄体信息获得部114、提取处理部115、游戏成绩运算部118、假想照相机控制部119、图像生成部120、声音生成部130、印刷处理部132。[0079]游戏处理是在满足游戏开始条件时开始游戏的处理、使游戏进行的处理，或者满足游戏结束条件时结束游戏的处理等。该游戏处理通过游戏处理部111游戏处理的程序模块执行。[0080]对象空间设定处理是在对象空间配置设定多个对象的处理。该对象空间设定处理通过对象空间设定部112对象空间设定处理的程序模块执行。例如，对象空间设定部112将在游戏中登场的角色人、机器人、动物、怪物、飞机、船舶、战斗机、战车、战舰、车等）、地图（地形）、建筑物、路线道路）、树木、壁、水面等的表示显示物的各种对象多角形、自由曲面或细分割曲面等的基面构成的对象配置设定在对象空间。即，在世界坐标系下确定对象的位置或旋转角度与朝向、方向同义），在该位置X、Y、Z以该旋转角度在X、Y、Z轴旋转的旋转角度配置对象。具体而言，在存储部170的对象信息存储部172与对象标号对应存储作为对象部件对象）的位置、旋转角度、移动速度、移动方向等的信息的对象信息。对象空间设定部112例如在每个框架内进行更新该对象信息的处理等。[0081]角色处理移动体运算处理是关于角色移动体进行的各种运算处理。例如角色处理是用于使角色游戏中登场的显示物在对象空间（假想三维空间、三维游戏空间）移动的处理，或者使角色动作的处理。该角色处理通过角色处理部U3角色处理的程序模块执行。例如，角色处理部113进行如下控制处理:根据游戏者通过操作部160输入的操作信息、来自传感器162的传感器信息、程序移动、动作算法）、各种数据动作数据等，使角色模拟对象在对象空间内移动，使角色动作动作、动画）。具体而言，进行仿真处理:在每一帧例如160秒依次求得角色的移动信息位置、旋转角度、速度或加速度或者动作信息部件对象的位置或旋转角度）。此外，帧是进行角色的移动、动作处理仿真处理或图像生成处理的时间单位。[0082]游戏成绩运算处理是计算游戏者在游戏中的成绩的处理。例如，游戏成绩运算处理是计算游戏者在游戏中获得的点数或得分的处理，或者计算游戏内货币、奖牌或票等的游戏成果的处理。该游戏成绩运算处理通过游戏成绩运算部118游戏成绩运算处理的程序模块执行。[0083]假想照相机控制处理是控制假想照相机视点、标准假想照相机）的处理，所述假想照相机用于生成从对象空间内的所给任意的视点观察的图像。该假想照相机控制处理通过假想照相机控制部119假想照相机控制处理的程序模块执行。具体而言，假想照相机控制部119进行控制假想照相机的位置X、Y、Z或旋转角度（以X、Y、Z轴旋转的旋转角度的处理控制视点位置、视线方向或像角的处理）。[0084]图像生成处理是用于生成显示部190显示的图像游戏图像），或通过印刷部198印刷的图像的处理，能够包括各种图像合成处理或图像效果处理等。声音生成处理是用于生成通过声音输出部I92输出的BGM、效果音或声音等的声音游戏音）的处理，能够包括各种声音合成处理或声音效果处理等。这些图像生成处理、声音生成处理通过图像生成部120、声音生成部13〇图像生成处理、声音生成处理的程序模块执行。[0085]例如，图像生成部12〇根据在处理部1〇〇进行的各种处理游戏处理、模拟处理）的结果进行绘画处理，由此生成图像，输出到显示部190。具体而言，进行坐标转换世界坐标转换、照相机坐标转换）、修剪处理、透视转换或者光源处理等的几何处理，根据该处理结果，制作绘图数据基面的顶点的位置坐标、结构坐标、色数据、法线矢量或a值等）。在此，根据该绘图数据基面数据），将透视转换后几何处理后）的对象一个或多个基面绘制在绘图缓冲区178能够以帧缓冲区、工作缓冲区等的像素单位存储图像信息的缓冲区）。由此，在对象空间内生成从所给的视点假想照相机观察得到的图像。此外，在图像生成部120进行的绘图处理可以通过顶点着色处理或像素着色处理等实现。[0086]输出处理部140进行各种信息的输出处理。例如，输出处理部140将在存储部170写入信息的处理作为输出处理进行。例如，进行将写入指令中指定的信息写入存储部170的处理。此外，输出处理部140将生成的图像的信息输出到显示部190,或者将生成的声音的信息输出到声音输出部192的处理作为输出处理进行。此外，输出处理部140将经由通信部196发送信息的处理作为输出处理进行。例如进行对图像生成系统的外部装置其他图像生成系统、服务器系统等经由网络发送信息的处理。发送处理是指示通信部196发送信息，或者向通信部196指示发送的信息的处理等。此外，输出处理部140将在印刷介质印刷的图像传送到印刷部198的处理作为输出处理来进行。[0087]操作部160操作设备是游戏者（用户）用于输入操作信息的操作设备，其功能能够通过方向指示键、操作按钮、模拟棒、杆、各种传感器（角速度传感器、加速度传感器等）、麦克风或触摸面板型显示器等实现。[0088]传感器162检测用于获得被拍摄体信息的传感器信息。传感器162例如能够包括彩色传感器164彩色照相机、深度传感器166深度照相机）。[0089]存储部170存储器）是处理部100或通信部196等的工作区域，其功能能够通过RAM、SSD、HDD等实现。而且，游戏程序或执行游戏程序必要的游戏数据保持在该存储部170。存储部170包括对象信息存储部172、绘图缓冲器178。[0090]信息储存介质180通过计算机可读取的介质储存程序或数据等，其功能能够通过光盘DVD、CD等）、HDD硬盘驱动器或者存储器ROM等等实现。处理部100根据容纳于信息存储介质180中的程序数据进行本实施方式的各种处理。在该信息存储介质180中，能够存储用于使计算机具备操作部、处理部、存储部、输出部的装置作为本实施方式的各部分发挥功能的程序用于使计算机执行各部分的处理的程序）。[0091]显示部190输出通过本实施方式生成的图像，其功能能够通过LCD、有机EL显示器、CRT或HMD等实现。声音输出部192输出通过本实施方式生成的声音，其功能能够通过扩音器或耳机等实现。[0092]IF接口）部194进行与便携型信息存储介质195的接口处理，其功能能够通过IF处理用的ASIC等实现。便携型信息存储介质195是用户用于保存各种信息的存储介质，是在没有电源供给时也保持这些信息的存储的存储装置。便携型信息存储介质195能够通过1C卡存储卡）、USB存储器或磁卡等实现。[0093]通信部196经由网络与外部装置其他图像生成系统、服务器系统等之间进行通信，其功能能够通过通信用ASIC或通信用程序等的硬件或通信用固件firmware实现。[0094]印刷部198例如在打印用纸或封条纸等的印刷介质印刷图像。该印刷部198例如能够通过印刷用头、印刷介质的输送机构等实现。具体而言，处理部100的印刷处理部132印刷处理的程序模块进行用于选择印刷对象图像的处理，指示印刷部198所选择的印刷对象图像的印刷。由此，印刷有印刷对象图像的印刷物从后述的图2的付出口152付出。印刷对象图像例如是对游戏中游戏者的角色的形象拍照的图像，或者是游戏者的角色和其他角色一起拍摄的纪念照片的图像等。[0095]此外，使计算机作为本实施方式的各部分发挥功能的程序数据从服务器系统主装置具有的信息存储介质经由网络以及通信部196分配到信息存储介质180或者存储部170。这种服务器系统的信息存储介质的使用也包括在本发明的范围内。[0096]图2、图3的A、图3的⑻是示出适用本实施方式的图像生成系统的硬件装置的例子的图。[0097]图2是适用本实施方式的图像生成系统的商业用游戏装置的例子。该商业用游戏装置包括通过操作按钮、方向指示按钮实现的操作部160、具有彩色传感器164、深度传感器I66的传感器162、通过LCD或CRT等实现的显示部190、通过扩音器实现的声音输出部192、硬币投入口15〇、照片等的印刷物的付出口152。游戏者PL观看显示部190显示的游戏图像，并且进行用于玩游戏的各种动作。通过传感器162检测游戏者PL的动作手脚等的部位的动作或位置的移动）。并且，进行基于检测结果的游戏处理，在显示部190显示基于游戏处理的游戏图像。[0098]适用本实施方式的图像生成系统的硬件装置不限定于图2那种商业用游戏装置，还能够适用于例如图3的A示出的家庭用游戏装置、图3的B示出的个人计算机信息处理装置等各种硬件装置。在图3的A中，将具有彩色传感器164或深度传感器166的传感器I62传感器装置连接于家庭用游戏装置的主体装置，将该传感器162配置在例如作为显示部的电视附近。并且，通过由传感器162检测游戏者的动作，家庭用游戏装置的主体装置执行各种游戏处理，在电视的画面中显示游戏图像。在图3的（B中，将传感器162连接于个人计算机的主体装置，通过传感器162检测游戏者的动作，在作为显示部的液晶显示器显示基于游戏处理的结果的游戏图像。[0099]并且，如图1所示，本实施方式的图像生成系统（图像生成装置、游戏装置、游戏系统包括:输入处理部102,获得被拍摄体的摄像图像;提取处理部115,进行色信息的提取处理；以及图像生成部120,生成将被拍摄体的摄像图像所包括的被拍摄体的指定部位的部位图像合成于角色图像的合成图像。[0100]被拍摄体例如是图2所示的游戏者PL。被拍摄体可以是人以外的动物，也可以是动物以外的物体。摄像图像是例如通过传感器162具有的彩色传感器164彩色照相机摄影的图像RGB图像等的彩色图像）。可以单独设置该彩色传感器164和深度传感器166。例如，从通过彩色传感器164拍照的摄像图像中切出被拍摄体的指定部位的部位图像（例如脸图像），切出的部位图像生成合成于角色的图像的合成图像。例如，对于与角色的指定部位对应的部分，合成被拍摄体的部位图像。[0101]提取处理部115根据被拍摄体的指定部位的部位图像，进行被拍摄体的肤色信息广义上为指定色信息的提取处理。例如，进行根据部位图像的像素的色信息，提取被拍摄体的肤色信息的提取处理。具体而言，根据部位图像的像素中与肤色条件一致的色信息，求得肤色fe息。[0102]而且，图像生成部120根据提取的被拍摄体的肤色信息，设定角色的指定部位之外的部位的色信息，生成角色的图像。例如，角色具有第一至第N部位作为指定部位之外的部位例如脸之外的部位），设为第一至第N的部位中第i至第j部位是可设定肤色为基本色的部位例如手、脚、胸口等的部位）。此时，将提取的被拍摄体的肤色信息设定为该第i至第j部位的基本色的伯息。[0103]这样，不仅与对于角色合成的部位图像对应的指定部位，对于指定部位之外的部位第i至第j部位也能够反映被拍摄体的肤色信息。因此，能够生成合成被拍摄体的部位图像并且也反映被拍摄体的肤色信息的角色的图像。[0104]此外，在本实施方式中，部位图像例如是被拍摄体的脸图像，提取处理部115根据该脸图像，进行肤色信息的提取处理。然后，图像生成部120根据从脸图像中提取的肤色信息，设定角色的脸之外的部位的色信息，生成角色的图像。并且，生成在所生成的角色的图像中合成脸图像的合成图像。[0105]例如通过从映出被拍摄体的整体的摄像图像中，切取脸的部分，获得作为指定部位的脸的部位图像的脸图像。在摄像图像的脸的位置能够根据如后所述通过被拍摄体信息获得部114获得的被拍摄体信息骨架信息等确定。而且，提取处理部115根据从被拍摄体的摄像图像中获得的脸图像，提取相当于被拍摄体的脸的肤色的肤色信息。然后，根据提取的肤色信息，设定作为角色的脸之外的部位的例如手、脚或胸口等的部位的色信息基本色信息）。由此，也能够使从被拍摄体的脸提取的肤色信息反映到脸之外的例如手、脚或胸口等的部位等。此外，作为肤色信息的提取对象的被拍摄体的部位不限定于脸，也可以从脸之外的部位例如手、脚、胸口）提取肤色信息。此外，能够进行从被拍摄体的指定部位的部位图像中提取肤色信息之外的色信息，将提取的色信息设定为该指定部位之外的部位的色信息的变形实施。[0106]此外，角色被拍摄体角色例如是通过多个对象构成的模型对象。例如是通过多个三维对象部件对象构成的三维模型对象。各对象例如通过多个多角形广义上为基面）构成。[0107]此时，图像生成部120根据被拍摄体的肤色信息，在模型对象的多个对象中，设定指定部位之外的部位的对象的色信息（基本色信息），通过进行模型对象的透视rendering处理，生成作为角色的模型对象的图像。[0108]具体而言，图像生成部120在对象空间，对配置在与被拍摄体游戏者等的位置对应的位置的模型对象进行透视处理，生成角色的图像。例如根据由被拍摄体信息获得部114获得的被拍摄体信息，确定被拍摄体的位置，在对象空间内，在与确定的被拍摄体的位置对应的位置配置作为角色的模型对象。而且，进行该模型对象的透视处理，生成从假想照相机观察的角色的图像。此时，图像生成部120根据照明模型进行模型对象的透视处理，生成角色的图像。这样，作为角色的图像，能够生成基于照明模型的光源施加阴影的图像。此外，能够进行作为角色的图像使用二维图像动漫图像的变形实施。[0109]此外，图像生成部120在角色的图像和部位图像的边界区域中进行校正处理。例如设为与角色的指定部位对应的第一部位例如脸和设定从被拍摄体的部位图像提取的肤色信息的第二部位例如胸口）是相邻的部位。此时，在第一部位和第二部位的边界区域进行该校正处理。即，在合成于第一部位脸）的位置的部位图像脸图像和角色的第二部位胸口）的图像根据提取的肤色信息生成的图像的边界区域进行校正处理。例如，根据合成的部位图像的色信息和角色的第二部位的图像的色信息进行校正处理。[0110]例如，图像生成部120在边界区域进行角色的图像的色信息和部位图像的色信息的半透明合成处理a混合处理）。即，进行用于调和角色的图像的颜色和部位图像的颜色的校正处理。例如，在边界区域中，进行半透明合成处理，越接近部位图像，部位图像的色信息的半透明合成的混合率越高，越接近角色的图像，角色的图像的色信息的半透明合成的混合率越高。例如，边界区域设为上述第一部位脸和第二部位胸口）间的边界区域。此时，越接近第一部位，部位图像的色信息的半透明合成的混合率越高，越接近第二部位，角色的图像的色信息的半透明合成的混合率越高的半透明合成处理在边界区域进行。[0111]此外，图像生成部120可以对边界区域进行修饰处理作为校正处理。这样，能够通过修饰处理调和角色的图像和部位图像的边界区域而使其不显眼。此外，作为修饰处理，例如在边界区域配置修饰用的显示物对象），对边界区域进行各种图像效果的处理等。[0112]此外，提取处理部115从被拍摄体的部位图像中提取与肤色条件一致的像素，根据提取的像素的色信息，求得被拍摄体的肤色信息。例如，从构成部位图像的多个像素中，提取与肤色条件一致的像素。具体而言，例如将指定部位的像素的色信息从RGB值转换为HSV值色相、彩度、明度），判断各像素的HVS值是否与肤色条件一致。然后，对与肤色条件一致的像素的色信息例如RGB值进行平均化处理等的特定的运算处理，根据运算结果，求得肤色信息。这样，在被拍摄体的指定部位存在不是肤色的部分例如眼、头发等）的情况下，能够除去该部分的色信息的影响，提取肤色信息。[0113]此外，被拍摄体信息获得部114被拍摄体信息获得处理的程序模块根据来自传感器162的传感器信息，获得用于确定被拍摄体的动作的被拍摄体信息。并且，图像生成部ljO生成用色的图像，所述角色的图像对应于通过被拍摄体信息确定的被拍摄体的动作部位的动作或位置的移动等而动作。例如，被拍摄体信息获得部i14根据来自传感器162的传感器信息，获得作为被拍摄体信息的骨架信息广义上为动作信息）。根据该骨架信息，确定被拍摄体的动作，图像生成部120生成对应于被拍摄体的动作而动作的角色的图像。例如，通过基于骨架信息的动作再生，使角色动作，通过对该角色进行透视处理，生成该角色的图像。[0114]例如，图像生成部120根据被拍摄体信息，确定被拍摄体的指定部位，从被拍摄体的摄像图像中切出该指定部位的部位图像，将切出的部位图像合成于角色的图像。例如，通过从摄像图像中切出以确定的指定部位的位置为基准的所给的尺寸的区域，获得指定部位的部位图像，将切出的部位图像合成于角色的图像。此时，提取处理部115根据基于被拍摄体信息的确定的指定部位的部位图像，进行被拍摄体的肤色信息的提取处理。即，根据被拍摄体信息，确定被拍摄体的指定部位的位置，提取处理部115从作为在确定的指定部位的位置的图像的部位图像中提取被拍摄体的肤色信息。而且，根据提取的肤色信息，设定角色的指定部位之外的部位的色信息。[0115]具体而言，被拍摄体信息获得部114根据传感器信息，获得被拍摄体的骨架信息作为被拍摄体信息。然后，提取处理部115根据基于骨架信息确定的指定部位的部位图像，进行被拍摄体的肤色信息的提取处理。例如，根据由传感器162检测的被拍摄体的骨架信息，确定被拍摄体的指定部位的位置，从被拍摄体的摄像图像中，切出作为在确定的指定部位的位置的图像的部位图像，根据该部位图像的色信息，提取被拍摄体的肤色信息。这样，能够有效利用通过传感器162检测的被拍摄体的骨架信息，提取被拍摄体的肤色信息。[0116]2.本实施方式的方法其次，对本实施方式的方法进行详细地说明。此外，在下文中，说明了在根据游戏者的动作使角色动作的游戏中适用本实施方式的方法的情况，但本实施方式的方法不限定于此，能够适用于各种游戏RPG游戏、音乐游戏、战斗游戏、交流游戏、机器人游戏、卡片游戏、运动游戏或动作游戏等）。[0118]2.1游戏的说明[0119]首先，说明通过本实施方式的图像生成系统实现的游戏的例子。在本实施方式中，通过图2的传感器162检测游戏者PL广义上被拍摄体的动作，进行反映检测到的动作的游戏处理，生成游戏图像。[0120]如图2所示，传感器162图像传感器设置成例如其摄像方向（光轴方向）朝向游戏者PL用户、操作者）。例如，传感器162的摄像方向以即便是很小的儿童也能对其全体拍照的方式，设定为对于水平面的俯角方向。此外，在图2中，传感器162设置在显示部190的旁边，但设置位置不限定于此，能够设置在任意的位置例如显示部19〇的下部、上部等）。[0121]传感器162包括彩色传感器164和深度传感器166。彩色传感器164对彩色图像RGB图像进行摄像，能够通过cmos传感器或ccd等实现。在深度传感器iee中，投射红外线等的光，通过检测该投射光的反射强度或投射光返回的时间，获得深度信息深度信息）。例如深度传感器166能够通过投射红外线的红外投射器和红外线照相机构成。而且，例如通过T0FTimeOfFlight:飞行时间）方式获得深度fe息。深度彳目息是在该各像素位置设定深度值深入值）的信息。在深度信息中，游戏者或其周边的风景的深度值深入值例如设定为灰色标度值。[0122]此外，传感器162可以为分别设置彩色传感器164和深度传感器166的传感器，也可以是复合组合彩色传感器164和深度传感器166的传感器。此外，深度传感器166也可以为T0F方式之外的方式例如光编码）的传感器。此外，作为深度信息的获得方法可以进行各种变形实施，例如可以通过使用超声波等的测距传感器等获得深度信息。[0123]图4的（A、图4的⑻是分别基于传感器I62获得的深度信息、身体指数信息的例子。图4的A示意性示出深度信息，该深度信息是表示从传感器I62观察游戏者等的被拍摄体的距离的信息。图4的B的身体指数信息是表示人物区域的信息。通过该身体指数信息能够确定游戏者的身体的位置或形状。[0124]图5是基于来自传感器162的传感器信息获得的骨架信息的例子。在图5中，作为骨架信息，构成骨架的骨的位置信息（三维坐标作为关节部位C〇〜C20的位置信息获得。0、01、02、03、04、05、06各自对应于腰、脊骨、肩中部、右肩、左肩、颈、头。〇7、08、09、：10、C11、C12各自对应于右肘、右手腕、右手、左肘、左手腕、左手。C13、C14、C15、C16、C17、C18、C19、C20各自相当于右腰、左腰、右膝、右脚后跟、右脚、左膝、左脚后跟、左脚。构成骨架的各骨与传感器162映出的游戏者的各部位对应。例如，被拍摄体信息获得部114根据来自传感器162的传感器信息彩色图像信息、深度信息），确定游戏者的三维形状。而且，使用三维形状的信息或图像的动作矢量光流等，推定游戏者的各部位，推定各部位的关节的位置。然后，根据与确定的关节位置对应的、深度信息中的像素位置的二维坐标和设定于该像素位置的深度值，求得骨架的关节的位置的三维坐标信息，获得图5所示的骨架信息。通过使用获得的骨架信息，能够确定游戏者的动作手脚等的部位的动作或位置的移动）。由此，能够根据游戏者的动作使角色动作。例如，在图2中游戏者PL手脚动作的情况下，联动于此，显示部190显示的角色游戏者角色）的手脚也能够动作。此外，游戏者PL前后左右移动时，联动于此，在对象空间内能够前后左右移动角色。[0125]此外，在本实施方式中，生成通过传感器162的彩色传感器164对游戏者PL拍照得到的摄像图像和角色游戏者角色）的图像的合成图像。具体而言，生成从摄像图像中切出的脸图像广义上被拍摄体图像、部位图像）、角色的图像的合成图像。[0126]例如在图6中，准备角色CHP服装）的模型对象，在多角形SCI广告板多角形、屏幕）显示从摄像图像中切出的游戏者PL的脸图像IMF。角色CHP的模型对象通过脸头部之外的多个部位的对象构成，成为穿着漂亮衣服的角色。[0127]而且，在图6中，在连接假想照相机VC的视点位置和角色CHP的脸的位置的线的延长线上，显示多角形SCI的脸图像IMF。通过将假想照相机VC、角色CHP、多角形SCI的脸图像IMF设定为这种配置关系，能够在角色CHP的脸的部分生成合成游戏者的脸图像IMF的图像。[0128]此外，对于角色CHP的脸图像IMF的图像合成手法不限定于图6示出的方法。例如对于构成角色CHP的脸指定部位）的对象，能够采用映射脸图像頂F被拍摄体图像、部位图像的结构等各种图像合成方法。[0129]例如图7的A是通过传感器I62的彩色传感器164摄像的游戏者PL的摄像图像的例子。从该摄像图像中切出游戏者PL的脸图像MF修整），通过由图6的图像合成方法与角色CHP的图像合成，能够生成图7的B示出的合成图像。在图7的⑻中，脸的部分成为游戏者PL的脸图像IMF，脸之外的部分成为CG图像的角色CHP的图像。由此，游戏者PL由于对于作为自己的分身的角色CHP，能够让它穿上童话或动漫世界的主人公穿着的服装来玩游戏，能够提高游戏的趣味性或游戏者的热衷度。[0130]图8是通过本实施方式的图像生成系统生成的、在图2的显示部190显示的游戏图像的例子。合成游戏者PL的脸图像頂F的角色CHP例如其手中持有魔法杖ST。而且，若图2的游戏者PL移动手腕，则该手腕的动作被传感器162检测到，作为图5的骨架信息，获得手腕的骨动作的骨架的信息。由此，图8所示的游戏图像上的角色CHP的手腕动作，能够通过魔法杖ST打击敌对角色EN1、EN2、EN3而进行攻击。然后，通过打倒敌人的个数或奖励点数的获得等，运算游戏者的游戏成绩。[0131]根据这种本实施方式的方法，游戏者PL能够使自己的分身角色CHP穿上童话或动漫的主人公的服装，感觉宛如成为该主人公，玩图8的游戏。因此，能够实现儿童等的游戏者PL能够热衷的有趣味性的游戏。[0132]2.2肤色信息的提取以及设定[0133]如图6〜图8所示，在本实施方式中，生成在角色CHP合成游戏者的脸图像IMF的图像的合成角色图像，通过对应于游戏者PL的动作使角色CHP动作，游戏者进行游戏。在该合成角色图像CHP、IMF中，由于将脸的部位置换为游戏者的脸图像IMF，游戏者能够将该角色CHP作为与自身对应的角色来玩游戏。[0134]但是，在该合成角色图像中，将脸的部位置换为游戏者的脸图像IMF，其之外的部位通过所谓的CG电脑绘图）图像来生成。因此，存在如下课题:现在还没有一个能够给予游戏者这角色是自己的真的分身这种感觉。[0135]例如，当肤色较白的游戏者玩游戏时，角色CHP的脸的颜色通过合成该游戏者的脸图像IMF而成为较白的肤色，但关于脸之外的手、脚、胸口等的部位，保持角色CHP的CG图像透视图像）的色。因此，存在角色CHP的脸的颜色和手、脚、胸口等的部位的色不同的情况，而成为不谐调的图像。同样地，当肤色稍黑的游戏者玩游戏时，角色CHP的脸的颜色通过合成该游戏者的脸图像IMF而成为稍黑的肤色，但关于脸之外的手、脚、胸口等的部位，保持角色CHP的CG图像的色。因此，存在角色CHP的脸的色和手、脚、胸口等的部位的色不同的情况，而成为不谐调的图像。这样，在角色CHP的脸的部分仅合成脸图像IMF的方法中，现在没有一个能够给予游戏者角色CHP是自己的真的分身这种感觉，并且有可能产生肤色的色度不同为原因存在不谐调的图像。[0136]在此，在本实施方式中，采用如下方法:将游戏者的部位图像合成于角色CHP，并且根据从部位图像提取的肤色信息，设定角色CHP的其他部位的色信息。[0137]具体而言，如图9所示，将游戏者PL的摄像图像IM所包括的脸图像IMF广义上为部位图像合成于角色CHP的脸广义上为指定部位）的部分，并且从该脸图像IMF中提取肤色信息。例如，根据脸图像IMF的肤色部分的像素的色信息，提取肤色信息。然后，根据提取的肤色信息，设定脸之外的部位的色信息。例如，如图9所示，将提取的肤色信息作为胸口NC颈、胸）、手AR、AL、脚LR、LL等的部位广义上为指定部位之外的部位的色信息设定。即，将该肤色信息作为基本色信息，对胸口NC、手AR、AL、脚LR、LL等的部位的对象进行透视处理。[0138]更具体而言，如图10所示，从由传感器162的彩色传感器164摄像的映出游戏者PL的整体的摄像图像頂中切出脸图像IMF。这能够通过根据图5中说明的游戏者PL的骨架信息，确定游戏者PL的脸的位置，将以该脸的位置为中心的特定尺寸的区域的图像作为脸图像MF切出（修剪来实现。然后，将这样切出的脸图像頂F合成于角色CHP的脸的部分，并且将从该脸图像IMF中提取的肤色信息设定为胸口NC、手AR、AL、脚LR、LL等的部位的基本色信肩、。[0139]根据这种本实施方式的方法，例如当游戏者PL的肤色较白时，不仅合成于角色CHP的脸图像頂F的肤色，胸口、手、脚等的其他部位的肤色也设定为较白的肤色。同样地，例如当游戏者PL的肤色稍黑时，不仅合成于角色CHP的脸图像MF的肤色，胸口、手、脚等的其他部位的肤色也设定为稍黑的肤色。因此，根据本实施方式，不仅脸的部位，其之外的部位也能反映游戏者PL的肤色。由此，能够给予游戏者角色CHP是自己的真的分身这种感觉。另外，由于能够统一脸的肤色、其之外的胸口、手、脚等的部位的肤色，能够抑制产生肤色的色度的不同为原因而存在不谐调的图像的情形。[0140]图11是示出肤色信息的提取处理的一例的流程图。首先，从游戏者的摄像图像中切出脸图像步骤S1。例如，如图10所示，从游戏者的整体的摄像图像中，利用图5的骨架信息等，切出脸图像的部分。然后，对于切出的脸图像，实施分辨率降低处理或模糊处理等的图像处理步骤S2。例如，为了降低处理负担，减小切出的脸图像的像素数，为了提取大致的色信息，对脸图像进行模糊过滤处理等。[0141]接着，将图像处理后的脸图像的RGB值转换为HSV值，提取与肤色条件一致的像素步骤S3。例如，关于脸图像的各像素的HSV值的色调、彩度、明度的各值，通过判断是否进入肤色的色调、彩度、明度的特定范围内，判断是否为与肤色条件一致的像素，提取一致的像素。然后，根据提取的像素的色信息RGB值），求得成为肤色的基本色的肤色信息（步骤S4。例如，在作为与肤色条件一致的像素提取M个像素的情况下，求得这M个像素的色信息RGB值的平均值，将所求得的色信息的平均值作为脸图像的肤色信息而求得。这样，能够除去游戏者的脸的各部分中不是肤色的部分例如眼、头发等），将游戏者的脸的肤色的平均的色作为肤色信息提取。然后，将提取的肤色信息设定为图9、图10的胸口NC、手AR、AL、脚LR、LL等的部位的基本色，对作为模型对象的角色CHP进行透视处理，生成角色CHP的图像。在这种本实施方式中，从游戏者被拍摄体）的脸图像IMF部位图像）中提取与肤色条件一致的像素，根据提取的像素的色信息，求得游戏者的肤色信息。[0142]例如图12的A是角色CHP的模型对象信息的例子。该模型对象信息包括在对象空间内的模型对象的位置的信息或方向的信息。另外，包括构成模型对象的多个对象0B1、0B2、0B3……的信息。[0143]图12的⑻是构成角色CHP的模型对象的对象0B1、0B2、0B3……的对象信息的例子。该对象信息对于各对象0B1、0B2、0B3……，使其基本色或构成各对象的多角形的数据关联。在本实施方式中，作为图12的⑻的基本色的信息，设定通过图11的方法提取的肤色信息。换言之，将提取的肤色信息作为基本色，对模型对象的各对象进行透视处理，生成角色CHP的图像。[0144]此外，在本实施方式中，在图13中显示部190显示的角色CHP成为由多个对象构成的模型对象。例如，通过由多角形等的基面构成的三维的CG对象生成角色CHP的图像。而且，如图13所示，作为角色CHP的图像，在该模型对象的脸的位置生成显示游戏者PL被拍摄体）的脸图像IMF的图像。这种角色CHP和脸图像IMF的合成角色图像例如能够通过在图6中说明的图像合成方法生成。[0145]然后，如图13所示，当游戏者PL被拍摄体动作时，根据游戏者PL的动作，生成在合成对象图像中脸图像IMF部位图像的合成位置变化的合成图像，在显示部190显示。即，在游戏者PL向右移动，其脸向右移动的情况下，对应于此，显示部190所显示的脸图像頂F也向右侧移动。同样地，在游戏者PL向左移动，其脸向左移动的情况下，对应于此，脸图像頂F也向左侧移动。[0146]具体而言，在本实施方式中，使用图5中说明的骨架信息，控制角色CHP的动作。例如通过基于骨架信息的动作数据，进行角色CHP的动作再生，使角色CHP动作。[0147]图14是示意性说明骨架的图。使角色CHP动作的骨架是配置设定在角色CHP的位置的三维形状的骨骼，SK表示在屏幕SCS投影该骨架。骨架通过如图5中说明的多个关节构成，各关节的位置通过三维坐标表示。骨架与图13的游戏者PL的动作联动，该骨动作。而且，若骨架的骨动作，则联动于此，与角色CHP的该骨对应的部位也动作。例如，若游戏者PL手腕动作，则联动于此，骨架的手腕的骨动作，角色CHP的手腕也动作。另外，游戏者PL脚动作，则联动于此，骨架的脚的骨动作，角色CHP的脚也动作。另外，若游戏者PL头部动作，则联动于此，骨架的头部的骨动作，角色CHP的头部也动作。此外，在图14中，例如在假想照相机VC的视点位置配置传感器162,设定传感器162的摄像方向朝向假想照相机VC的视线方向。[0148]这样，在本实施方式中，联动于游戏者PL的动作，角色CHP动作。因此，若游戏者PL头部移动，显示部190所显示的脸图像IMF也联动于此而动作。在此，在本实施方式中，使用在图5、图14中说明的骨架信息，确定游戏者PL的脸头部）的位置，根据确定的脸的位置，如图9、图10那样从摄像图像IM中切出脸图像IMF，合成于角色CHP，从脸图像IMF提取肤色信息。[0149]另外，在本实施方式中，作为角色CHP，使用由多个对象构成模型对象。然后，在对象空间三维假想空间）中，通过对配置在与游戏者PL被拍摄体的位置对应的位置的该模型对象进行透视处理，生成角色CHP的图像。例如在图15中，角色CHP在对象空间内，配置在与图13中的游戏者PL的位置对应的位置。例如，若游戏者PL前后左右移动，则角色CHP也在对象空间内能够目U后左右移动。[0150]然后，作为模型对象的角色CHP的透视处理根据如图15所示使用光源LS的照明模型进行。具体而言，基于照明模型进行照明处理遮蔽处理）。该照明处理使用光源LS的信息光源矢量、光源色、亮度、光源种类等）、假想照相机VC的视线矢量、构成角色CHP的对象的法线矢量、对象的原料色、材质等进行。此外，作为照明模型，存在仅考虑环境光和漫射光的朗伯的扩散照明模型，或者除环境光、漫射光之外还考虑反射光的Phong冯照明模型或Blinn-Phong照明模型等。[0151]通过基于这种照明模型进行照明处理，能够生成对于角色CHP通过光源LS适当施加阴影的栩栩如生的高品质的图像。例如，使用聚光灯的光源进行照明处理，能够生成如由聚光灯照射的角色CHP服装的图像，能够提高游戏者的假想现实感等。[0152]而且，在本实施方式中，作为胸口、手、脚等的脸之外的部位的对象的基本色（图12的⑻），设定从脸图像頂F提取的肤色信息，进行图15那种透视处理。这样，将设定的肤色信息作为基本色，能够生成通过使用图15的光源LS等的照明处理施加阴影的栩栩如生的角色CHP的图像。[0153]如上，在本实施方式中，游戏者被拍摄体）的摄像图像IM所包括的脸图像IMF指定部位的部位图像生成合成于角色CHP的图像的合成图像。此时，如图9至图11的说明，根据角色的脸图像頂F被拍摄体的指定部位的部位图像），提取角色CHP的肤色信息。然后，根据提取的肤色信息，设定角色CHP的脸之外的部位指定部位之外的部位的色信息，生成角色CHP的图像，生成在角色CHP的图像合成脸图像IMF的合成图像。[0154]此时，如在图12的A、图12的（B中的说明，角色CHP成为由多个对象构成的模型对象。然后，根据游戏者的肤色信息，设定模型对象的多个对象中，脸之外的部位指定部位之外的部位的对象的色信息。即，根据提取的肤色信息，设定胸口、手、脚等的部位的对象的色信息。然后，如图15所示，通过进行模型对象的透视处理，生成作为模型对象的角色CHP的图像。[0155]此时，在本实施方式中，根据来自传感器162的传感器信息，获得用于确定游戏者PL被拍摄体的动作的被拍摄体信息。然后，如在图13的说明，生成由被拍摄体信息确定的与游戏者PL的动作对应动作的角色CHP的图像。[0156]例如，根据被拍摄体信息，确定角色CHP的脸的部位被拍摄体的指定部位），如图10所示，从游戏者PL的摄像图像IM中切出脸图像MF部位图像），将切出的脸图像IMF合成于角色CHP的图像。此时，根据被拍摄体信息确定的脸图像頂F指定部位的部位图像），进行游戏者PL被拍摄体的肤色信息的提取处理。[0157]更具体而言，根据来自传感器162的传感器信息，获得在图5、图14中说明的那种游戏者PL的骨架信息作为被拍摄体信息。然后，如图16所示，根据基于骨架信息SK确定的脸图像IMF，进行肤色信息的提取处理。例如在图16中，根据骨架信息SK，能够确定游戏者PL的头的位置C6。即，如图13所示，通过游戏者PL动作，在头的位置移动的情况下，由传感器162检测游戏者PL的动作来获得骨架信息，能够跟踪移动的头的位置。因此，使用骨架信息，确定游戏者PL的头的位置，使用确定的位置的信息，从通过彩色传感器164摄像的摄像图像IM中切出脸图像IMF，能够提取肤色信息。即，在联动于游戏者PL的动作而角色CHP动作的那种游戏中，跟踪向前后左右等移动的游戏者PL的脸图像IMF，从该脸图像IMF中提取肤色信息，能够将提取的肤色信息设定为动作的角色CHP的其他部位的肤色的基本色。[0158]2.3校正处理[0159]在本实施方式中，如图9、图10所示，从游戏者PL的脸图像IMF中提取肤色信息，设定为合成脸图像IMF的角色CHP的胸口、手、脚等其他部位的基本色。此时，在角色CHP的图像的色和脸图像MF的色之间可能产生色的差异。例如，在图17中，在脸图像頂F和角色CHP的胸口（胸、颈的边界区域BD中，色有可能不连续性地变化离散性地变化）。[0160]例如，在图17中，将脸图像MF的肤色作为CLF，将角色CHP的胸口的肤色作为CLC。此时，色CLF和CLC不是完全相同的色。例如，色CLC根据从脸图像頂F提取的肤色信息设定，但提取的肤色和色CLC严格上成为相同的色。另外，关于角色CHP的胸口的色CLC，如在图15中说明，成为通过基于照明模型的照明处理施加阴影的色。因此，脸图像的色CLF和胸口的色CLC不是相同的色，产生色的差异。[0161]在此，在本实施方式中，在角色CHP的图像和脸图像IMF部位图像）的边界区域内，为了使这种色的差异不明显而进行校正处理。例如，进行从脸图像IMF的色CLF向胸口的色CLC逐渐变色的校正处理层次处理）。[0162]具体而言，作为该校正处理，在边界区域BD进行角色CHP的图像的色CLC和脸图像IMF部位图像的色CLF的半透明合成处理。例如，将色CLC的半透明合成的混合率作为a，将色CLF的半透明合成的混合率作为P，将生成的色作为CL。此时，在图17中，将CL=aXCLC+PXCLF表示的半透明合成处理作为校正处理进行。在此，混合率a是随着从脸图像IMF的位置向胸口的位置变大的值，混合率P是随着从胸口的位置向脸图像IMF的位置变大的值，例如0=a_l的关系式成立。[0163]这样，伴随从脸图像IMF的位置朝向角色CHP的胸口的位置，边界区域BD的色CL逐渐从色CLF变成色CLC。因此，能够有效地抑制在边界区域BD中色不连续性变化而图像不自然的情形。[0164]此外，该半透明合成处理优选在如图6中说明的角色CHP的图像和脸图像IMF的图像合成处理时进行。即，如图18所示，角色CHP的图像和脸图像IMF的图像合成处理时，设定对于角色CHP的混合率a，设定对于脸图像IMF的混合率扎然后，在角色CHP的区域中，在图17的边界区域BD之外的区域中，设定a=1，P=0。同样地，脸图像IMF的区域中，在边界区域BD之外的区域中，设定为3二l，a=〇。而且，在边界区域BD中，设定为〇al，〇0l，进行以CL=aXCLC+0XCLF表示的半透明合成处理。这样，在角色CHP的图像和脸图像IMF的图像合成处理时，也能够在边界区域BD中执行半透明合成处理，实现处理的效率化等。[0165]此外，在本实施方式中，可以对边界区域BD进行修饰处理作为校正处理。[0166]例如，在图19中，对脸图像IMF和角色CHP的胸口间的边界区域BD进行修饰处理，例如以覆盖边界区域BD的方式配置围巾或项链等的修饰用的显示物AC对象、物品）。这样，通过修饰用的显示物AC，能够隐藏边界区域BD的部分。即，能够通过修饰用的显示部AC隐藏在边界区域BD的不连续的色的变化，能够有效地抑制生成的图像不自然的情形。[0167]此外，修饰处理中使用的显示物对象可以是游戏者持有的物品中的显示物，也可以是关联于角色CHP而付随的显示物。此外，作为修饰处理，可以对边界区域进行有修饰的效果的图像效果处理。[0168]此外，作为边界区域BD的校正处理的方法，考虑各种方法。例如，对边界区域BD的图像进行模糊过滤处理，为了调和脸图像IMF和胸口的图像进行亮度调整处理，进行色信息的平均化处理平滑化处理等各种变形实施。[0169]此外，在本实施方式中，可以根据传感器1似彩色传感器164在摄影时的环境的亮度信息等的环境信息，进行提取的肤色信息的校正处理。例如，当摄影环境为较暗的环境时，从脸图像等的部位图像提取的肤色信息与游戏者实际的肤色相比，可能成为较暗的肤色。因此，这种情况下，将从部位图像中提取的肤色信息校正为较亮的肤色。另一方面，在摄影环境为较亮的环境的情况下，从脸图像等的部位图像中提取的肤色信息与游戏者实际的肤色相比，可能成为较亮的肤色。因此，这种情况下，将从部位图像提取的肤色信息校正为较暗的肤色。这样，在角色CHP的手、脚、胸口等的部位设定的肤色能够接近实际的游戏者的肤色，能够生成更适当的角色图像。[0170]此外，在本实施方式中，可以进行校正处理，根据游戏状况使脸图像等的部位图像的肤色信息或基于该肤色信息设定为其他部位的肤色的色信息变色。例如根据游戏状况，进行游戏者的角色CHP的肤色的血色良好，或变苍白血色恶化游戏演出。通过这样的方式，角色CHP的部位手、脚、胸口、脸等的肤色根据游戏状况而各种变化，能够防止该肤色成为单一的色。[0171]3.详细的处理[0172]接着，使用图2〇的流程图说明本实施方式的详细的处理例。[0173]首先，根据游戏者的骨架信息，确定游戏者的脸的位置，根据确定的位置，从游戏者的摄像图像中切出脸图像步骤S11。例如，使用在图5、图14、图16中说明的骨架信息等，确定作为彩色图像的摄像图像的游戏者的脸图像IMF的位置，通过修剪以该位置为中心的所给的尺寸的区域，切出脸图像IMF。[0174]接着，从脸图像提取肤色信息步骤S12。例如，通过在图11中说明的方法等，从脸图像中提取肤色信息。然后，根据提取的肤色信息，设定角色的脸之外的部位的肤色的基本色步骤S13。例如，如在图9、图10中的说明，设定脸之外的胸口NC、手AR、AL、脚LR、LL等的部位的肤色的基本色。该肤色的基本色的设定例如对于与图12的⑻的对象信息对应的对象进行。[0175]接着，根据照明模型。进行角色的透视处理，生成角色的图像步骤S14。例如，如在图15中的说明，进行使用光源LS的照明处理，同时进行透视处理，生成角色的透视图像施加阴影的图像）。然后，进行角色的图像和脸图像的合成处理，此时，在角色的图像和脸图像的边界区域中执行校正处理步骤S15。例如如图18所示，使用混合率a、P进行角色CHP的图像和脸图像IMF的图像合成处理，使用该混合率a、P，如图17所示，在角色CHP的图像和脸图像IMF的边界区域BD中执行校正处理半透明合成处理）。[0176]此外，如上所述虽然对本实施方式进行了详细的说明，但在实质上不脱离本发明的新技术方案以及效果的前提下的多种变形，对本领域技术人员而言是容易理解的。因此，这种变型例都包含在本发明的范围内。例如，在说明书或附图中至少一次，和更广义或同义的不同术语被拍摄体、指定部位、部位图像等一起记载的术语游戏者、脸、脸图像等），无论在说明书或附图的任何位置都可以替换成该不同的术语。此外，肤色信息的提取处理、图像合成处理、色信息的设定处理、校正处理、透视处理、被拍摄体的动作的特定处理等也不限定于本实施方式中说明的，与其均等的方法也包含在本发明的范围内。

权利要求：1.一种图像生成系统，其特征在于，包括：输入处理部，获得被拍摄体的摄像图像；提取处理部，进行色信息的提取处理；以及图像生成部，生成合成图像，所述合成图像将所述被拍摄体的所述摄像图像所包括的所述被拍摄体的指定部位的部位图像合成于角色的图像，所述提取处理部根据所述被拍摄体的所述指定部位的所述部位图像，进行所述被拍摄体的肤色信息的提取处理，所述图像生成部根据提取的所述肤色信息，设定所述角色的所述指定部位之外的部位的色信息，生成所述角色的图像。2.根据权利要求1所述的图像生成系统，其特征在于，所述部位图像是所述被拍摄体的脸图像，所述提取处理部根据所述脸图像，进行所述肤色信息的提取处理，所述图像生成部根据从所述脸图像提取的所述肤色信息，设定所述角色的脸之外的部位的色信息。3.根据权利要求1所述的图像生成系统，其特征在于，所述角色是由多个对象构成的模型对象，所述图像生成部根据所述被拍摄体的所述肤色信息，在所述模型对象的所述多个对象中，设定所述指定部位之外的部位的对象的色信息，通过进行所述模型对象的透视处理，生成所述模型对象的图像。4.根据权利要求1至3中任一项所述的图像生成系统，其特征在于，所述图像生成部在所述角色的图像和所述部位图像的边界区域进行校正处理。5.根据权利要求4所述的图像生成系统，其特征在于，所述图像生成部在所述边界区域进行所述角色的图像的色信息和所述部位图像的色信息的半透明合成处理作为所述校正处理。6.根据权利要求4所述的图像生成系统，其特征在于，所述图像生成部对所述边界区域进行修饰处理作为所述校正处理。7.根据权利要求1至3中任一项所述的图像生成系统，其特征在于，所述提取处理部从所述被拍摄体的所述部位图像中，提取与肤色条件一致的像素，根据提取的像素的色信息，求得所述被拍摄体的所述肤色信息。8.根据权利要求1至3中任一项所述的图像生成系统，其特征在于，还包括：被拍摄体信息获得部，根据来自传感器的传感器信息，获得用于确定所述被拍摄体的动作的被拍摄体信息，所述图像生成部生成通过所述被拍摄体信息确定的与所述被拍摄体的动作对应而动作的所述角色的图像。9.根据权利要求8所述的图像生成系统，其特征在于，所述图像生成部根据所述被拍摄体信息，确定所述被拍摄体的所述指定部位，从所述被拍摄体的所述摄像图像中切出所述部位图像，将切出的所述部位图像合成于所述角色的图像，所述提取处理部根据基于所述被拍摄体信息确定的所述指定部位的所述部位图像，进行所述被拍摄体的所述肤色信息的提取处理。10.根据权利要求9所述的图像生成系统，其特征在于，所述被拍摄体信息获得部根据所述传感器信息，获得所述被拍摄体的骨架信息作为所述被拍摄体信息，所述提取处理部根据基于所述骨架信息确定的所述指定部位的所述部位图像，进行所述被拍摄体的所述肤色信息的提取处理。11.一种图像处理方法，其特征在于，进行：输入处理，获得被拍摄体的摄像图像；提取处理，进行色信息的提取处理；以及图像生成处理，生成合成图像，所述合成图像将所述被拍摄体的所述摄像图像所包含的所述被拍摄体的指定部位的部位图像合成于角色的图像，在所述提取处理中，根据所述被拍摄体的所述指定部位的所述部位图像，进行所述被拍摄体的肤色信息的提取处理，在所述图像生成处理中，根据提取的所述肤色信息，设定所述角色的所述指定部位之外的部位的色信息，生成所述角色的图像。

百度查询： 株式会社万代南梦宫娱乐 图像生成系统以及图像处理方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD