申请/专利权人：宏达国际电子股份有限公司

申请日：2017-02-07

公开（公告）日：2020-07-17

公开（公告）号：CN108304152B

主分类号：G06F3/16(20060101)

分类号：G06F3/16(20060101);G06F3/0484(20130101)

优先权：["20170111 US 15/403,191"]

专利状态码：有效-授权

法律状态：2020.07.17#授权;2018.08.14#实质审查的生效;2018.07.20#公开

摘要：手持式电子装置、影音播放装置以及播放方法。影音播放装置包括多个声音信号提取器、图像提取器、控制器以及扬声器。声音信号提取器提取多个声音信号。图像提取器获得显示图像。控制器区分显示图像为多个显示区域；建立配置位置与显示区域的相对位置间的对应关系；接收选中区域的播放设置命令，并据以设置命令设置各显示区域的播放权重；以及，依据各显示区域的播放权重以及对应关系以调整对应声音信号的音量播放设置，并依据音量播放设置以及声音信号产生输出声音信号。扬声器进行声音播放动作。

主权项：1.一种影音播放装置，包括：多个声音信号提取器，配置在该影音播放装置的不同位置上，用以提取环境中的多个声音信号；图像提取器，提取该环境中的图像以获得显示图像；控制器，耦接该些声音信号提取器以及该图像提取器，用以：区分该显示图像为多个显示区域；建立各该声音信号提取器的配置位置与各该显示区域之间的相对位置关系；接收对应该些显示区域中的选中区域的播放设置命令，并依据该播放设置命令设置各该显示区域的播放权重；以及依据各该显示区域的该播放权重以及该相对位置关系以调整对应该些声音信号的音量播放设置，并依据该音量播放设置以及该些声音信号产生输出声音信号；以及扬声器，依据该输出声音信号进行声音播放动作，其中该些声音信号在声音合成点进行合成，该控制器依据该声音合成点与该图像提取器的图像提取方向来设置参考平面，且该控制器将该些声音信号提取器投影于该参考平面而形成多个投影位置，其中该控制器以该声音合成点为中心点，并依据预设角度来划分该参考平面而形成多个扇形区域，且部分的该些扇形区域对应于该些显示区域，其中该控制器依据该些投影位置与该些扇形区域之间的对应方式来建立各该声音信号提取器的各该配置位置与各该显示区域之间的该相对位置关系。

全文数据：手持式电子装置、影音播放装置以及其影音播放方法技术领域[0001]本发明涉及一种手持式电子装置、其影音播放装置以及其影音播放方法，且特别涉及一种依据图像中的位置信息来播放声音的影音播放装置以及其影音播放方法。背景技术[0002]随着电子科技的进步，手持式电子装置已成为人们生活中不可或缺的工具。例如，在会议中，人们常利用手持式电子装置进行录音，以记录会议中所讨论相关内容。然而，若光只有录制声音信息，在听取会议内容时，可能无法完全理解通过身体姿态配合所要表达的信息，因此，将声音信息配合图像信息进行录制是较佳的选择。[0003]然而，在相同的环境中，多个参与者可能同时发音并讨论多个不同的议题。因此，要如何通过手持式电子装置录制的影音信息中，提取最有效的信息，是本领域技术人员的重要课题。发明内容[0004]本发明提供一种手持式电子装置、影音播放装置以及影音播放方法。可通过选定显示图像中的特定目标，来控制声音信号播放的来源及音量。[0005]本发明的影音播放装置包括多个声音信号提取器、图像提取器、控制器以及扬声器。声音信号提取器配置在影音播放装置的多个配置位置上，用以提取环境中的多个声音信号。图像提取器提取环境中的图像以获得显示图像。控制器耦接声音信号提取器以及图像提取器，用以区分该显示图像为多个显示区域;建立配置位置与显示区域的相对位置间的对应关系；接收对应显示区域中的选中区域的播放设置命令，并依据播放设置命令设置各显示区域的播放权重；以及，依据各显示区域的播放权重以及对应关系以调整对应声音信号的音量播放设置，并依据音量播放设置以及声音信号产生输出声音信号。扬声器依据输出声音信号进行声音播放动作。[0006]本发明的手持式电子装置包括主体以及如上所述的影音播放装置。影音播放装置配置在主体中，其中，声音信号提取器的配置位置分别对应主体的多个侧面。[0007]本发明的影音播放方法包括:在影音播放装置的多个配置位置上提取环境中的多个声音信号；区分显示图像为多个显示区域;建立配置位置与显示区域的相对位置的对应关系;接收对应显示区域中的选中区域的播放设置命令，并依据播放设置命令设置各显示区域的播放权重;依据各显示区域的播放权重以及对应关系以调整对应声音信号的音量播放设置，并依据音量播放设置以及声音信号产生输出声音信号；以及，依据输出声音信号进行声音播放动作。[0008]基于上述，通过本发明提供的影音播放装置及其播放方法，影音播放装置可通过显示图像的选取动作，来进行播放声音的位置的调整动作。如此一来，可进一步针对所要听取的声音以及图像信息进行加强的动作，影音播放装置的播放效率。[0009]为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明[0010]图1绘示本发明一实施例的影音播放装置的示意图。[0011]图2绘示本发明实施例的显示区域的产生方式的示意图。[0012]图3绘示发明实施例的手持式电子装置的声音信号提取器的配置位置与参考平面的关系不意图。[0013]图4A绘示投影位置与参考平面的位置关系的示意图。[0014]图4B则绘示选定方位以进行声音合成的示意图。[0015]图5A至图f5D分别绘示本发明实施例的选中区域与扇形区域的权重设置的关系图。[0016]图6绘示本发明一实施例的图像调整方式的示意图。[0017]图7A以及图7B分别绘示本发明不同实施方式的声音提取装置的配置位置示意图。[0018]图8绘示本发明实施例的影音播放方法的流程图。[0019]【符号说明】[0020]100:影音播放装置[0021]111-113:声音信号提取器[0022]120、721_724:图像提取器[0023]130:控制器[0024]140:扬声器[0025]200:显示图像[0026]DZ1-DZ3:显示区域[0027]IAD:图像提取方向[0028]300、600、720:手持式电子装置[0029]RSUF:参考平面[0030]PP1-PP3、PP21-PP24:投影位置[0031]γ0。、γ45。、γ90。：向量[0032]SE1-SE8:扇形区域[0033]0:中心点[0034]Α:圆心角[0035]nl、n2、n3:传递方向[0036]USR:使用者[0037]SD1-SD3:声波[0038]ΜΚ1-ΜΚ3:标示[0039]S810-S860:影音播放方法的步骤[0040]SDZ:选中区域具体实施方式[0041]请参照图1，图1绘示本发明一实施例的影音播放装置的示意图。影音播放装置100包括声音信号提取器111-113、图像提取器120、控制器130以及扬声器140。声音信号提取器111-113耦接至控制器130。声音信号提取器111-113可分别配置在影音播放装置100的多个不同的配置位置上，并提取相同环境中的多个声音信号。图像提取器120耦接至控制器130，用以提取环境中的图像以获得显示图像。控制器130则接收声音信号提取器111-113所产生的声音信号以及图像提取器120所获得的显示图像。[0042]附带一提的，在本实施例中，声音信号提取器111-113可以是麦克风，或为本领域技术人员所熟知的声音接收装置。图像提取器120则可以为本领域技术人员所熟知的任意的图像接收装置，如照相机、摄影装置等。[0043]在声音播放动作的控制方面，控制器130并区分显示图像为多个显示区域。在此请同步参照图1以及图2,其中图2绘示本发明实施例的显示区域的产生方式的示意图。在图2中，控制器130针对显示图像200进行区分，并通过区隔线段DLl以及DL2将显示图像200区分为三个显示区域DZ1-DZ3。其中，显示区域DZ1-DZ3彼此间的尺寸大小可以相同也可以不相同。另外，在本发明其他实施例中，控制器130也可以区隔显示图像200为多于三个或少于三个的显示区域。另外，所区隔出的显示区域也可以不需要如图2所绘示的相互平行排列，在本发明不同实施例中，显示区域可以各种方式进行排列，没有固定的限制。[0044]接着，控制器130建立声音信号提取器111-113的配置位置与显示区域的相对位置间的一对应关系。在此请同步参照图1以及图3,图3绘示发明实施例的手持式电子装置的声音信号提取器的配置位置与参考平面的关系示意图。其中，手持式电子装置300被立起，并依据图像提取方向IAD进行图像提取动作。影音播放装置100可设置在手持式电子装置300的本体中，而其中的声音信号提取器111-113设置在手持式电子装置300的本体上的不同的设置位置上。通过设置与图像提取方向IAD实质上平行的参考平面RSUF，声音信号提取器111-113可在参考平面RSUF上分别投影出三个投影位置PP1-PP3。[0045]在获得投影位置PP1-PP3后，请参照图4A以及图4B，其中图4A绘示投影位置与参考平面的位置关系的示意图，图4B则绘示选定方位以进行声音合成的示意图。其中，在图4A中，参考平面RSUF可被多个向量例如向量γ0°、γ45°、γ90°···区分为多个扇形区域SEl-SE8，各个扇形区域SE1-SE8是依据参考平面RSUF的中心点0声音接收点），利用预设的圆心角A来进行区分。在图4Α的实施方式中，圆心角A等于45度。[0046]进一步来说明，在图4Α的绘示中，参考平面RSUF上的多个扇形区域SE1-SE8可与显示图像中的多个显示区域相对应。以图2绘示的显示图像200为范例，具体来说，若影音播放装置的图像提取方向与向量γ0°同方向时，扇形区域SEl及SE8对应至显示区域DZ2,扇形区域SEl及SE2可对应至显示区域DZ3,而扇形区域SE7及SE8则可对应至显示区域DZ1。[0047]如此一来，控制器130可有效建立配置位置111-113与显示区域DZ1-DZ3的相对位置间的对应关系。[0048]接着，当进行影音播放的过程中，控制器130可接收对应显示区域中的选中区域所进行的播放设置命令。并依据播放设置命令设置各显示区域的播放权重。同时参照图2以及图4Α，依据上述的扇形区域SE1-SE8与显示区域的相对位置间的对应关系，若显示区域DZl被设置为选中区域时，显示区域DZl的播放权重被调高，而显示区域DZ2及DZ3的播放权重对应被调低。在此，可通过设置扇形区域SE1-SE8上的权重来完成上述的播放权重调整动作。[0049]以下请参照图5Α至图图5Α至图5D分别绘示本发明实施例的选中区域与扇形区域的权重设置的关系图。其中，在图5A中，整个显示图像被选为选中区域SDZ，此时所有的扇形区域SE1-SE8都被设置为具有相同的权重1。在图5B中，中央的显示区域DZ2被设置为选中区域SDZ，对应于显示区域DZ2的扇形区域SE1、SE8被设置具有较高的权重1，而扇形区域SE2、SE7被设置具有相对低的权重0.5，扇形区域SE3、SE6被设置具有相对低的权重0.3、而扇形区域SE4、SE5则被设置具有最低的权重O。[0050]此外，在图5C中，显示区域DZ3被设置为选中区域SDZ，在此，对应于显示区域DZ3的扇形区域SE1、SE2可被设置具有较高的权重1，而扇形区域SE8、SE3被设置具有相对低的权重0.5，扇形区域SE7、SE4被设置具有相对低的权重0.3、而扇形区域SE6、SE5则被设置具有最低的权重0。[0051]在图5D中，显示区域DZl被设置为选中区域SDZ，在此，对应于显示区域DZl的扇形区域SE7、SE8被设置具有较高的权重1，而扇形区域SE6、SE1被设置具有相对低的权重0.5，扇形区域SE5、SE2被设置具有相对低的权重0.3、而扇形区域SE4、SE3则被设置具有最低的权重0。[0052]通过上述的扇形区域的权重，针对各扇形区域上的投影位置所对应声音信号提取装置所接收的声音信号进行调整，并加以合成，并可获得输出声音信号，并使扬声器140进行输出声音信号的播放动作。[0053]关于声音信号的合成方面，请参照图4A，在图4A中，投影位置PP1-PP3分别落在扇形区域SE3、SE6以及SE8中。而要对水平360°的空间进行声音分析最少要有3个声音信号提取器以进行收音，根据三个声音信号提取器111-113在参考平面RSUF上的投影位置PP1-PP3可以定义出个声音信号提取器111-113声音传递方向nl、n2以及n3。再由平面声波传递的理论可推算出各方位的组合声如数学式1所示：[0054][0055]其中PhP^P3分别为投影位置PP1-PP3在参考平面RSUF上的坐标，ω为声音信号的频率，C为声速。[0056]根据心理声学模型或相关模型声学头部关系转移函数，Head-relatedtransferfunction，HRTF可将使用者选定的方位声音合成输出双耳音频。其中，心理声学模型或相关模型是用来描述不同方向的声音传递至人耳的响应，即使是相同音源，由于脸部轮廓等物理上的因素造成双耳聆听差异，使用假人头的耳内麦克风收音，在可控的单音源情况下即能用数学表达两者间的转移函数，藉此达到模拟人耳实际对于不同方向声音的响应。[0057]依据图4B所绘示的，使用者USR的右耳听到声波，可以依据不同方向的声波SDl-SD3合成来获得。[0058]接着请参照图6,图6绘示本发明一实施例的图像调整方式的示意图。其中，手持式电子装置600中设置影音播放装置100。其中，控制器130可以通过脸部辨识动作来针对显示图像进行处理，并显示图像中显示出标示MK1-MK3以作为操作界面。当使用者要选择要听取显示图像中其中一个发言者发出的语音时，可通过选择标示例如标式MK2。据此，手持式电子装置600可放大显示标示MK2对应的使用者的图像，并对应放大声音提取装置所提取到的标示MK2对应的使用者所发送的声音。[0059]在细节方面，控制器130可以通过脸部辨识动作来识别出显示图像中的多个人物。并针对这些识别出的人物进行标号，并在显示图像中显示出这些编号以作为操作界面。使用者可通过这个操作界面，通过选择编号接收对应的人物的发言内容。在此，被选取的人物的发言内容的音量可以被调大，未被选取的人物的发言内容的音量则可以被调小，甚至被消音。[0060]当然，上述的产生操作界面的方式并不限于使用脸部辨识的动作来完成。本发明实施例中也可利用物件辨识、手势辨识以及其他本领域技术人员所熟知的技术来产生。关于物件辨识方面，例如，控制器130可以针对显示图像中的物件例如车辆、电器等同种类或不同种类的物件进行识别，并提供操作界面让使用者选择其中之一的物件来读取其声音信号。关于手势辨识的部分，控制器130可以通过辨识显示图像中的人物有无作出特殊手势来进行辨识并加以标示编号），再提供这些编号以建立操作界面，以提供使用者可通过操作界面选择编号以接收对应的人物的发言内容。[0061]另外，在手持式电子装置600放大显示标式MK2对应的使用者的图像时，使用者可以通过指令使手持式电子装置600还原显示图像，或变更放大显示标式MKl对应的使用者的图像，并同步调整播放的输出声音信号。[0062]以下请参照图7A以及图7B，图7A以及图7B分别绘示本发明不同实施方式的声音提取装置的配置位置示意图。在图7A中，手持式电子装置710具有三个声音信号提取器711-713,分别配置在手持式电子装置710的不同侧边。声音信号提取器711-713分别投影至参考平面RSUF的投影位置PPl1-PP13，其中，投影位置PPl1-PP13均匀分布在参考平面RSUF的不同位置上。[0063]在图7B中，手持式电子装置720则具有四个声音信号提取器721-724,分别配置在手持式电子装置720的不同侧边。声音信号提取器721-724分别投影至参考平面RSUF的投影位置PP21-PP24,其中，投影位置PP21-PP24同样可均匀分布在参考平面RSUF的不同位置上。[0064]在此，在本发明实施例中，声音信号提取器的数量是没有特定的限制。[0065]以下请参照图8,图8绘示本发明实施例的影音播放方法的流程图。其中，影音播放方法的步骤包括:步骤S810在影音播放装置的多个配置位置上提取环境中的多个声音信号；步骤S820区分显示图像为多个显示区域;步骤S830则建立配置位置与显示区域的相对位置的对应关系；步骤S840接收对应显示区域中的选中区域的播放设置命令，并依据播放设置命令设置各显示区域的播放权重;步骤S850则依据各显示区域的播放权重以及对应关系以调整对应声音信号的音量播放设置，并依据音量播放设置以及声音信号产生输出声音信号；以及，步骤S860依据输出声音信号进行声音播放动作。[0066]关于上述步骤的多个实施细节，在前述的多个实施例及实施方式都有详细的说明，以下恕不多赘述。[0067]综上所述，本发明通过区分该显示图像为多个显示区域，并针对显示区域以及声音信号提取器的配置位置建立相对位置的对应关系。并且，在进行影音播放时，通过选择显示区域，影音播放装置可以加强选中区域对应的声音信号提取器所提取的声音信号，并进行声音播放的动作。如此一来，使用者可以更清晰的获得所要接收的声音信号，提升影音播放装置的使用效能。[0068]虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

权利要求：1.一种影音播放装置，包括：多个声音信号提取器，配置在该影音播放装置的多个配置位置上，用以提取环境中的多个声音信号；图像提取器，提取该环境中的图像以获得显示图像；控制器，耦接这些声音信号提取器以及该图像提取器，用以：区分该显示图像为多个显示区域；建立这些配置位置与这些显示区域的相对位置间的对应关系；接收对应这些显示区域中的选中区域的播放设置命令，并依据该播放设置命令设置各该显示区域的播放权重；以及依据各该显示区域的该播放权重以及该对应关系以调整对应这些声音信号的音量播放设置，并依据该音量播放设置以及这些声音信号产生输出声音信号；以及扬声器，依据该输出声音信号进行声音播放动作。2.如权利要求1所述的影音播放装置，其中该控制器用以：依据该图像提取器的图像提取方向以设置参考平面，并依据该参考平面上声音接收点为中心点，并基于该中心点依据不同角度区分该参考平面为多个扇形区域;以及依据这些配置位置，计算这些声音信号提取器在该参考平面的多个投影位置，依据各该投影位置对应的各该扇形区域产生该对应关系。3.如权利要求2所述的影音播放装置，其中该控制器依据该播放权重以及这些投影位置，针对该声音信号进行声音信号转换动作，并产生立体声的该输出声音信号。4.如权利要求2所述的影音播放装置，其中该控制器依据声学头部关系转移函数执行该声音信号转换动作。5.如权利要求1所述的影音播放装置，其中该控制器依据该播放设置命令使该选中区域的播放权重被调高，并使这些显示区域中非为该选中区域的播放权重被调低。6.如权利要求1所述的影音播放装置，其中还包括：图像显示器，用以显示该显示图像，其中，该控制器依据该播放设置命令使该图像显示器对该选中区域进行放大显示动作。7.如权利要求6所述的影音播放装置，其中当该选中区域由第一显示区域变更为第二显示区域时，该图像显示器变更为放大第二显示区域进行显示动作。8.如权利要求6所述的影音播放装置，其中该图像显示器还用以显示操作界面，其中，该操作界面用以接收该播放设置命令。9.如权利要求8所述的影音播放装置，其中该控制器针对该显示图像进行特征辨识动作以产生该操作界面。10.—种手持式电子装置，包括：主体；如权利要求1所述的影音播放装置，配至在该主体中，其中，这些声音信号提取器的这些配置位置分别对应该主体的多个侧面。11.一种影音播放方法，包括：在影音播放装置的多个配置位置上提取环境中的多个声音信号；提取该环境中的图像以获得显示图像；区分该显示图像为多个显示区域；建立这些配置位置与这些显示区域的相对位置对应关系；接收对应这些显示区域中的选中区域的播放设置命令，并依据该播放设置命令设置各该显示区域的播放权重；依据各该显示区域的该播放权重以及该对应关系以调整对应这些声音信号的音量播放设置，并依据该音量播放设置以及这些声音信号产生输出声音信号；以及依据该输出声音信号进行声音播放动作。12.如权利要求11所述的影音播放方法，其中建立这些配置位置与这些显示区域的该对应关系的步骤包括：依据该显示图像的图像提取方向以设置参考平面，并依据该参考平面上声音接收点为中心点，并基于该中心点依据不同角度区分该参考平面为多个扇形区域;以及依据这些配置位置，计算这些声音信号提取器在该参考平面的多个投影位置，依据各该投影位置对应的各该扇形区域产生该对应关系。13.如权利要求11所述的影音播放方法，其中依据各该显示区域的该播放权重以及该对应关系以调整对应这些声音信号的该音量播放设置，并依据该音量播放设置以及这些声音信号产生该输出声音信号的步骤包括：依据该播放权重以及这些投影位置，针对该声音信号进行声音信号转换动作，并产生立体声的该输出声音信号。14.如权利要求13所述的影音播放方法，其中，针对该声音信号进行该声音信号转换动作，并产生立体声的该输出声音信号的步骤包括：依据声学头部关系转移函数执行该声音信号转换动作以产生立体声的该输出声音信号。15.如权利要求11所述的影音播放方法，其中接收对应这些显示区域中的该选中区域的该播放设置命令，并依据该播放设置命令设置各该显示区域的该播放权重的步骤包括：依据该播放设置命令使该选中区域的播放权重被调高，并使这些显示区域中非为该选中区域的播放权重被调低。16.如权利要求11所述的影音播放方法，其中还包括：提供图像显示器，用以显示该显示图像；以及依据该播放设置命令使该图像显示器对该选中区域进行放大显示动作。17.如权利要求16所述的影音播放方法，其中还包括：当该选中区域由第一显示区域变更为一第二显示区域时，使该图像显示器变更为放大第二显示区域进行显示动作。18.如权利要求11所述的影音播放方法，其中还包括：提供该图像显示器显示操作界面，该操作界面用以接收该播放设置命令。19.如权利要求18所述的影音播放方法，其中还包括：针对该显示图像进行特征辨识动作以产生该操作界面。

百度查询： 宏达国际电子股份有限公司 手持式电子装置、影音播放装置以及其影音播放方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD