申请/专利权人：雅马哈株式会社

申请日：2016-03-17

公开（公告）日：2021-04-13

公开（公告）号：CN107430848B

主分类号：G10L13/02(20130101)

分类号：G10L13/02(20130101);G10L13/00(20060101);G10L13/033(20130101);G10L13/10(20130101);G10H1/08(20060101)

优先权：["20150325 JP 2015-063266"]

专利状态码：有效-授权

法律状态：2021.04.13#授权;2017.12.26#实质审查的生效;2017.12.01#公开

摘要：一种声音控制装置，包括：检测单元，其检测对操作器的第一操作以及对所述操作器的第二操作，在所述第一操作之后执行所述第二操作；以及控制单元，其响应于检测到所述第二操作，使得开始输出第二声音。响应于检测到所述第一操作，所述控制单元在使得开始输出所述第二声音之前使得开始输出第一声音。

主权项：1.一种声音控制装置，包括：检测单元，其检测对操作器的第一操作以及对所述操作器的第二操作，在执行所述第一操作之后执行所述第二操作；以及控制单元，其响应于检测到所述第二操作，使得开始输出第二声音，其中，响应于检测到所述第一操作，所述控制单元在使得开始输出所述第二声音之前使得开始输出第一声音，所述第一声音是辅音声音，并且所述第二声音是元音声音，在音节由所述辅音声音和所述元音声音组成的情况下，所述音节是以所述辅音声音开始、并在所述辅音声音后以所述元音声音继续的音节，在所述第二操作在所述辅音声音的声音产生开始之前的情况下，不产生辅音声音的声音。

全文数据：声音控制装置、声音控制方法以及声音控制程序技术领域[0001]本发明涉及一种声音控制装置、声音控制方法以及声音控制程序，其能够在实时演奏时没有明显延迟地输出声音。[0002]要求于2〇15年3月25日提交的日本专利申请No•2〇〇5_063266的优先权，其内容通过引用并入本文中。背景技术[0003]通常，已知在专利文献1中描述的歌声合成设备，其基于实时输入的演奏数据执行歌声合成。比由时间信息表示的歌唱开始时间更早的音素信息、时间信息以及歌唱持续信息被输入到该歌声合成设备。此外，歌声合成设备基于音素信息产生音素转换持续时间，并且基于音素转换持续时间、时间信息和歌唱持续信息确定第一音素和第二音素的歌唱开始时间和连续歌唱时间。结果，针对第一音素和第二音素，可以确定在由时间信息表示的歌唱开始时间之前和所述歌唱开始时间之后的期望歌唱开始时间，并且可以确定与歌唱持续信息所表示的歌唱持续时间不同的连续歌唱时间。因此，可以产生自然的歌声作为第一歌声和第二歌声。例如，如果将比由时间信息表示的歌唱开始时间更早的时间确定为第一音素的歌唱开始时间，则可以通过使辅音声音的启动充分地早于元音声音的启动来执行近似于人类歌唱的歌声合成。[0004][现有技术文献][0005][专利文献][0006][专利文献1]日本未审查专利申请，首次公开No.2002-202788。发明内容[0007]本发明要解决的问题[0008]在根据相关技术的歌声合成设备中，通过在执行实际歌唱的实际歌唱开始时刻T1之前输入演奏数据，在时刻T1之前开始辅音声音的声音产生，并且在时刻T1时开始元音声音的声音产生。因此，在输入了实时演奏的演奏数据之后，直到时刻T1才执行声音产生。结果，存在实时演奏之后发生歌声的声音产生的延迟的问题，导致演奏性差。[0009]本发明的目的的示例是提供声音控制装置、声音控制方法以及声音控制程序，其在实时演奏时能够没有明显延迟地输出声音。[0010]解决问题的方法[0011]根据本发明的方面的声音控制装置包括:检测单元，其检测对操作器的第一操作以及对操作器的第二操作，在执行第一操作之后执行第二操作；以及控制单元，其响应于检测到第二操作，使得开始输出第二声音。响应于检测到第一操作，控制单元在使得开始输出第二声音之前使得开始输出第一声音。[0012]根据本发明的方面的声音控制方法包括:检测对操作器的第一操作以及对操作器的第二操作，在执行第一操作之后执行第二操作;响应于检测到第二操作，使得开始输出第二声音；以及响应于检测到第一操作，在使得开始输出第二声音之前使得开始输出第一声音。[0013]根据本发明的方面的声音控制程序使得计算机执行以下步骤:检测对操作器的第一操作以及对操作器的第二操作，在执行第一操作之后执行第二操作；响应于检测到第二操作，使得开始输出第二声音；以及响应于检测到第一操作，在使得开始输出第二声音之前使得开始输出第一声音。[0014]本发明的效果[0015]在根据本发明的实施例的歌声产生设备中，通过以下手段开始歌声的声音产生：响应于对在指示声音产生开始的阶段之前的阶段的检测来开始歌声的辅音声音的声音产生；以及当声音产生的开始被指示时开始歌声的元音声音的声音产生。因此，可以在实时演奏时产生没有明显延迟的自然歌声。附图说明[0016]图1是示出根据本发明的实施例的歌声产生设备的硬件构造的功能框图。[0017]图2A是根据本发明的实施例的通过歌声产生设备执行的演奏处理的流程图。[0018]图2B是根据本发明的实施例的通过歌声产生设备执行的音节信息获取处理的流程图。[0019]图3A是用于说明要由根据本发明的实施例的歌声产生设备处理的音节信息获取处理的示图。[0020]图3B是用于说明要由根据本发明的实施例的歌声产生设备处理的语音元素数据选择处理的示图。[0021]图3C是用于说明要由根据本发明的实施例的歌声产生设备处理的声音产生指令接受处理的示图。[0022]图4是示出根据本发明的实施例的歌声产生设备的操作的示图。[0023]图5是通过根据本发明的实施例的歌声产生设备执行的声音产生处理的流程图。[0024]图6A是示出根据本发明的实施例的歌声产生设备的另一操作的时序图。[0025]图6B是示出根据本发明的实施例的歌声产生设备的另一操作的时序图。[0026]图6C是示出根据本发明的实施例的歌声产生设备的另一操作的时序图。[0027]图7是展现了示出根据本发明的实施例的歌声产生设备的演奏操作器的修改示例的示意性构造的不图。具体实施方式[0028]图1是示出根据本发明的实施例的歌声产生设备的硬件构造的功能框图。[0029]图1中示出的根据本发明的实施例的歌声产生设备1包括CPU中央处理单元）10、ROM只读存储器11、RAM随机存取存储器12、声源13、音响系统14、显示单元显示器15、演奏操作器16、设置操作器17、数据存储器18和总线19。[0030]声音控制装置可以与歌声产生设备1相对应。该声音控制装置的检测单元、控制单元、操作器和存储单元可以分别与歌声产生设备1的这些构造中的至少一个相对应。例如，检测单元可以与CPU10和演奏操作器16中的至少一个相对应。控制单元可以与CPU10、声源13和音响系统14中的至少一个相对应。存储单元可以与数据存储器18相对应。[0031]CPU10是控制根据本发明的实施例的整个歌声产生设备1的中央处理单元。R0M11是存储控制程序和各种数据的非易失性存储器。MM12是用于CPU10的工作区域和各种缓冲器的易失性存储器。数据存储器18存储包括歌词的文本数据在内的音节信息表和存储歌声的语音元素数据的音素数据库等。显示单元15是包括液晶显示器等的显示单元，在显示单元上向用户显示操作状态和各种设置屏幂和消息。演奏操作器16是用于演奏的操作器例如键盘），并且包括检测多个阶段中操作器的操作的多个传感器。演奏操作器16基于多个传感器的接通断开来产生例如键接通key-〇n和键断开key-off、音高和速度的演奏信息。该演奏信息可以是MIDI乐器数字接口）消息的演奏信息。设置操作器17是用于设置歌声产生设备1的各种设置操作元件，例如操作旋钮和操作按钮。[0032]声源13具有多个声音产生通道。在CPU10的控制下，根据用户使用演奏操作器16的实时演奏将一个声音产生通道分配给声源13。声源I3在所分配的声音产生通道中从数据存储器18读出与演奏相对应的语音元素数据，并产生歌声数据。音响系统14通过数模转换器将由声源13产生的歌声数据转换成模拟信号，放大成为模拟信号的歌声，并将其输出至扬声器等。此外，总线19是用于传输歌声产生设备1的每个单元之间的数据的总线。[0033]将在下面描述根据本发明的实施例的歌声产生设备1。这里，以键盘40被提供为演奏操作器16的情况作为示例来描述歌声产生设备1。在作为演奏操作器16的键盘40中，提供了操作检测单元41，其包括第一传感器41a、第二传感器41b和第三传感器41c，该操作检测单元41检测多个阶段中键盘的推入操作参见图4的部分a。当操作检测单元41检测键盘40的操作时，图2A中示出的流程图的演奏处理被执行。图2B示出了该演奏处理中的音节信息获取处理的流程图。图3A是演奏处理中的音节信息获取处理的说明性示图。图3B是语音元素数据选择处理的说明性示图。图3C是声音产生接受处理的说明性示图。图4示出了歌声产生设备1的操作。图5示出了歌声产生设备1中执行的声音产生处理的流程图。[0034]在这些附图中示出的歌声产生设备1中，当用户实时演奏时，通过作为演奏操作器16的键盘的推入操作来执行演奏。如图4的部分a所示，键盘40包括多个白键40a和黑键40b。多个白键40a和黑键40b分别与不同的音高相关联。白键40a和黑键40b中的每一个的内部提供有第一传感器41a、第二传感器41b和第三传感器41c。以白键40a为例进行描述，当白键40a从参考位置开始被按压并且白键40a稍微被推入到较上位置a时，第一传感器41a被接通，并且由第一传感器41a检测到白键40a已被按压第一操作的示例）。在这种情况下，参考位置是白键40a未被按压的状态下的位置。当手指从白键40a移开并且第一传感器41a从接通到断开时，检测到手指已经从白键40a移开（白键40a的推入己经被释放）。当白键40a被推入到较下位置c时，第三传感器41c被接通，并且由第三传感器41c检测到白键40a已经被推入到底部。当白键40a被推入到作为较上位置a和较下位置c之间的中间处的中间位置b时，第二传感器41b被接通。第一传感器41a和第二传感器41b检测白键40a的被按压状态。可以根据被按压状态来控制声音产生的开始和声音产生的停止。此外，可以根据两个传感器41a和41b的检测时间之间的时间差来控制速度。也就是说，响应于第二传感器41b变为被接通第二操作的检测的示例），以与根据第一传感器41a和第二传感器41b的检测时间计算出的速度相对应的音量开始声音产生。第三传感器41c是检测白键40a被推入到深位置的传感器，并且能够在声音产生期间控制音量和声音质量。[0035]当在演奏前指定了与图3中示出的待播放的乐谱33相对应的特定歌词时，开始图2中示出的演奏处理。演奏处理中的步骤S10的音节信息获取处理和步骤S12的声音产生指令接受处理由CPU10来执行。声源13在CPU10的控制下执行步骤S11的语音元素数据选择处理和步骤S13的声音产生处理。[0036]针对每个音节为所指定的歌词划界。在演奏处理的步骤S10中，执行获取表示歌词的第一音节的音节信息的音节信息获取处理。音节信息获取处理由CPU10执行，并且在图2B中示出了示出其细节的流程图。在音节信息获取处理的步骤S20中，CPU10获取光标位置处的音节。在这种情况下，与所指定的歌词相对应的文本数据30被存储在数据存储器18中。文本数据30包括其中针对每个音节对所指定的歌词划界的文本数据。光标被放置在文本数据30的第一音节处。作为特定示例，将描述文本数据30是与歌词相对应的文本数据的情况，所述歌词是以对应于图3C所示的乐谱33的方式指定的。在这种情况下，文本数据30是图3A示出的音节cl至c42，即，文本数据包括五个音节“ha”、“ru”、“yo”、“ko”和“i”。在下文中，作为音节的一个示例，“ha”、“ru”、”、“ko”和“i”分别指示日语平假名的一个字母。例如，音节cl由辅音“h”和元音“a”组成，并且是以辅音“h”开始并在辅音“h”之后以元音“a”继续的音节。如图3A所示，CPU10从数据存储器18读出作为指定歌词的第一音节cl的“ha”XPU10在步骤S21中确定所获取的音节以辅音声音开始还是以元音声音开始。“ha”以辅音“h”开始。因此，CPU10确定所获取的音节以辅音声音开始，并且确定辅音“h”要被输出。接下来，CPU10确定步骤S21中所获取的音节的辅音声音类型。进一步地，在步骤S22中，CPU10参考图3A所示的音节信息表31，并且设置与所确定的辅音声音类型相对应的辅音声音产生定时。“辅首声首产生定时”是从第一传感器41a检测到操作时到辅音声音的声音产生开始的时间。音节信息表31定义了针对每种类型的辅音声音的定时。具体地，针对例如日语音节图中“sa”行辅音“s”）的音节其中辅音声音的声音产生被延长），音节信息表31定义了：响应于第一传感器41a的检测，立即（例如，〇秒后）开始辅音声音的声音产生。由于对于爆破音例如日语音节图中的“ba”行和“pa”行来说辅音声音产生时间短，因此音节信息表31定义了：在从第一传感器41a的检测起经过预定时间之后，开始辅音声音的声音产生。即，例如，立即产生辅音声音“s”、“h”和“sh”。辅音声音“m”和“n”以约0.01秒的延迟产生。辅音声音“b”、“d”、“g”和“r”以约0•02秒的延迟产生。音节信息表31被存储在数据存储器18中。例如，由于“ha”的辅音声音是“h”，所以将“立即”设置为辅音声音产生定时。然后，进行到步骤S23，CPU10将光标如进到文本数据3〇的下一个音节，并且光标被放置在第二音节〇2的“ru”处。一旦完成了步骤S23的处理，则完成了音节信息获取处理，并且处理返回到演奏处理的步骤S11。[0037]步骤S11的语音元素数据选择处理是在^1]10的控制下由声源13执行的处理。声源I3从图3B所示的音素数据库似中选择使所获得的音节产生的语音元素数据。在音素数据库32中，存储了“音素链数据3加”和“固定部分数据32b，，。音素链数据是声音产生变化时的音素段的数据，其与从静音⑻到辅音”、“从辅音到元音”、“从元音到下一个音节的辅音或元音”等相对应。固定部分数据32b是当元音声音的声音产生持续时音素段的数据。在响应于检测到第一键接通而获取的音节是cl的“ha，，的情况下，声源13从音素链数据323中选择与“静音—辅音h”相对应的语音元素数据“#—h，，和与“辅音1^元音a，，相对应的语音元素数据“h-a”，并从固定部分数据3¾中选择与“元音3”相对应的语音元素数据“a”。在下文的步骤S12中，CPU10确定是否已经接受了声音产生指令，并且等待直到声音产生指令被接受。接下来，cro检测演奏已经开始，并且键盘中的一个键已经开始被按压，并且键盘的该键的第一传感器41a被接通。一旦检测到第一传感器41a被接通，CPU10在步骤S12中确定基于第一键接通nl的声音产生指令已经被接受，并且进行到步骤S13。在这种情况下，在步骤S12的声音指令接受处理中，CPU10接收演奏信息，例如键接通nl的定时和指示第一传感器41a被接通的键的音高的音高信息。例如，在用户根据图3C所示的乐谱实时演奏的情况下，当CPU10接受第一键接通nl的声音产生指令时，CPU10接收指示音高E5的音高信息。[0038]在步骤S13中，声源13在CPU10的控制下，基于在步骤S11中选择的语音元素数据执行声音产生处理。图5示出了示出声音产生处理的细节的流程图。如图5所示，当开始声音产生处理时，CPU10在步骤S30中基于第一传感器41a被接通来检测第一键接通nl，并且利用其第一传感器41a接通的键的音高信息以及预定音量设置声源13。接下来，声源13开始对与音节信息获取处理的步骤S22中设置的辅音声音类型相对应的声音产生定时进行计数。在这种情况下，由于设置了“立即”，所以声源13立即进行计数，并且在步骤S32中，在与辅音声音类型相对应的声音产生定时开始“#-h”的辅音成分的声音产生。在该声音产生时，以所设置的音高E5和预定音量执行声音产生。当开始辅音声音的声音产生时，该处理进行到步骤S33。接下来，CPU10确定在检测到第一传感器41a被接通的键中是否检测到第二传感器41b被接通，并且等待直到第二传感器41b被接通。当CPU10检测到第二传感器41b被接通时，该处理进行到步骤S34。接下来，在声源13中开始‘“h-a”—“a”’的元音成分的语音元素数据的声音产生，并且产生音节cl的“ha”XPU10计算与从第一传感器41a被接通到第二传感器41b被接通的时间差相对应的速度。在声音产生时，以接受键接通nl的声音产生指令时接收的音高E5并且以与速度相对应的音量产生‘“h-a”—“a”’的元音成分。结果，开始所获取的音节cl的“ha”的歌声的声音产生。一旦完成了步骤S34的处理，则完成了声音产生处理，并且处理返回到步骤S14。在步骤S14中，CPU10确定是否所有的音节已经被获取。这里，因为在光标的位置处存在下一个音节，所以CPU10确定并不是所有的音节已经被获取，并且处理返回到步骤S10。[0039]该演奏处理的操作在图4中示出。例如，当在时刻tl时键盘40的一个键已经开始被按压并且到达较上位置a时，第一传感器41a被接通，并且在时刻tl时第一键接通nl的声音产生指令被接受步骤S12。在时刻tl之前，获取第一音节cl并且设置与辅音声音类型相对应的声音产生定时步骤S20至步骤S22。以从时刻tl开始的所设置的声音产生定时来在声源13中开始所获取的音节的辅音声音的声音产生。在这种情况下，因为所设置的声音产生定时为“立即”，那么如图4的部分（b所示，在时刻tl时，以音高E5和由预定的辅音包络ENV42a指示的包络的音量来产生图4的部分⑹中示出的语音元素数据43中“#-h”的辅音成分43a。结果，以音高E5和由辅音包络ENV42a指示的预定音量产生“#-h”的辅音成分43a。接下来，当在时刻t2时，与键接通n1相对应的键被按下到中间位置b并且第二传感器4lb被接通时，在声源13中开始所获取的音节的元音声音的声音产生步骤S30至步骤S34。在该元音声音的声音产生时，开始具有与时刻tl和时刻t2之间的时间差相对应的速度的音量的包络ENV1，并且以音高E5和包络ENV1的音量产生图4的部分d中示出的语音元素数据43中的‘“h-a”—“a”’的元音成分43b。结果，产生“ha”的歌声的声音产生。包络ENV1是持续声音的包络，在该持续声音中维持持续，直到键接通nl的键断开。图4的部分d所示的元音成分43b中的“a”的固定部分数据重复地再现直到时刻t3键断开），在时刻t3，手指从与键接通nl相对应的键移开并且第一传感器41a从接通切换至断开。cpui〇检测到与键接通“相对应的键在时刻t3被断开，并且键断开处理被执行以使声音静音。因此，在包络ENV1的释放曲线中，“ha”的歌声被静音，结果，声音产生停止。[0040]通过返回到演奏处理中的步骤Sl〇，CPU10在步骤S10的音节信息获取处理中从数据存储器I8读取作为指定歌词的光标被放置于其上的第二音节〇2的“ru”XPU10确定音节“ru”以辅音“r”开始，并且确定辅音“r”要被输出。此外，CPU1〇参考图从所示的音节信息表31，并且根据所确定的辅音声音类型来设置辅音声音产生定时。在这种情况下，由于辅音声音类型为“r”，所以CPU10设置大约0.02秒的辅音声音产生定时。此外，PU10将光标前进到文本数据30的下一个音节。结果，光标被放置在第三音节〇3的“y〇”上。接下来，在步骤S1丄的语音元素数据选择处理中，声源I3从音素链数据32a中选择与“静音—辅音r”相对应的语音元素数据“#-r”和与“辅音r—元音u”相对应的语音元素数据“r-u”，并从固定部分数据32b中选择与“元音u”相对应的语音元素数据“u”。[0041]当随着实时演奏的进行操作键盘40并且检测到键的第一传感器41a被接通作为第二按压时，基于其第一传感器41a被接通的键的第二键接通n2的声音产生指令在步骤S12中被接受。步骤S12的这种声音产生指令接受处理基于操作的演奏操作器16的键接通n2来接受声音产生指令，并且CPU10利用键接通n2的定时和指示音高E5的音高信息设置声源13。在步骤S13的声音产生处理中，声源13开始对与所设置的辅音声音类型相对应的声音产生定时进行计数。在这种情况下，由于设置了“约0.02秒”，所以声源13在过去了约0.02秒之后进行计数，并且在与辅音声音类型相对应的声音产生定时开始“#-r”的辅音成分的声音产生。在该声音产生时，以所设置的首局E5和预定首量执行声音产生。当在与键接通n2相对应的键中检测到第二传感器41b被接通时，在声源13中开始‘“r-u”—“u”’的元音成分的语音元素数据的声音产生，并且产生音节c2的“ru”。在声音产生时，以在接受键接通n2的声音产生指令时接收的音高E5以及根据速度的音量来产生‘“r-u”—“u”’的辅音成分，所述速度与从第一传感器41a被接通到第二传感器41b被接通的时间差相对应。结果，开始所获取的音节c2的“ru”的歌声的声音产生。此外，在步骤S14中，CPU10确定是否所有的音节已经被获取。这里，因为在光标的位置处存在下一个音节，所以CPU10确定并不是所有的音节已经被获取，并且处理再次返回到步骤S10。[0042]该演奏处理的操作在图4中示出。例如，作为第二按压，当在时刻t4时键盘40上的键己经开始被按压并且到达较上位置a时，第一传感器41a被接通，并且在时刻t4时第二键接通n2的声音产生指令被接受步骤S12。如上所提到的，在时刻t4之前，获取第二音节C2并且设置与辅音声音类型相对应的声音产生定时（步骤S20至步骤S22。因此，以从时刻t4开始的所设置的声音产生定时来在声源13中开始所获取的音节的辅音声音的声音产生。在这种情况下，所设置的声音产生定时为“约〇•02秒”。结果，如图4的部分b所示，在时刻t5从时刻t4己经经过了约0.02秒时，以音高E5和以由预定的辅音包络ENV42b指示的包络的音量来产生图4的部分d中示出的语音元素数据44中“#-r”的辅音成分44a。因此，以音高E5和由辅音包络ENV42b指示的预定音量产生“#_r”的辅音成分44a。接下来，当在时刻t6与键接通n2相对应的键被按下到中间位置b并且第二传感器41b被接通时，在声源13中开始所获取的音节的元音声音的声音产生步骤S3〇至步骤S34。在该元音声音的声音产生时，开始具有与时刻t4和时刻t6之间的时间差相对应的速度的音量的包络ENV2,并且以音高E5和包络ENV2的音量产生图4的部分d中示出的语音元素数据44中的‘“r-u”—“u”’的元音成分44b。结果，产生“ru”的歌声的声音产生。包络ENV2是持续声音的包络，在持续声音中维持持续直到键接通n2的键断开。图4的部分d所示的元音成分44b中的“u”的固定部分数据重复地再现直到时刻t7键断开），在时刻t7,手指从与键接通n2相对应的键移开并且第一传感器41a从接通切换至断开。当CPU10检测到与键接通n2相对应的键在时刻t7被断开时，键断开处理被执行以使声音静音。因此，在包络ENV2的释放曲线中，“ru”的歌声被静音，结果，声音产生停止。[0043]通过返回到演奏处理中的步骤S10,在步骤S10的音节信息获取处理中，CHJ10从数据存储器18读取作为指定歌词的光标放置于其上的第三音节c3的“yo'CHJ10确定以辅音“y”开始音节“y〇”，并且确定辅音“y”要被输出。此外，CPU1〇参考图3A所示的音节信息表31，并且根据所确定的辅音声音类型来设置辅音声音产生定时。在这种情况下，CPU10设置与辅音声音类型“y”相对应的辅音声音产生定时。此外，CPU10将光标前进至文本数据30的下一个音节。结果，光标被放置在第四音节c41的“ko”上。接下来，在步骤S11的语音元素数据选择处理中，声源13从音素链数据32a中选择与“静音—辅音y”相对应的语音元素数据“#-y”和与“辅音y—元音〇”相对应的语音元素数据“y-〇”，并从固定部分数据32b中选择与“元音〇”相对应的语音元素数据“〇”。[0044]当随着实时演奏的进行操作演奏操作器16时，基于其第一传感器41a被接通的键的第三键接通n3的声音产生指令在步骤S12中被接受。步骤S12的该声音产生指令接受处理基于被操作的演奏操作器16的键接通n3来接受声音产生指令，并且CPU10以键接通n3的定时以及指示音高D5的音高信息设置声源13。在步骤S13的声音产生处理中，声源13开始对与所设置的辅音声音类型相对应的声音产生定时进行计数。在这种情况下，辅音声音类型为“y”。因此，设置了与辅音声音类型“y”相对应的声音产生定时。此外，在与辅音声音类型“y”相对应的声音产生定时开始“#-y”的辅音成分的声音产生。在该声音产生时，以所设置的音高Df5和预定音量执行声音产生。当在检测到第一传感器41a被接通的键中检测到第二传感器41b被接通时，在声源13中开始的元音成分的语音元素数据的声音产生，并且产生音节c3的“yo”。在声音产生时，以在键接通n3的声音产生指令的接受时接收的音高D5以及根据速度的音量来产生“V-的辅音成分，所述速度与从第一传感器41a被接通到第二传感器4lb被接通的时间差相对应。结果，开始所获取的音节C3的“yo”的歌声的声音产生。此外，在步骤S14中，Cinj10确定是否已获取所有的音节。这里，因为在光标的位置处存在下一个音节，所以CPU10确定并不是所有的音节已经被获取，并且处理再次返回到步骤S10。[0045]通过返回到演奏处理中的步骤S10,在步骤S10的音节信息获取处理中，CPU10从数据存储器18读取作为指定歌词的光标放置于其上的第四音节C41的“ko'CPU10确定音节“ko”以辅音“k”开始，并且确定辅音“k”要被输出。此外，CPU10参考图3A所示的音节信息表31，并且根据所确定的辅音声音类型来设置辅音声音产生定时。在这种情况下，CPU10设置与“k”的辅音声音类型相对应的辅音声音产生定时。此外，cpu1〇将光标前进至文本数据30的下一个音节。结果，光标被放置在第五音节c42的“丨，，上。接下来，在步骤S1〖的语音元素数据选择处理中，声源I3从音素链数据32a中选择与“静音—辅音k”相对应的语音元素数据“#-k”和与“辅音k—元音0”相对应的语音元素数据“k-0”，并从固定部分数据32b中选择与“元音〇”相对应的语音元素数据“0”。[0046]当随着实时演奏的进行操作演奏操作器16时，基于其第一传感器41a被接通的键的第四键接通n4的声音产生指令在步骤S12中被接受。步骤S12的该声音产生指令接受处理基于被操作的演奏操作器I6的键接通n4来接受声音产生指令，并且CPU10以键接通n4的定时以及音高E5的音高信息设置声源13。在步骤S13的声音产生处理中，开始对与所设置的辅音声音类型相对应的声音产生定时的计数。在这种情况下，因为辅音声音类型为“k”，所以设置了与“k”相对应的声音产生定时，并且在与辅音声音类型“k”相对应的声音产生定时开始“#_k”的辅音成分的声音产生。在该声音产生时，以所设置的音高E5和预定音量执行声音产生。当在检测到第一传感器41a被接通的键中检测到第二传感器41b被接通时，在声源13中开始“W’—V”的元音成分的语音元素数据的声音产生，并且产生音节c41的“ko”。在声音产生停止时，以在键接通n4的声音产生指令的接受时接收的音高E5以及根据速度的音量来产生‘“y-c’-^o”’的辅音成分，所述速度与从第一传感器41a被接通到第二传感器41b被接通的时间差相对应。结果，开始所获取的音节c41的“ko”的歌声的声音产生。此外，在步骤S14中，CPU10确定是否己经获取了所有的音节，并且这里，因为在光标的位置处存在下一个音节，所以CPU10确定并不是所有的音节已经被获取，并且处理再次返回到步骤S10。[0047]作为返回到步骤S10的演奏处理的结果，在步骤S10的音节信息获取处理中，CPU10从数据存储器18读取作为指定歌词的光标放置于其上的第五音节c42的“i”。此外，CPU10参考图3A所示的音节信息表31，并且根据所确定的辅音声音类型来设置辅音声音产生定时。在这种情况下，因为没有辅音声音类型，所以不产生辅音声音。即，CPU10确定音节“i”以元音“i”开始，并且确定不输出辅音声音。此外，CPU将光标前进至文本数据30的下一个音节。然而，因为没有下一个音节，所以跳过该步骤。[0048]将描述音节包括标记使得与单个键接通一起产生作为音节c41和c42的“k”和“i”的情况。在这种情况下，通过键接通n4产生作为音节C41的“k〇”，并且当键接通n4被断开时产生作为音节c42的“i”。即，在上述标记被包括在音节c41和c42中的情况下，当检测到键接通n4被断开时，执行与步骤S11的语音元素数据选择处理相同的处理，并且声源I3从音素链数据32a中选择与“元音〇—元音i”相对应的语音元素数据“〇-i”，并且从固定部分数据32b中选择与“元音i”相对应的语音元素数据“1”。接下来，声源13开始‘“〇_i”—“1”’的元音成分的语音元素数据的声音产生，并产生音节c41的“1”。因此，以“ko”的歌声的包络ENV的释放曲线的音量、以与c41的“ko”相同的音高E5产生c42的“i”的歌声。响应于键断开，执行“ko”歌声的静音处理，并且停止声音产生。结果，声音产生变为“‘k。”—"1”’。[0049]如上所述，根据本发明的实施例的歌声产生设备1在到达辅音声音产生定时指第一传感器41a被接通时的定时时开始辅音声音的声音产生，然后在第二传感器41b被接通时的定时开始元音声音的产生。因此，根据本发明的实施例的歌声产生设备1根据与从第一传感器41a被接通到第二传感器41b被接通的时间差相对应的键按压速度来操作。因此，将在下面参考图6A至图6C描述具有不同的键按压速度的三种情况的操作。[0050]图6A示出了第二传感器41b被接通的定时是适当的情况。对于每个辅音，听上去自然的声音产生长度是预先定义的。对于例如“s”和“h”的辅音声音，听上去自然的声音产生^度较长。对于例如“k，，、“t”和“p”的辅音，听上去自然的声音产生长度较短。这里，假设对于语音元素数据43,选择“#-h”的辅音成分43a以及“h-a”和“a”的元音成分43b，开且h的最大辅音声音长度（以该最大辅音声音长度，日语音节图中的“ha”行听上去自然）由Th^示。在辅音声音类型为“h”的情况下，如音节信息表31所示，辅音声音产生定时被设置为“立即”。在图6A中，第一传感器41a在时刻til被接通，并且以辅音包络ENV42表示的包络的音量开始“#-h”的辅音成分的“立即，，声音产生。然后，在图6A所示的示例中，在从时刻til开始经过时刻Th之前的时刻tl2,第二传感器41b立即被接通。在这种情况下，在第二传感器4^被接通的时刻tl2，“#-h”的辅音成分43a的声音产生转变为元音声音的声音产生，并且以包络ENV3的音量开始‘“ha，，—“a”’的元音成分43b的声音产生。因此，可以实现在键按压之前开始辅音声音的声音产生的目标以及在与键按压相对应的定时开始元音声音的声音产生的目标。在时刻tl4通过键断开将元音声音静音，并且结果，停止声音产生。[0051]图6B示出了第二传感器41b被接通的时刻过早的情况。对于从第一传感器41a在时刻t21被接通的时刻到辅音声音的声音产生开始的时刻出现了等待时间的辅音声音类型，存在第二传感器41在等待时间期间被接通的可能性。例如，当第二传感器41b在时刻t22被接通时，由此开始元音声音的声音产生。在这种情况下，如果在时刻t22仍未到达辅音声音的辅音声音产生定时，则辅音声音将在元音声音的声音产生之后产生。然而，辅音声音的声音产生晚于元音声音的声音产生听上去不自然。因此，在检测到第二传感器41b在辅音声音的声音产生开始之前被接通的情况下，CPU10取消辅音声音的声音产生。结果，不产生辅音声音。这里，将描述选择了“#_r”的辅音成分44a和“r-u”和“u”的元音成分44b的语音元素的情况，并且此外，如图6B所示，“#-r”的辅音成分44a的辅音声音产生定时是从时刻t21经过时间td的时刻。在这种情况下，当第二传感器41b在到达辅音声音产生定时之前的时刻t22被接通时，在时刻t22开始元音声音的声音产生。在这种情况下，尽管图6B中的虚线框所指示的“#-r”的辅音成分44a的声音产生被取消，但是执行元音成分44b中的“r-u”的音素链数据的声音产生。因此，虽然对于很短的时间，辅音声音也是在元音声音开始时产生的，但是并不完全成为仅元音声音。此外，在许多情况下，在第一传感器41a被接通之后出现等待时间的辅音声音类型原本具有较短的辅音声音产生长度。因此，即f如果如上所述取消了辅音声音的声音产生，也不会存在很大的听觉不适。在图6B所示的示例中，以包络ENV4的音量产生的元音成分44b。其在时刻t23通过键断开被静音，并且结果，停止声音产生。[0052]图6C示出了第二传感器41b被接通过晚的情况。当第一传感器41a在时刻t31被接通并且甚至在从时刻t31起经过了最大辅音声音长度Th之后第二传感器41b仍没有被接通时，元音声音的声音产生不会开始，直到第二传感器41b被接通为止。例如，在手指意外地触摸了键的情况下，即使第一传感器41a响应并被接通，只要键没有被按下到第二传感器41b，则声音产生在辅音声音处停止。因此，由于错误操作的声音产生不明显。作为另一示例，将描述这样的情况:选择了“#_h”的辅音成分43a和“h-a”和“a”的元音成分44b用于语音元素数据43,并且操作仅仅是非常慢而不是错误操作。在这种情况下，当第二传感器41b在从时亥丨Jt31起已经经过了最大辅音声音长度Th之后的时刻t33被接通时，除了元音成分43b中的“a”的固定部分数据之外，还执行了作为从辅音声音到元音声音的过渡的元音成分43b中的“h-a”的音素链数据的声音产生。因此，没有很大的听觉不适。在图6C中所示的示例中，以由辅音包络ENV42表示的包络的音量产生“#_h”的辅音成分43a。以包络ENV5的音量产生‘“h-a”—“a”’的元音成分43b。其在时刻t34通过键断开被静音，并且结果，停止声音产生。[0053]日语音节图的“sa”行的听上去自然的声音产生长度为50ms至100ms。在正常的演奏中，键按压速度从第一传感器41a被接通到第二传感器41b被接通所花费的时间）近似为20ms至100ms。因此，实际上图6C所示的情况很少发生。[0054]工业实用性[0055]已经描述了作为演奏操作器的键盘是提供有第一传感器至第三传感器的三式键盘的情况。然而，不限于这种示例。所述键盘可以是提供有第一传感器和第二传感器而没有第三传感器的双式键盘。[0056]所述键盘可以是在表面上提供有检测接触的触摸传感器的键盘，并且可以提供有检测向下按压到内部的单个开关。在这种情况下，例如如图7所示，演奏操作器16可以是液晶显示器16A和层叠在液晶显示器16A上的触摸传感器触摸面板）16B。在图7示出的示例中，液晶显示器16A显示包括白键140b和黑键141a的键盘140。触摸传感器16B在显示白键140b和黑键141a的位置处检测接触第一操作的示例和推入第二操作的示例）。[0057]在图7所示的示例中，触摸传感器16B可以检测显示在液晶显示器16A上的键盘140的跟踪操作。在这种构造中，当开始触摸传感器16B上的操作接触）（第一操作的示例时产生辅音声音，并且通过在继续的操作中在触摸传感器16B上执行预定长度的拖动操作第二操作的示例来产生元音声音。[0058]为了检测演奏操作器上的操作，可以使用相机来代替触摸传感器以检测操作者的手指在键盘上的接触近接触）。[0059]处理可以以下方式实施:通过在计算机可读记录介质中记录用于实现根据上述实施例的歌声产生设备1的功能的程序并将记录在该记录介质上的程序读入计算机系统，并执行该程序。[0060]这里所提及的“计算机系统”可以包括例如操作系统os和外围装置的硬件。[0061]“计算机可读记录介质”可以是诸如软盘、磁光盘、ROM只读存储器或闪速存储器之类的可写非易失性存储器、诸如DVD数字通用盘）的便携式介质或诸如内置于计算机系统中的硬盘的存储装置。[0062]“计算机可读记录介质”还包括当程序经由例如因特网或通信线路例如电话线）的网络传送时在用作服务器或客户端的计算机系统中将程序保存一定时间段的介质，例如易失性存储器例如，DRAM动态随机存取存储器）。[0063]上述程序可以经由传送介质或通过传送介质中的传送波从其中程序存储在存储装置等的计算机系统传送到另一计算机系统。用于传送程序的“传送介质”是指具有传送例如因特网的网络通信网络和例如电话线的电信线路通信线路的信息的功能的介质。[0064]上述程序可以用于实现上述功能的一部分。[0065]上述程序可以是通过与已经记录在计算机系统中的程序的组合来实现上述功能的所谓的差异文件差异程序）。[0066]附图标记[0067]1歌声产生设备[0068]10CPU[0069]11ROM[0070]12RAM[0071]13声源[0072]14音响系统[0073]15显示单元[0074]16演奏操作器[0075]17设置操作器[0076]18数据存储器[0077]19总线[0078]30文本数据[0079]31音节信息表[0080]32音素数据库[0081]32a音素链数据[0082]32b固定部分数据[0083]33乐谱[0084]40键盘[0085]40a白键[0086]40b黑键[0087]41a第一传感器[0088]41b第二传感器[0089]41c第三传感器[0090]ENV42，ENV42a，ENV42b辅音包络[0091]43,44语音元素数据[0092]43a，44a辅音成分[0093]43b，44b元音成分

权利要求：1.一种声音控制装置，包括：检测单兀，其检测对操作器的第一操作以及对所述操作器的第二操作在执行所述第一操作之后执行所述第二操作；以及~’控制单元，其响应于检测到所述第二操作，使得开始输出第二声音，其中，响应于检测到所述第一操作，所述控制单元在使得开始输出所述第二声音之前使得开始输出第一声音。2.根据权利要求1所述的声音控制装置，其中，所述控制单元在所述第一操作被检测到之后并且在所述第二操作被检测到之前使得开始输出所述第一声音。3.根据权利要求1或2所述的声音控制装置，其中，所述操作器接受用户的推入，所述检测单元检测所述操作器己经从参考位置被推入了第一距离来作为所述第一操作，并且所述检测单元检测所述操作器已经从所述参考位置被推入了第二距离来作为所述第二操作，所述第二距离比所述第一距离长。4.根据权利要求1至3中任一项所述的声音控制装置，其中，所述检测单元包括设置在所述操作器中的第一传感器和第二传感器，所述第一传感器检测所述第一操作，并且所述第二传感器检测所述第二操作。5.根据权利要求1至4中任一项所述的声音控制装置，其中，所述操作器包括接受所述第一操作和所述第二操作的键盘。6.根据权利要求1或2所述的声音控制装置，其中，所述操作器包括接受所述第一操作和所述第二操作的触控面板。7.根据权利要求1至6中任一项所述的声音控制装置，其中，所述操作器与音高相关联，并且所述控制单元使得所述第一声音和所述第二声音以所述音高输出。8.根据权利要求1至6中任一项所述的声音控制装置，其中，所述操作器包括分别与多个相互不同的音高相关联的多个操作器，、、所述检测单元检测对所述多个操作器中的任意的一个操作器的所述第一操作和所述第二操作，并且所述控制单元使得所述第一声音和所述第二声音以与所述一个操作器相关联的音1^输出。9.根据权利要求1至8中任一项所述的声音控制装置，还包括：存储单元，其存储指示音节的音节信息，其中，所述第一声音是辅音声音，并且所述第二声音是元音声音，一^在所述音节仅由所述元音声音组成的情况下，所述音节是以所述元音声首开的曰节在所述音节由臟辅音声音和臓元音声音纟i細關下，所述音诚以所述辅音产音开始、并在所述辅音声音后以所述元音声音继续的音节，奶立ip自#千所述控制单元从所述存储单元读取所述音节信息，并且确定由所1头取的曰Tn心曰、的音节是以所述辅音声音开始还是以所述元音声音开始，在所述控制单元确定所述音节以所述辅音声音开始的情况下，所述控制单兀确定输出所述辅音声音；以及在所述控制单元确定所述音节以所述元音声音开始的情况下，所述控制单兀确定不输出所述辅音声音。10.根据权利要求1至8中任一项所述的声音控制装置，其中，所述第一声音是辅音声音，所述第二声音是元音声音，并且所述辅音声音和所述元音声音构成单个音节，并且所述控制单元根据所述辅音声音的类型来控制开始输出所述辅音声音的定时。11.根据权利要求1至8中任一项所述的声音控制装置，其中，所述第一声音是辅音声音，所述第二声音是元音声音，并且所述辅音声音和所述元音声音构成单个音节，所述声音控制装置还包括存储音节信息表的存储单元，在所述音节信息表中，所述辅音声音的类型和开始输出所述辅音声音的定时相关联，所述控制单元从所述存储单元读取所述音节信息表，所述控制单元通过参照所读取的音节信息表来获取与所述辅首声首的类型相关联的定时，并且所述控制单元使得在所述定时处开始输出所述辅音声音。12.根据权利要求1至8中任一项所述的声音控制装置，还包括：存储单元，其存储指示音节的音节信息，其中，所述第一声音是辅音声音，并且所述第二声音是元音声音，所述音节由所述辅音声音和所述元音声音组成，并且所述音节是以所述辅音声音开始、并且在所述辅音声音之后以所述元音声音继续的音节，所述控制单元从所述存储单元读取所述音节信息，所述控制单元使得构成由所读取的音节信息指示的音节的辅音声音被输出，并i所述控制单元使得构成由所读取的音节信息指示的音节的元音声音被输出。13.根据权利要求1至8中任一项所述的声音控制装置，其中，所述第一声音是构成音节的辅音声音，并且所述音节是以所述辅音声音开始的音节。14.根据权利要求13所述的声音控制装置，其中，所述第二声音是构成所述音节的元音声音，所述音节是所述元音声音接着所述辅音声音的音节，并i_所述元音声音包括与从所述辅音声音到所述元音声音的变化相对应的语音^素^+立15.根据权利要求14所述的声音控制装置，其中，所述元音声音还包括与所述元音声音的延续相对应的语音元素。、一一16.根据权利要求1至8中任一项所述的声音控制装置，其中，所述第一声音和所述第二声音的组合构成单个音节、单个字符或单个日语假名。17.—种声音控制方法，包括：一、，一检测对操作器的第一操作和对所述操作器的第二操作，在执行所述第一操作之后执行所述第二操作；响应于检测到所述第二操作，使得开始输出第二声音；以及响应于检测到所述第一操作，使得在开始输出所述第二声音之前开始输出第一声音。18.—种使计算机执行以下操作的声音控制程序：检测对操作器的第一操作和对所述操作器的第二操作，在执行所述第一操作之后执行所述第二操作；响应于检测到所述第二操作，使得开始输出第二声音；以及响应于检测到所述第一操作，使得在开始输出所述第二声音之前开始输出第一声音。

百度查询： 雅马哈株式会社 声音控制装置、声音控制方法以及计算机可读记录介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD