申请/专利权人：富士通株式会社

申请日：2015-11-18

公开（公告）日：2022-06-24

公开（公告）号：CN108352169B

主分类号：G10L25/63

分类号：G10L25/63

优先权：

专利状态码：有效-授权

法律状态：2022.06.24#授权;2018.08.24#实质审查的生效;2018.07.31#公开

摘要：疑问发言检测部检测包含于用户的声音的疑问发言，频率获取部获取由疑问发言检测部在通话保留期间内检测出的疑问发言的每个单位时间的数目亦即上述疑问发言的频率，状态判定部在频率获取部获取的疑问发言的频率在第一阈值以上的情况下判定为用户是困惑状态。

主权项：1.一种困惑状态判定装置，包含：声音接受部，其接受通话声音的输入；以及控制部，其检测通话声音的通话保留期间内的疑问发言，计算在上述通话保留期间内检测到的上述疑问发言的频率，并在上述计算出的上述疑问发言的频率在第一阈值以上的情况下判定为用户是困惑状态，其中，上述困惑状态是难以进行适当的应对的状态，上述控制部将上述第一阈值变更为随着上述通话保留期间变长而变小，或者，上述控制部基于在过去的通话保留期间获取的上述疑问发言的频率来计算上述第一阈值。

全文数据：困惑状态判定装置、困惑状态判定方法、以及程序技术领域[0001]本发明涉及困惑状态判定装置、困惑状态判定方法、以及程序。背景技术[0002]例如，在呼叫中心操作人员与顾客进行通话的期间，有由于顾客的投诉等，而不熟练的操作人员陷入困惑状态，难以进行适当的应对的情况。在这样的情况下，熟练操作人员为了支援陷入困惑状态的不熟练的操作人员，存在能够应用于操作人员是否陷入困惑状态的判定的技术。在该技术中，基于通话声音的韵律变化，判定发言者的意图。例如，在该技术中，在发言持续时间较短，且基本频率上升的情况下，检测出有发言者抱有疑问，即、发言者陷入困惑状态的可能性。[0003]专利文献1:日本特开2007—079363号公报[0004]专利文献2:日本特开平04—255900号公报[0005]专利文献3:日本特开2000—66691号公报[0006]专利文献4:日本特开2008—134557号公报[0007]专利文献5:国际公开2009145192号公报[0008]非专利文献1:南宪治，“自言自语的心理功能”，帝塚山大学现代生活学部纪要，2014年2月，10号，页85〜93[0009]然而，在操作人员在通常的通话中对顾客进行询问的情况下也存在发言持续时间较短，且基本频率上升的发言（例如，“出故障了吗?”或者“怎么样?”等）。因此，在上述技术中，有难以适当地检测操作人员，即、用户是否陷入困惑状态的情况。发明内容[0010]作为一个侧面，本发明的目的在于提高用户的困惑状态的判定精度。[0011]在一个方式中，疑问发言检测部检测包含于用户的声音的疑问发言，频率获取部在通话保留期间内获取疑问发言检测部检测出的疑问发言的每个单位时间的数目亦即疑问发言的频率。另外，状态判定部在频率获取部获取的疑问发言的频率在第一阈值以上的情况下判定为用户是困惑状态。[0012]作为一个侧面，具有提高用户的困惑状态的判定精度这样的效果。附图说明[0013]图1是表示第一实施方式所涉及的困惑状态判定装置的主要部分功能的一个例子的框图。[0014]图2是表示第一实施方式所涉及的困惑状态判定装置的硬件的构成的一个例子的框图。[0015]图3是用于说明第一实施方式所涉及的困惑状态判定处理的一个例子的概要的框图。[0016]图4是表示第一实施方式所涉及的困惑状态判定处理的一个例子的流程图。[0017]图5是用于说明第一实施方式所涉及的获取基本频率的处理的示意图。[0018]图6是用于说明第一实施方式所涉及的获取基本频率的斜率的处理的示意图。[0019]图7是用于说明第一实施方式所涉及的设定第一阈值的处理的示意图。[0020]图8是表示第二实施方式所涉及的困惑状态判定装置的硬件的构成的一个例子的框图。[0021]图9是表示第二实施方式所涉及的语句存储部所存储的语句的一个例子的示意图。[0022]图10是表示第三实施方式所涉及的语句存储部所存储的语句的一个例子的示意图。[0023]图11是用于说明第四实施方式所涉及的困惑状态判定处理的一个例子的概要的框图。[0024]图12是表示第六实施方式所涉及的困惑状态判定装置的硬件的构成的一个例子的框图。具体实施方式[0025][第一实施方式][0026]以下，参照附图对公开的技术的实施方式的一个例子进行详细说明。[0027]作为一个例子图1示出困惑状态判定装置10。困惑状态判定装置10例如包含疑问发言检测部11、频率获取部12、以及状态判定部13。疑问发言检测部11、频率获取部12、以及状态判定部13相互连接。[0028]疑问发言检测部11检测包含于用户的声音的疑问发言。频率获取部12在通话保留期间内获取由疑问发言检测部11在通话保留期间内检测出的疑问发言的每个单位时间的数目亦即疑问发言的频率。状态判定部13在频率获取部12获取的疑问发言的频率在第一阈值以上的情况下判定为用户为困惑状态。[0029]困惑状态判定装置10例如既可以是能够与固定电话、智能手机或者移动电话等连接的个人计算机，或专用装置，也可以是固定电话、智能手机或者移动电话等的一部分。[0030]困惑状态判定装置10作为一个例子如图2所示，具备CPUCentralProcessingUnit:中央处理器21、一次存储部22、二次存储部23、外部接口24、声音信号接收部25、麦克风Microphone26、扬声器27、以及保留按钮28XPU21、一次存储部22、二次存储部23、外部接口24、声音信号接收部25、麦克风26、扬声器27、以及保留按钮28经由总线29相互连接。[0031]在外部接口24连接有外部装置，外部接口24负责外部装置与CPU21之间的各种信息的发送接收。[0032]麦克风26接受用户侧的声音，例如包含利用困惑状态判定装置10的呼叫中心的操作人员的发言的声音，并转换为声音信号。此外，在图2中，示出麦克风26包含于困惑状态判定装置10,但本实施方式并不限定于此。麦克风26例如也可以是与困惑状态判定装置10连接的电话等通话装置的麦克风，也可以是经由外部接口24连接的外置的麦克风。[0033]扬声器27将表示通话对象侧的声音，例如表示包含利用呼叫中心的顾客的发言的声音，或者保留旋律即乐音的声音信号转换为声音。此外，在图2中，示出扬声器27包含于困惑状态判定装置10,但本实施方式并不限定于此。扬声器27例如也可以是与困惑状态判定装置10连接的电话等通话装置的扬声器，也可以是经由外部接口24连接的外置的扬声器。[0034]在保留按钮28为接通状态的情况下，CRJ21保留通话，在断开状态的情况下能够进行通话。此外，在图2中，示出了保留按钮包含于困惑状态判定装置10，但本实施方式并不限定于此。保留按钮28例如也可以是与困惑状态判定装置10连接的电话等通话装置的保留按钮，该情况下，电话的CPU保留通话，或者，使通话成为可能。[0035]声音信号接收部25接收通过电话线路或者网络线路等发送的表示通话对象侧的声音的声音信号。[0036]一次存储部22例如是RAMRandomAccessMemory:随机存储器等易失性存储器。二次存储部23例如是HDDHardDiskDrive:硬盘驱动器），或者SSDSolidStateDrive:固盘等非易失性的存储器。二次存储部23例如存储困惑状态判定程序23A。此外，困惑状态判定程序23A也可以经由外部接口24从⑶一ROM或者DVD等存储介质读入，也可以从外部服务器接收。[0037]CPU21从二次存储部23读出困惑状态判定程序23A并展开在一次存储部22XPU21通过执行该困惑状态判定程序23A，作为图1所示的疑问发言检测部11、频率获取部12、以及状态判定部13进行动作。[0038]接下来，对由困惑状态判定装置10实施的困惑状态判定处理的概要进行说明。困惑状态判定装置10的用户例如是呼叫中心的操作人员。在操作人员与顾客的通话中，难以应对来自顾客的询问的答复等情况下，操作人员陷入困惑状态，产生不能够进行适当的应对的可能性。困惑状态判定装置1〇判定操作人员即用户是否为困惑状态。[0039]如图3所例示那样，困惑状态判定装置10利用麦克风26获取用户的发言。困惑状态判定装置10在保留按钮28为接通状态的情况下，利用模块31判定为通话保留状态，并利用模块32检测通话保留期间内的用户的疑问发言。困惑状态判定装置10利用模块33获取疑问发言的频率，并利用模块34,基于疑问发言的频率判定用户是否为困惑状态。[0040]在判定为用户是困惑状态的情况下，困惑状态判定装置10例如将用户为困惑状态的情况报告给该用户的管理者等的终端的画面。由此，管理者等能够适当地进行用户的支持。[0041]接下来，作为本实施方式的作用，对由困惑状态判定装置10实施的困惑状态判定处理进行说明。图4示出由困惑状态判定装置10实施的困惑状态判定处理的一个例子。[0042]例如，用户操作与困惑状态判定装置10连接的通话装置，开始与通话对象的通话，从而开始图4的困惑状态判定处理。在步骤101，CPU21在对疑问发言的数目进行计数的计数器Q以下，也称为疑问发言计数器Q。）以及保存通话保留期间的寄存器L以下，也称为通话保留期间寄存器L。）设定0。在步骤102，CPU21对表示是否通过了发言区间，g卩、表示是否进行了发言的标志U以下，也称为发言区间标志U。）设定0。[0043]在步骤103，CPU21判定是否为通话保留状态。CRJ21例如在保留按钮28为接通状态的情况下，判断为通话保留状态。在否定了步骤103的判定的情况下，CPU21返回到步骤101。[0044]另一方面，在肯定了步骤103的判定的情况下，在步骤104，CPU21获取通话保留期间。详细而言，在通话保留期间寄存器L加上一帧的时间长tf。一帧的时间长tf例如是20毫秒。[0045]在步骤l〇5，CPU21接收一帧的声音信号。该声音信号是与麦克风26接受的声音，即、在用户侧产生的声音对应的声音信号，暂时保存于一次存储部22。[0046]在步骤1〇6，CPU21判定在通话保留期间寄存器L累计的期间是否超过规定的第三阈值（以下，也称为保留期间阈值。）。在否定了步骤106的判定的情况下，CPU21返回到步骤103。另一方面，在肯定了步骤106的判定的情况下，CPU21判定为通话保留期间，并进入步骤107。保留期间阈值例如可以是30秒。[0047]在步骤l〇7，CPU2l判定在步骤105接收的声音信号所表示的声音是否是发言区间的声音。发言区间是包含用户的发言的区间。例如，在步骤105中接收的声音信号的功率或者信噪比超过规定值的情况下，判定为该声音信号所表示的声音在不仅包含背景噪音，还包含用户的发言的发言区间。[0048]在肯定了步骤107的判定的情况下，CPU21在步骤108对发言区间标志U设定1。在步骤109,CPU21获取声音信号的基本频率。[0049]详细而言，例如，计算声音信号的自相关，如图5所例示，将位移时间为正，并且，在最小的位置自相关值极大的时间设为基本周期pr。如式（1所示，通过将取样频率Fs除以基本周期pr来获取基本频率。[0050]基本频率=Fspr."1[0051]取样频率Fs例如为8,000Hz。[0052]CPU21返回到步骤103,反复步骤103〜步骤109的处理。另一方面，若否定了步骤1〇7的判定，则CPU21在步骤110,判定发言区间标志U是否为1。在否定了步骤110的判定的情况下，即、在发言区间标志U为0的情况下，由于不存在判定是否为疑问发言的发言，所以CPU21返回到步骤103。[0053]在肯定了步骤110的判定的情况下，CPU21在步骤111，如后述那样，判定在步骤105接收并保存于一次存储部22的声音信号表示的发言，S卩、发言区间的声音是否是疑问发言。在否定了步骤111的判定的情况下，CPU21返回到步骤102。[OOM]另一方面，在肯定了步骤111的判定的情况下，CPU21在步骤112，对疑问发言计数器Q加上1，在步骤113,获取每个单位时间的疑问发言的数目亦即疑问发言的频率。详细而言，如式2所示，通过将疑问发言计数器Q所计数的疑问发言的数目除以保存在通话保留期间寄存器L的通话保留期间来获取疑问发言的频率。[0055]疑问发言的频率=QL."2[0056]在步骤114，CPU21判定疑问发言的频率是否在规定的第一阈值似下，也称为困惑阈值以上。此外，后述困惑阈值。[0057]在肯定了步骤114的判定的情况下，CPU21在步骤115,判定为用户是困惑状态，并进入步骤117。另一方面，在否定了步骤114的判定的情况下，CPU21在步骤116,判定为用户不是困惑状态，并进入步骤117。[0058]在步骤117，CPU21判定是否为通话中。在肯定了步骤117的判定的情况下，CPU21返回到步骤102。在否定了步骤117的判定的情况下，CPU21结束困惑状态判定处理。此外，图4的步骤的顺序是一个例子，本实施方式并不限定于图4的步骤的顺序。以下的实施方式也相同。[0059]接下来，对步骤111的判定的一个例子进行说明。在步骤111中，判定在步骤1〇5接收并保存于一次存储部22的声音信号表示的发言是否是疑问发言。例如，在日语中，一般而言使疑问发言的末尾的基本频率上升来进行发言。因此，例如，在发言区间的末尾的规定期间，声音信号的基本频率上升的情况下，判定为疑问发言。[0060]详细而言，例如，如图6所例示的那样，通过最小二乘法，获取发言区间的末尾的规定期间te的近似于基本频率的直线si，在该直线si的斜率为正，并且，比规定的第二阈值以下，也称为疑问发言阈值。）大的情况下判定为疑问发言。发言区间的末尾的规定期间te例如可以是一秒。此外，在步骤111的判定结束之后，也可以消除在步骤105接收，并保存于一次存储部22的声音信号。[0061]接下来，对步骤114的判定所使用的困惑阈值的一个例子进行说明。在步骤114中，判定疑问发言的频率是否在困惑阈值以上。困惑阈值虽然也可以为固定的值，但也可以如图7所例示的那样，设定为随着通话保留期间变长而变小。在用户为困惑状态的情况下，为了消除困惑状态的原因，或者，仅是苦思应对，一般而言通话保留期间变长。因此，在通话保留期间较长的情况下，即使疑问发言的频率相对较少，也推断为用户为困惑状态的可能性较高。[0062]在本实施方式中，检测用户的声音所包含的疑问发言，获取在通话保留期间内检测出的疑问发言的数目亦即疑问发言的频率，并在获取的疑问发言的频率在困惑阈值以上的情况下判定为用户是困惑状态。[0063]如果人陷入困惑状态，则发出自言自语的情况较多。然而，难以辨别通话中的疑问发言是对通话对象进行的询问，还是自言自语。另外，一般而言，出于对通话对象的考虑而在通话中发出自言自语的情况较少。因此，在本实施方式中，通过获取通话保留期间内的疑问发言的频率，并在该频率在困惑阈值以上的情况下判定为用户是困惑状态，能够提高用户的困惑状态的判定精度。[0064]另外，在本实施方式中，困惑阈值被变更为随着通话保留期间变长而变小。在用户为困惑状态的情况下，为了消除困惑状态的原因，或者，仅是苦思应对，一般而言通话保留期间变长。因此，在通话保留期间较长的情况下，即使疑问发言的频率相对较少，也推断为用户为困惑状态的可能性较高。因此，通过以随着通话保留期间变长而变小的方式变更困惑阈值，能够提高用户的困惑状态的判定精度。[0065]另外，在本实施方式中，在发言期间的末尾的声音的基本频率的斜率比疑问发言阈值大的情况下，将发言期间的声音作为疑问发言来检测。例如，在日语中，一般而言使疑问发言的末尾的基本频率上升来进行发言。因此，通过在发言期间的末尾的声音的基本频率的斜率比疑问发言阈值大的情况下，将发言期间的声音作为疑问发言来检测，能够提高用户的困惑状态的判定精度。[0066][第二实施方式][0067]接下来，对作为公开的技术的实施方式的一个例子的第二实施方式进行说明。对与第一实施方式相同的构成以及作用省略说明。[0068]在第二实施方式中，在检测疑问发言时，在发言的末尾包含规定的语句的情况下判定为疑问发言。在第二实施方式中，如图8所例示的那样，二次存储部23包含语句存储部23B。语句存储部23B所包含的规定的语句的一个例子如图9所示。若为日语，则规定的语句例如是“〜）T十加?”、“〜f上松⑺”、“〜加女⑺”、以及“〜f〇疗（?”等—般在疑问句的末尾所使用的语句。[0069]CPU21在图4的步骤111，识别发言区间的末尾所包含的发言，判定该发言是否包含语句存储部23B所包含的规定的语句的任意一个，在肯定了判定的情况下，判定为发言是疑问发言。发言区间的末尾是距离发言区间的终端规定的期间内。[0070]例如也可以将发言转换为文本，并通过语句存储部23B所包含的规定的语句的文本与转换后的该文本的匹配来进行发言是否包含规定的语句的任意一个的判定。另外，也可以通过使用声学模型生成的表示语句存储部23B所包含的规定的语句的声音数据与发言的声音数据的匹配来进行判定。[0071]另外，也可以在语句存储部23B所包含的规定的语句的任意一个与发言的特征向量间距离，或者特征向量出现概率等的相似度比规定值高的情况下，判定为发言包含该规定的语句。[0072]此外，虽然在图9中，示出了日语的例子，但本实施方式并不限定于日语，也能够应用于其它的语言。[0073]若为英语，则例如语句存储部23B所包含的规定的语句的一个例子是“doesn’tit?”，“don’tthey?”，“isn’tit?”以及“aren’tthey?”等，若为汉语，则例如如以下那样。[0074]【式1】[0075]吗、吧、啊、以及没有等[0076]此外，例如，也可以将在语料库的出现频率较高的疑问发言的末尾所包含的语句作为规定的语句，登记在语句存储部23B。另外，也可以是用户或者，管理者将该用户经常使用的疑问发言的末尾所包含的语句作为规定的语句，登记在语句存储部23B。[0077]此外，本实施方式也可以应用于第一实施方式。即，也可以在发言期间的末尾的声音的基本频率的斜率比疑问发言阈值大的情况、以及在发言期间的末尾包含规定的语句的情况的至少一方的情况下，将发言期间的声音作为疑问发言检测。[0078]在本实施方式中，检测用户的声音所包含的疑问发言，获取在通话保留期间内检测出的疑问发言的频率，并在获取的疑问发言的频率在困惑阈值以上的情况下判定为用户是困惑状态。[0079]如果人陷入困惑状态，则发出自言自语的情况较多。然而，难以辨别通话中的疑问发言是对通话对象进行的询问，还是自言自语。另外，一般而言，出于对通话对象的考虑而在通话中发出自言自语的情况较少。因此，在本实施方式中，通过在期间内获取通话保留期间内的疑问发言的频率，并在该频率在困惑阈值以上的情况下判定为用户是困惑状态，能够提高用户的困惑状态的判定精度。[0080]在本实施方式中，在发言期间的末尾包含规定的语句的情况下，将发言期间的声音作为疑问发言检测。一般而言，疑问发言在末尾包含规定的语句。因此，在本实施方式中，通过在发言期间的末尾包含规定的语句的情况下，将发言期间的声音作为疑问发言检测，能够提高用户的困惑状态的判定精度。[0081][第三实施方式][0082]接下来，对作为公开的技术的实施方式的一个例子的第三实施方式进行说明。对与第一实施方式以及第二实施方式相同的构成以及作用省略说明。[0083]在第三实施方式中，在检测疑问发言时，在发言的开头包含规定的语句的情况下判定为疑问发言。在第三实施方式中，图8的语句存储部23B所包含的规定的语句的一个例子如图10所示。若为日语，则规定的语句例如是“何、“女世”’、5LT”、以及“何#”等，一般在疑问句的开头所使用的语句。[0084]CPU21在图4的步骤111，识别发言区间的开头所包含的发言，判定该发言是否包含语句存储部23B所包含的规定的语句的任意一个，并在肯定了判定的情况下，判定为发言是疑问发言。发言区间的开头是距离发言区间的开端规定的期间内。[0085]例如也可以将发言转换为文本，并通过语句存储部23B所包含的规定的语句的文本与转换后的该文本的匹配来进行发言是否包含规定的语句的任意一个的判定。另外，也可以通过使用声学模型生成的表示语句存储部23B所包含的规定的语句的声音数据与发言的声音数据的匹配来进行判定。[0086]此外，也可以在语句存储部23B所包含的规定的语句的任意一个与发言的特征向量间距离，或者特征向量出现概率等的相似度比规定值高的情况下，判定为发言包含该规定的语句。[0087]此外，虽然在图10中，示出了日语的例子，但本实施方式并不限定于日语，也能够应用于其它的语言。[0088]若为英语，则例如语句存储部23B所包含的规定的语句的一个例子是“What”、“Where”、“Why”、以及“How”等，若为汉语，则例如如以下那样。[0089]【式2】[0090]什么、哪里、为什么、以及怎么等[0091]此外，例如，也可以将在语料库的出现频率较高的疑问发言的开头所包含的语句作为规定的语句，并登记在语句存储部23B。另外，也可以是用户或者，管理者将该用户经常使用的疑问发言的开头所包含的语句作为规定的语句，并登记在语句存储部23B。[0092]此外，本实施方式也可以应用于第一实施方式以及第二实施方式的至少一方。即，也可以在发言期间的末尾的声音的基本频率的斜率比疑问发言阈值大的情况、以及发言期间的开头以及末尾的至少一方包含规定的语句的情况的至少任意一种情况下，将发言期间的声音作为疑问发言检测。[0093]在本实施方式中，检测包含于用户的声音的疑问发言，获取在通话保留期间内检测到的疑问发言的频率，并在获取的疑问发言的频率在困惑阈值以上的情况下判定为用户是困惑状态。[0094]如果人陷入困惑状态，则发出自言自语的情况较多。然而，难以辨别通话中的疑问发言是对通话对象进行的询问，还是自言自语。另外，一般而言，出于对通话对象的考虑而在通话中发出自言自语的情况较少。因此，在本实施方式中，通过获取通话保留期间内的疑问发言的频率，并在该频率在困惑阈值以上的情况下判定为用户是困惑状态，能够提高用户的困惑状态的判定精度。[0095]在本实施方式中，在发言期间的开头包含规定的语句的情况下，将发言期间的声音作为疑问发言检测。一般而言，疑问发言在开头包含规定的语句。因此，在本实施方式中，通过在发言期间的开头包含规定的语句的情况下，将发言期间的声音作为疑问发言检测，能够提高用户的困惑状态的判定精度。[0096][第四实施方式][0097]接下来，对作为公开的技术的实施方式的一个例子的第四实施方式进行说明。对与第一实施方式〜第三实施方式相同的构成以及作用省略说明。[0098]在第四实施方式中，在判定是否为通话保留状态时，如图11所例示的那样，使用由声音信号接收部25接收的声音信号。[0099]PU21在图4的步骤103,例如在由声音信号接收部25接收的声音信号所表示的声音为无声的情况下，判定为通话保留状态。这里，无声例如是指声音信号的信噪比比规定值小的情况。这是因为在通话保留状态的期间，对用户截断在通话对象侧产生的声音，即、通话对象的发言以及通话对象侧的背景噪音。[0100]此外，也可以在声音信号的信噪比例如小于10dB的情况下，判定为通话保留状态。另外，也可以在由声音信号接收部25接收的声音信号的功率比规定值小的情况下，判定为无声。[0101]此外，本实施方式也可以应用于第一实施方式〜第三实施方式的至少任意一个。即，在本实施方式中，也可以在发言期间的末尾的声音的基本频率的斜率比疑问发言阈值大的情况、以及在发言期间的开头以及末尾的至少一方包含规定的语句的情况的至少任意一种情况下，将发言期间的声音作为疑问发言检测。[0102]在本实施方式中，检测包含于用户的声音的疑问发言，获取在通话保留期间内检测到的疑问发言的频率，并在获取的疑问发言的频率在困惑阈值以上的情况下判定为用户是困惑状态。[0103]如果人陷入困惑状态，则发出自言自语的情况较多。然而，难以辨别通话中的疑问发言是对通话对象进行的询问，还是自言自语。另外，一般而言，出于对通话对象的考虑而在通话中发出自言自语的情况较少。因此，在本实施方式中，通过获取通话保留期间内的疑问发言的频率，并在该频率在困惑阈值以上的情况下判定为用户是困惑状态，能够提高用户的困惑状态的判定精度。[0104]在本实施方式中，基于表示通话对象的声音的声音信号来检测通话保留期间。另夕卜，在本实施方式中，将通话对象的声音中的无声期间比保留期间阈值长的无声期间作为通话保留期间检测。这是因为在通话保留期间内，对用户截断在通话对象侧产生的声音，SP、通话对象的发言以及通话对象侧的背景噪音。因此，通过将通话对象的声音中的无声期间比保留期间阈值长的无声期间作为通话保留期间检测，能够提高用户的困惑状态的判定精度。[0105][第五实施方式][0106]接下来，对作为公开的技术的实施方式的一个例子的第五实施方式进行说明。对与第一实施方式〜第四实施方式相同的构成以及作用省略说明。[0107]在第五实施方式中，在判定是否为通话保留状态时，如图11所例示的那样，使用由声音信号接收部25接收的声音信号。[0108]0^21在图4的步骤103,例如判定由声音信号接收部25接收的声音信号所表示的声音是否是乐音。这是因为在通话保留期间内一般进行保留旋律等乐音的播放。[0109]例如基于声音的疏密度判定是否为乐音。示出表示乐音的声音信号的功率的波形与表示发言的声音信号的功率的波形相比较更平滑，若使该波形均一化，则包含乐音的声音的密度与包含发言的声音的密度相比较高。[0110]此外，也可以在步骤103进行是否为通话保留状态的判定之前，在规定期间，积蓄由声音信号接收部25接收的声音信号后，使用积蓄的声音信号进行步骤103的判定。规定的期间例如是一秒。[0111]此外，本实施方式也可以应用于第一实施方式〜第三实施方式的至少任意一个。即，在本实施方式中，也可以在发言期间的末尾的声音的基本频率的斜率比疑问发言阈值大的情况、以及在发言期间的开头以及末尾的至少一方包含规定的语句的情况的至少任意一种情况下，将发言期间的声音作为疑问发言检测。[0112]在本实施方式中，检测包含于用户的声音的疑问发言，获取在通话保留期间内检测到的疑问发言的频率，并在获取的疑问发言的频率在困惑阈值以上的情况下判定为用户是困惑状态。[0113]如果人陷入困惑状态，则发出自言自语的情况较多。然而，难以辨别通话中的疑问发言是对通话对象进行的询问，还是自言自语。另外，一般而言，出于对通话对象的考虑而在通话中产生自言自语的情况较少。因此，在本实施方式中，通过获取通话保留期间内的疑问发言的频率，并在该频率在困惑阈值以上的情况下判定为用户是困惑状态，能够提高用户的困惑状态的判定精度。[0114]在本实施方式中，基于表示通话对象的声音的声音信号检测通话保留期间。另外，在本实施方式中，将通话对象的声音中的乐音期间比保留期间阈值长的乐音期间作为通话保留期间检测。这是因为在通话保留期间内一般进行保留旋律等乐音的播放。因此，通过将通话对象的声音中的乐音期间比保留期间阈值长的乐音期间作为通话保留期间检测，能够提高用户的困惑状态的判定精度。[0115][第六实施方式][0116]接下来，对作为公开的技术的实施方式的一个例子的第六实施方式进行说明。对与第一实施方式〜第五实施方式相同的构成以及作用省略说明。[0117]在第六实施方式中，基于在过去的通话保留期间中获取的疑问发言的频率设定用于判定是否为困惑状态的困惑阈值。在第六实施方式中，如图12所例示的那样，二次存储部23包含积蓄在过去的通话保留期间中获取的疑问发言的频率的疑问发言频率存储部23C。[0118]CPUM例如在图4的步骤1〇3判定为不是通话保留状态，并且，在步骤113获取到疑问发言的频率的情况下，将该疑问发言的频率积蓄于疑问发言频率存储部23C。CPU21基于疑问发言频率存储部23C所积蓄的疑问发言频率计算在步骤i丨4使用的困惑阈值。详细而言，例如，如式⑶所示，也可以将对积蓄于疑问发言频率存储部23C的疑问发言频率的平均值Fave乘以规定值Ca后的值作为困惑阈值。[0119]困惑阈值=Fave*Ca[0120]此外，也可以代替疑问发目频率的平均值Fave，而使用疑问发言频率的中值，或者最小值等，也可以代替乘以规定值，而加上规定值。[0121]此外，本实施方式也可以应用于第一实施方式〜第五实施方式的至少任意一个。SP，在本实施方式中，也可以在发言期间的末尾的声音的基本频率的斜率比疑问发言阈值大的情况、以及在发言期间的开头以及末尾的至少一方包含规定的语句的情况的至少任意一种情况下，将发言期间的声音作为疑问发言检测。另外，在本实施方式中，也可以将通话对象的声音中的无声期间比保留期间阈值长的无声期间作为通话保留期间检测，也可以将通话对象的声音中的乐音期间比保留期间阈值长的乐音期间作为通话保留期间检测。[0122]在本实施方式中，检测包含于用户的声音的疑问发言，获取在通话保留期间内检测到的疑问发言的频率，并在获取的疑问发言的频率在困惑阈值以上的情况下判定为用户是困惑状态。[0123]如果人陷入困惑状态，则发出自言自语的情况较多。然而，难以辨别通话中的疑问发言是对通话对象进行的询问，还是自言自语。另外，一般而言，出于对通话对象的考虑而在通话中发出自言自语的情况较少。因此，在本实施方式中，通过在通话保留期间内获取通话保留期间内的疑问发言的频率，并在该频率在困惑阈值以上的情况下判定为用户是困惑状态，能够提高用户的困惑状态的判定精度。[0124]在本实施方式中，基于在过去的通话保留期间获取的疑问发言的频率计算困惑阈值。通过基于在过去的通话保留期间获取的疑问发言的频率计算困惑阈值，能够提高用户的困惑状态的判定精度。另外，在对每个用户，积蓄在过去的通话保留期间获取的疑问发言的频率，并基于该在过去的通话保留期间获取的疑问发言的频率计算困惑阈值的情况下，能够设定适合用户固有的特性的困惑阈值。因此，能够提高用户的困惑状态的判定精度。

权利要求：1.一种困惑状态判定装置，包含：声音接受部，其接受通话声音的输入;以及控制部，其检测通话声音的通话保留期间内的疑问发言，计算在上述通话保留期间内检测到的上述疑问发言的频率，并在上述计算出的上述疑问发言的频率在第一阈值以上的情况下判定为用户是困惑状态。2.根据权利要求1所述的困惑状态判定装置，其中，上述控制部将上述第一阈值变更为随着上述通话保留期间变长而变小。3.根据权利要求1所述的困惑状态判定装置，其中，上述控制部基于在过去的通话保留期间获取的上述疑问发言的频率来计算上述第一阈值。4.根据权利要求1〜3中任意一项所述的困惑状态判定装置，其中，上述控制部在发言期间的末尾的声音的基本频率的斜率比第二阈值大的情况下，将上述发言期间的声音作为疑问发言检测。5.根据权利要求1〜4中任意一项所述的困惑状态判定装置，其中，上述控制部在发言期间的开头以及末尾的至少一方包含规定的语句的情况下，将发言期间的声音作为疑问发言检测。6.根据权利要求1〜5中任意一项所述的困惑状态判定装置，其中，上述控制部基于表示通话对象的声音的声音信号来检测上述通话保留期间。7.根据权利要求6所述的困惑状态判定装置，其中，上述控制部将包含于表示上述通话对象的声音的声音信号的无声期间比第三_值长的上述无声期间作为上述通话保留期间检测。8.根据权利要求6所述的困惑状态判定装置，其中，_上述控制部将包含于表示上述通话对象的声音的声音信号的乐音期间比第三阈值长的上述乐音期间作为上述通话保留期间检测。9.一种困惑状态判定方法，其中，计算机进行以下处理：检测包含于用户的声音的疑问发言；获取在通话保留期间内检测到的上述疑问发言的每个单位时间的数目亦即上述疑问发言的频率；在获取的上述疑问发言的频率在第一阈值以上的情况下判定为上述用户是困惑状态。10.根据权利要求9所述的困惑状态判定方法，其中，上述第一阈值被变更为随着上述通话保留期间变长而变小。11.根据权利要求9所述的困惑状态判定方法，其中，基于在过去的通话保留期间获取的上述疑问发言的频率来计算上述第一阈值。12.根据权利要求9〜11中任意一项所述的困惑状态判定方法，其中，_在发言期间的末尾的上述声音的基本频率的斜率比第二阈值大的情况下，将上述发言期间的声音作为疑问发言检测。13.根据权利要求9〜11中任意一项所述的困惑状态判定方法，其中，、在发言期间的开头以及末尾的至少一方包含规定的语句的情况下，将上述发言期间的声音作为疑问发言检测。14.根据权利要求9〜13中任意一项所述的困惑状态判定方法，还包含：上述计算机基于表示通话对象的声音的声音信号来检测上述通话保留期间。15.根据权利要求14所述的困惑状态判定方法，其中，将包含于表示上述通话对象的声音的声音信号的无声期间比第三阈值长的上述无声期间作为上述通话保留期间检测。16.根据权利要求14所述的困惑状态判定方法，其中，将包含于表示上述通话对象的声音的声音信号的乐音期间比第三阈值长的上述乐音期间作为上述通话保留期间检测。17.—种程序，用于使计算机执行困惑状态判定处理，该困惑状态判定处理是以下处理：检测包含于用户的声音的疑问发言；获取在通话保留期间内检测到的上述疑问发言的每个单位时间的数目亦即上述疑问发言的频率；在获取的上述疑问发言的频率在第一阈值以上的情况下判定为上述用户是困惑状态。18.根据权利要求17所述的程序，其中，上述第一阈值被变更为随着上述通话保留期间变长而变小。19.根据权利要求17所述的程序，其中，基于在过去的通话保留期间获取的上述疑问发言的频率来计算上述第一_值。20.根据权利要求17〜19中任意一项所述的程序，其中，_在发言期间的末尾的上述声音的基本频率的斜率比第二阈值大的情况下，将上述发言期间的声音作为疑问发言检测。21.根据权利要求17〜19中任意一项所述的程序，其中，_在发言期间的开头以及末尾的至少一方包含规定的语句的情况下，将上述发：言期间的声音作为疑问发言检测。22.根据权利要求17〜21中任意一项所述的程序，其中，上述困惑状态判定处理还包含：基于表示通话对象的声音的声音信号来检测上述通话保留期间。23.根据权利要求22所述的程序，其中，将包含于表示上述通话对象的声音的声音信号的无声期间比第三阈值长的上述无声期间作为上述通话保留期间检测。24.根据权利要求22所述的程序，其中，将包含于表示上述通话对象的声音的声音信号的乐音期间比第三阈值长的上述乐音期间作为上述通话保留期间检测。

百度查询： 富士通株式会社 困惑状态判定装置、困惑状态判定方法、以及程序

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD