声音控制装置、声音控制程序及声音控制方法

摘要

根据本发明，即使用户在中途停止动画，也不会给用户带来不谐调感地输出声音。动画取得部(11)取得表示基于用户的设定操作预先生成的动画的动画数据(D1)和表示与动画联动再生的声音的声音数据(D2)。当用户输入了停止指令时，声音输出控制部(12)利用声音属性信息(D4)计算表示动画停止时的声音的特征的停止时声音信息，基于计算出的停止时声音信息决定与动画匹配的声音的指定的输出方法，并按照所决定的输出方法再生声音。

说明书

技术领域

本发明涉及对动画的声音进行控制的技术。

背景技术

近年来，搭载有高性能的存储器或CPU的手机、数字家电设备正在普及。另外，伴 随宽带因特网(broadband Internet)的普及，使用户能够容易地制作实现各种动画的应用程序 或动画的工具等正在普及。

在利用此类工具制作成的动画中，维持动画的动作与动画的声音之间的匹配性成为课 题。

作为针对该课题的现有技术，例如专利文献1所示的动画生成装置为公众所知。图11 是专利文献1中记载的动画生成装置的框图。

图11所示的动画生成装置包括用户设定部300、对象属性取得部304、声音加工部 305、动画生成部101以及显示部102。用户设定部300具备对象设定部301、动画设定 部302、声音文件设定部303，用户进行动画效果的设定。

对象设定部301按照用户的设定操作，生成表示动画显示的对象的对象数据。动画设 定部302按照用户的设定操作，生成表示动画效果的动画效果信息。声音文件设定部303 按照用户的设定操作，生成动画的声音数据。

对象属性取得部304取得表示作为动画效果的对象的对象的属性(形状、颜色、尺寸 以及位置等)的对象属性信息。

声音加工部305具备编辑对应表306、波形编辑装置307以及加工控制部308，基于 动画效果信息及对象属性信息，加工编辑声音文件。

编辑对应表306存储对象属性信息和波形编辑用参数的对应关系、动画效果信息和波 形编辑用参数的对应关系。在此，作为对象属性信息和波形编辑用参数的对应关系，例如 有声音相对于视觉上给人以庄重的印象的对象而给人更庄重的印象的对应关系。

作为动画效果信息和波形编辑用参数的对应关系，例如有“对象被渐渐放大显示”的波 形编辑用参数与“放大(zoom in)”的动画效果对应起来的对应关系。

加工控制部308从编辑对应表306中指定与动画效果信息相应的波形编辑用参数，并 让波形编辑装置307执行使用指定的波形编辑用参数的波形编辑处理。

波形编辑装置307使用由加工控制部308指定的波形编辑用参数，进行波形编辑处理。

动画生成部101利用由加工控制部308加工编辑后的声音数据，生成有关动画对象的 对象的动画。显示部102输出由动画生成部101生成的动画及声音。

由此，在专利文献1的动画生成装置中，声音的长度及音量得以调整，以便符合用户 预先设定的、动画显示的对象的颜色、尺寸以及形状等特征，从而实现动画的动作与声音 的匹配性。

另外，近年来，在数字家电设备的用户界面等中，采用动画的情况增多。在这种用户 界面中，动画有时会根据来自用户的操作指令而在中途停止。

然而，在专利文献1所示的动画生成装置中，完全没有关于当动画在再生中途被停止 时如何处理声音的记载。因此，即使在动画开始前对声音进行了编辑而使声音与动画的动 作匹配，当动画根据来自用户的操作指令而在中途被停止时，声音会继续响，无法实现动 画的动作与声音的匹配性。其结果，产生对用户提供存在不谐调感的动画的问题。

因此，在只是让基于专利文献1生成的动画与数字家电设备等用户界面相适应的情况 下，如果用户在任意的时刻停止动画，则声音依然继续响，存在给用户带来不谐调感的问 题。

专利文献1：日本专利公开公报特开2000-339485号

发明内容

本发明的目的在于提供一种即使用户在中途停止动画，也能够不给用户带来不谐调感 地输出声音的技术。

本发明所提供的声音控制装置包括：取得表示基于来自用户的设定操作被预先生成的 动画的动画数据和表示与所述动画数据联动再生的声音的声音数据的动画取得部；通过解 析从开始到结束为止的所述声音数据的特征生成声音属性信息的声音解析部；基于所述动 画数据再生动画，当用户输入了用于使所述动画停止的停止指令时使所述动画停止的动画 显示控制部；以及基于所述声音数据再生声音的声音输出控制部，所述声音输出控制部， 当输入所述停止指令时，利用所述声音属性信息计算表示所述动画停止时的声音的特征的 停止时声音信息，基于计算出的停止时声音信息决定与停止的动画匹配的所述声音的指定 的输出方法，并按照所决定的输出方法再生所述声音。

本发明所提供的声音控制程序，使计算机作为以下各部发挥功能：取得表示基于来自 用户的设定操作被预先生成的动画的动画数据和表示与所述动画联动再生的声音的声音 数据的动画取得部；通过解析从开始到结束为止的所述声音数据的特征生成声音属性信息 的声音解析部；基于所述动画数据再生动画，当用户输入了用于使所述动画停止的停止指 令时使所述动画停止的动画显示控制部；以及基于所述声音数据再生声音的声音输出控制 部，所述声音输出控制部，当输入所述停止指令时，利用所述声音属性信息计算表示所述 动画停止时的声音的特征的停止时声音信息，基于计算出的停止时声音信息决定与停止的 动画匹配的所述声音的指定的输出方法，并按照所决定的输出方法再生所述声音。

本发明所提供的声音控制方法包括：计算机取得表示基于来自用户的设定操作被预先 生成的动画的动画数据和表示与所述动画数据联动再生的声音的声音数据的动画取得步 骤；计算机通过解析从开始到结束为止的所述声音数据的特征生成声音属性信息的声音解 析步骤；计算机基于所述动画数据再生动画，当用户输入了用于使所述动画停止的停止指 令时使所述动画停止的动画显示控制步骤；以及计算机基于所述声音数据再生声音的声音 输出控制步骤，在所述声音输出控制步骤中，当输入所述停止指令时，利用所述声音属性 信息计算表示所述动画停止时的声音的特征的停止时声音信息，基于计算出的停止时声音 信息决定与停止的动画匹配的所述声音的指定的输出方法，并按照所决定的输出方法再生 所述声音。

附图说明

图1是表示本发明的实施方式所涉及的声音控制装置的结构的框图。

图2是表示本发明的实施方式所涉及的声音控制装置的处理流程的流程图。

图3是表示本发明的实施方式所涉及的声音控制装置的处理流程的流程图。

图4是表示存储在控制信息存储部的声音控制信息表的数据结构的一例的图。

图5是表示本发明的实施方式所涉及的动画的概要的图。

图6是用于说明本实施方式所涉及的渐渐消失的方法的曲线图。

图7是表示声音属性信息保存部保存的声音属性信息表的数据结构的一例的图。

图8是表示由声音解析部解析的频率特性的曲线图。

图9是表示费莱切尔-蒙松(Fletcher-Munson)的等响曲线的曲线图。

图10是表示本发明的实施方式2中的声音控制信息表的数据结构的一例的图。

图11是专利文献1中记载的动画生成装置的框图。

具体实施方式

(实施方式1)

以下，参照附图说明本发明的实施方式中的声音控制装置。图1是表示本发明的实施 方式所涉及的声音控制装置1的结构的框图。声音控制装置1包括动画取得部11、声音输 出控制部12、动画显示控制部13、显示部14、声音输出部15、声音解析部16、控制信 息存储部17、声音属性信息保存部18以及操作部19。

此外，动画取得部11、声音输出控制部12、动画显示控制部13、声音解析部16、控 制信息存储部17以及声音属性信息保存部18通过让计算机执行用于使计算机作为声音控 制装置发挥功能的声音控制程序而实现。该声音控制程序可以存储在计算机可读取的记录 介质中提供给用户，也可以通过经由网络下载提供给用户。另外，声音控制装置1可以应 用于用户在生成动画时使用的动画生成装置，也可以应用于数字家电设备的用户界面。

动画取得部11取得表示基于用户的设定操作被预先生成的动画的动画数据D1和表示 与动画联动再生的声音的声音数据D2。

在此，动画数据D1包含专利文献1中记载的对象数据、动画效果信息及对象属性信 息。这些数据是按照用户利用操作部19等进行的设定操作而预先生成的。

对象数据是定义动画显示的对象的数据，例如，当动画显示三个对象时，采用表示对 象A、B、C等各对象名的数据等。

动画效果信息是定义用对象数据定义的各对象的动作等的数据，例如，包含对象的动 作时间及对象的移动模式等。作为移动模式，例如采用使对象渐渐放大显示的放大(zoom  in)、使对象渐渐缩小显示的缩小(zoom out)、使对象以指定的速度从画面上的指定的 位置移动到指定的位置的滑动等。

对象属性信息是定义用对象数据定义的各对象的颜色、尺寸以及形状等的数据。

声音数据D2是与由对象数据定义的各对象的动作联动再生的声音数据。该声音数据 D2是使用专利文献1所示的方法对由用户设定的声音数据进行了预先编辑使其与各对象 的动作匹配的声音数据。

具体而言，声音数据D2是根据与各对象的以对象属性信息定义的内容及以动画效果 信息定义的内容等预先对应起来的编辑参数来编辑的。由此，声音数据D2的原来的声音 数据被编辑使得再生时间、音量以及听得见的位置等与对象的动作时间、移动模式匹配。

另外，动画取得部11接受由用户利用操作部19输入的动画开始指令，将动画数据 D1及声音数据D2输出至动画显示控制部13及声音输出控制部12，从而再生动画。

此外，当声音控制装置1应用于动画生成装置时，动画取得部11基于利用操作部19 的设定操作，生成动画数据D1及声音数据D2。另外，当声音控制装置1应用于数字家电 设备时，动画取得部11取得用户利用动画生成装置生成的动画数据D1及声音数据D2。

另外，动画取得部11在动画的再生中，检测用户是否在操作部19输入了用于使动画 停止的停止指令。并且，动画取得部11在检测到停止指令的输入时，将停止指令检测通 知D3输出至动画显示控制部13及声音输出控制部12。

在此，一旦动画的再生开始，动画取得部11开始计时动画的再生时间，如果检测停 止指令，则求出从开始再生起到检测停止指令为止的经过时间。并且，动画取得部11将 表示该经过时间的经过时间通知D5输出至声音输出控制部12。

声音解析部16通过解析声音数据D2表示的声音从开始到结束为止的特征，生成声音 属性信息D4，并将生成的声音属性信息D4保存在声音属性信息保存部18中。具体而言， 声音解析部16提取声音数据D2表示的声音从开始到结束为止的最大音量，并将提取到的 最大音量作为声音属性信息D4而生成。

当输入了停止指令检测通知D3时，声音输出控制部12利用声音属性信息D4，计算 表示动画停止时的声音的特征的停止时声音信息，基于计算出的停止时声音信息，决定与 动画匹配的声音的指定的输出方法，并按照决定的输出方法再生声音。

具体而言，声音输出控制部12从声音属性信息保存部18取得声音属性信息D4，计 算停止时的声音相对于取得的声音属性信息D4表示的最大音量的相对音量(停止时声音 信息的一例)，以音量的减少率随着计算出的相对音量增大而减小的方式使声音渐渐消失 (fade out)。

更具体而言，声音输出控制部12参照存储在控制信息存储部17的声音控制信息表 TB1，决定与相对音量相应的声音控制信息，利用所决定的声音控制信息和经过时间通知 D5表示的经过时间来计算减少率，并以计算出的减少率使声音渐渐消失。

图4是表示存储在控制信息存储部17的声音控制信息表TB1的数据结构的一例的图。 声音控制信息表TB1包含相对音量字段(filed)F1和声音控制信息字段F2，将相对音量和 声音控制信息对应起来存储。在图4的例子中，声音控制信息表TB1包括三个记录 (record)R1至R3。记录R1在相对音量字段F1存储有“高音量(最大音量的60％以上)”， 在声音控制信息字段F存储有表示“以(-1/2)×(停止时的音量/经过时间)的减少率渐 渐消失”的声音控制信息。

因此，当停止时的相对音量为最大音量的60％以上时，声音输出控制部12利用(- 1/2)×(停止时的音量/经过时间)的公式计算减少率，使音量以计算出的减少率渐渐减少， 从而使声音渐渐消失。

记录R2在相对音量字段F1存储有“中音量(最大音量的40％以上且小于60％)”， 在声音控制信息字段F2存储有表示“以(-1)×(停止时的音量/经过时间)的减少率渐 渐消失”的声音控制信息。

因此，当相对音量为最大音量的40％以上且小于60％时，声音输出控制部12利用(- 1)×(停止时的音量/经过时间)的公式计算减少率，使音量以计算出的减少率渐渐减少， 从而使声音渐渐消失。

记录R3在相对音量字段F1存储有“低音量(小于最大音量的40％)”，在声音控制 信息字段F2存储有表示“以(-2)×(停止时的音量/经过时间)的减少率渐渐消失”的声 音控制信息。

因此，当相对音量小于最大音量的40％时，声音输出控制部12利用(-2)×(停止 时的音量/经过时间)的公式计算减少率，使音量以计算出的减少率渐渐减少，从而使声音 渐渐消失。

作为在动画停止时使声音停止的方法，通常考虑使声音消音(mute)的方法。然而，若 在动画停止的同时使声音消音，则会给用户带来声音突然切断的印象，从而带来不谐调感。

对动画附加声音的本来的目的在于，通过附加声音制作出更高品位的动画。因此，为 了与动画的停止相协调，最好以自然的感觉让声音结束。对此，在本实施方式中，当动画 在中途停止时，使声音渐渐消失。

另外，在动画停止时的音量较大的情况下，若使音量在短时间内急速地渐渐消失，则 会给用户带来不谐调感。另一方面，在动画停止时的音量较小的情况下，即使使音量在短 时间内急速地渐渐消失，也不太会给用户带来不谐调感。

因此，在图4的声音控制信息表TB1中，减少率的系数的绝对值被规定为随着相对音 量增大而以2、1、1/2减小。

由此，由于停止时的音量越大，声音越缓慢地渐渐消失，因此能够不给用户带来不谐 调感地使声音停止。

此外，在图4的例子中，声音控制信息表TB1以表形式来记述，但只要是文本、XML 或者二进制等计算机能够读取的形式，则可以以各种形式记述。

另外，在图4的例子中，根据相对音量，规定三个声音控制信息，但不限定于此，也 可以根据相对音量规定四个以上或者两个声音控制信息。另外，作为声音控制信息，也可 以采用将音量及经过时间作为自变量来计算减少率的函数，利用通过该函数计算出的减少 率来使声音渐渐消失。另外，图4所示的相对音量的阈值也不限定于40％、60％，也可 以酌情采用30％、50％、70％等不同的值。

当动画到停止为止的经过时间较长时，若使声音急速地渐渐消失，则会给用户带来声 音突然变化的印象，从而给用户带来不谐调感。

因此，图4所示的三个声音控制信息均包括(停止时的音量/经过时间)项。即，将减 少率的绝对值设定成随着动画到停止为止的经过时间的增大而减小，并且将减少率的绝对 值设定成随着经过时间的减少而增大。

由此，声音随着动画到停止为止的经过时间的增长而缓慢地渐渐消失，从而能够进一 步降低给用户带来的不谐调感。

图5是表示本发明的实施方式所涉及的动画的概要的图。在图5的例子中，示出了对 象OB从显示画面的左下向右上滑动5秒钟的动画。

此时，为了使声音数据D2与对象OB的动作匹配，声音数据D2的再生时间被编辑 为5秒。并且，在图5的例子中，当从动画的再生开始时刻起经过了3秒时，用户输入停 止指令。

因此，在从动画的再生开始时刻起经过了3秒的时刻，动画被停止，从而对象OB停 止。在现有的方法中，由于动画在中途停止时不对声音数据实施任何处理，因此从输入停 止指令的3秒的时刻起到动画结束时刻即5秒的时刻为止的2秒钟的期间，声音继续响。 因此，失去了动画的动作与声音的匹配性。

另一方面，在本实施方式中，在输入了停止指令的时刻，按照声音控制信息，使声音 渐渐消失。因此，能够维持动画的动作与声音的匹配性。

图6是用于说明本实施方式所涉及的渐渐消失的方法的曲线图，纵轴表示音量，横轴 表示时间。

波形W1示出了声音数据D2表示的声音波形。波形W1的最大音量具有50的音量级。 因此，声音属性信息D4为50。假设在从动画的再生开始后的经过时间达到T1的点P1， 用户输入停止指令。此外，音量级是在指定范围内(例如0至100的范围内)规定的表示 音量大小的数值。

此时，由于点P1的音量VL1的相对音量(＝VL1/50)小于40％，因此利用图4所 示的记录R3的声音控制信息字段F2中存储的声音控制信息所表示的“(-2)×(停止时 的音量/经过时间)”计算减少率DR1，并使声音按照减少率DR1渐渐消失。

因此，声音沿着具有减少率DR1的倾斜的直线L1，以音量从音量VL1向音量0渐 渐减小的方式渐渐消失。

另一方面，假设在从动画的再生开始后的经过时间达到T2的点P2，用户输入停止指 令。此时，由于点P2的音量VL2的相对音量(＝VL2/50)为60％以上，因此利用图4 所示的记录R1的声音控制信息字段F2中存储的声音控制信息表示的“(-1/2)×(停止 时的音量/经过时间)”计算减少率DR2，并使声音按照减少率DR2渐渐消失。

因此，声音沿着具有减少率DR2的倾斜的直线L2，以音量从音量VL2向音量0渐 渐减小的方式渐渐消失。

在此，减少率DR2大致为减少率DR1的1/4倍的值。因此，可知，与在经过时间T1 输入停止指令时相比，在经过时间T2输入停止指令时，由于相对音量较大，因此声音缓 慢地渐渐消失。

返回到图1，声音输出部15例如具备扬声器及控制扬声器的控制电路等，按照从声音 输出控制部12输出的声音输出指令，将声音数据D2转换成声音并输出。

动画显示控制部13基于动画数据再生动画，当用户输入了停止指令时，使动画停止。 具体而言，动画显示控制部13向显示部14输出用于将动画数据D1表示的动画显示在显 示画面上的绘画指令，并使显示部14显示动画。

在此，动画显示控制部13在从动画取得部11输出了停止指令检测通知D3时，判定 用户输入了停止指令，并将用于使绘画停止的绘画停止指令输出至显示部14，使动画停止。

显示部14包括具有绘画缓冲器的图形处理器(graphic processor)及显示写入绘画缓冲 器的图像数据的显示器。并且，显示部14按照从动画显示控制部13输出的绘画指令，将 动画的帧图像(frame image)的图像数据依次写入绘画缓冲器，并依次显示在显示器上，从 而显示动画。

操作部19例如由数字电视或者DVD刻录机等数字家电设备的遥控器或者键盘等构 成，接受来自用户的操作输入。在本实施方式中，操作部19尤其输入使动画的再生开始 的动画开始指令以及使动画的再生在中途停止的停止指令等。

控制信息存储部17由例如可改写的非易失性的存储装置构成，存储图4所示的声音 控制信息表TB1。

声音属性信息保存部18由例如可改写的非易失性的存储装置构成，存储由声音解析 部16生成的声音属性信息D4。图7是表示声音属性信息保存部18保存的声音属性信息 表TB2的数据结构的一例的图。

声音属性信息表TB2包括声音数据D2的文件名字段F3和最大音量字段F4，将声音 数据D2的文件名与声音数据D2的最大音量对应起来存储。在本实施方式中，由于最大 音量作为声音属性信息D4而被采用，因此存储在最大音量的字段F4中的最大音量为声 音属性信息D4。此外，在图7的例子中，对文件名为myMusic.wav的声音数据D2进行 了解析，其结果是最大音量为50，因此在文件名的字段F3存储myMusic.wav，在最大 音量的字段F4存储50。

在图7中，声音属性信息表TB2包含一个记录，但根据由动画取得部11取得的声音 数据D2的数目可以追加记录。

图2及图3是表示本发明的实施方式所涉及的声音控制装置1的处理流程的流程图。 首先，在步骤S1，动画取得部11取得动画数据D1及声音数据D2。该声音数据D2是通 过将由用户所指定的声音数据与动画数据D1的动作相适应地进行编辑而得到的声音数 据。即，按照动画数据D1表示的对象的颜色、尺寸以及形状，声音数据D2的再生时间、 音量以及能听见的位置等被预先调整。

接着，声音解析部16取得由动画取得部11编辑过的声音数据D2，通过解析该声音 数据D2(步骤S2)，确定最大音量，并作为声音属性信息D4保存在声音属性信息保存 部18中(步骤S3)。

接着，动画显示控制部13从动画取得部11取得动画数据D1，将用于显示由所取得 的动画数据D1表示的动画的绘画指令输出至显示部14，开始动画的再生(步骤S4)。 在此，动画取得部11也开始对动画的再生时间进行计时。

接着，动画取得部11在动画的再生开始后到动画结束为止的期间，监视是否从用户 输入了动画的停止指令(步骤S5)。

然后，如果动画取得部11检测到停止指令的输入(在步骤S6为“是”)，则将停止指 令检测通知D3输出至动画显示控制部13及声音输出控制部12(步骤S7)。另一方面， 如果动画取得部11未检测到停止指令的输入(在步骤S6为“否”)，使处理返回到步骤S5。

接着，动画取得部11将表示从动画的再生开始到检测到停止指令为止的经过时间的 经过时间通知D5输出至声音输出控制部12(步骤S8)。

接着，声音输出控制部12从声音属性信息保存部18取得再生中的动画的声音属性信 息D4(步骤S9)。

接着，声音输出控制部12计算停止时的音量相对于声音属性信息D4表示的最大音量 的相对音量，从声音控制信息表TB1中指定与计算出的相对音量相应的声音控制信息(步 骤S10)。

接着，声音输出控制部12将停止时的音量、经过时间通知D5表示的经过时间代入确 定的声音控制信息表示的式中来计算减少率，并向声音输出部15输出声音输出指令，以 使声音以计算出的减少率渐渐消失(步骤S11)。

接着，声音输出部15按照从声音输出控制部12输出的声音输出指令输出声音(步骤 S12)。由此，如图6所示，根据动画停止时的音量，声音以恰当的减少率渐渐消失。

这样，根据声音控制装置1，在伴有声音的动画中，当动画在再生中途被用户停止时， 声音以与停止时的音量及从再生起到停止为止的经过时间相适应的恰当的音量减少率渐 渐消失。因此，能够自动地调整声音，以便配合动画的停止，从而即使动画在再生中途停 止，也能够不给用户带来不谐调感地使声音停止。

此外，在本实施方式中，采用声音解析部16解析声音数据D2来生成声音属性信息 D4并将其保存在声音属性信息保存部18中的方式，但也可以采用动画取得部11预先解 析声音数据D2来生成声音属性信息D4，并将其保存在声音属性信息保存部18中的方式。

另外，在本实施方式中，利用存储在声音控制信息表TB1的声音控制信息来计算减少 率，并使声音以计算出的减少率渐渐消失，但本发明不限定于此。即，也可以是，将根据 在动画在再生中途被停止时计算出的停止时声音信息被预先确定的声音停止模式事先存 储在控制信息存储部17中，当用户输入了停止指令时，按照存储在控制信息存储部17的 声音停止模式使声音停止。

在此，作为声音停止模式，例如能够采用表示从动画停止起到声音停止为止的声音波 形的声音数据。此时，让控制信息存储部17预先存储与停止时声音信息相应的多个声音 停止模式。并且，只要声音输出控制部12指定与作为停止时声音信息的相对音量相应的 声音停止模式，并向声音输出部15输出用于以指定的声音停止模式输出声音的声音输出 指令即可。此外，该方式也适用于后述的实施方式2。

(实施方式2)

实施方式2所涉及的声音控制装置1的特征在于，当用户输入了停止指令时，代替音 量而按照频率特性来使声音停止。此外，在本实施方式中，整体结构与图1相同。而且， 在本实施方式中，处理的流程也与图2及图3相同。另外，在本实施方式中，对与实施方 式1相同的部分省略说明。

在本实施方式中，声音解析部16计算声音数据D2的从开始到结束为止的频率特性的 时间推移，并将计算出的频率特性的时间推移作为声音属性信息D4而生成，将其保存在 声音属性信息保存部18中。

作为解析声音的频率特性的方法，将声音数据作为输入信号并对该输入信号应用离散 傅里叶变换的方法已为公众所知。离散傅里叶变换例如通过下述的式(1)来表示。

$F\left(u\right)=\underset{x=0}{\overset{M-1}{\Sigma }}f\left(x\right)e^{-2\mathrm{\pi i}\left(\frac{\mathrm{ux}}{M}\right)}---\left(1\right)$

其中，u＝0，……，M-1

在此，f(x)是1维的输入信号，x是规定f的变量。F(u)表示f(x)的1维的频 率特性。u表示与x相对应的频率，M表示采样点的个数。

因此，声音解析部16将声音数据D2作为输入信号，利用式(1)计算频率特性。

离散傅里叶变换通常使用高速傅里叶变换来执行，但作为高速傅里叶变换的方法，存 在Cooley-Tukey式算法、Prime Factor算法等各种算法。在本实施方式中，作为频率特 性，仅利用振幅特性(振幅频谱)，不利用相位特性。因此，计算时间不太会成为问题， 作为离散傅里叶变换，可以采用任意方式。

图8是表示由声音解析部16解析后的频率特性的曲线图，(A)表示某时刻的声音数 据D2的频率特性，(B)表示声音数据D2，(C)表示某时刻的频率特性。声音解析部 16在多个时刻计算图8(C)所示的频率特性，将这些多个时刻的频率特性作为声音属性 信息D4而生成，并将其保存在声音属性信息保存部18中。

此外，声音解析部16例如可以在时间轴上设定用于确定声音数据D2的频率特性的计 算期间的计算窗，并一边使计算窗沿着时间轴移动，一边反复计算声音数据D2的频率特 性，从而计算频率特性的时间推移。

当输入了停止指令检测通知D3时，声音输出控制部12从声音属性信息保存部18中 指定在经过时间通知D5表示的经过时间时的频率特性即停止时频率特性(停止时声音信 息的一例)。然后，当停止时频率特性分布于指定的非可听频带时，声音输出控制部12 使声音消音。另外，当停止时频率特性分布于人类听力的灵敏度较高的指定的高灵敏度频 带时，与分布于可听频带的其他频带时相比，声音输出控制部12将渐渐消失时的音量的 减少率设定得较小。

众所周知，人类的听力具有频率特性，人类听力的最低频率为20Hz左右，并以2kHz 附近为中心，听力的灵敏度变高。因此，在本实施方式中，作为非可听频带，采用20Hz 以下的频带，作为可听频带，采用大于20Hz并且为人类听力的上限频率(例如3.5kHz 至7kHz)以下的频带。

图9是表示费莱切尔-蒙松(Fletcher-Munson)的等响曲线(isosensitivity curve)的曲线图， 纵轴表示声压级(dB)，横轴以对数标度表示频率(Hz)。

根据图9所示的费莱切尔-蒙松的等响曲线，可知，在大约500Hz以下的低频域，频 率越低或者音量越小，声音越难以听得见。

因此，在本实施方式中，声音输出控制部12利用图10所示的声音控制信息表TB11 决定声音的输出方法。图10是表示本发明的实施方式2中的声音控制信息表TB11的数 据结构的一例的图。如图10所示，声音控制信息表TB11包含频率字段F11和声音控制 信息字段F12，将频率与声音控制信息对应起来存储。在图10的例子中，声音控制信息 表TB11包括五个记录R11至R15。

记录R11在频率字段F11存储有“非可听频带”，在声音控制信息字段F2存储有表示 “消音”的声音控制信息。

因此，当停止时频率特性分布于非可听区域时，声音输出控制部12使声音消音。

记录R12至R15与可听频带相对应。并且，记录R12在频率字段F11存储有“20Hz 至500Hz”，在声音控制信息字段F12存储有表示“以(-2)×(停止时的音量/经过时间) 的减少率渐渐消失”的声音控制信息。

因此，当停止时频率特性分布于20Hz至500Hz的频带时，声音输出控制部12利用 (-2)×(停止时的音量/经过时间)的公式计算减少率，并使音量以计算出的减少率渐渐 减少，从而使声音渐渐消失。

记录R13在频率字段F11存储有“500Hz至1500Hz”，在声音控制信息字段F12存 储有表示“以(-1)×(停止时的音量/经过时间)的减少率渐渐消失”的声音控制信息。

因此，当停止时频率特性分布于500Hz以上且小于1500Hz的频带时，声音输出控 制部12利用(-1)×(停止时的音量/经过时间)的公式计算减少率，并使音量以计算出 的减少率渐渐减少，从而使声音渐渐消失。

记录R14在频率字段F11存储有“1500Hz至2500Hz”，在声音控制信息字段F12存 储有表示“以(-1/2)×(停止时的音量/经过时间)的减少率渐渐消失”的声音控制信息。 在本实施方式中，“1500Hz至2500Hz”的频带相当于高灵敏度频带。此外，该数值是一例， 高灵敏度频带的范围可以比其窄，也可以比其宽。

因此，当停止时频率特性分布于1500Hz以上且小于2500Hz的频带时，声音输出控 制部12利用(-1/2)×(停止时的音量/经过时间)的减少率的公式计算减少率，并使音 量以计算出的减少率渐渐减少，从而使声音渐渐消失。

记录R15在频率字段F11存储有“2500Hz以上”，在声音控制信息字段F12存储有表 示“以(-1)×(停止时的音量/经过时间)的减少率渐渐消失”的声音控制信息。

因此，当停止时频率特性分布于2500Hz以上的频带时，声音输出控制部12利用(- 1)×(停止时的音量/经过时间)的减少率的公式计算减少率，并使音量以计算出的减少率 渐渐减少，从而使声音渐渐消失。

即，在声音控制信息表TB11中，如记录R12至R15所示，由于在高灵敏度频带的 系数是-1/2，因此与可听频带的其他频带相比，计算出的减少率的绝对值较小。

因此，当停止时频率特性分布于人类的听力变得敏感的2kHz附近时，与分布于其他 频带时相比，声音慢慢地渐渐消失，因此能够不给用户带来不谐调感地使声音停止。

此外，声音输出控制部12也可以求出停止时频率特性显示出峰值时的频率即峰值频 率，根据该峰值频率属于图10所示的频带中的哪个频带，来判断停止时频率特性分布于 哪个频带。

在上述的实施方式1、2中，当用户输入停止指令而被停止的动画再次由用户开始时， 动画从停止处再次开始。此时，只要记录动画被停止时的音量及频率频率特性即可。

并且，当用户指示再生与停止中的动画不同的动画时，只要着眼于所记录的音量或者 频率特性使动画再生即可。

例如，当停止时的频率特性为20Hz以下或分布于20Hz以上且小于500Hz的频带时， 可以直接再生下一动画的声音。

另外，当停止时的频率特性分布于2kHz附近即分布于高灵敏度频带时，可以使先前 的动画的声音以图10的“(-1)×(停止时的音量/经过时间)”的减少率渐渐消失(fade out)， 并且使之后的动画的声音以“(停止时的音量/经过时间)”的增加率渐显(fade in)。作为渐 显的期间，可采用与渐渐消失的期间相同的期间。

上述的声音控制装置的技术特征被总结为如下。

(1)本发明所提供的声音控制装置包括：取得表示基于来自用户的设定操作被预先生成 的动画的动画数据和表示与所述动画数据联动再生的声音的声音数据的动画取得部；通过 解析从开始到结束为止的所述声音数据的特征生成声音属性信息的声音解析部；基于所述 动画数据再生动画，当用户输入了用于使所述动画停止的停止指令时使所述动画停止的动 画显示控制部；以及基于所述声音数据再生声音的声音输出控制部，所述声音输出控制部， 当输入所述停止指令时，利用所述声音属性信息计算表示所述动画停止时的声音的特征的 停止时声音信息，基于计算出的停止时声音信息决定与停止的动画匹配的所述声音的指定 的输出方法，并按照所决定的输出方法再生所述声音。

根据该结构，在伴有声音的动画中，当动画在再生中途被用户停止时，表示动画停止 时的声音的特征的停止时声音信息被计算，基于该停止时声音信息，决定与停止的动画匹 配的指定的输出方法。因此，能够自动地调整声音，以便配合动画的停止，即使动画在再 生中途停止，也能够不给用户带来不谐调感地输出声音。

(2)较为理想的是，上述的声音控制装置还包括：存储根据所述停止时声音信息被 预先确定的多个声音控制信息的控制信息存储部，所述声音输出控制部决定与所述停止时 声音信息相应的声音控制信息，并按照所决定的声音控制信息使声音停止。

根据该结构，从存储在声音控制信息存储部的声音控制信息中决定与停止时声音信息 相应的声音控制信息，并按照所决定的声音控制信息使声音停止。因此，能够简便且快速 地决定声音的输出方法。

(3)较为理想的是，上述的声音控制装置还包括：保存所述声音属性信息的声音属 性信息保存部，所述声音输出控制部利用保存于所述声音属性信息保存部的声音属性信 息，计算所述停止时声音信息。

根据该结构，由于在动画的再生之前，声音属性信息被预先保存在声音属性信息保存 部，因此，声音输出控制部能够在动画停止时，快速地决定声音属性信息，并且能够快速 地决定声音的输出方法。

(4)较为理想的是，所述声音属性信息表示所述声音的最大音量，所述停止时声音 信息表示所述停止时的所述声音相对于所述最大音量的相对音量，所述声音输出控制部以 音量的减少率随着所述相对音量增大而减小的方式使声音渐渐消失。

根据该结构，停止时的音量越大，减少率被设定得越小，以此使声音渐渐消失。因此， 当动画停止时的音量较大时，声音慢慢地渐渐消失，能够防止给用户带来不谐调感。另一 方面，当动画停止时的音量较小时，声音急速地渐渐消失，因此能够不给用户带来不谐调 感地使声音急速地停止。

(5)较为理想的是，所述声音输出控制部设定所述减少率使其随着所述动画到停止 为止的经过时间的增大而减小。

根据该结构，随着动画到停止为止的经过时间的增大，声音缓慢地渐渐消失，因此能 够不给用户带来不谐调感地使声音停止。

(6)较为理想的是，所述声音属性信息表示所述声音数据的从开始到结束为止的频 率特性的时间推移，所述停止时声音信息是表示所述停止时的所述声音数据的频率特性的 停止时频率特性，当所述停止时频率特性分布于指定的非可听频带时，所述声音输出控制 部使声音消音，当所述停止时频率特性分布于所述非可听频带之上的可听频带时，所述声 音输出控制部使声音渐渐消失。

根据该结构，当停止时频率特性分布于非可听频带时，使声音消音，当停止时频率特 性分布于可听频带时，使声音渐渐消失，因此能够不给用户带来不谐调感地使声音停止。

(7)较为理想的是，当所述停止时频率特性分布于人类听力的灵敏度较高的指定的 高灵敏度频带时，与分布于所述可听频带的其他频带时相比，所述声音输出控制部将渐渐 消失时的音量的减少率设定得较小。

根据该结构，当停止时频率特性分布于高灵敏度频带时，与分布于其他频带时相比， 声音慢慢地渐渐消失，因此能够不给用户带来不谐调感地使声音停止。

(8)较为理想的是，所述声音输出控制部使所述减少率随着所述动画到停止为止的 经过时间的增大而减小。

根据该结构，随着动画到停止为止的经过时间的增大，声音慢慢地渐渐消失，因此能 够不给用户带来不谐调感地使声音停止。

(9)较为理想的是，所述声音输出控制部以根据所述停止时声音信息被预先确定的 声音停止模式使声音停止。

根据该结构，当动画被停止时，能够简便且快速地使声音停止。

产业上的可利用性

根据本发明的装置，在伴有声音的动画中，当动画在动画执行中途被用户停止时，可决定 声音的输出方法以便与停止的动画相匹配，因此能够提高对用动画生成工具开发动画的用 户以及利用数字家电设备的用户界面的用户的便利性。尤其在预计今后会逐渐扩大运用的 动画软件开发时，本发明是有用的。