影像声音变换装置及影像声音变换方法

摘要

在进行速率变换录制时，分离部（101）、影像解码部（102）、声音解码部（103）、影像编码部（104）、声音编码部（105）及复用部（106）高效率地并行动作，由此能够缩短处理时间。分离部（101）、影像解码部（102）、声音解码部（103）、影像编码部（104）、声音编码部（105）及复用部（106）通过监视前段及后段的处理部的处理状态，并进行处理的停止及重启的控制，由此能够使各个处理部以最佳的处理速度进行动作，能够缩短速率变换录制的处理时间。

说明书

技术领域

本发明涉及影像声音变换装置及其方法，接收将第一编码影像数据及 第一编码声音数据进行复用得到的第一复用数据作为输入，并快速地进行 速率变换录制。

背景技术

在过去的HDD（Hard Disk Drive：硬盘驱动）/DVD（Digital Versatile Disc：数字通用盘）录制器等进行通常的记录再现的记录再现装置中，存在 具有速率变换录制功能的装置，该功能用于进行将记录在HDD中的尺寸大 于DVD的记录容量的影像声音数据变换为能够收纳在DVD中的尺寸的速 率变换，并记录在DVD中。

通常，对被记录在HDD等中的按照MPEG（Moving Picture Experts Group：动态图像专家组）等被压缩的影像声音数据进行解码，并进行已解 码的影像声音数据的显示控制，同时进行已解码的影像声音数据的编码并 记录在DVD等中，由此实现速率变换录制。

但是，在上述控制中，解码及编码是与电视机的输出同步地进行速率 变换录制，因而需要与显示时间相同的复制时间。

作为解决这种情况并实现快速的速率变换录制的方法，例如有专利文 献1记载的与影像声音数据相关的速率变换录制方法。

在上述专利文献1记载的速率变换录制中，首先在影像声音解码部中 开始规定单位的影像声音数据的解码。在解码完成后，从影像声音解码部 向影像声音编码部发送解码完成通知。在接收到该完成通知的影像声音编 码部中马上开始已被解码的影像声音数据的编码（在编解码的处理中，按 照比变换前的压缩率高的压缩率进行影像声音数据的再压缩）。在编码完成 后，从影像声音编码部向影像声音解码部发送编码完成通知。在接收到该 完成通知的影像声音解码部中马上开始下一个影像声音数据的解码。通过 进行这种控制，影像声音解码部及影像声音编码部的处理不再需要与电视 机的输出同步，因而能够缩短速率变换录制的处理时间。

现有技术文献

专利文献

专利文献1：国际公开第08/023763号公报

发明概要

发明要解决的问题

但是，在上述专利文献1记载的速率变换技术中，通过逐次处理来切 换影像声音解码部和影像声音编码部，并进行速率变换录制。由此，在影 像声音解码部及影像声音编码部中分别产生停止期间，因而导致处理的效 率降低，速率变换录制的处理时间延长。

发明内容

为了解决上述问题，本发明的目的在于提供一种影像声音变换装置及 方法，在进行与影像声音数据相关的速率变换录制时，影像声音解码部及 影像声音编码部高效率地并行动作，由此能够缩短处理时间。

用于解决问题的手段

为了达到上述目的，本发明的某个方面涉及的影像声音变换装置从将 第一编码影像数据及第一编码声音数据进行复用得到的第一复用数据，生 成将第二编码影像数据及第二编码声音数据进行复用得到的第二复用数 据，该影像声音变换装置具有：分离部，从第一复用数据复用分离出第一 编码影像数据及第一编码声音数据；影像解码部，对由所述分离部复用分 离出来的第一编码影像数据进行解码，由此生成影像数据；声音解码部， 对由所述分离部复用分离出来的第一编码声音数据进行解码，由此生成声 音数据；影像编码部，对由所述影像解码部生成的影像数据进行编码，由 此生成第二编码影像数据；声音编码部，对由所述声音解码部生成的声音 数据进行编码，由此生成第二编码声音数据；以及复用部，进行由所述影 像编码部生成的第二编码影像数据和由所述声音编码部生成的第二编码声 音数据的复用，由此生成第二复用数据，所述分离部根据由所述影像解码 部及所述声音解码部进行的解码的进展状况，控制由所述分离部进行的复 用分离的停止及重启，所述影像解码部根据由所述分离部进行的复用分离 的进展状况及由所述影像编码部进行的编码的进展状况，控制由所述影像 解码部进行的解码的停止及重启，所述声音解码部根据由所述分离部进行 的复用分离的进展状况及由所述声音编码部进行的编码的进展状况，控制 由所述声音解码部进行的解码的停止及重启，所述影像编码部根据由所述 影像解码部进行的解码的进展状况及由所述复用部进行的复用的进展状 况，控制由所述影像编码部进行的编码的停止及重启，所述声音编码部根 据由所述声音解码部进行的解码的进展状况及由所述复用部进行的复用的 进展状况，控制由所述声音编码部进行的编码的停止及重启，所述复用部 根据由所述影像编码部及所述声音编码部进行的编码的进展状况，控制由 所述复用部进行的复用的停止及重启。

根据这种结构，各个处理部根据其前后处理部的处理的进展状况来控 制自身的处理的停止及重启，以便吸收分离部、影像解码部、声音解码部、 影像编码部、声音编码部及复用部的处理速度的差。由此，分离部、影像 解码部、声音解码部、影像编码部、声音编码部及复用部以最佳的处理速 度进行动作，由此能够进行快速的速率变换录制。

另外，也可以是，所述分离部还将附加在所述第一复用数据中的时刻 信息通知给所述复用部，所述复用部使用由所述分离部通知的所述时刻信 息，进行第二编码影像数据和第二编码声音数据的复用，生成所述第二复 用数据。

另外，也可以是，所述分离部通过监视在将由所述分离部复用分离出 来的第一编码影像数据从所述分离部向所述影像解码部传送时临时存储该 第一编码影像数据的第一中间缓冲器的数据蓄积状态，判定由所述影像解 码部进行的解码的进展状况，通过监视在将由所述分离部复用分离出来的 第一编码声音数据从所述分离部向所述声音解码部传送时临时存储该第一 编码声音数据的第二中间缓冲器的数据蓄积状态，判定由所述声音解码部 进行的解码的进展状况，所述影像解码部通过监视所述第一中间缓冲器的 数据蓄积状态，判定由所述分离部进行的复用分离的进展状况，通过监视 在将所述影像解码部生成的影像数据从所述影像解码部向所述影像编码部 传送时临时存储该影像数据的第三中间缓冲器的数据蓄积状态，判定由所 述影像编码部进行的编码的进展状况，所述声音解码部通过监视所述第二 中间缓冲器的数据蓄积状态，判定由所述分离部进行的复用分离的进展状 况，通过监视在将所述声音解码部生成的声音数据从所述声音解码部向所 述声音编码部传送时临时存储该声音数据的第四中间缓冲器的数据蓄积状 态，判定由所述声音编码部进行的编码的进展状况，所述影像编码部通过 监视所述第三中间缓冲器的数据蓄积状态，判定由所述影像解码部进行的 解码的进展状况，通过监视在将所述影像编码部生成的第二编码影像数据 从所述影像编码部向所述复用部传送时临时存储该第二编码影像数据的第 五中间缓冲器的数据蓄积状态，判定由所述复用部进行的复用的进展状况， 所述声音编码部通过监视所述第四中间缓冲器的数据蓄积状态，判定由所 述声音解码部进行的解码的进展状况，通过监视在将所述声音编码部生成 的第二编码声音数据从所述声音编码部向所述复用部传送时临时存储该第 二编码声音数据的第六中间缓冲器的数据蓄积状态，判定由所述复用部进 行的复用的进展状况，所述复用部通过监视所述第五中间缓冲器的数据蓄 积状态，判定由所述影像编码部进行的编码的进展状况，通过监视所述第 六中间缓冲器的数据蓄积状态，判定由所述声音编码部进行的编码的进展 状况。

另外，也可以是，上述的影像声音变换装置还具有同步控制部，用于 调整将所述影像解码部生成的影像数据向所述影像编码部传送的定时、和 将所述声音解码部生成的声音数据向所述声音编码部传送的定时，所述分 离部还将附加在所述第一复用数据中的时刻信息通知所述同步控制部，所 述时刻信息包括与影像数据的输出相关的影像输出时刻信息和与声音数据 的输出相关的声音输出时刻信息，所述同步控制部响应与系统基准时间成 比例地合计的基准时间达到了所述影像输出时刻信息这一情况，进行所述 影像解码部生成的影像数据的传送，并且响应与系统基准时间成比例地合 计的基准时间达到了所述声音输出时刻信息这一情况，进行所述声音解码 部生成的声音数据的传送，由此进行影像数据和声音数据的同步控制，所 述影像解码部根据由所述影像编码部进行的编码的进展状况、即由所述同 步控制部进行的同步控制的进展状况，控制由所述影像解码部进行的解码 的停止及重启，所述声音解码部根据由所述声音编码部进行的编码的进展 状况、即由所述同步控制部进行的同步控制的进展状况，控制由所述声音 解码部进行的解码的停止及重启，所述影像编码部进行所述影像解码部生 成的影像数据的编码、即进行通过所述同步控制部而同步的影像数据的编 码，并根据由所述影像解码部进行的解码的进展状况、即由所述同步控制 部进行的同步控制的进展状况，控制编码的停止及重启，所述声音编码部 进行所述声音解码部生成的声音数据的编码、即进行通过所述同步控制部 而同步的声音数据的编码，并根据由所述声音解码部进行的解码的进展状 况、即由所述同步控制部进行的同步控制的进展状况，控制编码的停止及 重启。

根据这种结构，同步控制部进行影像数据和声音数据的同步控制。由 此，分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用 部以最佳的处理速度进行动作，由此能够进行快速的速率变换录制。

另外，也可以是，所述分离部通过监视在将由所述分离部复用分离出 来的第一编码影像数据从所述分离部向所述影像解码部传送时临时存储该 第一编码影像数据的第七中间缓冲器的数据蓄积状态，判定由所述影像解 码部进行的解码的进展状况，通过监视在将由所述分离部复用分离出来的 第一编码声音数据从所述分离部向所述声音解码部传送时临时存储该第一 编码声音数据的第八中间缓冲器的数据蓄积状态，判定由所述声音解码部 进行的解码的进展状况，所述影像解码部通过监视所述第七中间缓冲器的 数据蓄积状态，判定由所述分离部进行的复用分离的进展状况，通过监视 在将所述影像解码部生成的影像数据从所述影像解码部向所述同步控制部 传送时临时存储该影像数据的第九中间缓冲器的数据蓄积状态，判定由所 述同步控制部进行的同步控制的进展状况，所述声音解码部通过监视所述 第八中间缓冲器的数据蓄积状态，判定由所述分离部进行的复用分离的进 展状况，通过监视在将所述声音解码部生成的声音数据从所述声音解码部 向所述同步控制部传送时临时存储该声音数据的第十中间缓冲器的数据蓄 积状态，判定由所述同步控制部进行的同步控制的进展状况，所述影像编 码部通过监视在将由所述同步控制部实施同步控制的影像数据从所述同步 控制部向所述影像编码部传送时临时存储该影像数据的第十一中间缓冲器 的数据蓄积状态，判定由所述同步控制部进行的同步控制的进展状况，通 过监视在将所述影像编码部生成的第二编码影像数据从所述影像编码部向 所述复用部传送时临时存储该第二编码影像数据的第十三中间缓冲器的数 据蓄积状态，判定由所述复用部进行的复用的进展状况，所述声音编码部 通过监视在将由所述同步控制部实施同步控制的声音数据从所述同步控制 部向所述声音编码部传送时临时存储该声音数据的第十二中间缓冲器的数 据蓄积状态，判定由所述同步控制部进行的同步控制的进展状况，通过监 视在将所述声音编码部生成的第二编码声音数据从所述声音编码部向所述 复用部传送时临时存储该第二编码声音数据的第十四中间缓冲器的数据蓄 积状态，判定由所述复用部进行的复用的进展状况，所述复用部通过监视 所述第十三中间缓冲器的数据蓄积状态，判定由所述影像编码部进行的编 码的进展状况，通过监视所述第十四中间缓冲器的数据蓄积状态，判定由 所述声音编码部进行的编码的进展状况。

另外，也可以是，所述同步控制部以N倍速度进行同步控制，所述N 是所述分离部、所述影像解码部、所述声音解码部、所述影像编码部、所 述声音编码部及所述复用部能够动作的速率变换录制的变换速度的倍速值 的最小值。

另外，也可以是，上述的影像声音变换装置还具有：延迟控制部，向 所述同步控制部进行延迟的控制通知；第一延迟检测部，监视由所述影像 解码部进行的解码相对于由所述同步控制部进行的同步控制的延迟，并将 延迟状况通知给所述延迟控制部；第二延迟检测部，监视由所述声音解码 部进行的解码相对于由所述同步控制部进行的同步控制的延迟，并将延迟 状况通知给所述延迟控制部；第三延迟检测部，监视由所述影像编码部进 行的编码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况 通知给所述延迟控制部；以及第四延迟检测部，监视由所述声音编码部进 行的编码相对于由所述同步控制部进行的同步控制的延迟，并将延迟状况 通知给所述延迟控制部，所述第一延迟检测部、所述第二延迟检测部、所 述第三延迟检测部及所述第四延迟检测部均是如果检测到延迟，则向所述 延迟控制部进行延迟通知，如果检测到延迟的消除，则向所述延迟控制部 进行重启通知，所述延迟控制部在从所述第一延迟检测部、所述第二延迟 检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到 延迟通知时，作为延迟的控制通知向所述同步控制部进行同步控制的停止 通知，在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检 测部及所述第四延迟检测部中的任意一方接收到重启通知时，作为延迟的 控制通知向所述同步控制部进行同步控制的重启通知。

根据这种结构，各个延迟检测部监视在各个处理部中进行的处理的延 迟，根据该监视的结果来进行同步控制部的处理。由此，分离部、影像解 码部、声音解码部、影像编码部、声音编码部及复用部以最佳的处理速度 进行动作，由此能够进行快速的速率变换录制。

另外，也可以是，所述第一延迟检测部根据在将所述影像解码部生成 的影像数据从所述影像解码部向所述同步控制部传送时临时存储该影像数 据的第九中间缓冲器的数据蓄积状态，检测由所述影像解码部进行的解码 的延迟，所述第二延迟检测部根据在将所述声音解码部生成的声音数据从 所述声音解码部向所述同步控制部传送时临时存储该声音数据的第十中间 缓冲器的数据蓄积状态，检测由所述声音解码部进行的解码的延迟，所述 第三延迟检测部根据在将所述同步控制部实施了同步控制的影像数据从所 述同步控制部向所述影像编码部传送时临时存储该影像数据的第十一中间 缓冲器的数据蓄积状态，检测由所述影像编码部进行的编码的延迟，所述 第四延迟检测部根据在将所述同步控制部实施了同步控制的声音数据从所 述同步控制部向所述声音编码部传送时临时存储该声音数据的第十二中间 缓冲器的数据蓄积状态，检测由所述声音编码部进行的编码的延迟。

另外，也可以是，所述第一延迟检测部通过监视所述影像解码部生成 的影像数据的帧数和所述同步控制部进行了同步控制的影像数据的帧数， 检测由所述影像解码部进行的解码的延迟，所述第二延迟检测部通过监视 所述声音解码部生成的声音数据的帧数和所述同步控制部进行了同步控制 的声音数据的帧数，检测由所述声音解码部进行的解码的延迟，所述第三 延迟检测部通过监视所述同步控制部进行了同步控制的影像数据的帧数和 所述影像编码部生成的第二编码影像数据的帧数，检测由所述影像编码部 进行的编码的延迟，所述第四延迟检测部通过监视所述同步控制部进行了 同步控制的声音数据的帧数和所述声音编码部生成的第二编码声音数据的 帧数，检测由所述声音编码部进行的编码的延迟。

另外，也可以是，所述延迟控制部在从所述第一延迟检测部、所述第 二延迟检测部、所述第三延迟检测部及所述第四延迟检测部中的任意一方 接收到延迟通知时，将同步控制的停止信号通知给所述同步控制部，在从 所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及所述 第四延迟检测部中的任意一方接收到重启通知时，将同步控制的重启信号 通知所述同步控制部，所述同步控制部在从所述延迟控制部接收到停止信 号时，保持同步控制的状态但停止同步控制，在从所述延迟控制部接收到 重启信号时，在所保持的停止时的状态下重启同步控制。

另外，也可以是，所述同步控制部以N倍速度进行同步控制，所述N 是所述分离部、所述影像解码部、所述声音解码部、所述影像编码部、所 述声音编码部及所述复用部能够动作的速率变换录制的变换速度的倍速值 的最小值，所述延迟控制部在从所述第一延迟检测部、所述第二延迟检测 部、所述第三延迟检测部及所述第四延迟检测部中的任意一方接收到延迟 通知时，将在同步控制中使用的所述N的切换信号通知给所述同步控制部， 在从所述第一延迟检测部、所述第二延迟检测部、所述第三延迟检测部及 所述第四延迟检测部中的任意一方接收到重启通知时，将同步控制的重启 信号通知所述同步控制部，所述同步控制部在从所述延迟控制部接收到切 换信号时，使用减去了规定的值后的所述N作为同步控制的倍速值，在从 所述延迟控制部接收到重启信号时，使用所述N作为同步控制的倍速值。

另外，也可以是，上述的影像声音变换装置还具有向所述同步控制部 进行所述N的通知的倍速通知部。

另外，也可以是，所述倍速通知部根据来自外部的指示，选择所通知 的所述N。

另外，也可以是，上述的影像声音变换装置还具有将与动作设定对应 的所述N通知给所述倍速通知部的动作模式判定部，所述动作设定将影响 到所述分离部的复用分离、所述影像解码部的解码、所述声音解码部的解 码、所述影像编码部的编码、所述声音编码部的编码、或者所述复用部的 复用，所述倍速通知部将由所述动作模式判定部通知的所述N通知给所述 同步控制部。

根据这种结构，通过选择分离部、影像解码部、声音解码部、影像编 码部、声音编码部及复用部进行最佳动作的N值，能够进行最佳的速率变 换录制。因此，影像解码部、声音解码部、影像编码部及声音编码部能够 对高画质化、高音质化的处理分配时间，能够生成高质量的第二复用数据。

另外，也可以是，上述的影像声音变换装置还具有倍速测定部，在速 率变换录制开始前进行所述N的测定，并将测定到的所述N通知给所述倍 速通知部，所述倍速通知部将由所述倍速测定部通知的所述N通知给所述 同步控制部。

根据这种结构，不需事前确定每种动作模式的最佳的N值，就能够以 分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部进 行最佳动作的N值进行速率变换录制。

另外，也可以是，上述的影像声音变换装置还具有：动作模式判定部， 判定与动作设定对应的动作模式，所述动作设定将影响到所述分离部的复 用分离、所述影像解码部的解码、所述声音解码部的解码、所述影像编码 部的编码、所述声音编码部的编码、或者所述复用部的复用；倍速测定部， 在速率变换录制开始前进行所述N的测定；以及倍速记录存储器，记录所 测定到的所述N，在与动作模式对应的所述N被记录在所述倍速记录存储 器中的情况下，所述动作模式判定部将所记录的所述N通知给所述倍速通 知部，在与动作模式对应的所述N没有记录在所述倍速记录存储器中的情 况下，所述动作模式判定部向所述倍速测定部进行启动通知，所述倍速测 定部按照每种动作模式来测定最佳的所述N，将每种动作模式的所述N记 录在所述倍速记录存储器中，并将所述N通知给所述倍速通知部。

根据这种结构，不需事前确定每种动作模式的最佳的N值，就能够以 分离部、影像解码部、声音解码部、影像编码部、声音编码部及复用部进 行最佳动作的N值进行速率变换录制。并且，在以相同的动作模式进行动 作的情况下，能够缩短截止到开始速率变换录制的时间。

另外，也可以是，上述的影像声音变换装置还具有倍速通知部，在进 行速率变换录制的过程中切换进行同步控制的速度的倍率即N，并通知给 所述同步控制部。

另外，也可以是，上述的影像声音变换装置还具有倍速测定部，当在 规定的期间中基于所述延迟控制部的同步控制的定时调整的发生次数多于 规定次数的情况下，所述倍速测定部将从所述N减去规定的值得到的值作 为所述N，并通知给所述倍速通知部，在没有发生同步控制的定时调整的 情况下，所述倍速测定部将向所述N加上规定的值得到的值作为所述N， 并通知给所述倍速通知部，所述延迟控制部通知所述倍速测定部发生了同 步控制的定时调整，所述倍速通知部将由所述倍速测定部通知的所述N通 知给所述同步控制部。

根据这种结构，即使是在动作模式被切换的情况下，也能够以分离部、 影像解码部、声音解码部、影像编码部、声音编码部及复用部进行最佳动 作的N值进行速率变换录制。另外，也能够结合被输入分离部的第一复用 数据，以分离部、影像解码部、声音解码部、影像编码部、声音编码部及 复用部进行最佳动作的N值进行速率变换录制。

另外，也可以是，上述的影像声音变换装置还具有根据所述N进行动 作设定的倍速判定部，所述动作设定将影响到所述分离部的复用分离、所 述影像解码部的解码、所述声音解码部的解码、所述影像编码部的编码、 所述声音编码部的编码、或者所述复用部的复用。

另外，本发明不仅能够实现为具有这种特征性的处理部的影像声音变 换装置，而且也能够实现为将影像声音变换装置所包含的特征性的处理部 执行的处理作为步骤的影像声音变换方法。并且，也能够实现为使计算机 执行影像声音变换方法所包含的特征性步骤的程序。并且，这种程序当然 能够通过CD－ROM（Compact－Disc－Read Only Memory）等计算机可读 的非易失性记录介质或因特网等通信网络进行流通。

发明效果

根据本发明，通过进行调整控制，所述分离部、所述影像解码部、所 述声音解码部、所述影像编码部、所述声音编码部及所述复用部能够以最 佳的处理速度进行动作，由此能够进行快速的速率变换录制，所述调整控 制用于吸收所述分离部、所述影像解码部、所述声音解码部、所述影像编 码部、所述声音编码部及所述复用部的处理速度的差。

附图说明

图1是表示实施方式1的影像声音变换装置的功能性结构的框图。

图2是表示实施方式2的影像声音变换装置的功能性结构的框图。

图3是实施方式2的同步控制的定时图。

图4是实施方式2的基于同步定时的基准时间STC’和VPTS及APTS 的关系图。

图5是表示实施方式3的影像声音变换装置的功能性结构的框图。

图6是实施方式3的基于停止及重启的延迟控制的定时图。

图7是实施方式3的基于N值调整的延迟控制的定时图。

图8是实施方式3的声音数据没有被供给所述第十中间缓冲器的模式 的图。

图9是表示实施方式4的影像声音变换装置的功能性结构的框图。

图10是表示实施方式4的倍速信息表的图。

图11是表示实施方式5的影像声音变换装置的功能性结构的框图。

图12是表示实施方式5的倍速测定控制的动作的流程图。

图13是表示实施方式6的影像声音变换装置的功能性结构的框图。

图14是表示实施方式6的倍速确定控制的动作的流程图。

图15是表示实施方式7的影像声音变换装置的功能性结构的框图。

图16是实施方式7的倍速切换控制的定时图。

图17是表示实施方式7的倍速切换控制的动作的流程图。

图18是表示实施方式8的影像声音变换装置的功能性结构的框图。

图19是表示实施方式8的倍速信息表的图。

具体实施方式

下面，参照附图说明用于实施本发明的方式。

（实施方式1）

图1是表示本发明的实施方式1的影像声音变换装置的功能性结构的 框图。

在实施方式1中，HDD001和DVD002是记录单元，在HDD001中 记录有例如电视广播的按照MPEG等被压缩的第一复用数据。DVD002用 于记录速率变换录制后的第二复用数据。另外，记录单元也可以是HDD、 BD、SD卡等记录介质。

影像声音变换装置由分离部101、影像解码部102、声音解码部103、 影像编码部104、声音编码部105及复用部106构成。并且，分离部101具 有将时刻信息通知复用部106的功能（SIG201），复用部106具有利用时刻 信息进行影像数据与声音数据的同步控制的功能。下面，说明这些各个单 元和信号的流程。

分离部101进行被记录在HDD001中的第一复用数据的复用分离，并 分离为按照MPEG等被实施编码的第一编码影像数据和按照AC－3（Audio Code number3）等被实施编码的第一编码声音数据，将第一编码影像数据 存储在第一中间缓冲器301中，将第一编码声音数据存储在第二中间缓冲 器302中。并且，分离部101将针对被附加在第一复用数据中的影像数据 和声音数据的输出时刻信息（PTS）和解码时刻信息（DTS）、系统时刻基 准信息（SCR）、以及程序时刻基准信息（PCR）等时刻信息通知复用部106 （SIG201）。

影像解码部102对被存储在第一中间缓冲器301中的第一编码影像数 据进行解码处理，将进行解码得到的影像数据存储在第三中间缓冲器303 中。

声音解码部103对被存储在第二中间缓冲器302中的第一编码声音数 据进行解码处理，将进行解码得到的声音数据存储在第四中间缓冲器304 中。

影像编码部104对被存储在第三中间缓冲器303中的影像数据进行编 码处理使成为MPEG等的压缩数据，将进行编码得到的第二编码影像数据 存储在第五中间缓冲器305中。此时，影像编码部104也可以在对影像解 码部102进行解码得到的影像数据另外实施高画质化或者析像度变换等影 像处理后，进行编码处理。

声音编码部105对被存储在第四中间缓冲器304中的声音数据进行编 码处理使成为规定的压缩数据，将进行编码得到的第二编码声音数据存储 在第六中间缓冲器306中。此时，声音编码部105也可以在对声音解码部 103进行解码得到的声音数据另外实施高画质化等声音处理后，进行编码处 理。

在影像编码部104和声音编码部105的编码处理中，以与记录在HDD 001中时的压缩率不同的压缩率对数据进行再压缩（速率变换）。进行再压 缩的方法例如有在现有示例中说明的方法，也能够应用于本实施方式。

复用部106使用由分离部101通知的时刻信息，将被存储在第五中间 缓冲器305中的第二编码影像数据和被存储在第六中间缓冲器306中的第 二编码声音数据，分别配置成为在第一复用数据中的第一编码影像数据和 第一编码声音数据之间时间轴上的关系是相同的，由此生成第二复用数据。 通过这样控制，在进行第二编码影像数据和第二编码声音数据的同步控制 并进行复用后，将第二复用数据记录在DVD002中。

另外，影像声音变换装置也可以仅对影像数据和声音数据中一方进行 再压缩。说明仅对影像数据进行再压缩的情况。分离部101进行第一复用 数据的复用分离，并分离成为按照MPEG等被实施编码的第一编码影像数 据和按照AC－3等被实施编码的第一编码声音数据。第一编码影像数据被 传送给第一中间缓冲器301，以后由影像解码部102进行解码，由影像编码 部104进行编码，然后传送给第五中间缓冲器305。另一方面，第一编码声 音数据不传送给第二中间缓冲器302，而是直接传送给第六中间缓冲器306。 复用部106进行被存储在第五中间缓冲器305中的第二编码影像数据和被 存储在第六中间缓冲器306中的第一编码声音数据的复用，将第二复用数 据记录在DVD002中。在此，对影像数据的再压缩进行了说明，对于仅对 声音数据进行再压缩时，也是进行相同的处理。

下面，说明基于分离部101、影像解码部102、声音解码部103、影像 编码部104、声音编码部105及复用部106的处理速度之差分的、各个中间 缓冲器的上溢和下溢的避免控制。分离部101、影像解码部102、声音解码 部103、影像编码部104、声音编码部105及复用部106分别监视位于其前 段的中间缓冲器（对于分离部101而言不存在位于其前段的缓冲器，因而 不适用）及位于其后段的中间缓冲器（对于复用部106而言不存在位于其 后段的中间缓冲器，因而不适用）的数据的蓄积状态。分离部101、影像解 码部102、声音解码部103、影像编码部104、声音编码部105及复用部106 均是在位于其前段的中间缓冲器内的数据余量低于规定的阈值的情况下， 停止处理使得不产生中间缓冲器的下溢，而在数据余量高于规定的阈值的 情况下重新开始处理。并且，在位于其后段的中间缓冲器内的空闲余量低 于规定的阈值的情况下，停止处理使得不产生中间缓冲器的上溢，而在空 闲余量高于规定的阈值的情况下重新开始处理。

根据这种结构，分离部101、影像解码部102、声音解码部103、影像 编码部104、声音编码部105及复用部106能够以最佳的处理速度实现速率 变换录制。并且，通过使用第一复用数据的时刻信息，可以生成能够实现 取得了影像与声音的同步的准确再现的第二复用数据。

另外，本发明的影像声音变换装置的必须的构成要素是分离部101、影 像解码部102、声音解码部103、影像编码部104、声音编码部105及复用 部106，其它的构成要素也可以设于影像声音变换装置的外部。

（实施方式2）

图2是表示本发明的实施方式2的影像声音变换装置的功能性结构的 框图。

与实施方式1相同地，HDD001和DVD002是记录单元，在HDD001 中记录有例如电视广播的按照MPEG等被压缩的第一复用数据。DVD002 用于记录速率变换录制后的第二复用数据。另外，记录单元也可以是SD卡 等。

实施方式2的影像声音变换装置由分离部107、影像解码部108、声音 解码部109、影像编码部110、声音编码部111、复用部112、同步控制部 401、第七中间缓冲器501、第八中间缓冲器502、第九中间缓冲器503、第 十中间缓冲器504、第十一中间缓冲器505、第十二中间缓冲器506、第十 三中间缓冲器507、第十四中间缓冲器508构成。

分离部107进行被记录在HDD001中的第一复用数据的复用分离，并 分离为按照MPEG等被实施编码的第一编码影像数据和按照AC－3等被实 施编码的第一编码声音数据。

影像解码部108对由分离部107进行复用分离得到的第一编码影像数 据进行解码。

声音解码部109对由分离部107进行复用分离得到的第一编码声音数 据进行解码。

影像编码部110对由影像解码部108进行解码得到的影像数据进行编 码。

声音编码部111对由声音解码部109进行解码得到的声音数据进行编 码。

复用部112进行由影像编码部110进行编码得到的第二编码影像数据 和由声音编码部111进行编码得到的第二编码声音数据的复用，并生成第 二复用数据。

同步控制部401调整由影像解码部108进行解码得到的影像数据向影 像编码部110传送的定时、和由声音解码部109进行解码得到的声音数据 向声音编码部111传送的定时。

第七中间缓冲器501在将由分离部107进行复用分离得到的第一编码 影像数据从分离部107向影像解码部108传送时进行临时存储。

第八中间缓冲器502在将由分离部107进行复用分离得到的第一编码 声音数据从分离部107向声音解码部109传送时进行临时存储。

第九中间缓冲器503在将由影像解码部108进行解码得到的影像数据 从影像解码部108向同步控制部401传送时进行临时存储。

第十中间缓冲器504在将由声音解码部109进行解码得到的声音数据 从声音解码部109向同步控制部401传送时进行临时存储。

第十一中间缓冲器505在将由同步控制部401进行了同步控制的影像 数据从同步控制部401向影像编码部110传送时进行临时存储。

第十二中间缓冲器506在将由同步控制部401进行了同步控制的声音 数据从同步控制部401向声音编码部111传送时进行临时存储。

第十三中间缓冲器507在将由影像编码部110进行编码得到的第二编 码影像数据从影像编码部110向复用部112传送时进行临时存储。

第十四中间缓冲器508在将由声音编码部111进行编码得到的第二编 码声音数据从声音编码部111向复用部112传送时进行临时存储。

另外，分离部107具有将时刻信息通知同步控制部401的功能（SIG 402）。下面，说明这些各个单元和信号的流程。

图3表示在同步控制部401的同步控制定时。图3中的横轴表示自速 率变换录制开始起的经过时间t。

在设速率变换录制的变换速度的倍速值为N的情况下，同步控制部401 进行由影像解码部108按照视频帧周期（例如，对于HDTV（High Definition Television）的1080i是1/29.97Hz）的1/N倍周期进行解码得到的影像数据 的传送控制。并且，同步控制部401进行由声音解码部109按照音频帧周 期（例如，对于AAC（AdvancedAudio Coding）是1024/48kHz）的1/N倍 周期进行解码得到的声音数据的传送控制。即，在N＝1（1倍速）的情况 下，按照影像及声音的帧周期进行同步控制，在N＝2（2倍速）的情况下， 按照影像及声音的帧周期的1/2周期进行同步控制。

图4是用于说明在同步控制部401的同步控制的图。图4中的横轴表 示自速率变换录制开始起的经过时间t，纵轴表示时刻信息的值。

同步控制部401在速率变换录制开始时求出将系统基准时间STC （System Time Clock）与N值（N的值）相乘得到的值，再从由分离部107 通知的第一次的时刻信息（时间戳、SCR（System Clock Reference）、或者 PCR（Program Clock Reference）等）中减去，求出stc_base。然后，同步 控制部401在所述影像数据传送的同步控制定时，将对stc_base加上STC 与所述N值相乘得到的值而求出的STC’、与由分离部107通知的时刻信息 中所包含的与影像数据的输出相关的影像输出时刻信息（VPTS）进行比较。 在从VPTS减去STC’得到的值小于规定的阈值、或者从STC’减去VPTS 得到的值小于规定的阈值的情况下，同步控制部401进行由影像解码部108 进行解码得到的影像数据的传送控制。在从VPTS减去STC’得到的值大 于规定的阈值的情况下，同步控制部401判定为未达到相应的影像数据的 输出时间，进行黑色数据或者在前一次的同步控制定时传送的影像数据的 传送控制。在从STC’减去VPTS得到的值大于规定的阈值的情况下，同 步控制部401判定为已经过相应的影像数据的输出时间，对于相应的影像 数据不进行传送而将其废弃，进行下一个VPTS与STC’的比较。在由于 影像数据的缺失或者错误使得VPTS是不正常的值的情况下，也进行相同 的控制。另外，在影像数据不存在的情况下或者影像数据缺失的情况下， 如果分离部107没有通知新的VPTS，同步控制部401进行黑色数据或者在 前一次的同步控制定时传送的影像数据的传送控制。求出stc_base及STC’ 的算式如下所示。

stc_base＝时刻信息－STC×N    …式1

STC’＝stc_base＋STC×N    …式2

另外，同步控制部401在所述声音数据输出的同步控制定时，将所述 STC’和由分离部107通知的时刻信息中所包含的与声音数据的输出相关的 声音输出时刻信息（APTS）进行比较。在从APTS减去STC’得到的值小 于规定的阈值、或者从STC’减去APTS得到的值小于规定的阈值的情况 下，同步控制部401进行由声音解码部109进行解码得到的声音数据的传 送控制。在从APTS减去STC’得到的值大于规定的阈值的情况下，同步 控制部401判定为没有达到相应的声音数据的输出时间，进行无声数据的 传送控制。在从STC’减去APTS得到的值大于规定的阈值的情况下，同 步控制部401判定为已经过相应的声音数据的输出时间，对于相应的声音 数据不进行传送而将其废弃，进行下一个APTS与STC’的比较。在由于 声音数据的缺失或者错误而使得APTS是不正常的值的情况下，也进行相 同的控制。另外，在声音数据不存在的情况下或者声音数据缺失的情况下， 如果分离部107没有通知新的APTS，同步控制部401进行无声数据的传送 控制。

由此，影像编码部110和声音编码部111能够在取得了影像数据与声 音数据的同步的状态下进行编码。并且，在复用部112中，对于根据影像 数据及声音数据的帧周期和编码完成的帧数而确定的复用的时间，可以按 照规定的顺序对由影像编码部110和声音编码部111进行编码得到的第二编 码影像数据和第二编码声音数据进行复用，因而不需要在实施方式1中示 出的同步控制。

另外，关于由于分离部107将时刻信息通知复用部112的定时不固定 而导致的时刻信息与STC’的偏差，由于不是要求实时性的等倍的速率变 换录制定时，因而不需要进行特殊考虑。

对速率变换录制的变换速度的倍速值的N进行说明。N值是能够保证 使用实施方式2示出的影像声音变换装置进行速率变换录制的值，而且在 分离部107、影像解码部108、声音解码部109、影像编码部110、声音编 码部111及复用部112不会产生延迟。下面示出了N值的计算公式。

N＝min（S1，S2，S3，S4，S5，S6）     …式3

S1（S1min≦S1≦S1max）：分离部107的吞吐量（through-put）的倍率

S2（S2min≦S2≦S2max）：影像解码部108的吞吐量的倍率

S3（S3min≦S3≦S3max）：声音解码部109的吞吐量的倍率

S4（S4min≦S4≦S4max）：影像编码部110的吞吐量的倍率

S5（S5min≦S5≦S5max）：声音编码部111的吞吐量的倍率

S6（S6min≦S6≦S6max）：复用部112的吞吐量的倍率

用于计算N的函数min()是从自变量中求出最小的值的函数。另外，各 个自变量表示分离部107、影像解码部108、声音解码部109、影像编码部 110、声音编码部111或者复用部112的吞吐量的倍率，由于处理中的变动 而取Simin到Simax的值（i表示各个单元的序号）。

例如，在作为函数min()的自变量的各个单元的吞吐量的倍率S取以下 的值的情况下，N为2.4。

S1（3.1≦S1≦4.9）

S2（2.7≦S2≦4.0）

S3（2.4≦S3≦4.1）

S4（3.4≦S4≦4.4）

S5（2.9≦S5≦4.7）

S6（2.8≦S6≦3.9）

通过选择最小的N，能够进行速率变换录制，而且分离部107、影像解 码部108、声音解码部109、影像编码部110、声音编码部111及复用部112 相对于同步控制没有延迟。

另外，影像解码部108也可以根据由影像编码部110进行的编码的进 展状况、即由同步控制部401进行的同步控制的进展状况，控制由影像解 码部108进行的解码的停止及重启。声音解码部109也可以根据由声音编 码部111进行的编码的进展状况、即由同步控制部401进行的同步控制的 进展状况，控制由声音解码部109进行的解码的停止及重启。影像编码部 110也可以进行由影像解码部108生成的影像数据的编码、即进行通过同步 控制部401而同步的影像数据的编码，并根据由影像解码部108进行的解 码的进展状况、即由同步控制部401进行的同步控制的进展状况，控制编 码的停止及重启。声音编码部111也可以进行由声音解码部109生成的声 音数据的编码、即进行通过同步控制部401而同步的声音数据的编码，并 根据由声音解码部109进行的解码的进展状况、即由同步控制部401进行 的同步控制的进展状况，控制编码的停止及重启。

另外，分离部107、影像解码部108、声音解码部109、影像编码部110、 声音编码部111及复用部112分别监视位于其前段的中间缓冲器（对于分离 部107而言不存在位于其前段的缓冲器，因而不适用）及位于其后段的中 间缓冲器（对于复用部112而言不存在位于其后段的中间缓冲器，因而不 适用）的数据的蓄积状态。分离部107、影像解码部108、声音解码部109、 影像编码部110、声音编码部111及复用部112均是在位于其前段的中间缓 冲器内的数据余量低于规定的阈值的情况下，停止处理使得不产生中间缓 冲器的下溢，而在数据余量高于规定的阈值的情况下重新开始处理。并且， 在位于其后段的中间缓冲器内的空闲余量低于规定的阈值的情况下，停止 处理使得不产生中间缓冲器的上溢，而在空闲余量高于规定的阈值的情况 下重新开始处理。由此，能够避免由于分离部107、影像解码部108、声音 解码部109、影像编码部110、声音编码部111及复用部112的处理速度之 差分而导致的各个中间缓冲器的上溢和下溢。

根据这种结构，能够实现也可以应对第一复用数据的时刻信息的异常 或者影像数据及声音数据的缺失等异常系统的N倍速的速率变换录制。并 且，通过使用第一复用数据的时刻信息，可以生成能够取得影像和声音的 同步的准确再现的第二复用数据。

（实施方式3）

图5是表示实施方式3的影像声音变换装置的功能性结构的框图。

实施方式3的影像声音变换装置在图2所示的实施方式2的影像声音 变换装置的结构的基础上，还具有倍速通知部1201、延迟控制部701、第 一延迟检测部801、第二延迟检测部802、第三延迟检测部803、第四延迟 检测部804。

倍速通知部1201将速率变换录制的变换速度的倍速值通知给同步控制 部401。

延迟控制部701向同步控制部401进行延迟的控制通知（SIG702）。

第一延迟检测部801检测由影像解码部108进行的解码的延迟。

第二延迟检测部802检测由声音解码部109进行的解码的延迟。

第三延迟检测部803检测由影像编码部110进行的编码的延迟。

第四延迟检测部804检测由声音编码部111进行的编码的延迟。

另外，分离部107具有这样的功能：在第一复用数据异常时，使第一 延迟检测部801、第二延迟检测部802、第三延迟检测部803、第四延迟检 测部804停止。下面，说明这些各个单元和信号的流程。

倍速通知部1201在速率变换录制开始时将超过根据实施方式2的式3 求出的N值的值（例如N＋1等）作为N值，并通知给同步控制部401（SIG 1202）。同步控制部401使用来自倍速通知部1201的N值作为同步控制定 时及所述STC’的计算值。

第一延迟检测部801检测由影像解码部108进行的解码相对于同步控 制的延迟。第二延迟检测部802检测由声音解码部109进行的解码相对于 同步控制的延迟。第三延迟检测部803检测由影像编码部110进行的编码 相对于同步控制的延迟。第四延迟检测部804检测由声音编码部111进行 的编码相对于同步控制的延迟。第一延迟检测部801、第二延迟检测部802、 第三延迟检测部803、第四延迟检测部804在检测到延迟的情况下，向延迟 控制部701进行延迟通知。

延迟控制部701在从第一延迟检测部801、第二延迟检测部802、第三 延迟检测部803及第四延迟检测部804中的任意一方接收到延迟通知时， 作为延迟的控制通知向同步控制部401进行同步控制的停止通知。在通过 同步控制的停止而消除了延迟时，第一延迟检测部801、第二延迟检测部 802、第三延迟检测部803及第四延迟检测部804中进行了延迟通知的单元， 向延迟控制部701进行重启通知。延迟控制部701在接收到重启通知后， 作为延迟的控制通知向同步控制部401进行同步控制的重启通知（将上述 的控制称为延迟控制）。通过所述延迟控制，能够避免由于以超过实施方式 2的影像声音变换装置能够保证的N倍的倍速进行同步控制而导致的、分 离部107、影像解码部108、声音解码部109、影像编码部110、声音编码 部111及复用部112的处理相对于同步控制的延迟。

关于延迟控制方法，参照图6进行详细说明。为了简化起见，将数值 简单化。图6中的横轴表示自速率变换录制开始起的经过时间t。

同步控制部401在从延迟控制部701接收到停止通知时进行同步控制 的停止，并且分别记录同步控制的停止位置（相对于影像数据的同步控制 的周期及声音数据的同步控制的周期而前进了的位置）和停止时的STC’ （past STC’＝40）。在同步控制停止的期间，分离部107、影像解码部108、 声音解码部109、影像编码部110、声音编码部111及复用部112继续进行 动作。由此，在成为瓶颈的部分被消除后，第一延迟检测部801、第二延迟 检测部802、第三延迟检测部803及第四延迟检测部804中已进行了延迟通 知的单元，向延迟控制部701进行重启通知，延迟控制部701在接收到延 迟重启通知后，向同步控制部401发送重启通知。同步控制部401在接收 到重启通知后，在保持停止前的影像数据的传送定时和声音数据的传送定 时的状态下重启同步控制。此时，即使是在停止期间中STC也在前进，因 而根据式2求出的STC’（＝52）也在前进，需要进行校正。因此，将重启 时的STC’（pre STC’＝52）和停止时的STC’（past STC＝40）之差分作 为校正值STC’_diff，并从STC’中减去，由此在重启时同步不会错位。 另外，在计算式1的stc_base时，STC’_diff被清空为0。包括校正在内的 STC’的计算公式如下所示。

STC’_diff＝STC’_diff＋（pre STC－past STC）    …式4

STC’＝stc_base＋STC×N－STC’_diff    …式5

STC’_diff：重启时的校正值

pre STC’：重启时的STC’的值

past STC’：停止时的STC’的值

通过这样进行同步控制定时的状态恢复和STC’的校正，能够重启同 步控制，而且即使是在进行延迟控制之后也不会扰乱影像数据的传送定时 和声音数据的传送定时。

另外，在来自第一延迟检测部801、第二延迟检测部802、第三延迟检 测部803及第四延迟检测部804的延迟通知、重启通知重合的情况下，延 迟控制部701能够通过设计例如与各个延迟检测部对应的旗标来进行应对。 延迟控制部701进行这样的控制：根据来自各个延迟检测部的延迟通知使 旗标升起，根据重启通知使旗标降下，在全部旗标降下的时刻重启同步控 制。或者，通过进行在针对多个延迟通知的相同数量的重启通知达到的时 刻重启同步控制的控制，即使是在来自第一延迟检测部801、第二延迟检测 部802、第三延迟检测部803及第四延迟检测部804的延迟通知、重启通知 重合的情况下，也能够实现保持整合性的控制。

另外，关于延迟控制方法也可以不是同步控制的停止、重启控制，而 是通过调整速率变换录制的倍速值即N值来进行。

图7是表示基于N值的调整的延迟控制方法的图。图7中的横轴表示 自速率变换录制开始起的经过时间t。

延迟控制部701在接收到来自任意一个延迟检测部的延迟通知时，将 N值通知给同步控制部401（2→1）。从延迟控制部701接收到N值的同步 控制部401，求出将系统基准时间STC与所述N值相乘得到的值，并从STC’ 中减去，由此校正stc_base。并且，同步控制部401分别切换同步控制的定 时（帧周期×1/2→帧周期×1/1）和STC’的合计（countup）值（2→1） 来进行同步控制。由此，在成为瓶颈的部分被消除时，发送了延迟通知的 延迟检测部向延迟控制部701发送重启通知。延迟控制部701接收到重启 通知后，将N值通知给同步控制部401（1→2）。从延迟控制部701接收到 N值的同步控制部401，求出将系统基准时间STC与所述N值相乘得到的 值，并从STC’中减去，由此校正stc_base。同步控制部401分别切换同步 控制的定时（帧周期×1/1→帧周期×1/2）和STC’的合计值（1→2）来进 行同步控制。校正时的stc_base的计算公式如下所示。

stc_base＝STC’－STC×N      …式6

通过上述控制，能够通过调整N值来实现延迟控制。

下面，详细说明第一延迟检测部801、第二延迟检测部802、第三延迟 检测部803及第四延迟检测部804的动作。

第一延迟检测部801监视第九中间缓冲器503内的数据量，以便检测 由影像解码部108进行的解码的延迟。在由于由影像解码部108进行的解 码的延迟，使得第九中间缓冲器503内的数据量低于延迟判定用的阈值的 情况下，第一延迟检测部801向延迟控制部701进行延迟通知，以便使同 步控制临时停止。同步控制通过延迟控制部701的延迟控制而停止，第一 中间缓冲器301内的数据不被消耗，因而数据量通过由影像解码部108进 行的解码而增加下去。在数据量增加并超过重启判定用的阈值的情况下， 第一延迟检测部801向延迟控制部701进行重启通知，以便重启同步控制。 由此，能够防止通过使影像解码部108的处理延迟而发生的第九中间缓冲 器503的下溢。

另外，第三延迟检测部803监视第十一中间缓冲器505内的数据量， 以便检测由影像编码部110进行的编码的延迟。在由于由影像编码部110 进行的编码的延迟，使得第十一中间缓冲器505内的数据量超过延迟判定 用的阈值的情况下，第三延迟检测部803向延迟控制部701进行延迟通知， 以便使同步控制临时停止。同步控制通过延迟控制部701的延迟控制而停 止，第十一中间缓冲器505不被供给影像数据，因而数据量通过由影像编 码部110进行的编码而减少下去。在数据量减少并低于重启判定用的阈值 的情况下，第三延迟检测部803向延迟控制部701进行重启通知，以便重 启同步控制。由此，能够防止通过使影像编码部110的编码延迟而发生的 第十一中间缓冲器505的上溢。

例如，在对中间缓冲器的数据量设计阈值的情况下，也可以从影像数 据的析像度求出1帧量的尺寸，并用作阈值。即，在已被解码的影像数据 的析像度是1920×1080为1像素24bit的情况下，以1920×1080×24＝ 49766400bit（6220800byte）单位计算阈值并使用。

另外，关于延迟检测方法也可以取代对中间缓冲器的数据量的监视， 而是监视被存储在中间缓冲器中的帧数。

在此，说明由影像解码部108进行的解码和由影像编码部110进行的 编码的延迟，但关于由声音解码部109进行的解码和由声音编码部111进 行的编码的延迟，是在第二延迟检测部802和第四延迟检测部804中进行 相同的处理。

另外，第一延迟检测部801也可以监视由影像解码部108生成的影像 数据的帧数和由同步控制部401进行了同步控制的影像数据的帧数，由此 检测由影像解码部108进行的解码的延迟。第二延迟检测部802也可以监 视由声音解码部109生成的声音数据的帧数和由同步控制部401进行了同 步控制的声音数据的帧数，由此检测由声音解码部109进行的解码的延迟。 第三延迟检测部803也可以监视由同步控制部401进行了同步控制的影像 数据的帧数和由影像编码部110生成的第二编码影像数据的帧数，由此检 测由影像编码部110进行的编码的延迟。第四延迟检测部804也可以监视 由同步控制部401进行了同步控制的声音数据的帧数和由声音编码部111 生成的第二编码声音数据的帧数，由此检测由声音编码部111进行的编码 的延迟。

下面，说明异常系统的延迟控制。图8是表示第十中间缓冲器504不 被供给声音数据时的模式的图。对各个模式的延迟控制进行说明。

对由于不存在声音的第一复用数据而使得第十中间缓冲器504不被供 给声音数据的情况进行说明。分离部107通过分析例如MPEG的系统标题 等的信息，判定不存在第一编码声音数据。通过该判定，在判定为第一复 用数据中不存在第一编码声音数据之后，分离部107使第二延迟检测部802 和第四延迟检测部804停止（SIG703）。通过这种异常系统的控制，即使是 在由于不存在声音的第一复用数据而使得第十中间缓冲器504不被供给声 音数据的情况下，同步控制也不会停止。

对由于第一编码声音数据缺失或者第一编码声音数据在不固定的期间 中不存在、而使得第十中间缓冲器504不被供给声音数据的情况进行说明。 分离部107根据SCR或者PCR等时刻信息和声音输出时刻信息，判定相对 于STC’不存在第一编码声音数据的期间。通过该判定，如果判定为是第 一复用数据中不存在第一编码声音数据的期间，分离部107使第二延迟检 测部802和第四延迟检测部804停止。通过这种异常系统的控制，即使是 在由于第一编码声音数据缺失或者第一编码声音数据在不固定的期间中不 存在、而使得第十中间缓冲器504不被供给声音数据的情况下，同步控制 也不会停止。

在分离部107的复用分离相对于同步控制而延迟、使得第十中间缓冲 器504不被供给声音数据的情况下，不需要异常系统的控制，而是进行正 常系统的延迟控制。

在此，对声音数据的情况进行了说明，但对于影像数据也是进行相同 的处理。

根据这种结构，通过具有与实施方式2相同的异常系统的机构、并以 比实施方式2的N值大的N值进行同步控制，并且针对分离部107、影像 解码部108、声音解码部109、影像编码部110、声音编码部111及复用部 112相对于同步控制的延迟进行延迟控制，能够实现比实施方式2更快速的 速率变换录制，而且不会扰乱影像数据和声音数据的同步。并且，在提高 了各个单元的处理性能的情况下，不需改变其结构，仅需变更N值，即可 提高速率变换录制的性能。

（实施方式4）

图9是表示实施方式4的影像声音变换装置的功能性结构的框图。

实施方式4的影像声音变换装置在图5所示的实施方式3的影像声音 变换装置的结构的基础上，还具有动作模式判定部1401。下面，说明各个 单元和信号的流程。

动作模式判定部1401通过进行影响到速率变换录制时的分离部107的 复用分离、影像解码部108的解码、声音解码部109的解码、影像编码部 110的编码、声音编码部111的编码或者复用部112的复用的各个要素（例 如，没有遗漏地指如下等的全部要素：第一复用数据中的影像数据的析像 度、第二复用数据中的影像数据的析像度、第一复用数据的比特率、第二 复用数据的比特率、第一复用数据中的影像数据的帧速率、第二复用数据 中的影像数据的帧速率、第一复用数据中的声音数据的采样频率、第二复 用数据中的声音数据的采样频率、第一复用数据中的影像数据的编解码、 第二复用数据中的影像数据的编解码、第一复用数据中的声音数据的编解 码、第二复用数据中的声音数据的编解码、第一复用数据中的声音数据的 信道数、第二复用数据中的声音数据的信道数、第一复用数据的复用形式、 或者第二复用数据的复用形式等）的判定，来确定动作模式。根据析像度、 比特率等各个要素的组合，将动作模式分别定义为动作模式1、2、3…。动 作模式判定部1401从图10所示的倍速信息表中按照每种动作模式来选择 最佳的N值，并通知倍速通知部1201（SIG1402）。接收到N值的倍速通 知部1201将N值通知给同步控制部401。

根据这种结构，通过按照每种动作模式来选择分离部107、影像解码部 108、声音解码部109、影像编码部110、声音编码部111及复用部112进行 最佳动作的N值，能够进行最佳的速率变换录制。另外，通过使以N值小 于1的倍速进行动作，能够对分离部107、影像解码部108、声音解码部109、 影像编码部110、声音编码部111及复用部112分配较多的处理时间，因而 影像解码部108、声音解码部109、影像编码部110及声音编码部111能够 对高画质化、高音质化的处理分配时间，能够生成高质量的第二复用数据。

另外，在本实施方式中示出了根据动作模式来确定N值的示例，但也 可以与动作模式无关地，由倍速通知部1201按照来自外部的指示来选择所 通知的N。

（实施方式5）

图11是表示实施方式5的影像声音变换装置的功能性结构的框图。

实施方式5的影像声音变换装置在图5所示的实施方式3的影像声音 变换装置的结构的基础上，还具有倍速测定部1501。并且，延迟控制部701 具有将延迟发生的信息通知倍速测定部1501的功能（SIG1503）。下面，说 明这些各个单元和信号的流程。

在实施方式5中，作为与实施方式4不同的速率变换录制的N值的选 择方法，说明通过在速率变换录制开始之前测定N值来选择N值的方法。

图12是用于说明在速率变换录制开始之前测定N值的倍速测定方法的 流程图。

在S101，倍速测定部1501取得根据所述式3求出的N值。

在S102，倍速测定部1501将在确定了速率变换录制用的N值时使用 的N值设为N’保存在缓冲器（未图示）中。

在S103，倍速测定部1501对N值加上规定的值α，由此求出在速率变 换录制中使用的N值。

在S104执行规定期间的速率变换录制，倍速测定部1501从延迟控制 部701接收延迟发生的信息（SIG1502），并计数延迟控制的发生次数。

在S105，倍速测定部1501判定延迟控制的发生次数和规定的阈值。 在此，如果延迟控制的发生次数超过阈值，则进入到S106，如果低于阈值 则返回到S102，将N值设为N’保存在缓冲器（未图示）中，再次进行速 率变换录制。

在S106，倍速测定部1501将在S102被保存在缓冲器中的N’的值代 入N值，由此确定用于通知倍速通知部1201的在实际的速率变换录制中使 用的N值。

根据这种结构，不需事前确定每种动作模式的最佳的N值，即可以最 分离部107、影像解码部108、声音解码部109、影像编码部110、声音编 码部111及复用部112进行最佳动作的N值进行速率变换录制。

关于α的值，如果赋予较小的值，则最佳的N值的精度提高，但是达 到最佳的值需要花费时间。另外，如果赋予较大的值，虽然达到最佳的值 所需要的时间缩短，但是最佳的N值的精度下降。另外，α的值可以是装置 固有的值，也可以从外部进行赋值。

（实施方式6）

图13是表示实施方式6的影像声音变换装置的功能性结构的框图。

实施方式6的影像声音变换装置在图5所示的实施方式3的影像声音 变换装置的结构的基础上，还具有第二动作模式判定部1601、第二倍速测 定部1602和倍速记录存储器1603。下面，说明这些各个单元和信号的流程。

第二动作模式判定部1601判定与动作设定对应的动作模式，所述动作 设定将影响到分离部107的复用分离、影像解码部108的解码、声音解码 部109的解码、影像编码部110的编码、声音编码部111的编码、或者复用 部112的复用。如前面所述，根据析像度、比特率等各个要素的组合，将 动作模式分别定义为动作模式1、2、3…。

第二倍速测定部1602在速率变换录制开始前进行所述N的测定。

倍速记录存储器1603记录所测定到的所述N。

在与动作模式对应的所述N被记录在倍速记录存储器1603中的情况 下，第二动作模式判定部1601将所记录的所述N通知给倍速通知部1201 （SIG1604），在与动作模式对应的所述N没有记录在倍速记录存储器1603 中的情况下，第二动作模式判定部1601向第二倍速测定部1602进行启动 通知（SIG1605）。

第二倍速测定部1602按照每种动作模式来测定最佳的所述N，将每种 动作模式的所述N记录在倍速记录存储器1603中（SIG1607），并将所述 N通知给倍速通知部1201（SIG1606）。

在实施方式6中，说明与实施方式4及实施方式5不同的速率变换录 制的N值的选择方法。

图14是用于说明在速率变换录制开始之前测定N值的倍速测定方法的 流程图。

在S201，第二动作模式判定部1601进行影响到速率变换录制时的动 作的各个要素（例如，没有遗漏地指如下等的全部要素：第一复用数据中 的影像数据的析像度、第二复用数据中的影像数据的析像度、第一复用数 据的比特率、第二复用数据的比特率、第一复用数据中的影像数据的帧速 率、第二复用数据中的影像数据的帧速率、第一复用数据中的声音数据的 采样频率、第二复用数据中的声音数据的采样频率、第一复用数据中的影 像数据的编解码、第二复用数据中的影像数据的编解码、第一复用数据中 的声音数据的编解码、第二复用数据中的声音数据的编解码、第一复用数 据中的声音数据的信道数、第二复用数据中的声音数据的信道数、第一复 用数据的复用形式、或者第二复用数据的复用形式等）的判定，并确定动 作模式。

在S202，第二动作模式判定部1601进行在倍速记录存储器1603中是 否记录有动作模式的N值的判定。如果记录有N值，则进入到S203，如果 没有记录，则进入到S204。

在S203，第二动作模式判定部1601按照每种动作模式从倍速记录存 储器1603中选择最佳的N值，并将N值通知给倍速通知部1201（SIG1604）， 由此确定在速率变换录制中使用的N值。

在S204，第二动作模式判定部1601向第二倍速测定部1602进行启动 通知（SIG1605）。

在S205，第二倍速测定部1602取得根据所述式3求出的N值。

在S206，第二倍速测定部1602将在确定了速率变换录制用的N值时 使用的N值设为N’保存在缓冲器（未图示）中。

在S207，第二倍速测定部1602向N值加上规定的值α，由此求出在速 率变换录制中使用的N值。

在S208执行规定期间的速率变换录制，第二倍速测定部1602从延迟 控制部701接收延迟发生的信息（SIG1502），并计数延迟控制的发生次数。

在S209，第二倍速测定部1602判定延迟控制的发生次数和规定的阈 值。在此，如果延迟控制的发生次数超过阈值，则进入到S210，如果低于 阈值则返回到S206，将N值设为N’保存在缓冲器（未图示）中，再次进 行速率变换录制。

在S210，第二倍速测定部1602将在S206被保存在缓冲器中的N’的 值代入N值。

在S211，第二倍速测定部1602将N值记录在倍速记录存储器1603中 （SIG1607）。

在S212，第二倍速测定部1602将N值通知倍速通知部1201（SIG 1606），由此决定在速率变换录制中使用的N值。

根据这种结构，不需事前确定每种动作模式的最佳的N值，即可以分 离部107、影像解码部108、声音解码部109、影像编码部110、声音编码 部111及复用部112进行最佳动作的N值进行速率变换录制。并且，在以 相同的动作模式进行动作的情况下，与实施方式5相比，能够缩短到开始 速率变换录制为止的时间。

关于α的值，如前面所述，如果赋予较小的值，则最佳的N值的精度 提高，但是达到最佳的值需要花费时间。另外，如果赋予较大的值，虽然 达到最佳的值所需要的时间缩短，但是最佳的N值的精度下降。另外，α 的值可以是装置固有的值，也可以从外部进行赋值。

（实施方式7）

图15是表示实施方式7的影像声音变换装置的功能性结构的框图。

实施方式7的影像声音变换装置在图5所示的实施方式3的影像声音 变换装置的结构的基础上，还具有第三动作模式判定部1801和第三倍速测 定部1802。下面，说明这些各个单元和信号的流程。

倍速通知部1201在速率变换录制过程中切换向同步控制部401通知的 所述N。

当在速率变换录制过程中动作模式被切换的情况下，在同步控制中使 用的N值不再是最佳的值，因而认为速率变换录制的速度下降。在实施方 式7中说明当在速率变换录制过程中动作模式被切换的情况下切换为最佳 的N值的动作。

图16是示出N值切换的图。图16中的横轴表示自速率变换录制开始 起的经过时间t。

第三动作模式判定部1801监视在速率变换录制过程中的动作模式的切 换。如果动作模式被切换，第三动作模式判定部1801按照每种动作模式来 选择最佳的N值，并通知给倍速通知部1201（SIG1803）。接收到N值的 倍速通知部1201将N值通知给同步控制部401（2→1）。从倍速通知部1201 接收到N值的同步控制部401根据所述式6求出新的stc_base。并且，同步 控制部401分别切换同步控制部401的定时（帧周期×1/2→帧周期×1/1） 和STC’的合计值（2→1），并进行同步控制。

通过上述控制，能够在速率变换录制过程中切换N值。

图17是用于说明在速率变换录制过程中测定最佳的N值的控制的流程 图。

在S301，第三倍速测定部1802在速率变换录制过程中计数规定期间 内的延迟发生次数。

在S302，第三倍速测定部1802判定延迟控制的发生次数和规定的阈 值。在此，如果延迟控制的发生次数超过阈值，则进入到S303，如果低于 阈值则进入到S304。

在S303，第三倍速测定部1802从N值减去规定的值β，由此求出在速 率变换录制中使用的N值。

在S304，第三倍速测定部1802判定是否发生了延迟控制。在此，如 果没有发生延迟控制则进入到S305，如果发生了则返回到S301，再次进行 规定期间的延迟发生次数的计数。

在S305，第三倍速测定部1802向N值加上规定的值γ，由此求出在速 率变换录制中使用的N值。

在S306，第三倍速测定部1802将N值通知给倍速通知部1201 （SIG1804）。

在S307，倍速通知部1201对N值进行切换控制。

根据这种结构，即使是在动作模式被切换的情况下，也能够以分离部 107、影像解码部108、声音解码部109、影像编码部110、声音编码部111 及复用部112进行最佳动作的N值进行速率变换录制。另外，也能够配合 被输入到分离部107的第一复用数据，以分离部107、影像解码部108、声 音解码部109、影像编码部110、声音编码部111及复用部112进行最佳动 作的N值进行速率变换录制。

关于β、γ的值，与α的值相同地，如果赋予较小的值，则最佳的N值 的精度提高，但是达到最佳的值需要花费时间。另外，如果赋予较大的值， 虽然达到最佳的值所需要的时间缩短，但是最佳的N值的精度下降。另外， β、γ的值可以是装置固有的值，也可以从外部进行赋值。

（实施方式8）

图18是表示实施方式8的影像声音变换装置的功能性结构的框图。

实施方式8的影像声音变换装置在图2所示的实施方式2的影像声音 变换装置的结构的基础上，还具有倍速判定部1901和倍速通知部1905。下 面，说明这些各个单元和信号的流程。

倍速判定部1901在速率变换录制开始时从倍速通知部1905接收N值 （SIG1902），并设定动作模式使能够实现基于N值的速率变换录制（SIG 1903）。例如，如图19所示的倍速信息表那样，按照每种N值来选择动作 模式，并进行影响到速率变换录制时的动作的各个要素（例如，没有遗漏 地指如下等的全部要素：第二复用数据中的影像数据的析像度、第二复用 数据的比特率、第二复用数据中的影像数据的帧速率、第二复用数据中的 声音数据的采样频率、第二复用数据中的影像数据的编解码、第二复用数 据中的声音数据的编解码、第一复用数据中的声音数据的信道数、第二复 用数据中的声音数据的信道数、或者第二复用数据的复用形式等）的设定。 如果N值在表中所定义的范围之外，则以与表中最接近的值的N值对应的 动作模式，进行分离部107、影像解码部108、声音解码部109、影像编码 部110、声音编码部111及复用部112的设定，并将N值通知倍速通知部 1905（SIG1904）。倍速通知部1905将从倍速判定部1901接收到的N值通 知同步控制部401（SIG1906）。

另外，作为动作模式的选择方案，也可以追加选择分离部107、影像解 码部108、声音解码部109、影像编码部110、声音编码部111及复用部112 的优先度或者有无模式变更。

根据这种结构，针对规定倍率的速率变换录制，能够生成高质量的第 二复用数据。

上述的各个装置也可以利用硬件来实现。

另外，上述的各个装置具体地讲可以构成为由微处理器、ROM、RAM、 硬盘驱动、显示器单元、键盘、鼠标等构成的计算机系统。在RAM或者硬 盘驱动中存储有计算机程序。微处理器按照计算机程序而动作，由此各个 装置实现其功能。在此，计算机程序为了实现规定的功能，可以组合多个 表示对计算机的指令的命令代码而构成。

另外，构成上述各个装置的构成要素的一部分或者全部可以由一个系 统LSI（Large Scale Integration：大规模集成电路）构成。系统LSI可以是 在一个芯片上集成多个构成部分而制得的超多功能LSI，具体地讲，可以是 包括微处理器、ROM、RAM等在内构成的计算机系统。在RAM中存储有 计算机程序。微处理器按照计算机程序而动作，由此系统LSI实现其功能。

另外，构成上述各个装置的构成要素的一部分或者全部也可以由能够 在各个装置上插拔的IC卡或者单体模块构成。IC卡或者模块是由微处理器、 ROM、RAM等构成的计算机系统。IC卡或者模块也可以包含上述的超多 功能LSI。微处理器按照计算机程序而动作，由此IC卡或者模块实现其功 能。该IC卡或者该模块可以具有反篡改性。

另外，本发明也可以是以上所示的方法。并且，也可以是利用计算机 实现这些方法的计算机程序，还可以是由所述计算机程序构成的数字信号。

另外，本发明也可以将所述计算机程序或者所述数字信号记录在计算 机可以读取的非易失性的记录介质中，所述记录介质例如是软盘、硬盘、 CD－ROM、MO、DVD、DVD－ROM、DVD－RAM、BD（Blu-ray Disc （注册商标）：蓝光光盘）、半导体存储器等。并且，本发明还可以是记录 在这些非易失性的记录介质中的所述所述数字信号。

另外，本发明也可以构成为经由电气通信线路、无线或者有线通信线 路、以因特网为代表的网络、数据播放等，传输所述计算机程序或所述数 字信号。

另外，本发明也可以构成为具有微处理器和存储器的计算机系统，所 述存储器存储所述计算机程序，所述微处理器按照所述计算机程序而动作。

另外，本发明也可以构成为将所述程序或者所述数字信号记录在所述 非易失性的记录介质中并传输，或者经由所述网络等传输所述程序或者所 述数字信号，从而能够利用独立的其他计算机系统来实施。

另外，本发明也可以分别组合上述实施方式和上述变形例来实施。

此次公开的实施方式仅是所有方面中的示例，不能认为是限制性的方 式。本发明的范围不在于上述的说明，而在于利用权利要求书公开的内容， 并且包含与权利要求书同等意义及范围内的所有变更。

产业上的可利用性

本发明的影像声音变换装置及方法能够应用于进行快速的速率变换录 制的影像声音变换装置及方法等。