声音/视频信息记录再生装置和方法、使用声音/视频信息记录再生装置和方法记录了信息的记录媒体

摘要

提供一种即使用查找速度比较低的便宜的磁盘驱动器也能够容易地实现在光盘上进行后期录音的功能的声音/视频信息记录再生装置和方法。在记录视频文件时，仅在比3倍的查找时间多的时间内连续地将视频文件记录到光盘中。在记录配音时，仅连续记录一定数据大小的配音，同时再生记录好的视频文件，由此同时实施实时连续的再生和记录。由此能够保证在再生配音时视频文件和声音文件同时再生。

说明书

技术领域

本发明涉及一种实时地将视频信号及声音信号压缩并记录在光盘等记录媒体上，将记录在记录媒体上的视频信号及声音信号解压缩并再生的声音/视频信息记录再生装置及方法、以及使用这样的声音/视频信息记录再生装置及方法记录了信息的记录媒体。

背景技术

作为以较低的比特率压缩视频数据的方法，有由MPEG2规格(ISO/IEC 13818-1)规定的系统流。该系统流规定有程序流、传输流、及PES(Packetized Elementary Stream，打包的基本码流)流等3种。

而作为取代磁带的记录媒体，相变光盘(如，DVD-RAM及MVDISC)及光磁盘(MO)等光盘倍受瞩目。如，用来将视频记录在DVD-RAM上的规格有，VIDEO RECORDING规格(DVDSpecifications for Rewritable/Re-recordable Discs Part 3 VIDEORECORDING Version 1.0 September 1999)。这种规格是用来将由MPEG2规格的程序流形成的视频文件记录到DVD-RAM光盘上并再生的规格。下面通过变换将由MPEG2的传输流组成的视频文件记录到相变光盘(以下，在不出现混乱的情况下，只称为“光盘”)中再生的情况来说明，以包含VIDEO RECORDING规格的技术内容在内的形式来说明以往的技术内容。并且，视频采用ISO/IEC 13818-1的MPEG2压缩，在压缩声音处理时采用ISO/IEC 13818-7的MPEG2-AAC(Advanced Audio Cording)压缩。

图16表示以往的使用了相变光盘的声音/视频信息记录再生装置的结构图。

在记录视频信号及声音信号时，将由视频信号输入单元100及声音信号输入单元102输入的信号分别在视频压缩单元101及声音压缩单元103中压缩，接着在传输流合成单元104中，将后期录音用虚拟数据包产生单元105生成的虚拟数据包混合在压缩结果中制作成传输流，并使其经由缓冲储存器154、记录单元120及传感器130，写入到相变光盘131中。

在视频信号及声音信号再生时，将经由传感器130、再生单元121及缓冲储存器154取出的传输流在传输流分解单元115中分离为视频信号和声音信号，并分别通过视频解压缩单元111及第1声音解压缩单元113，向视频显示单元110及声音输出单元112输出。并且，第2声音解压缩单元114在传输流中记录有背景声音(后述)的情况下，用于该背景声音的再生。

在记录视频信号及声音信号时，记录控制单元151对记录单元120、连续数据区域检测单元150及逻辑块管理单元141进行控制，而实施记录。此时，连续数据区域检测单元150根据记录控制单元151的指示调查由逻辑块管理单元141管理的扇区的使用状况，并检测出物理上连续的空区域。

在再生视频信号及声音信号时，再生控制单元140对再生单元121及记录单元120进行控制，实施再生。并且，后期录音用记录控制单元152及后期录音用再生控制单元153在后述后期录音时启动。

另外，以下将“视频信号及声音信号的记录”称为“动态图像信号的记录”。并且，同样将“视频及声音的记录”称为“动态图像的记录”。

图17表示实时将视频记录记录在相变光盘131上时的记录格式。相变光盘131由2k字节的扇区构成，将16个扇区作为1个逻辑块(32k字节)对待，给每个该逻辑块附加错误更正符号并记录在相变光盘131中。而且，通过最大记录再生速率换算确保将特定时间(如后文所述，0.86秒)以上的物理连续逻辑块作为一个连续数据区域，并按顺序将由0.4～1秒的再生时间(表示时间)的MPEG传输流组成的视频对象单元(Video Object Unit：以下称为[VOBU])记录在该区域中。并且，一个VOBU原则上包括所有可单独解码的视频及声音压缩数据。即，视频及声音压缩数据在1VOBU内完成。

1个VOBU由188字节单位的MPEG传输流的下位阶层的传输数据包构成。传输数据包由存储有视频压缩数据的视频传输数据包(V_TSP)、存储有音频压缩数据的音频传输数据包(A_TSP)和虚音频传输数据包(D_TSP)等3种构成。并且，在1个VOBU中包含有全部对应时间的V_TSP、A_TSP及D_TSP。并且，如果视频是可比特率的话，则1个VOBU的数据大小可在最大记录再生速率以下的范围内进行变动。而如果视频是固定比特率的话，则VOBU的数据大小也是一定的。

图18为详细表示V_TSP、A_TSP及D_TSP的内容的图。V_TSP由传输数据包标题和视频数据构成，A_TSP由传输数据包标题和音频数据构成，D_TSP由传输数据包标题和背景声音用虚拟数据包成。V_TSP、A_TSP、D_TSP之间的差异可以通过传输数据包标题内的PID(Packet ID)进行识别。例如，如图所示，通过给V_TS P分配PID＝“0x0020”，给A_TSP分配PID＝“0x0021”，给D_TSP分配PID＝“0x0022”分别进行识别。

图16表示声音/视频信息记录再生装置的连续数据区域检测单元150在1个连续数据区域的残留部分很少的时候，进行下一个连续数据区域的再检测。之后，当一个连续数据区域变满时，便写入下一个连续数据区域。

图19表示用UDF(Universal Disk Format，通用盘格式)文件系统管理光盘上的记录内容的状态。这里表示通过打开及关闭记录开始按钮各一次，将1个MPEG传输流作为文件[MOVIE.MPG]记录的情况。文件的文件名及文件入口的位置用FID(File Identifier Descriptor，文件标识描述符)管理。而且，使用文件入口内的分配描述符(Allocation Descriptor)管理1个文件和构成该文件的3个连续数据区域a、b、c。连续数据区域被分为3部分的详细情况如下所示。各分配描述符的构造如图20所示，由区域长度(Extent Length)和区域位置(Extent Position)构成。

记录控制单元151在发现向连续数据区域a中记录过程中有不良逻辑块时，会跳过该不良逻辑块，从连续数据区域b的开头继续进行写入动作。而且，记录控制单元151在向连续数据区域b中记录过程中要与PC文件的记录区域发生冲突时，下次将从连续数据区域c的开头继续进行写入动作。结果，文件[MOVIE.MPG]由3个连续数据区域a、b、c构成。

图21表示文件再生时的动作概要。再生时，再生控制单元140同时实施从光盘131向缓冲储存器154的数据读取动作和通过数据由缓冲储存器154向传输流分解单元115的移动进数据行的再生动作。此时，设定数据的读出速度Vr比数据的再生速度Vo要高，控制不要出现应再生的数据不在缓冲储存器154内的情况(下溢underflow)。因此，在继续进行连续数据读取及连续数据再生时，能够确保应再生的数据具有与数据再生速度Vo和数据读出速度Vr的速度差分相对应的余量。通过传感器130的跳变，将能够确保有这样剩余的数据在数据读取中断时作为再生数据使用，由此能够实现连续再生。

具体为，在数据读出速度Vr为24Mbps、数据再生速度Vo为10Mbps、传感器130的最大移动时间为0.5秒的情况下，传感器移动中需要5M比特的多余的再生数据。为了确保这些多余的再生数据，必须进行0.36秒间的连续读取。即，必须与数据读出速度24Mbps和数据再生速度10Mbps的差分割的时间相等的时间连续读取5M比特。

这里，在0.36秒间的连续读取之间读出8.6M比特，即以10Mbps的再生速度换算读出0.86秒的再生数据。因此，通过确保0.86秒以上的连续数据区域记录最大10Mbps的动态图像，能够保证连续数据的再生。

传感器130的最大移动时间是指光盘的最内周和最外周的移动时间。并且，在这段时间内还包括旋转等待时间。

在连续数据区域的途中也可以出现几个不良逻辑块。但是，在这种情况下，必须估计再生时读取这些不良逻辑块所需的读取时间，确保连续数据区域比0.86秒稍微多一些。

并且，民用电影通常具备的一个功能就是后期录音。后期录音是指将曾记录的视频的声音(以下称为主声音)配音到新录制的声音(以下称为背景声音)中的功能。

后期录音一般由三个步骤构成。第1个步骤为，首先用可进行后期录音的记录模式记录(以下称为后期录音模式记录)视频。第2个步骤为一边观看记录的视频，一边将同步的背景声音记录在视频中(以下称为后期录音记录)。第3个步骤为将第2步骤中的视频和背景声音同步再生(以下称为后期录音再生)。通过这些步骤实现配音的过程。

这里，在第1步骤中，后期录音用记录控制单元152记录包含V_TSP、A_TSP及D_TSP在内的MPEG传输流(参照例如专利文献1)。在第2步骤中，后期录音用记录控制单元152将D_TSP替换成背景声音用A_TSP记录到向光盘131中。在第3步骤中，后期录音用再生控制单元153控制将主声音用A_TSP、背景声音用A_TSP及V_TSP传至传输流分解单元115从而实现配音。

以下将包含后期录音模式记录时记录的视频和声音在内的文件称为动态图像文件。

并且，在没必须进行后期录音的情况下，不包含D_TSP，记录由A_TSP和V_TSP构成的动态图像文件。

在再生控制单元140再生后期录音模式记录的动态图像文件时，不将D_TSP传至传输流分解单元115，而只传送A_TSP和V_TSP。

在记录后期录音时，一边观看视频一边记录背景声音的情况下，在进行视频的再生处理的同时，必须进行包含背景声音在内的视频再记录处理。具体为，后期录音用再生控制单元153将再生的数据流保存在缓冲器上，将数据流内的D_TSP替换成背景声音用A_TSP，再次写入光盘。即，必须同时实施以视频的记录速率进行连续再生和以同一速率进行连续记录。为了实现同时记录再生处理，必须实现高旋转速率和高的查找速度，需要有价格昂贵的磁盘驱动器。

并且，在将后期录音再生的动态图像流输出到IEEE1394接口时，为了将背景声音合成到动态图像流中(多路传输)，必须再次进行MPEG系统编码处理，存在向IEEE1394接口的输出处理变得复杂的问题。

发明内容

本发明就是鉴于上述问题，目的是提供一种即使用查找速度比较低的便宜的磁盘驱动器，也能够容易地实现在光盘上进行后期录音的功能、并且在向IEEE1394接口输出时不需要进行MPEG系统编码处理，能够容易地输出动态图像数据流的声音/视频信息记录再生装置和方法，以及使用这种声音/视频信息记录再生装置和方法记录了信息的记录媒体。

技术方案

为了达到上述目的，本发明第1方案的声音/视频信息记录再生装置为包括将视频信息作为视频文件记录在记录媒体上的视频记录单元，将声音信息作为声音文件记录在上述记录媒体上的声音记录单元，实时连续地再生记录在上述记录媒体上的上述视频信息的视频再生单元，再生上述视频信息、同时记录与上述视频信息有关的声音信息的后期录音用记录单元声音/视频信息记录再生装置；其特征在于：视频记录单元包括视频用连续数据区域检测单元和视频记录控制单元，所述视频用连续数据区域检测单元检测为了确保读写头最大移动时间的3倍时间与读入一个声音用连续数据区域的时间的合计时间内的视频信息有余量所需要的时间以上的时间内、由能够记录视频信息的在物理上连续的多个记录单位构成的视频用连续数据区域，所述视频记录控制单元指示应记录上述视频信息的上述视频用连续数据区域的记录单位的编号；声音记录单元包括声音用连续数据区域检测单元和声音记录用控制单元，所述声音用连续数据区域检测单元检测由能够记录声音信息的物理上连续的多个上述记录单位构成的、并且数据大小在预定的范围内的上述声音用连续数据区域，所述声音记录用控制单元连续地将上述声音信息记录到多个上述声音用连续数据区域上；视频记录单元记录上述视频信息；后期录音用记录单元交互实施再生记录在上述视频用连续数据区域内的上述视频信息和将上述声音信息记录到上述声音用连续数据区域中，并同时地实施实时连续地再生上述视频信息和记录上述声音信息。

在第1方案的声音/视频信息记录再生装置中，后期录音记录单元最好还与声音信息一起记录表示声音用连续数据区域的边界的边界信息。

为了达到上述目的，本发明的第2方案的声音/视频信息记录再生装置为包括将视频信息作为视频文件记录在记录媒体上的视频记录单元，将声音信息作为声音文件记录在上述记录媒体上的声音记录单元，实时连续地再生记录在上述记录媒体上的上述视频信息的视频再生单元，实时连续地再生记录在上述记录媒体上的上述声音信息的声音再生单元，再生上述视频信息、同时再生与上述视频信息有关的上述声音信息的后期录音用再生单元的声音/视频信息记录再生装置；其特征在于：视频记录单元包括视频用连续数据区域检测单元和视频记录控制单元，所述视频用连续数据区域检测单元检测为了确保读写头最大移动时间的3倍时间与读入一个声音用连续数据区域的时间的合计时间内的视频信息有余量所需要的时间以上的时间内、由能够记录视频信息的在物理上连续的多个记录单位构成的视频用连续数据区域，所述视频记录控制单元指示应记录上述视频信息的上述视频用连续数据区域的记录单位的编号；声音记录单元包括声音用连续数据区域检测单元和声音记录用控制单元，所述声音用连续数据区域检测单元检测由能够记录声音信息的物理上连续的多个上述记录单位构成的、并且数据大小在预定的范围内的上述声音用连续数据区域，所述声音记录用控制单元连续地将上述声音信息记录到多个上述声音用连续数据区域上；视频记录单元记录上述视频信息；声音记录单元记录与上述视频信息有关的上述声音信息；后期录音用再生单元交互读出记录在视频用连续数据区域内的视频信息和记录在声音用连续数据区域中的声音信息，并同时地实时连续再生视频和声音。

在第2方案的声音/视频信息记录再生装置中，声音记录单元最好还与声音信息一起记录表示声音用连续数据区域的边界的边界信息，后期录音用再生单元最好在读出记录在声音用连续数据区域中的声音信息时参照边界信息。

为了达到上述目的，本发明的第1种声音/视频信息记录再生方法为将视频信息作为视频文件记录到记录媒体中，在实时连续地再生记录在记录媒体上的视频信息的同时，将与视频信息有关的声音信息作为声音文件记录到记录媒体上的声音/视频信息记录再生方法；其特征在于，包括以下过程：检测为了确保读写头最大移动时间的3倍时间与读入一个声音用连续数据区域的时间的合计时间内的视频信息有余量所需要的时间以上的时间内、由能够记录视频信息的在物理上连续的多个记录单位构成的视频用连续数据区域的过程，指示应记录视频信息的视频用连续数据区域的记录单位的编号的过程，检测由能够记录声音信息的物理上连续的多个记录单位构成的、并且数据大小在预定的范围内的声音用连续数据区域的过程，连续地将声音信息记录到多个声音用连续数据区域上的过程；交互实施再生记录在视频用连续数据区域内的视频信息和将声音信息记录到声音用连续数据区域中，并同时地实施实时连续地再生视频信息和记录声音信息。

第1种声音/视频信息记录再生方法最好还包括与声音信息一起记录表示声音用连续数据区域的边界的边界信息的过程。

为了到达上述目的，本发明的第2种声音/视频信息记录再生方法为将视频信息作为视频文件记录到记录媒体中，将声音信息作为声音文件记录到上述记录媒体中，同时实时连续地再生记录在记录媒体上的视频信息和声音信息的声音/视频信息记录再生方法，其特征在于，包括以下过程：检测为了确保读写头最大移动时间的3倍时间与读入一个声音用连续数据区域的时间的合计时间内的视频信息有余量所需要的时间以上的时间内、由能够记录视频信息的在物理上连续的多个记录单位构成的视频用连续数据区域的过程，指示应记录视频信息的视频用连续数据区域的记录单位的编号的过程，检测由能够记录声音信息的物理上连续的多个记录单位构成的、并且数据大小在预定的范围内的声音用连续数据区域的过程，连续地将声音信息记录到多个声音用连续数据区域上的过程；交互读出记录在视频用连续数据区域内的视频信息和记录在声音用连续数据区域中的声音信息，并同时地实时连续再生视频和声音。

第2声音/视频信息记录再生方法最好还包括与声音信息一起记录表示声音用连续数据区域的边界的边界信息的过程和参照边界信息读出记录在声音用连续数据区域中的声音信息的过程。

如果采用上述第1和第2种方案的声音/视频信息记录再生装置以及第1和第2种声音/视频信息记录再生方法，即使用查找速度比较低的便宜的磁盘驱动器也能够容易地在光盘上实现后期录音功能，同时能够容易地进行声音文件的结合和分割等编辑。

为了达到上述目的，本发明第3种方案的声音/视频信息记录再生装置包括将包含声音的声音/视频信息作为由MPEG传输数据包构成的MPEG传输流记录的声音/视频信息记录单元，声音/视频信息记录单元在记录声音和视频时，用包含带1个显示时标(PTS)的PES数据包的固定数量的传输数据包数构成1声音帧，使固定数的传输数据包内的先头的传输数据包的数据包标题为固定的数据大小，再单纯地将程序参考时钟(PCR)记录到包含声音信息的传输数据包中；而在记录声音时，用包含1个PES数据包的固定数的传输数据包数构成1声音帧，使固定数的传输数据包内的先头的传输数据包的数据包标题为固定的数据大小，数据包标题以预定的周期包含PCR地记录。

为了达到上述目的，本发明第4种方案的声音/视频信息记录再生装置包括声音A记录单元、声音B记录单元和后期录音控制单元，声音A记录单元用包含带1个显示时标(PTS)的PES数据包的固定数量的传输数据包数构成1声音帧，使固定数的传输数据包内的先头的传输数据包的数据包标题为固定的数据大小，再单纯地将程序参考时钟(PCR)记录到包含声音信息的传输数据包中；声音B记录单元用包含1个PES数据包的固定数的传输数据包数构成1声音帧，使固定数的传输数据包内的先头的传输数据包的数据包标题为固定的数据大小，数据包标题以预定的周期包含上述PCR地记录；后期录音控制单元将包含声音A的MPEG传输流替换为包含在别的传输流中的声音B输出；

后期录音控制单元与各声音帧的先头同步地将包含声音A的传输数据包内的预定的数据区域替换成声音B的传输数据包的对应记录位置的数据输出。

在第4方案的声音/视频信息记录再生装置中，预定的数据区域为上述固定数的传输数据包内的第1个传输数据包的有效负载单元，以及第2个以后的传输数据包的自适应字段控制字段、自适应字段和有效载荷单元。

为了达到上述目的，本发明的第3种声音/视频信息记录再生方法为将包含声音的声音/视频信息作为由MPEG传输数据包构成的MPEG传输流记录的声音/视频信息记录再生方法，其特征在于，在记录声音和视频时，用包含带1个显示时标(PTS)的PES数据包的固定数量的传输数据包数构成1声音帧，使固定数的传输数据包内的先头的传输数据包的数据包标题为固定的数据大小，再单纯地将程序参考时钟(PCR)记录到包含声音信息的传输数据包中；而在记录声音时，用包含1个PES数据包的固定数的传输数据包数构成1声音帧，使固定数的传输数据包内的先头的传输数据包的数据包标题为固定的数据大小，数据包标题以预定的周期包含PCR地记录。

为了达到上述目的，本发明第4种声音/视频信息记录再生方法的特征在于包括以下过程：用包含带1个显示时标(PTS)的PES数据包的固定数量的传输数据包数构成1声音帧，使固定数的传输数据包内的先头的传输数据包的数据包标题为固定的数据大小，再单纯地将程序参考时钟(PCR)记录到包含声音信息的传输数据包中的过程；用包含1个PES数据包的固定数的传输数据包数构成1声音帧，使固定数的传输数据包内的先头的传输数据包的数据包标题为固定的数据大小，数据包标题以预定的周期包含PCR地记录的过程；与各声音帧的先头同步地将包含声音A的MPEG传输流的传输数据包内的预定的数据区域替换成包含在别的传输流中的声音B的传输数据包的对应记录位置的数据输出的过程。

在第4种声音/视频信息记录再生方法中，预定的数据区域为上述固定数的传输数据包内的第1个传输数据包的有效负载单元，以及第2个以后的传输数据包的自适应字段控制字段、自适应字段和有效载荷单元。

为了达到上述目的，本发明第1方案的记录媒体用第1至第4种方案的声音/视频信息记录再生装置中的任何一种记录有信息。

为了达到上述目的，本发明第2方案的记录媒体用上述第1至第4种声音/视频信息记录再生方法中的任何一种记录了信息。

如果采用上述第3种方案的声音视频信息记录再生装置和方法以及第4种方案的声音/视频信息记录再生装置和方法，则不仅能够在后期录音再生时容易地作成用来输出给IEEE1394接口的动态图像数据流，而且即使在声音/视频信息记录再生装置上也能够容易地实施后期录音再生。

发明效果

如上所述，如果采用本发明，即使用查找速度比较低的便宜的磁盘驱动器也能够容易地实现在光盘上进行后期录音的功能，同时能够容易地进行声音文件的整合或分割等编辑，并且在向IEEE1394接口输出时不需要进行MPEG系统编码处理，能够容易地输出动态图像数据流。

附图的简要说明

图1表示本发明实施形态1的声音/视频信息记录再生装置的功能结构的方框图

图2本发明的实施形态1的声音/视频信息记录再生装置的后期录音模式记录时的关系的方框图

图3本发明的实施形态1的声音/视频信息记录再生装置的后期录音记录时的关系的方框图

图4本发明的实施形态1的声音/视频信息记录再生装置的后期录音再生时的关系的方框图

图5表示本发明的实施形态1的声音/视频信息记录再生装置中的后期录音模式记录时的动态图像文件的记录形态的图

图6表示本发明的实施形态1的声音/视频信息记录再生装置中的后期录音记录时的背景声音文件的记录形态的图

图7表示本发明的实施形态1的声音/视频信息记录再生装置的后期录音记录时的动作模式的图

图8表示本发明的实施形态1的声音/视频信息记录再生装置中的后期录音记录时的动态图像缓冲储存器和声音缓冲储存器内的代码量的变化的图

图9表示本发明的实施形态1的声音/视频信息记录再生装置的后期录音再生时的动作模式的图

图10表示本发明的实施形态1的声音/视频信息记录再生装置中的后期录音再生时的动态图像缓冲储存器和声音缓冲储存器内的代码量的变化的图

图11表示本发明实施形态2的声音/视频信息记录再生装置的功能结构的方框图

图12表示本发明的实施形态2的声音/视频信息记录再生装置的后期录音记录时的关系的方框图

图13表示本发明的实施形态2的声音/视频信息记录再生装置的后期录音再生时的关系的方框图

图14表示本发明实施形态3的声音/视频信息记录再生装置的功能结构的方框图

图15表示本发明的实施形态3的声音/视频信息记录再生装置的后期录音再生时的关系的方框图

图16表示现有声音/视频信息记录再生装置的功能结构的方框图

图17表示现有声音/视频信息记录再生装置中的后期录音模式记录时的动态图像文件的记录形态的图

图18现有声音/视频信息记录再生装置中的后期录音模式记录时的动态图像文件的传输流的结构图

图19用UDF文件系统管理动态图像文件时的状态的示意图

图20表示UDF文件系统的分配描述符的数据结构的图

图21表示现有声音/视频信息记录再生装置中再生文件时的动作模式的图

图22表示现有声音/视频信息记录再生装置中的后期录音再生时的动态图像缓冲储存器和声音缓冲储存器中的代码量变化的图

图23表示本发明实施形态4的声音/视频信息记录再生装置中的后期录音再生时的动态图像缓冲储存器和声音缓冲储存器中的代码量变化的图

图24表示本发明的实施形态1的，确保动态图像用连续数据区域较长时的声音/视频信息记录再生装置中后期录音再生时动态图像缓冲储存器和声音缓冲储存器内代码量的变化的图

图25表示本发明的实施形态1的声音/视频信息记录再生装置中背景声音文件的传输流的变型例的数据结构图

图26表示本发明的实施形态1的声音/视频信息记录再生装置中视频文件与背景声音文件的连续数据区域的相互关系的图

图27表示本发明的实施形态5中后期录音再生时传感器的移动路径的图

图28表示本发明的实施形态5的背景声音文件的数据结构的图

图29表示本发明实施形态5的声音/视频信息记录再生装置中后期录音再生时的动态图像缓冲储存器和声音缓冲储存器中的代码量变化的图

图30表示读出1个连续数据区域的数据大小的示例的图

图31表示本发明实施形态1的声音/视频信息记录再生装置中视频文件和背景声音文件的连续数据区域内的物理配置的图

图32表示本发明实施形态1的声音/视频信息记录再生装置中后期录音再生时的动态图像缓冲储存器和声音缓冲储存器中的代码量变化的图

图33表示本发明实施形态1的声音/视频信息记录再生装置中后期录音再生时读入别的数据的时机的图

图34表示本发明实施形态5的声音/视频信息记录再生装置中后期录音再生时读入数据的时机的图

图35表示本发明实施形态6的声音/视频信息记录再生装置中后期录音再生时读入数据的时机的图

图36表示本发明实施形态5的声音/视频信息记录再生装置中能够后期录音再生的连续数据区域的数据大小的图

图37表示本发明实施形态1的声音/视频信息记录再生装置中能够后期录音再生的连续数据区域的数据大小的图

图38表示本发明实施形态1的声音/视频信息记录再生装置中后期录音再生时的动态图像缓冲储存器和声音缓冲储存器中的代码量其他变化的图

图39表示本发明实施形态5的声音/视频信息记录再生装置中后期录音再生时读出1个连续数据区域的数据的大小的示例的图

图40表示本发明实施形态7的声音/视频信息记录再生装置的功能结构的方框图

图41表示本发明实施形态7的声音/视频信息记录再生装置中动态图像文件中包含的、包含1帧的量的主声音数据和背景声音数据的传输数据包的数据结构的图

图42表示本发明实施形态7的声音/视频信息记录再生装置中背景声音文件中包含的、包含1帧的量的声音数据的传输数据包的数据结构的图

图43表示本发明实施形态7的声音/视频信息记录再生装置中用背景声音文件的背景声音数据取代动态图像文件中的背景声音数据的实施方式的图

图44表示本发明实施形态1的声音/视频信息记录再生装置中连续数据区域链的数据结构的图

图45表示本发明实施形态1的声音/视频信息记录再生装置中由MPEG程序流构成的背景声音文件的数据结构

图46表示本发明实施形态5的声音/视频信息记录再生装置中后期录音再生控制单元后期录音再生时在100m秒中实施的视频缓冲储存和声音缓冲储存的处理过程的图

本发明的最佳实施形态

下面参照附图对本发明的实施形态进行说明。

(实施形态1)

图1为表示本发明实施形态1的声音/视频信息记录再生装置的结构的方框图。本实施形态与以往例(图16)的不同之处在于拥有第2传输流分解单元166这一点，和连续数据区域检测单元160、记录控制单元161、后期录音用记录控制单元162、后期录音用再生控制单元163及缓冲储存器164的功能不同这一点。而再生单元121的数据读取速度、输入第1传输流分解单元165中的同一画面数据的最大再生速率、传感器130的读取动作时及写入动作时的最大移动时间，与以往的例子都相同。

图2表示在图1的功能框中，与后期录音模式记录时相关的功能框；图3表示在图1的功能框中，与后期录音记录时相关的功能框；图4表示在图1的功能框中，与后期录音再生时相关的功能框。

图5为表示本发明的实施形态1的声音/视频信息记录装置中视频及声音的记录形态的图。与表示以往例子的图17的不同之处只有连续数据区域的长度(2.6秒以上)不同这一点。其他方面(如，VOBU由V_TSP、A_TSP及D_TSP构成等)都相同。

图6为表示在本发明的实施形态1中，后期录音记录时记录的背景声音文件的记录形态的图。背景声音文件由编码背景声音的A_TSP构成。具体为，在AAC(Advanced Audio Coding，高级声音编码)压缩编码的声音数据中附加传输数据包标题，构成传输流。并且，该传输流被连续地记录在光盘131上确保有多个96kbyte固定长的连续数据区域内。各个96kbyte物理上也可以相互分离。虽然图6中省略了，但PAT、PMT为传输流所必须的数据组，包含在背景声音文件中。

图7为表示本发明的实施形态1中后期录音记录时的动作模式的示意图。光盘131上记录完毕的动态图像数据通过传感器130以速度Vr存入到动态图像缓冲储存器内，接着动态图像数据以速度Vout传送到传输流分解单元165中，通过视频解压缩单元111及第1声音解压缩单元113将视频及声音再生。另一方面，声音信号由声音压缩单元103转换为声音数据，接着通过传输流合成单元104以速度Ain存入到声音缓冲储存器中。该声音数据以速度Aw通过传感器130写入光盘131中。动态图像数据的读取和声音数据的写入通过将1个传感器130按时分割交互替换来实现。这其中，设定Vr＞Vout、Aw＞Ain。

图8为表示本发明实施形态1中后期录音记录时的动态图像缓冲储存器及声音缓冲储存器内的代码量的变化的示意图。在图8中，T_seek表示传感器130的最大移动时间、t_Awrite表示背景声音用声音文件的写入时间、t_V-CDA表示动态图像用连续数据区域的读出时间。B_A-th是为写入声音数据开始查找动作时的临界值。在声音缓冲储存器内的代码量达到B_A-th以上的情况下，传感器130开始从动态图像数据上向背景声音数据上的移动。在本实施形态1中，B_A-th为96kbyte。

图9为表示本发明实施形态1中后期录音再生时的动作模式的图。光盘131上记录完毕的动态图像数据通过传感器130以速度Vr存入到动态图像缓冲储存器内，接着动态图像数据以速度Vout传送到传输流分解单元165中，通过视频解压缩单元111及第1声音解压缩单元113将视频及声音再生。另一方面，在光盘131上记录完毕的背景声音数据通过传感器130以速度Ar存入到声音缓冲储存器中，接着该背景声音数据以速度Aout通过传输流分解单元166由第2声音解压缩单元114使背景声音再生。这其中，设定Vr＞Vout、Ar＞Aout。

图10为表示本发明实施形态1中后期录音再生时的动态图像缓冲储存器及声音缓冲储存器内的代码量的变化的示意图。B_V表示动态图像缓冲储存器大小、B_A表示声音缓冲储存器大小。

图37为连续数据区域的概念图。最小的动态图像用连续数据区域包括读取最小的2倍声音用连续数据区域所需时间和与3次最大查找时间的合计时间相当的视频数据。而最小的声音用连续数据区域包括读取最小的视频用连续数据区域所需时间和与3次最大查找时间的合计时间相当的声音数据。

图44为表示1个文件和连续数据区域的关系的示意图。1个文件由多个连续数据区域构成。开头的连续数据区域和末尾的连续数据区域的数据大小可以是任意大小。开头及末尾以外的连续数据区域的数据大小应在最小数据大小之上。此构成被称为连续数据区域链。在图44中，表示了1个文件由1个连续数据区域链构成的情况，也可以由多个连续数据区域链构成。但是，在存在多个连续数据区域链的情况下，在相邻的2个连续数据链的边界不能保证无缝的连续再生。开头的连续数据区域的大小在最小数据大小以下的情况为例如删除了记录的动态图像文件的前方部分的情况。末尾的连续数据区域的大小在大最小数据大小以下的情况为例如在动态图像文件的记录时在某个连续数据区域的途中停止记录动作的情况，或删除了记录的动态图像文件的后方部分的情况。

后期录音模式记录时利用图2的功能框。记录控制单元161对记录单元120、连续数据区域检测单元160及逻辑块管理单元144进行控制，实施后期录音模式记录。此时，记录控制单元161检测出连续数据区域检测单元160上物理上连续的空区域。

具体为，通过记录开始操作，传输流合成单元104将压缩的视频信号和声音信号分别分割为18字节单位的传输数据包V_TSP及A_TSP，再加上后期录音用虚拟数据包产生单元105生成的D_TSP，按照用这3种传输数据包构成1个VOBU的顺序排列生成传输流，之后通过缓冲储存器164传给记录单元120。

记录单元120从记录控制单元161指示的逻辑块编号的位置开始记录VOBU。此时，在记录单元120中，1个VOBU被分割成32k字节单位，且在32k字节单位上附加有错误更正符号，并记录在光盘的1个逻辑块上。并且，在在1个逻辑块中间终止1个VOBU的记录的情况下，连续地进行下一个VOBU的记录而不留间隙。

连续数据区域检测单元160探索在逻辑块管理单元144内管理的逻辑块的使用状况，并检测出用最大记录再生速率换算连续2.6秒的区域的未使用的逻辑块。每发生逻辑块单位的写入时便将该逻辑块区域的逻辑块编号通知给记录单元120，而对于逻辑块使用完毕时，则通知逻辑块管理单元144。

逻辑块管理单元144根据必要启动再生单元121，并读取光盘131上记录的UDF文件系统的空位标志，掌握逻辑块的使用情况。本实施形态通过在电源投入使用时读取所有的空位标志，在后期录音模式记录时、后期录音记录时、后期录音再生时不必在途中读取空位标志。

在进行后期录音记录(记录背景声音)的情况下，利用图1的功能框内的图3所示的功能框。后期录音用记录控制单元162使记录在光盘131上的MPEG传输流经由传感器130、再生单元121、传输流分解单元165，再生视频及声音。此时缓冲储存器164被分割为如图7所示动态图像缓冲储存器和声音缓冲储存器使用，为了存储新记录的动态图像及声音的临时数据，使用缓冲储存器164。后期录音用记录控制单元162通过使声音信号输入单元102的声音经由声音压缩单元103将其压缩为AAC压缩符号，同时通过使其经由传输流合成单元104向MPEG传输流变换。

被变换的MPEG传输流通过缓冲储存器164(仅声音缓冲器)、记录单元120及传感器130作为背景声音文件记录在相变光盘131上。

背景声音文件如图6所示配置在固定长的物理连续区域(与动态图像文件在固定长这一点及数据大小不同)。确保多个该固定长区域，并在该区域内连续配置背景声音的传输流。各个固定长区域物理上可以分离，也可以互相相邻。在物理相邻的情况下，可以将那些区域总括起来称为1个连续数据区域。此时的连续数据区域的数据大小为固定长的整数倍。

后期录音用记录控制单元162在图8的时间(1)中通过传感器130进行视频的再生，所以视频数据以最低Vr-Vout以上的速度存储到动态图像缓冲储存器内。另一方面，背景声音的传输流以Ain以下的速度存储在声音缓冲储存器内。如果声音缓冲储存器的存储量超过声音用连续数据区域的数据大小96k字节，后期录音用记录控制单元162为了进行背景声音数据的写出，使传感器130向背景声音数据用的空连续数据区域移动(时间(2))。在该移动期间，因为从动态图像光盘的读取中断，所以动态图像缓冲储存器的数据量以最大速度Vout减少。当传感器130的移动完毕时，如时间(3)所示，通过读取背景声音数据，声音缓冲储存器的代码量以Aw的速度减少。接着，当1个背景声音数据的连续数据区域的写入完毕时，使传感器130返回至动态图像文件的读取中断位置(时间(4))。而且，虽然是最坏的情况，但如果在返回后立即遭遇到动态图像文件的连续数据区域的不连的地方，则使传感器130一直移动到下一个连续数据区域，所以动态图像缓冲储存器上的动态图像数据减少到0(时间(5))。之后，在接下来的连续数据区域内重新进行动态图像数据的读取，动态图像数据以最低Vr-Vout的速度存储在动态图像缓冲储存器内(时间(6))。以后与此相同，使传感器130交互移动实现后期录音记录。

像上述那样，由于动态图像文件的连续数据区域的最小大小为确实地将传感器移动3次的时间以及写入声音数据的时间合计在一起的时间内持续显示动态图像所需的动态图像数据存储到动态图像缓冲储存器内的大小，所以能够不中断地进行动态图像连续实时再生。并且，即使是在同时进行声音的写入时，也能够不遗漏数据进行连续记录。

后期录音再生时利用图4的功能框。后期录音用再生控制单元163使记录在光盘131上的动态图像文件经由传感器130、再生单元121、第1传输流分解单元165、视频解压缩单元111及第1声音解压缩单元113，由此作为视频及主声音再生。同时，后期录音用再生控制单元163使记录在光盘131上的背景声音文件经由传感器130、再生单元121、第2传输流分解单元166、第2声音解压缩单元114，由此作为背景声音再生。此时，缓冲储存器164如图9所示，分割为动态图像缓冲储存器和声音缓冲储存器使用，并为了存储动态图像文件的数据而使用动态图像缓冲储存器，为了存储背景声音文件的数据而使用声音缓冲储存器。

后期录音用再生控制单元163在图10的时间(1)中读取1个声音用连续数据区域(96k字节)的背景声音文件。由此将背景声音数据存储在声音缓冲储存器内。接着，使传感器130开始从背景声音文件向动态图像文件的移动(时间(2))。如果传感器130到达动态图像文件，在时间(3)的开头，开始进行动态图像数据的读取及再生。因此，数据以最低Vr-Vout的速度被存储在动态图像存储器内。同时，在时间(3)的开头，开始进行声音缓冲储存器内的数据的再生。由此，声音缓冲储存器内的数据量以最大Aout的速度减少。之后，在此数据量在达到B_A-th时，动态图像文件上的传感器130开始向声音文件上移动(时间(4))。通过该移动，从光盘131上的动态图像数据的读取中断，所以动态图像缓冲储存器的代码量以最大Vout的速度减少。在该移动完毕时，如时间(5)所示，开始从背景声音文件的数据读取动作，所以声音数据以最低Ar-Aout的速度存储到声音缓冲储存器内。之后，在时间(6)中，后期录音用再生控制单元163使传感器130从背景声音文件向动态图像文件上移动。图10表示移动完毕之后，在时间(7)偶尔遭遇动态图像文件的不连续点(连续数据区域的边界)，产生传感器130的移动的例子。当该移动完毕之后，如时间(8)所示，开始重新进行动态图像数据的读取。以后与此相同，使传感器130交互移动实现后期录音再生。

如果假设后期录音再生时的动态图像用连续数据区域的最低限的读取时间长为t_V-CDA、后期录音再生时的声音用连续数据区域的读取时间长为t_A-CDA，则在图10中有以下关系：

(Vr-Vout)t_V-CDA＝Vout×(3tseek+t_A-CDA)     (式1)

(Ar-Aout)t_A-CDA＝Aout×t_Aout               (式2)

t_Aout＝t_V-CDA+3t_seek                      (式3)

由以上的关系分别如以下所示求得t_V-CDA及t_A-CDA：

t_V-CDA＝(Vout/Vr)×(3t_seek+t_A-CDA)/(1-(Vout/Vr))

                                     ……(式4)

t_A-CDA＝((Aout/Ar)×3t_seek)/(1-(Aout/Ar)-(Vout/Vr))

                                     ……(式5)

并且，分别如以下所示求得视频用连续数据区域的最小限的数据大小S_V-CDA、背景声音用连续数据区域的最低限的数据大小S_A-CDA：

S_V-CDA＝Vr×t_V-CDA                   (式6)

S_A-CDA＝Ar×t_A-CDA                   (式7)

在本实施形态的情况下，通过使t_seek＝0.5s、Vout＝10Mbps、Vr＝24Mbps、Aout＝288kbps、Ar＝24Mbps进行计算，从而得出t_V-CDA＝1.1s、S_V-CDA＝3.3Mbyte、t_A-CDA＝0.03s、S_A-CDA＝90kbyte。S_A-CDA为取逻辑块的整数倍，为96kbyte。

如以上所述，由于动态图像文件的连续数据区域为确实地将在传感器130的移动时间的3倍及读取声音数据的时间合计在一起的时间(1.53s)内持续显示动态图像的动态图像数据存储在动态图像缓冲储存器内的大小(3.3Mbyte)，所以能够不中断视频和主声音连续实时再生。并且，即使是在同时进行背景声音文件的再生中，也能够不遗漏数据连续进行实时再生。

并且，还具有对1个视频制作多个背景声音文件，可取舍选择视频文件和背景声音文件的组合，能够比较视频和多个背景声音的优点。

另外，虽然使背景声音文件用的连续数据区域的数据大小为固定长，但也可以是固定值大小以上的可变长。

只是在这种情况下，有必要将动态图像文件的连续数据区域的最小数据大小解压缩到可预计传感器130的1次最大移动时间的长度。即，动态图像文件的连续数据区域的数据大小可以设定为预计传感器130移动4次的时间及读取声音数据的时间的长度。但是在这种情况下，传感器一次读出的里声音文件的数据量为固定值。

此时为从(式25)到(式27)的关系。

(Vr-Vout)t_V-CDA＝Vout×(4t_seek+t_A-CDA)  (式25)

(Ar-Aout)t_A-CDA＝Aout×t_Aout             (式26)

t_Aout＝t_V-CDA+4t_seek                    (式27)

动态图像用连续数据区域的最小数据大小及声音连续数据数据区域的最小数据大小同样由(式25)到(式27)求得。

另外，虽然在本实施形态中动态图像文件的连续数据区域的数据大小都在规定的大小以上，但动态图像文件的开头及末尾的连续数据区域的数据大小并不局限于此。之所以这么说，是因为例如在删除动态图像文件的开头部分的情况下，会出现剩余的连续数据区域的数据大小比规定的数据大小要变小的情况。即使是在规定的连续数据区域的数据大小较短的情况下，通过多进行再生开始时的事前数据读取动作，不会对一个动态图像文件的连续再生造成影响。具体如图44所示。

虽然在图10中表示的是动态图像文件和背景声音文件的读取完全同步的情况，但是没有完全同步的必要。如果确保动态图像文件及背景声音文件的连续数据区域比图10的长，则成为图24所示的动作。与图10的不同之处在于，动态图像文件及背景声音文件的连续数据区域比图10的情况要长，所以区间(3)中有更长。在这种情况下，上述(式3)被以下的(式8)所替换。

t_Aout≥t_V-CDA+3t_seek                 (式8)

而且在这种情况下，例如通过使背景声音文件的连续数据区域的数据大小控制在96k字节到192k字节的范围内，背景声音文件的编集能够变得非常容易(图25显示背景声音文件的数据构造。并且，图45显示编集的具体例子)。这意味着，在结合2个背景声音文件的特定部分(图45的部分A和部分B)作为一个背景声音文件进行编集之际，如在结合部分的2个连续数据区域(图45的连续数据区域#J和#M)的合计数据大小在96k字节以下的情况下，通过单纯地结合2个连续数据区域，或结合加有相邻的连续数据区域的3个连续数据区域(图45的连续数据区域#I、#J及#M)，能够生成最小在96k字节以下，最大在192k字节以下的连续数据区域。由此，通过改写结合部分的数据，能够非常容易地达成背景声音文件的结合。这是因为如果是以96k字节作为固定长的情况下，有必要将结合部分以后的所有的数据移动到连续数据区域内的前方。但是，这种情况下后期录音记录及后期录音再生时传感器一次读取的数据为一个连续数据区域。并且，有必要将式(1)中的t_A-CDA替换为192k字节(即上限值)的声音数据的读取时间。图33为表示实施后期录音再生时的数据读取顺序及读取数据量的示例图。动态图像数据的一次读取量最好是在动态图像用的最小连续记录长以上。而声音数据的一次读取量最好是在声音用的最小连续记录长以上且不到最小连续记录长的2倍的范围之间。图32为表示此时的后期录音再生实施时的脉冲波形图。图32的t_A-CDA与图10的t_A-CDA相比，在读取2倍的声音数据这一点不同。

如果使背景声音文件的数据读出单位以最小连续数据区域的数据大小的1至2倍为前提，使其为例如从92k字节到192k字节，则通过用(式9)替换(式2)，求得最小连续数据区域的数据大小。

(Ar-Aout)t_A-CDA＝2Aout×t_Aout            (式9)

并且，由(式1)、(式9)、(式3)的关系，导出下式。

t_A-CDA＝(2×Aout×Vr)×3t_seek/((Vr-Vout)×(Ar-Aout)-2×Aout×Vout)                                (式10)

这里，由于Vr＝Ar，所以上式(式10)简化为下式。

t_A-CDA＝3×Aout/(Vr-Vout-Aout-Aout×Vout/Vr)

                                         (式11)

并且，此时由于背景声音文件的连续数据区域的数据大小在规定的范围内变动，所以为使后期录音再生控制单元能够容易检测出背景声音用连续数据区域的边界，只使用UDF的长分配描述符构成声音文件，在执行使用字段内也可以附加表示声音用连续数据区域的开头的1bit的信息。因为此时不使用短分配描述符，没有执行使用字段，所以无法配置表示边界的信息。并且，作为其他的方法，在文件项目的解压缩属性(Extended Attributes)字段中，也可以在每个分配描述符中设置表示是否为连续数据区域的开头的信息。这里，在某个分配描述符不是连续数据区域的开头的情况下，略过不良逻辑块的结果会出现使用2个分配描述符的情况。

并且，作为其他的方法，在后期录音记录时，也可以将背景声音用连续数据区域的数据大小记录在与背景声音文件不同的其他文件中。此时，将各个背景声音用连续数据区域的数据大小记录在与每个背景声音文件不相同的其他文件中。之后，在后期录音再生时，参照由其他途径记录的背景声音用连续数据区域的数据大小信息，只读取一次该数据大小。当然，也可以将各自的背景声音用连续数据区域的数据大小作为背景声音文件的一部分进行记录。

虽然在本实施形态1中没有特别接触背景声音用连续数据区域的边界和包含在A_TSP内的各个声音帧的边界，但也可以使其保持一致。

虽然在本实施形态1中考虑了动态图像文件一侧的连续数据区域间的1次查找动作，但也可以考虑相反，背景声音文件一侧的连续数据区域拥有规定值以上的数据大小，动态图像文件一侧的连续数据区域拥有规定范围的数据大小，背景声音一侧的连续数据区域间的1次查找动作。

虽然本实施形态1中连续数据区域的数据大小以峰值速率Vr及Ar为标准进行计算，但例如在动态图像流的实际比特速率在峰值速率以下变动的情况下，即使连续数据区域的数据大小不满足式(6)，只要包含与峰值速度时的再生时间相等的再生时间的动态图像数据就可以。这与声音流的情况完全相同。如即使是在以Vout＝10Mbps、S_V-CDA＝3.3byte为前提开始记录的情况下，如果传输流合成单元104生成的实际比特速率偶尔在5Mbps以下的话，视频用的连续数据区域的数据大小也可以是1.65Mbyte。因为是读取相同再生时间的数据。并且，即使不是相同的再生时间，相同的传送时间间隔(MPEG2的情况下为传输数据包到达T-STD时的时刻)也可以。

虽然本实施形态1考虑的是后期录音记录及后期录音再生的情况，但在同时实施动态图像文件和例如1Mbps以下的低比特速率的动态图像记录的情况下，也可以导入与后期录音记录时类似的连续数据区域长的考虑方法。这种情况假定，一边记录由可携式摄像机进行740×480像素的MPEG2压缩的动态图像文件，一边记录160×120像素的MPEG4压缩的动态图像文件。但是，这种情况下740×480像素的动态图像文件不是作为再生而是作为记录对象。

另外，虽然在本实施形态中考虑的是同时记录和同时再生一个动态图像文件和一个背景声音文件的情况，但也可以适用于类似一边再生一个动态图像文件，一边记录多个背景声音文件，或是一边再生一个动态图像文件一边再生多个背景声音文件的情况。例如，在假定N个背景声音文件的情况下，与一个背景声音文件的情况相比，最好设定为动态图像文件的连续记录区域的数据大小的最小值的N倍。最好也设定为背景声音文件的连续数据区域的最大值及最小值的N倍。

虽然在本实施形态1中使传感器在后期录音再生时，如果声音缓冲储存器内的数据在图10的临界值B_A-th以下向背景声音文件一侧移动，但也可以用预先设定的时间周期和时间表读取背景声音文件的一个连续数据区域。在不读取背景声音文件期间，根据必要适当实施动态图像文件的读取。

虽然在本实施形态1中使传感器在后期录音再生时，如果声音缓冲储存器内的数据在图10的临界值B_A-th以下向背景声音文件一侧移动，但也可以用预先设定的时间周期和时间表实施动态图像文件及背景声音文件的读取。

虽然在本实施形态1中使在传感器后期录音记录时，如果声音缓冲储存器内的数据在图8的临界值B_A-th以下向背景声音文件一侧移动，但也可以用预先设定的时间周期和时间表实施向背景声音文件的一个连续数据区域的读取。在不读取背景声音文件期间，根据必要适当实施动态图像文件的读取。

虽然在本实施形态1中使传感器在后期录音记录时，如果声音缓冲储存器内的数据在图8的临界值B_A-th以下向背景声音文件一侧移动，但也可以用预先设定的时间周期和时间表实施背景声音文件的一个连续数据区域的读取以及由动态图像文件的数据读取。

虽然在本实施形态1中考虑的是背景声音文件的连续数据区域的数据大小为规定值以上的可变长的情况，且在本实施形态1中没有特别触及连续数据区域的动态图像文件和背景声音文件相互的物理配置，但在后期录音模式记录时，可以通过如图26所示结构，使在后来实施的后期录音记录时能够相互配置背景声音文件的数据和动态图像文件的数据，或者预先留出声音数据用的数据区域记录视频文件。之后，在后期录音记录时，将背景声音文件的数据写入预先确保的区域内。由此，能够明显减少后期录音再生时的查找量。因为如果按照物理配置的顺序读出图26所示背景声音用连续数据区域和动态图像文件用连续数据区域，交互读出动态图像数据和背景声音数据之际，就不再需要必要的2次查找动作。由此用与再生动态图像文件所需的查找动作同样的处理就能够进行后期录音的再生。在后期录音模式记录时，如果预先空出声音数据的数据区域，可以将空出区域作为一个独立的文件构成。并且，也可以将与动态图像内的声音数据相同数据记录在该空出区域内。之后，只改写想要替换声音的场景，剩余部分能够容易利用与动态图像文件内的声音数据相同的数据。另外，虽然图26中背景声音文件由MPEG传输流构成，但也可以由MPEG程序传输流构成。并且，也可以由如AAC、AC3、或LPCM等基本流构成。图45为表示文件及背景声音文件由MPEG程序流构成的情况的示意图。背景声音文件的一个连续数据区域主要由3个ECC信息组(合计96kByte)构成。

此时，可以将与动态图像用连续数据区域和背景声音用连续数据区域相关的记录地址和记录大小记录在其他光盘上。

并且，此时在动态图像用连续数据区域和背景声音用连续数据区域中相邻记录有几乎相同的再生时间的视频帧或声音帧。

并且，如图31所示，背景声音文件的连续数据区域的物理配置可以配置在紧挨动态图像文件的VOBU的前面。此时，在一个背景声音用连续数据区域中存储有与在物理上紧挨其后配置的VOBU相对应的背景声音数据。由此，在后期录音再生时能够容易进行VOBU单位的随机存取。此时，在后期录音再生时，为了无缝读取数据所必需的动态图像文件的连续读出量，与实施形态1的情况相比较是其1/3。另外，在由于光驱的传送速率和最大查找时间的关系，后期录音记录无法实时向背景声音文件的连续数据区域实施的情况下，也可以脱机记录背景声音用的数据。在这种情况下，虽然不能一边确认再生数据，一边进行配音，但在不写入BGM(背景音乐)等情况下可以使用。在图31中背景声音文件的连续数据区域由3个ECC信息组构成，这是因为1秒的声音数据用2个(64k字节)、出现缺陷信息组时的预备ECC信息组(32k字节)构成。除此之外，还可以附加在动态图像文件再生时应重叠的静止视频数据等应该记录的第4个ECC块。

图31的背景声音数据也可以拥有与动态图像数据内的背景声音用虚数据相同的显示时标的声音帧。由此，可以容易将背景声音文件的声音数据复制到动态图像文件内。并且，数据组内的内部数据构造也可以采用与动态图像文件内的背景声音数据类似的数据构造。这与动态图像文件不采用传输流形成而采用程序流形式记录的情况相同。

在动态图像文件内的连续数据区域链后期录音再生时视频缓冲储存器或声音缓冲储存器内的应再生的数据将要下溢的情况下，可以采取优先解除声音缓冲储存器的下溢的控制。

在图26、图31中只有背景声音文件和动态图像文件相互交互，同样第3个其他的文件也可以与背景声音文件进行交互。

图26说明了在记录动态图像文件记录之后预先记录背景声音文件，之后后期录音记录背景声音的例子，但也可以预先记录使背景声音用连续数据区域成为动态图像文件的一部分的虚数据。在后期录音时记录声音数据之际，也可以生成包含有背景声音文件的文件。

在本实施形态中，由于交互存取动态图像文件和声音文件的2个文件，所以如果在一个最小的连续数据区域内不允许包含有限个数的动态图像数据以外的数据的ECC块的话，就无法保证连续再生。这其中的有限个数是指如将每个连续数据区域的最小长度限制在2个以下。

并且，由于连续数据区域的最小长度依存于动态图像比特速率Vo，所以有将包含连续数据区域内的动态图像以外的数据的ECC块的比例作为K，且规定K＝5％的方法。此时，包含动态图像以外的数据的连续数据区域的大小SCDA变为

SCDA＝Vo×Tj/((1-K)-Vo/Vr)              (式29)

本实施形态选择之后能够后期录音记录动态图像文件这样的连续数据区域的最小数据大小

这样一种后期录音模式记录，能够，选择将进行的。另一方面，对于与在通常的模式下进行记录的动态图像文件，不以(式6)的最小连续数据大小进行记录的情况下，对该动态图像文件无法进行后期录音记录。假如用户想要对这样的文件实施后期录音处理的话，可以对用户显示[后期录音×]的文字。

(实施形态2)

下面就本发明的实施形态2进行说明。实施形态2与实施形态1的不同在于背景声音的编码方式不同。与实施形态1使用AAC压缩符号不同，实施形态2使用线性PCM(Linear PCM或Pulse CodeModulation，脉码调制)符号。

图11为表示本发明实施形态2的声音/视频信息记录再生装置的功能结构的方框图。图11与图1的不同之处在于：包括A/D变换单元174和第2传输流合成单元175、没有传输流合成单元104而有第1传输流合成单元173(但功能相同)、没有第2声音延长单元114而有D/A变换器176，以及具有功能不同的后期录音用记录控制单元170、后期录音用再生控制单元171和缓冲储存器172这些点。另外，再生单元121的数据读出速度、传输流分解单元165、166的最大记录再生速率、传感器130读入动作或写入动作时的最大移动时间与以往例不同。

图12为表示在图11中后期录音记录时的关系的方框图，图13为表示在图11中后期录音再生时的关系的方框图。

像上述那样，由于使用线性PCM符号作为背景声音的编码形式，因此在后期录音再生时能够用电路规模小的D/A变换器176取代电路规模大的第2声音解压缩单元114。

但是，由于背景声音的再生速度比AAC压缩时高，因此必须根据式(7)调整相应的连续数据区域的长度。另外，虽然使背景声音文件用的连续数据区域的数据大小为固定长度，但也可以是固定大小以上的可变长度。但是，在这种情况下，必须估计传感器130最大移动1次的时间将动态图像文件的连续数据区域的最小数据大小做相应的延长。

另外，背景声音文件的连续数据区域的数据大小也可以是预定的范围(例如96k比特～192k比特)。这是因为背景声音文件之间的整合等编辑处理会变得非常容易的缘故。

(实施形态3)

下面就本发明的实施形态3进行说明。实施形态3与实施形态1的不同在于，后期录音再生时动态图像文件与背景声音文件的再生不同时进行，在动态图像文件中预先将背景声音文件混合(MIX)成1个传输流，再生时并列解码主声音数据流和背景声音数据流。

图14为表示本发明的实施形态3的声音/视频信息记录再生装置的功能结构的方框图。图14与图1的不同点在于，只有1个传输流分解单元115，具有后期录音用MIX控制单元180。并且，后期录音用再生控制单元153具有与以往的后期录音用再生控制单元153相同的功能，这一点也不一样。另外，再生单元121的数据读出速度、传输流分解单元115的最大记录再生速度、传感器130读入动作和写入动作时的最大移动时间与以上例相同。

图15为表示图14中后期录音再生时的关系的方框图。

视频记录时、后期录音记录时进行与实施形态1相同的处理。然后通过用背景声音文件内的A_TSP置换动态图像文件中的D_TSP，改写到主声音数据流与背景声音数据流被MIX后的传输流中。

后期录音再生时，使MIX后的动态图像文件经由图15的再生单元121、缓冲储存器164和传输流分解单元115。然后，再使主声音数据流经由第1声音解压缩单元113和声音输出单元112，使背景声音数据流经由第2声音解压缩单元114和声音输出单元112，与视频一起再生两种声音。

像上述那样，作成由主声音和背景声音MIX后的传输流构成的动态图像文件，可以不必管理2个文件，只管理1个文件就可以了。

并且，通过采用动态图像文件与背景声音文件的数据结构相同的传输流的形式，只要交换动态图像文件中的D_TSP和背景声音文件内的A_TSP就可以，容易作成MIX后的动态图像文件。并且，通过采用动态图像文件与背景声音文件的数据结构相同的传输流的形式，在将用背景声音文件内的A_TSP置换了动态图像文件内的D_TSP的传输流输出给数据接口时也容易置换。而且，通过使背景声音文件的数据结构为传输流之类的MPEG系统流，即使声音压缩符号(例如AAC符号)不同，也能够作为统一的声音文件处理，因此背景声音文件的处理变得容易。

另外，背景声音文件的连续数据区域的数据大小也可以是预定的范围(例如96k比特～192k比特)。这是因为背景声音文件之间的整合等编辑处理会变得非常容易的缘故。

另外，虽然只是使背景声音文件用的连续数据区域的数据大小为固定长度，但动态图像文件侧的连续数据区域的数据大小也可以是别的固定值。但是，此时必须估计传感器130最大移动1次的时间将动态图像文件的连续数据区域的最小数据大小做相应的缩短。即，动态图像文件的连续数据区域的数据大小可以是预计传感器130移动2次的时间和读入声音数据的时间的长度。但是，此时必须使后期录音再生时传感器一次读取的动态图像文件的数据量为一个连续数据区域的量。并且使后期录音再生时传感器读出的背景声音文件的数据量为一个连续数据区域的量。

并且，此时背景声音文件的连续数据区域的数据大小即使不固定也要收敛在最大值与最小值之间。

(实施形态4)

下面就本发明的实施形态4进行说明。实施形态4与实施形态1的不同之处在于，动态图像文件中不包含声音数据，处理只包含静止图像的动态图像文件的后期录音再生。于是，按指定的顺序并以预定的时间间隔切换这样的静止图像，使其为幻灯片式演示，同时再生记录在声音文件中的声音。就这样的情况进行说明。另外，采用与实施形态1相同的声音/视频信息记录再生装置的结构。

图23为表示本发明的实施形态4的声音/视频信息记录再生装置中后期录音再生时的动态图像缓冲储存器和声音缓冲储存器中的代码量的变化的图。下面参照图23进行说明。

后期录音用再生控制单元163在时间(1)的开头开始读入动态图像数据。因此，动态图像缓冲储存器中以Vr的速度存储数据。接着，在时间(2)中，查找声音数据。在读完1幅静止图像数据后，从时间(3)开始显示该静止图像。同时，如果读入声音缓冲储存器内的数据，则开始再生读入的数据。由此，声音缓冲储存器内的数据量以Ar-Aout的最大速度增加。然后，在时间(4)，传感器130从声音数据上移向视频数据。此间，由于同时输出声音，声音缓冲储存器内的符号量以Aout的速度减少。当传感器130移动完了时，开始读入视频数据(时间(5))。当声音缓冲储存器内的数据量达到B_A-th时，动态图像文件上的传感器130开始再次向声音文件移动(时间(6))。通过反复进行以上的过程，在显示周期t_still期间，读入的静止图像数据被传送给第1传输流分解单元165，在由视频解压缩单元111再生视频。并且，在显示周期t_still期间，读入的声音数据也由第1声音解压缩单元113再生。

这其中，如果假设读入1幅静止图像的时间为t_vread，读入记录在固定大小的连续数据区域中的声音数据的时间为t_A-CAD，传感器130最大的移动时间为t_seek的话，则显示周期即视频更新间隔t_still1只要满足下式(式12)就可以：

t_still1≥t_Vread+t_A-CDA+2t_seek                (式12)

像上述这样，能够容易地将声音附加到幻灯片式演示中。

另外，虽然在本实施形态4中使静止图像包含在由传输流构成的动态图像文件中，但也可以是JPEG文件。此时，当然需要JPEG解码单元。

并且，虽然在本实施形态4中使静止图像的更新间隔为一定，但如果满足上式(式12)，也可以对每幅图像分别指定。并且，在静止图像的数据大小各不相同的情况下，可以根据其数据大小在满足(式9)的范围内对每幅图像指定更新间隔。

并且，虽然本实施形态4考虑的是在幻灯片式演示静止图像的同时再生声音时的情况，但记录声音时也一样。此时，当然要将声音数据的读入时间与写入时间互换。

另外，背景声音文件的连续数据区域的数据大小也可以是预定的范围(例如96k比特～192k比特)。这是因为背景声音文件之间的整合等编辑处理会变得非常容易的缘故。但是，此时需要将(式12)中的t_A-CDA替换成数据大小的最大值(192k比特)的读入时间。

并且，虽然本实施形态4认为在读入1次声音文件时没有发生查找，但也可以以数次查找为前提。但是，此时需要将静止图像的再生时间与查找相对应作相应延长。

(实施形态5)

下面就本发明的实施形态5与实施形态1的不同进行说明。

第1，动态图像用连续数据区域的最小值不同。最小值为以下两种数据大小的合计值：为了确保传感器2次最大移动时间量的动态图像数据所需要的连续数据区域的数据大小和为了确保读出背景声音的连续数据区域的最小值的2倍量的数据大小期间的动态图像数据所需要的连续数据区域上的数据大小。

第2，背景声音用连续数据区域的最小值不同。该最小值为以下两种数据大小的合计值：为了确保传感器2次最大移动时间量的背景声音数据所需要的连续数据区域的数据大小和为了确保读出视频的连续数据区域的最小值的2倍量的数据大小期间应该再生的动态图像数据所需要的连续数据区域上的数据大小。

第3，有关动态图像数据的1次读出量的最小值和最大值的决定这一点。

第4，有关背景声音用数据的1次读出量或别的最小值和最大值的决定这一点。

图27为表示本实施形态5中后期录音再生时传感器的移动路径的图。在图27中，按读入编号(#之后的编号)的顺序读入动态图像数据或背景声音文件。

图28为表示本实施形态5中背景声音的数据结构的图。在图28中，用A_TSP构成连续数据区域。并且，将连续数据区域上的特定的数据范围作为一个读入范围。

图29为表示本实施形态5的声音/视频信息记录再生装置中后期录音再生时动态图像缓冲储存器和声音缓冲储存器内的代码量的变化的图。

在图29中，首先，后期录音再生控制单元读入与背景声音文件的背景声音用连续数据区域的最小值相对应的声音数据(图29的(1))。接着，将传感器移向动态图像数据(图29的(2))。然后，从视频用连续数据区域中读入最小值的2倍量的动态图像数据(图29的(3))。此后，从声音缓冲储存器内的数据到底开始，如果到达临界值B_A-th以下，则将传感器移向声音文件(图29的(4))，在t_A-CDA期间读出声音数据(图29的(5))，读出背景声音用最小连续数据区域长度的2倍量的数据(图29(6))。接着，移动传感器读入视频(图29的(7))，直至存储了2Bv/3。此后，中断视频数据的读入(图29的(8)～(10))。当视频数据的缓冲储存器的剩余量少至Bv/3时，再次开始读出(图29的(1))。如果视频缓冲储存器内的数据量超过By/3且声音缓冲储存器内的数据剩余量在B_A-th以下，则为了进行声音数据的读出，开始将传感器从动态图像数据上移向声音数据。

图46为表示后期录音再生控制单元在后期录音再生时实施100m秒的视频缓冲储存器和声音缓冲储存器的处理过程的图。

在图46中，首先，每100ms检查缓冲储存器的剩余量(S101)，判断声音缓冲储存器的剩余量是否为临界值B_A-th(S102)，如果在临界值以下或在100ms内会在临界值以下(NO/或即将NO)，则开始读出声音数据(S105)。如果声音缓冲储存器的剩余量在临界值B_A-th以上(S102的此外)，则如果视频缓冲储存器的剩余量在1/3Bv以下，或者在100ms以内将会如此(S103的NO/即将NO)，则开始读出视频数据(S106)。如果视频缓冲储存器剩余量在1/3Bv以上(S103的此外)、2/3By以下(S104的Yes/即将Yes)，则开始读出视频数据(S107)。

图30为表示读出一个连续数据区域的数据大小的示例的图。表示例如从先头开始以最小值读出2次，然后读出最小值的1.5倍的数据大小时的情况(图30(a))。最后1次的数据大小变长是因为假设读出的量为4次固定读出量(S_V-CDA)时，最后的第4次变得比最小值还小的缘故。为了确保固定读出量，需要读出下一个连续数据区域#(m+1)的先头数据(图30(b))。此时，由于发生查找动作，因此后期录音再生时视频被中途切断了。

图34为表示实施后期录音再生时数据的读出顺序和读入数据的量的图。动态图像数据的1次读入量可以是动态图像用最小连续记录长以上且不到最小连续记录长的2倍。并且，声音数据的1次读入量同样可以是声音用最小记录长以上且不到最小记录长的2倍。

图36为连续数据区域的概念图。最小的动态图像用连续数据区域包括读入最小的2倍的声音用连续数据区域所花费的时间与2次最大查找时间的合计时间的量的视频数据。而最小的声音用连续数据区域包括读入最小的2倍的视频用连续数据区域所花费的时间与2次最大查找时间的合计时间的量的声音数据。

图40为表示后期录音再生时能够参照的调度信息的图。

在图29中，动态图像用连续数据区域的最小值(S_V-CDA)和声音用连续数据区域的最小值(S_A-CDA)具有如下关系：

(Vr-Vout)t_V-CDA＝2Vout×(2t_seek+t_A-CDA)  (式13)

(Ar-Aout)t_A-CDA＝2Aout×t_Aout               (式14)

t_Aout＝t_V-CDA+2t_seek                     (式15)

所以t_V-CDA用以下的(式16)表示：

t_V-CDA＝(4t_seek×Aout(Vr+Vout))/((Vr-Vout)(Ar-Aout)-4Aout×Vout)                          (式16)

而且，由于Vr＝Ar，所以

t_V-CDA＝4t_seek×Aout(1+Vr)/(Vr-Vout-Aout-3×Aout/Vr)(式28)

并且，

S_V-CDA＝Vr×t_V-CDA/2                       (式17)

S_A-CDA＝Ar×t_A-CDA/2                       (式18)

这里，使视频用连续数据区域的数据大小为S_V-CDA以上的任意值。并且，使背景声音用连续数据区域的数据大小为S_A-CDA以上的任意值。

后期录音再生时，交互地读出背景声音文件和动态图像文件。此时1次读出量的最小值为，如果是背景声音文件则最小为S_A-CDA，最大为其2倍；如果是动态图像文件，则最小为S_V-CDA，最大为其2倍。

通过采用以上的结构，可以使用来实现后期录音记录和后期录音再生的连续数据区域的数据大小的最小值(S_V-CDA)约为实施形态1的2/3。由此，即使在例如由SMLL等播放表决定顺序的情况下也能够减小从IN点到OUT点的时间间隔。

另外，虽然本实施形态5考虑的是动态图像文件的连续数据区域的数据大小为预定大小以上的情况，但动态图像文件的先头和末尾的连续数据区域的数据大小并不局限于此。这是因为在例如删除动态图像文件的先头部分的情况下，剩下的连续数据区域的数据大小存在比预定的数据大小还小的情况。即使在预定的连续数据区域的数据大小短的情况下，通过在再生开始之前多读入数据，对一个动态图像文件的连续再生没有影响。

另外，虽然本实施形态5将数据的读出方法的例子表示在图30中，但也可以是尽量当场使视频缓冲储存器的代码量满，在声音数据即将不足之前优先读入声音数据这样的读出方法。但是，即使在这样的情况下，对于声音数据也能实施与图30相同的读出方法。

(实施形态6)

本发明的实施形态6与实施形态1的不同之处在于，想定进行2次查找动作。

并且，本发明实施形态6与实施形态5的不同之处在于，动态图像数据和声音数据的连续数据区域的数据大小为最小数据大小的整数倍。而数据读出量和最小数据大小相等。

图35表示动态图像数据和声音数据的读出顺序和读出数据的大小。动态图像数据的读出数据量总为预定值(动态图像用连续数据区域的最小长度)。声音数据的读出数据量也总为预定值(声音用连续数据区域的长度)。

图38表示动态图像数据和声音数据的读出时机。

并且，以下的(式19)到(式24)为本实施形态涉及的关系式。

(Vr-Vout)t_V-CDA＝Vout×(2t_seek+t_A-CDA)  (式19)

(Ar-Aout)t_A-CDA＝Aout×t_Aout          (式20)

t_Aout＝t_V-CDA+2t_seek                 (式21)

S_V-CDA＝Vr×t_V-CDA                    (式22)

S_A-CDA＝Ar×t_A-CDA                    (式23)

t_A-CDA＝(2t_seek×Aout)/(Vr-Vout-Aout) (式24)

通过采用以上的结构，能够实施后期录音记录/再生。本实施形态的特征是动态图像文件的连续数据区域的数据大小比实施形态1或5小就可以。取而代之的是在记录了动态图像文件和声音文件之后，由于编辑删除了动态图像文件的中间部分，后期录音再生时视频容易定格，并且漏掉声音数据。

(实施形态7)

本发明实施形态7与实施形态1的不同之处在于，声音/视频信息记录再生装置的后期录音再生结果用IEEE1394接口路径输出。

图40为表示本实施形态的声音/视频信息记录再生装置功能结构的方框图。在图40中，后期录音再生时，后期录音用再生控制单元153通过传感器130和再生单元121读出动态图像文件和背景声音数据，使用缓冲储存器164将动态图像文件的背景声音数据包(D_TSP)与背景声音文件的声音数据包(A_TSP)交换。交换后的动态图像数据流传送给传输流分解单元115，在再生的同时传送给输出时间图生成单元190和1394接口输出单元191，在外部设备一侧再生。

图41为表示动态图像文件的D_TSP的数据结构的图。在图41中，1声音帧包含在1个PES数据包中，该PES数据包包含在固定数(例如3个)传输数据包中。如果1声音帧是可变的数据大小的话，通过在第1个以外的传输数据包标题中设置填充区域，使所有的声音帧能够用固定数的传输数据包构成。同时，可以声音压缩1声音帧的数据大小，使固定数的传输数据包不溢出。并且，使D_TSP中不包含PCR(程序参考时钟)，例如使D_TSP包含PCR。使构成1帧的传输数据包内的第1个传输数据包内的传输数据包标题(图41的TS-H)和PES标题(图41的PES-H)在所有的D_TSP内为固定数据大小。并且，使PES标题务必包含PTS(显示时标)。并且，在各声音帧中，第2个以后的传输数据包标题的数据大小可以不同。

并且，动态图像文件中包含的主声音数据A_TSP也可以与图41的D_TSP同样构成。

图42为表示背景声音文件的A_TSP的数据结构的图。图42与图41的不同在于，构成1帧的传输数据包内的第1个传输数据包内的传输数据包标题中包含PCR。PCR根据MPEG规格以0.1秒以下的频度包含。在不包含PCR的情况下，代之以包含传输专用数据。并且，构成1帧的传输数据包内的第2个以后的传输数据包标题的长度可以与图41的对应位置(例如对应的第22之间、第3个之间这样的意思)的传输数据包不同。并且，每个声音帧中第2个以后的传输数据包标题的数据大小可以不同。

而第1个传输数据包标题的数据大小和PES标题的数据大小分别与D_TSP的数据大小相同(分别为12比特、16比特)。并且，这两个标题内的数据结构除包含PCR这一点以外也相同。并且，使构成1声音帧的传输数据包的数量也与D_TSP时相同。

图43为表示用构成背景声音文件的A_TSP替换D_TSP的部分区域的方法的图。在图43中，对于构成1帧的第1个传输数据包，将A_TSP的有效负载上写到D_TSP的有效负载中。对于第2个以后的传输数据包，用A_TSP的传输数据包标题内的自适应字段控制字段以外的部分和有效负载部分置换D_TSP的对应的相同比特位置的部分。此时，即使例如D_TSP的第2个传输数据包的传输数据包标题的长度与A_TSP的标题长度不同，也可以将A_TSP的传输数据包标题内的自适应字段控制字段以外的部分上写到D_TSP的对应的相同比特位置的部分上。并且，同时将A_TSP的有效负载部分上写到D_TSP的对应的相同比特位置的部分上。

后期录音再生时，图40的后期录音用再生控制单元153交互动态图像文件和背景声音文件，如图44所示那样用背景声音文件的A_TSP替换动态图像文件的D_TSP。替换后的动态图像数据流传送给传输流分解单元115和输出时间图生成单元190，最后分别再生或输出给IEEE1394接口。通过IEEE1394接口连接AV设备(例如数字电视机或机顶盒)同时解码处理视频、主声音和背景声音，实施后期录音再生。

像上述这样，如果采用本实施形态7，后期录音再生时，包含主声音和背景声音的动态图像数据流能够容易地实施向IEEE1394接口输出。并且，在合成动态图像文件和背景声音文件时，由于不需实施MPEG系统编码、时标(PCR、PTS、DTS)、付与连续性计数、为了遵循T-STD的缓冲模拟等处理，因此能够非常容易地实施动态图像文件和背景声音文件的合成。

另外，虽然在本实施形态7中使用缓冲储存器用背景声音文件的A_TSP替换动态图像文件中包含的D_TSP，但也可以用背景声音文件的A_TSP替换动态图像文件所包含的主声音的A_TSP。

另外，虽然在本实施形态7中使用缓冲储存器用背景声音文件的A_TSP替换动态图像文件中包含的D_TSP，但也可以暂时解码动态图像文件中包含的主声音A_TSP和背景声音A_TSP，算取加法平均值，然后与图42的A_TSP一样进行压缩处理，将该数据与动态图像文件的A_TSP交换。由此，即使在IEEE1394数据流的接收则不能同时进行主声音和背景声音的解码处理，也能够进行后期录音再生。

另外，虽然在各实施形态中记录媒体为相变光盘，但并不局限于此，可以是例如DVD-RAM、MO、DVD-R、DVD-RW、DVD+RW、CD-R、CD-RW等光盘或硬盘等盘形记录媒体的任何一种。并且，也可以是闪存等半导体储存器。

同样，虽然在各实施形态中将读写头作为传感器，但在MO的情况下为传感器和磁头，在硬盘的情况下为磁头。

并且，在各实施形态中，传输流可以是以使用了MPEG的数字广播规格为标准的形式。例如可以是以日本BS数字广播规格为标准的传输流、以美国的ATSC规格为标准的传输流以及以欧洲的DVB规格为标准的传输流。

并且，虽然在各实施形态中动态图像文件和声音文件是由传输流构成的，但也可以是包含程序流或PES流等其他多媒体信息的比特流。

并且，虽然在各实施形态中考虑的是在后期录音再生时只读入声音文件的情况，但也可以读入声音文件和静止画面文件。此时，尽量使声音文件和静止画面文件集合起来记录，在查找动作之后，立即在物理上交互地记录每个声音文件的一部分和必要的静止画面文件的一部分，使之能够一起读出。并且，除静止画面文件之外，也可以是文本文件或图形图像文件。

并且，虽然在各实施形态中使逻辑块为32kbyte、扇区为2kbyte，但只要是逻辑块的大小为扇区大小的整数倍，也可以是例如逻辑块为16kbyte，扇区为2kbyte。并且，逻辑块、扇区也可以同时为2kbyte。

并且，虽然在上述各实施形态中视频压缩符号和声音压缩符号分别为MPEG2视频压缩符号和AAC压缩符号，但也可以是MPEG1视频压缩符号或MPEG4视频压缩符号等，或者为MPEG-Audio压缩符号、Dolby AC3压缩符号等，或者为Twin-VQ压缩符号等。

并且，虽然在各实施形态中动态图像文件和背景声音文件记录在相同的光盘上，但也可以记录在不同的记录媒体。例如也可以将动态图像文件记录在光盘上、将背景声音文件记录在闪存卡上、将合成文件记录在光盘上。此时，由于减少了传感器的移动机会，因此后期录音记录或后期录音再生的实现变得显著容易。

并且，虽然在各实施形态中文件用UDF文件系统管理，但也可以用FAT(文件分配表)或其他独自的文件系统管理。

并且，在各实施形态中，除动态图像文件和背景声音文件外，还可以记录使动态图像文件和背景声音文件关联起来的第3文件。该第3文件可以用正在用W3C进行标准化的SMIL(SynchronizedMultimedia Integration Language，同步多媒体集成语言)语言描述动态图像文件和背景声音文件同时再生(并列再生)的时机。由此，从再生时机等观点来看，能够明确描述动态图像文件与背景声音文件的关系。例如，通过指定从视频文件的先头开始经过的时间和从声音文件的先头开始经过的时间，可以指定同时再生开始的地方。并且，通过使用SMIL语言，即使在将动态图像文件、背景声音文件和第3文件移动到个人计算机上的情况下，也能够用个人计算机上的应用软件的SMIL播放器等再生。

并且，在各实施形态中，在对动态图像文件的一部分进行后期录音记录来记录背景声音时，需要将后期录音记录开始的时机的时间信息记录到上述第3文件内，或者别的第4文件中。

并且，虽然在各实施形态中，背景声音文件为将背景声音记录到动态图像中的文件，但记录时机上与动态图像没有直接关系的音乐(BGM等)也可以用与后期录音再生同样的方法。

并且，虽然在各实施形态中传感器的最大移动时间为与读入时或写入时相同的时间，但也可以不同。但是，此时需要选择传感器最大移动时间的合适的或者大的方法，需要求出连续数据区域的数据大小(式6、式7)或视频更新的时间(式9)。

并且，虽然在各实施形态中构成传输流的单位采用188比特的传输数据包，但也可以在紧挨传输数据包之前附加4比特的传送时机信息(例如用27MHz同步脉冲表示的值)，由合计192比特的单位数据包构成。