在编码器中向外部发送提取图像的视频编码器

摘要

本发明的视频编码器的特征在于，包括：帧同步器，其在按照预定的顺序反复选择的多个存储单元中暂时存储从外部提供的视频数据，从按照预定的顺序反复选择的多个存储单元中依次读取视频数据；编码单元，其对帧同步器读取的视频数据进行编码；以及控制单元，其执行将多个存储单元中的一个存储单元切换为不同于多个存储单元的存储单元的存储单元切换处理。

说明书

技术领域

本发明一般涉及实时地对视频数据进行编码的视频编码器，详细涉及具有视频数据的图像提取功能的视频编码器。

背景技术

在硬盘录像机等的设备中，对所输入的模拟NTSC视频信号进行MPEG编码，在硬盘等中记录编码后的视频数据。

具体地说，对于所输入的模拟NTSC视频信号，首先利用NTSC解码器转换为ITU-R656形式，将转换后的视频数据提供给MPEG2编码器。所提供的视频数据经MPEG2编码器内的帧同步器写入到设置在MPEG2编码器外部的帧存储器中。这时在帧存储器中设有多个(例如3个)存储单元(bank)，通过依次指定写入目标的存储单元，在存储有时间最早的数据的存储单元中覆盖写入新的数据。

并且，关于所输入的模拟音频信号，由音频ADC(Analog to DigitalConvert，模数转换器)转换为I2S形式，将转换后的音频数据提供给MPEG2编码器。

由MPEG2编码器从帧存储器中读取写入到帧存储器的多个存储单元中的帧数据中、最早的存储单元的帧数据。所读取的帧数据经MPEG2编码器内的帧同步器传送到MPEG2视频编码单元中，进行编码成为MPEG2视频MP@ML形式。并且音频数据编码成为MPEG1音频层2形式的数据。这样得到的视频流和音频流通过MPEG2编码器内的系统复用器复用为MPEG2PS形式，从8位的专用端口作为复用后的流向MPEG2编码器外部输出。

从MPEG2编码器输出的流经IDE-I/F记录在硬盘中。

如上所述，电视节目或电影等的视频内容分别作为文件存储在硬盘中。在硬盘录像机等的设备中，有时采用尺寸小的所谓缩略图像，以管理这些文件。例如向用户显示与各个视频内容对应的文件一览时，通过与文件对应地显示缩略图像，由此用户能够容易地确定文件内容。

缩略图像是通过如下方式生成的：通过间隔剔除，使例如作为ITU-R656形式的视频数据的有效图像区域的720×480像素的图像数据成为360×240像素。硬盘录像机等所内置的微计算机作成这样的缩略图像，以达到文件信息的管理目的，存储在RAM等的存储器中。

为了作成缩略图像，例如需要从来自NTSC解码器的视频输出数据中提取一张图像，传送给微计算机。此时，需要设置从来自NTSC解码器的视频输出数据中提取一张图像用的专用电路，导致系统的成本增加。

此外，可以考虑通过MPEG2编码器，从帧存储器中提取一张图像，但为此需要新设置专用的功能。此外在帧存储器中设有3个存储单元的情况下，对于3个存储单元依次进行写入/读取动作来进行通常的编码处理的过程中，需要与编码处理不同地从其中的一个存储单元中读取缩略图像作成用的图像。NTSC视频数据是每一帧为33ms，要读取为缩略图像用的存储单元如果在进行向其它的2个存储单元进行写入的66ms期间内不完成读取，则会被覆盖掉。因此，需要优先执行读取缩略图像用的图像的处理，从而要求特殊的控制，并且对编码动作造成影响。

本发明鉴于以上情况，其目的在于提供在不对编码动作带来影响的情况下、能够从视频数据中提取图像数据而传送给微计算机的MPEG编码器。

发明内容

视频编码器的特征在于，包括：帧同步器，其在按照预定的顺序反复选择的多个存储单元中暂时存储从外部提供的视频数据，从按照预定的顺序反复选择的多个存储单元中依次读取视频数据；编码单元，其对帧同步器读取的视频数据进行编码；以及控制单元，其执行将多个存储单元中的一个存储单元切换为不同于多个存储单元的存储单元的存储单元切换处理。

在所述视频编码器中，通过执行将多个存储单元中的一个存储单元切换为不同于多个存储单元的存储单元的存储单元切换处理，能够在不覆盖的情况下、保持所切换的1个存储单元的帧数据。因此，通过之后的数据发送处理传送所保持的图像数据时，按照合适的定时执行数据发送处理，不对编码处理带来影响，并且可以根据需要以小的数据传送单位分多次执行数据发送处理。由此，能够在不对编码动作带来影响的情况下、从视频数据中提取图像数据而向外部传送。

附图说明

图1是表示应用本发明的硬盘录像机的结构的方框图。

图2是表示根据本发明的MPEG2编码器的结构的方框图。

图3是表示根据本发明的缩略图像数据的确保以及发送处理的流程图。

图4是硬盘录像机的状态转换图。

图5是用于说明存储单元切换处理的图。

图6是用于说明存储单元切换处理的图。

图7A和图7B是分别表示编码处理以及缩略图像数据发送处理的执行状态的图。

图8是表示应用本发明的硬盘录像机的另一结构例的方框图。

具体实施方式

以下利用附图详细说明本发明的实施例。

图1是表示应用本发明的硬盘录像机的结构的方框图。并且应用本发明的装置不限于硬盘录像机，例如也可以是DVD录像机，能够普遍应用于对实时地提供的模拟视频信号或数字视频数据进行编码而记录的装置。

图1的硬盘录像机包括：由MPEG2编码器10、SDRAM(SynchronousDynamic Random Memory，同步动态随机存储器)等构成的帧存储器11；微计算机12；RAM 13；ROM 14；NTSC解码器15；音频ADC 16；IDE-I/F17；硬盘驱动器(HDD)18；MPEG2解码器19；视频放大器20；以及音频DAC 21。MPEG2编码器10、微计算机12、RAM13、ROM14、IDE-I/F17以及MPEG2解码器19经作为并行总线的总线22相互连接。

图2是表示根据本发明的MPEG2编码器10的结构的方框图。图2的MPEG2编码器10包括：SDRAM控制器31、帧同步器32、MPEG2视频编码单元33、系统复用器34、主机I/F 35以及CPU 36。主机I/F 35经作为并行总线的总线22(图1)与微计算机12连接。如后所述，在另一种实施方式中，主机I/F 35也可以经串行I/F(串行接口)与微计算机12连接。并且在图2中，省略了与本发明的结构没有直接关系的与音频数据处理相关联的单元。

记录时，首先利用NTSC解码器15将所输入的模拟NTSC视频信号转换为ITU-R656形式，将转换后的视频数据提供给MPEG2编码器10。所供给的视频数据经MPEG2编码器10内的帧同步器32和SDRAM控制器31写入到设置在MPEG2编码器外部的帧存储器11中。这时在帧存储器11中设有多个(例如3个)存储单元，通过依次指定写入目标的存储单元，在存储有时间最早的数据的存储单元中覆盖写入新数据。

并且关于所输入的模拟音频信号，利用音频ADC 16转换为I2S形式，将转换后的音频数据提供给MPEG2编码器10。

通过MPEG2编码器10，从帧存储器11中读取写入到帧存储器11的多个存储单元中的帧数据中、最早的存储单元的帧数据。所读取的帧数据经MPEG2编码器10内的SDRAM控制器31以及帧同步器32传送给MPEG2视频编码单元33，进行编码成为MPEG2视频MP@ML形式。并且音频数据编码成为MPEG1音频层2形式的数据。这样得到的视频流和音频流通过MPEG2编码器10内的系统复用器34复用为MPEG2PS形式，从8位的专用端口作为复用后的流向MPEG2编码器10外部输出。

在上述的处理中，微计算机12通过经主机I/F 35提供编码开始命令或停止命令等来控制MPEG2编码器10的动作。并且由于在帧存储器11中设有多个存储单元，因此即使视频信号输入的帧速率与MPEG2视频编码单元33所实现的编码处理的帧速率不同步，也能够通过帧同步器32吸收帧速率之差。

从MPEG2编码器10输出的流经IDE-I/F 17记录在硬盘驱动器(HDD)18中。这时，IDE-I/F 17将从MPEG2编码器10的8位端口输出的流以DMA方式传送给硬盘驱动器(HDD)18。通过微计算机12进行的寄存器设定来进行传送的开始指示、停止指示、地址指定等。

IDE-I/F 17与总线22连接，微计算机12可经IDE-I/F 17访问硬盘驱动器(HDD)18的预定地址。

重放时，IDE-I/F 17将硬盘驱动器(HDD)18中所记录的流以DMA方式传送给MPEG2解码器19。通过微计算机12进行的寄存器设定来进行传送的开始指示、停止指示、地址指定等。

MPEG2解码器19分离(demultiplex)所提供的复用流，生成视频流(MPEG2MP@ML)以及音频流(MPEG1层2)。MPEG2解码器19再分别解码成视频流和音频流，对于视频信号以NTSC形式输出，同时，对于音频数据以I2S形式输出。

从MPEG2解码器19输出的视频信号被视频放大器20放大，作为重放用的模拟NTSC视频信号而输出。并且从MPEG2解码器19输出的音频信号被音频DAC 21转换，作为重放用的模拟音频信号而输出。

图3是表示本发明的缩略图像数据的确保以及发送处理的流程图。并且主要由MPEG2编码器10的CPU 36执行图3的处理。即CPU 36作为控制缩略图像数据的确保和发送处理的控制单元而工作。

在图3的步骤S1中，执行初始化处理。由此关于图1所示的硬盘录像机，例如执行接通电源后的各种初始化处理。在帧同步器32中包括存储分别指示帧存储器11的多个存储单元的指针的寄存器，而所述初始化处理包括对该寄存器的内容进行初始化的处理。

在步骤S2中，判断是否进行状态转换。在进行状态转换的情况下，进入步骤S3。在没有状态转换的情况下，进入步骤S4。

在步骤S3中，指示状态转换。图4是硬盘录像机的状态转换图。如图4所示，在硬盘录像机中存在停止中的状态41和编码中的状态42，在编码中的状态42中还存在缩略图像发送中的状态43和缩略图像非发送中的状态44。硬盘录像机刚接通电源之后，硬盘录像机处于停止中的状态41。之后，如果通过开关或遥控器等指示了录像动作，则在步骤S3中进行从停止中的状态41到编码中的状态42的状态转换。

在步骤S4中，判断是否处于编码中的状态42。如果是编码中的状态42，处理进入步骤S5。如果不是编码中的状态42，处理进入步骤S13。

在步骤S5中，判断是否处于缩略图像发送中的状态43。如果是缩略图像发送中的状态43，处理进入步骤S9。如果不是缩略图像发送中的状态43，处理进入步骤S6。

在步骤S6中，判断是否有缩略图像发送指示。对于缩略图像发送指示，可以在MPEG2编码器10内部检测输入视频信号的图形发生大变化(场景转换)的定时，以此作为触发。或者，以从微计算机12向主机I/F35提供的指示作为触发。或者，也可以使MPEG2编码器10每隔一定周期自发产生缩略图像发送指示。在有缩略图像发送指示的情况下，处理进入步骤S7。在没有缩略图像发送指示的情况下，处理进入步骤S12。

在步骤S7中，指示状态转换，转换为缩略图像发送中的状态43。

在步骤S8中，执行存储单元切换处理。图5以及图6是用于说明存储单元切换处理的图。如上所述，在帧同步器32内设有存储了指示帧存储器11的多个存储单元的指针的寄存器。这些寄存器为BANK0起始地址寄存器、BANK1起始地址寄存器、BANK2起始地址寄存器以及最新写入存储单元寄存器。最新写入存储单元寄存器表示在已经写入到帧存储器11中但尚未进行编码的帧数据中、写入有最新的帧数据的存储单元。

如图5所示，在初始化处理之后的状态下，各存储单元的起始地址设为以下的值。

BANK0＝0X081A0000

BANK1＝0X08248C00

BANK2＝0X082F1800

并且CPU 36把作为保留存储单元的起始地址的0X0839A400保持到变量BANK_RESERVED中。在图3的步骤S8的存储单元切换处理中，CPU 36读取最新写入存储单元寄存器的内容，检测最新存储单元，替换BANK_RESERVED的值和最新写入存储单元的起始地址寄存器的值。例如在BANK0～BANK2为如图5所示的初始状态时、有缩略图像发送指示的情况下，把最新写入存储单元寄存器设为指示BANK1，则BANK1＝0X0839A400，BANK_RESERVED＝0X08248C00。其结果是，各寄存器中所存储的存储单元的起始地址设定为如图6所示的值。

通过以上的处理，在按照BANK0(0X081A0000)→BANK1(0X08248C00)→BANK2(0X082F1800)→BANK0(00X081A0000)→BANK1(0X08248C00)→BANK2(0X082F1800)→…的顺序执行各存储单元的编码处理用的写入和读取的状态下，例如向BANK2写入的过程中发生存储单元切换处理时，按照BANK0(0X081A0000)→BANK1(0X08248C00)→BANK2(0X082F1800)(发生存储单元切换处理)→BANK0(0X081A0000)→BANK1(0X0839A400)→BANK2(0X082F1800)→BANK0(0X081A0000)→BANK1(0X0839A400)→BANK2(0X082F1800)→……的顺序执行编码处理用的写入以及读取。其结果是，作为当初的BANK1的当前BANK_RESERVED(0X08248C00)的内容保持原样，因此可以通过之后的缩略图像发送处理，按照合适的定时读取而发送BANK_RESERVED(0X08248C00)的内容。

在图3的步骤S12中，执行对硬盘驱动器(HDD)18的写入处理。由此，编码后的视频数据和音频数据作为复用流记录在硬盘驱动器(HDD)18中。

在步骤S13中，判断硬盘录像机的电源是否为“断开”。电源如果为“断开”，则结束处理，电源如果不为“断开”，则处理返回步骤S2。

之后在步骤S5中，判断为缩略图像发送中的状态43的情况下，处理进入步骤S9。在步骤S9中，执行缩略图像数据发送处理。在缩略图像数据发送处理中，把以BANK_RESERVED中所指定的地址作为起始地址的帧数据例如每次向微计算机12发送4个字节。作为一个发送单位的4个字节的数据的发送结束后，结束步骤S10的处理。之后，执行下次的缩略图像数据发送处理时，发送下一个4字节数据。

在步骤S10中判断是否完成所有的数据的发送。如果完成了所有数据的发送，则在步骤S11中通过状态转换指示转换至缩略图像非发送中的状态44。

如上所述，通过存储单元切换处理保持某存储单元的帧数据，按照对编码处理几乎不带来影响的程度的小的数据传输单位、将所保持的图像数据依次向微计算机12传送。由此，能够在对编码动作不带来影响的情况下、从视频数据中提取图像数据而传送给微计算机12。

在微计算机12中对接收到的数据进行间隔剔除而生成缩略图像，存处在RAM 13等的存储器中。并且也可以不像上述那样将所选择的一张图像的所有数据从MPEG2编码器10传送给微计算机12，而先对图像数据进行间隔剔除，作为缩略图像传送给微计算机12。并且也可以执行滤波等的一些转换处理后传送给微计算机12。

以下，对于编码处理和缩略图像数据发送处理之间的关系进行说明。

图7A和图7B是分别表示编码处理以及缩略图像数据发送处理的执行状态的图。通过CPU 36以及MPEG2视频编码单元33进行的编码处理，如图7A所示，例如平均占用90％的CPU处理时间。在此，在图7A中横轴表示时间，作为「处理中」示出的网格部分占整个时间的90％的时间。编码处理需要以追随实时输入的视频数据和音频数据的方式执行，相对于其它处理必须优先地进行处理。

在帧存储器中设有3个存储单元的情况下，在对于3个存储单元依次进行写入/读取动作以进行编码处理的过程中，需要独立于编码处理从其中的一个存储单元中读取缩略图像作成用的图像。NTSC视频数据是每一帧为33ms，要为缩略图像用而读取的存储单元如果在向其它的2个存储单元进行写入的66ms期间内不完成读取，则会被覆盖掉。

因此，必须通过如图7A所示编码处理中的网格部分以外的其余10％的CPU处理，在66ms(或者更短时间)以内结束缩略图像数据的发送处理。例如缩略图像发送处理需要15％×66ms的CPU处理的情况下，在如图7A所示的处理状态下无法进行发送。

在本发明中，通过存储单元切换处理保持存储单元的帧数据，按照对编码处理几乎不带来影响的程度的小的数据传送单位、将所保持的图像数据依次向微计算机进行传送。因此，执行了存储单元的切换处理之后，消除了所述的66ms的时间限制，所以能够降低缩略图像数据发送处理所耗费的CPU处理的占用率。例如，即使缩略图像数据发送处理合计需要15％×66ms的CPU处理的情况下，也可通过分割为10次的发送处理，执行1.5％×660ms的CPU处理。

图8是表示应用本发明的硬盘录像机的另一结构例的方框图。

在图8的硬盘录像机中，与图1的硬盘录像机不同，经由串行接口执行MPEG2编码器10A与微计算机12A之间的缩略图像数据发送。这样经由串行接口执行缩略图像数据发送处理的情况下，数据传送所需的时间与并行总线的情况相比变长。其结果是，缩略图像数据发送处理所耗费的CPU处理时间变长，因此对于像本发明那样执行存储单元切换处理的优点变得更大。

以上，基于实施例对本发明进行了说明，但本发明不限于上述实施例，可在权利要求书中所记载的范围内进行各种变形。

例如在上述实施例中，构成为对于3个存储单元依次进行写入/读取动作来用于通常的编码处理的3个存储单元，构成为追加1个存储单元来用于缩略图像发送处理。作为另一种实施方式，也可以构成为在缩略图像发送时、将3个存储单元中的1个分配为缩略图像发送专用存储单元，利用剩余的2个存储单元进行用于通常的编码处理的依次写入/读取动作，作为对于3个存储单元依次进行写入/读取动作来用于通常的编码处理的3个存储单元结构。根据这样的结构，也与所述实施例相同，可在对编码动作不带来影响的情况下、从视频数据中提取图像数据而向微计算机进行传送。