一种基于插件技术的高速图像解析及视频生成技术

摘要

本发明公开了一种基于插件技术的高速图像解析及视频生成技术，A:利用插件设计统一接口：把不同格式的RAW文件转换成统一的标准RAW文件结构，统一数据接口。B:RAW文件预处理：可以根据用户需要，选择不同的转换输出图片格式，以及选择是否缩放图片、添加水印及生成视频。C:RAW图像处理：用户需求确定后，按照用户需求，开始对RAW文件进行处理。以RAW文件为对象，使用独特的插件和双缓存技术，实现不同RAW文件到指定图片格式的快速转换及视频生成的软件技术。插件技术实现不同格式的RAW图像文件解析，扩展软件的应用和增强软件的通用性；双缓存技术实现数据读取与处理交叉循环进行，极大地提高软件的解析效率。

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于插件技术的高速图像解析及视频生成技术。

背景技术

现阶段，利用图像解算物体的运动速度、姿态等信息的算法日趋成熟，对图像质量的要求也随着解算精度不断提高。由于RAW格式对图像原始采集，无损存储和高可塑性的特点被广泛应用于工业技术领域的数码相机与摄像机。与JPG等图片格式不同，RAW文件是以时间为轴的未经任何压缩处理的数字影像集，记录了数码传感器的原始信息。但在为后续算法提供高质量的图像数据的同时，RAW也存在相应的局限性。RAW格式图像无法直接被计算机显示，需要使用专业RAW图像转换软件，同时不同厂商定义的RAW文件格式缺乏兼容性，因此设计一款能够解析不同RAW文件格式的图像转换软件就显得非常重要。

当前的数字照相机等设备和进行静态图像的图像编辑的应用软件等通常对在一个文件中仅包含一个静态图像数据的文件格式的文件进行处理，所以，大多不考虑在一个文件中存在多个图像数据的情况。在数字照相机等中广泛采用的图像文件格式之一的Exif标准规定了，除了一览显示用缩小图像( 缩略图像) 以外，在一个文件中仅包含一个图像数据。

与此相对，提出了如下的技术：将主要图像( 主图像) 的图像数据( 主图像数据)和与该主图像关联的副图像的图像数据( 副图像数据) 生成为一个图像文件( 以下适当称为多图像文件)，并将其记录在记录介质等中。例如，在日本特开2005-252754 号公报中记载了如下的技术：将多个JPEG 图像汇集在一个多图像文件中以防止文件数的增加，进而，在多图像文件的开头以依据Exif 标准的格式存储主图像( 在文件中汇集的多个图像中主要( 代表性) 的一个图像)，并且，使文件本身的扩展名为“JPG”。

作为用于存储多个JPEG 数据的图像文件，通过采用这种扩展名为“JPG”、且从文件开头到主图像的结尾为与现有的JPEG 格式相同的结构的结构，来保持与处理JPG 文件的现有的图像处理装置和应用程序之间的互换性。而且，能够将彼此具有关联性的图像组、例如在包含适当曝光的几个不同曝光等级下拍摄同一场景所获得的多个图像组记录为一个多图像文件，所以，具有如下优点：能够减少文件数，文件管理变得容易，在图像组的阅览、复制、传送、保存等时能够增加用户的便利性。

但是，在当前产品化的数字照相机等摄像装置中，作为静态图像的记录格式，包含上述这种JPEG 数据，作为标准采用依据Exif 标准的JPG 文件。进而，在各种产品化的摄像装置中，还存在如下结构的摄像装置：其除了该JPG 文件以外，还能够将由摄像元件拍摄获得的图像转换为数字信号后的状态下的RAW 图像也保存为RAW 文件。在这种类型的摄像装置中，大多情况下构成为，能够根据希望选择仅保存JPG 文件的记录模式、仅保存RAW 文件的记录模式、保存JPG 文件和RAW 文件双方的记录模式等。

上述日本特开2005-252754 号公报所记载的这种存储多个图像的多图像文件确JPG 文件的互换性，所以，如上所述，能够在现有的图像处理装置和应用程序中进行显示、编辑或保存。但是，通过上述这种基于当前Exif 标准的现有的图像处理装置和应用程序对该公报所记载的多图像文件进行编辑和保存时，虽然主图像被保存，但是，主图像以外的副图像有可能被删除或损坏。

因此，优选如下的技术：在即使由于利用现有的图像处理装置和应用程序对文件进行处理而损坏了副图像数据，也能够复原该损坏的副图像数据( 即复原多图像文件) 的情况下，能够进行复原。

发明内容

 本发明的目的是提供一种基于插件技术的高速图像解析及视频生成技术，能够以RAW文件为对象，使用独特的插件和双缓存技术，实现不同RAW文件到指定图片格式的快速转换及视频生成的软件技术；插件技术实现不同格式的RAW图像文件解析，扩展软件的应用和增强软件的通用性；双缓存技术实现数据读取与处理交叉循环进行，极大地提高软件的解析效率。

 本发明采用的技术方案为：

一种基于插件技术的高速图像解析及视频生成技术，包括以下步骤：

A:利用插件设计统一接口：把不同格式的RAW文件转换成统一的标准RAW文件结构，统一数据接口。

B:RAW文件预处理：可以根据用户需要，选择不同的转换输出图片格式，以及选择是否缩放图片、添加水印及生成视频。

C:RAW图像处理：用户需求确定后，按照用户需求，开始对RAW文件进行处理。

所述的步骤C的处理过程：

    首先在内存中开辟两块缓存区，每一个缓存区存储的都是一帧像素数据；创建两个线程，线程1往缓存区中写入文件数据，线程2对缓存区数据进行处理，线程2对像素数据的处理过程为：

a)  对原始像素数据进行缩放，根据事先选择的像素格式转换方法把RAW像素格式转换成BMP顺序；

b)  转换后的像素数据加上事先已经定义好的BMP文件头，合成一帧BMP位图；

c)  在BMP位图数据上添加水印合成新的BMP位图数据；

d)  向AVI文件中写入一帧位图数据。 

一种基于插件技术的高速图像解析及视频生成技术，包括多个解析插件模块，多个解析插件模块的信号输出端均连接统一接口模块的信号输入端，统一接口模块的信号输出端连接预处理模块的信号输入端，预处理模块的信号输出端图像处理模块和图像生成模块的信号输入端，图像处理模块和图像生成模块的信号输出端连接缓存模块的输入端。

本发明是一款基于面向对象的设计思想，以RAW文件为对象，使用独特的插件和双缓存技术，实现不同RAW文件到指定图片格式的快速转换及视频生成的软件技术。插件技术实现不同格式的RAW图像文件解析，扩展软件的应用和增强软件的通用性；双缓存技术实现数据读取与处理交叉循环进行，极大地提高软件的解析效率。

由于RAW格式文件的不统一性，不同厂商的RAW格式文件的数据结构与文件的扩展名也不尽相同。本文设计的软件基于面向对象的方法，采用插件技术和双缓存技术对RAW图像文件进行解析，使软件不但具有很强的通用性，既适用于不同格式的RAW图像文件解析，又适用于RAW和其他不同图片格式之间的转换，而且大大提高了图像的解析效率，具有很强的使用价值。

附图说明

图1为本发明的原理框图；

图2为本发明的双缓存解析处理流程图。

具体实施方式

如图1和2所示，本发明包括多个解析插件模块，多个解析插件模块的信号输出端均连接统一接口模块的信号输入端，统一接口模块的信号输出端连接预处理模块的信号输入端，预处理模块的信号输出端图像处理模块和图像生成模块的信号输入端，图像处理模块和图像生成模块的信号输出端连接缓存模块的输入端。

本发明基于插件技术的高速图像解析及视频生成技术，包括以下步骤：

A:利用插件设计统一接口：把不同格式的RAW文件转换成统一的标准RAW文件结构，统一数据接口。

B:RAW文件预处理：可以根据用户需要，选择不同的转换输出图片格式，以及选择是否缩放图片、添加水印及生成视频。

C:RAW图像处理：用户需求确定后，按照用户需求，开始对RAW文件进行处理。

所述的步骤C的处理过程：

首先在内存中开辟两块缓存区，每一个缓存区存储的都是一帧像素数据；创建两个线程，线程1往缓存区中写入文件数据，线程2对缓存区数据进行处理，线程2对像素数据的处理过程为：

a) 对原始像素数据进行缩放，根据事先选择的像素格式转换方法把RAW像素格式转换成BMP顺序；

b) 转换后的像素数据加上事先已经定义好的BMP文件头，合成一帧BMP位图；

c) 在BMP位图数据上添加水印合成新的BMP位图数据；

d) 向AVI文件中写入一帧位图数据。 

本发明根据功能分为两个部分。第一部分为接口设计模块，以插件形式设置不同的RAW文件的解析格式，插件的本质是在不修改程序主体的前提下对软件功能进行加强与扩充，通过定义一组插件接口，将插件与主程序关联起来，可以针对特定的插件接口编写插件，并将此插件动态地插入软件系统中，以实现系统的功能扩展；第二部分为处理模块（主程序），以RAW文件为对象，对RAW文件进行标准格式的解析与指定格式的图片、视频生成。为了提高处理速率，这里采用双缓存技术，在内存中开辟两块缓存区，缓存区大小由图像大小决定，每一个缓存区存储的都是一帧图像数据；创建两个线程，线程1（读线程）用于将数据写入缓存区，线程2（处理线程）则用于处理缓存区内的数据，具体流程如图2所示。

插件的本质是在不修改程序主体的前提下对软件功能进行加强与扩充，通过定义一组插件接口，将插件与主程序关联起来，可以针对特定的插件接口编写插件，并将此插件动态地插入软件系统中，以实现系统的功能扩展。

本发明设计的插件是把不同格式的RAW文件转换成统一的RAW文件结构，统一数据接口。标准RAW文件由文件头与图像数据两部分组成，其中文件头用以描述图像数据，包含图像的长、宽、帧数和像素点的分辨率等的信息，图像数据则是图像各像素点的数据信息。本发明应用面向对象思想，针对不同格式的RAW文件设计不同的解析插件，例如Sony解析插件就是把Sony公司的相机产生的RAW文件转换为标准格式。

针对步骤B，软件第二部分（主程序）按照指定的解析格式对RAW文件进行处理，包括转换成不同格式的图片，缩放图片、添加水印、生成视频等。

RAW文件预处理

1) 可以根据用户需要，选择不同的转换输出图片格式；

2) 可以根据用户需要，选择是否缩放图片与添加水印。

RAW图像处理

RAW文件预处理后，按照用户需求，开始对RAW文件进行处理。为了提高处理速率，本发明采用双缓存技术，在内存中开辟两块缓存区，缓存区大小由图像大小决定，每一个缓存区存储的都是一帧图像数据；创建两个线程，线程1（读线程）用于将数据写入缓存区，线程2（处理线程）则用于处理缓存区内的数据，具体流程如图2所示。

RAW文件预处理时，已经根据用户选择设置了图片转换方法，线程2对像素数据的处理过程为:

1) 根据事先选择的像素格式转换方法把RAW像素转换成一幅图片；

2) 根据需求对图片进行缩放与添加水印。

下面对本发明提出的一种基于插件技术的高速图像解析及视频生成技术，结合附图进行详细说明。包括如下步骤：

1. 利用插件设计统一接口：把不同格式的RAW文件转换成统一的标准RAW文件结构，统一数据接口。

2. RAW文件预处理：可以根据用户需要，选择不同的转换输出图片格式，以及选择是否缩放图片、添加水印及生成视频。

3. RAW图像处理：用户需求确定后，按照用户需求，开始对RAW文件进行处理。

本发明可以根据用户的选择，提供WMV、RMVB、AVI、MPEG等视频格式的转换输出。视频生成流程与RAW文件解析流程相似，在图片处理过程中，线程2中调用相应的视频生成算法把标准RAW文件转换成视频文件。

本发明的一种实时例进一步说明如下：

本实施例中，利用Sony解析插件就是把Sony公司的相机产生的RAW文件转换为标准格式，包括文件头和数据文件，然后把文件解析成BMP图片并生成AVI格式视频文件。本实例的步骤如下：

步骤1.统一接口

已知Sony公司的相机产生的RAW文件格式，利用Sony解析插件设置与文件相对应的数据结构：数据类型及所占字节数，并把结果保存到Sony.ini文件；然后读取RAW文件并缓存文件信息为标准格式，RAW标准文件由文件头与图像数据两部分组成，其中文件头用以描述图像数据，包含图像的长、宽、帧数和像素点的分辨率等信息，图像数据则是图像各像素点的数据信息。

步骤2.RAW文件预处理

是否对图片进行缩放，是则设置缩放倍数；选择BMP图片格式；是否在图片上添加水印，是则设置文字；选择生成AVI格式视频，并选择视频文件存储地址设置视频名称。选择确定后，依据已知图片长宽及缩放倍数定义BMP文件头及像素转换格式，设置AVI文件的头文件。

步骤3.RAW图像处理

本发明在内存中开辟两块缓存区，每一个缓存区存储的都是一帧像素数据；创建两个线程，线程1往缓存区中写入文件数据（读线程），线程2对缓存区数据进行处理（处理线程），线程2对像素数据的处理过程为：

a) 对原始像素数据进行缩放，根据事先选择的像素格式转换方法把RAW像素格式转换成BMP顺序；

b) 转换后的像素数据加上事先已经定义好的BMP文件头，合成一帧BMP位图；

c) 在BMP位图数据上添加水印合成新的BMP位图数据；

d) 向AVI文件中写入一帧位图数据。

RAW格式文件从一开始就不统一，不同厂商的RAW格式文件的数据结构与文件的扩展名也不尽相同。本文设计的软件基于面向对象的方法，采用插件技术和双缓存技术对RAW图像文件进行解析，使软件不但具有很强的通用性，既适用于不同格式的RAW图像文件解析，又适用于RAW和其他不同图片格式之间的转换，而且大大提高了图像的解析效率，具有很强的使用价值。表1是同等硬件设备条件下传统解析方法和使用双缓存解析技术的比较结果。

表1 实验结果

方法速率传统方法25帧/秒双缓存技术50帧/秒