数据同步重放装置、数据同步重放方法以及数据同步控制程序

摘要

本发明的目的在于提供一种能高速地同步重放图像帧和数值数据的数据同步重放装置。因此，本发明的数据同步重放装置(1)包括：存储有包含照相机(31～3n)拍摄监视对象物(61～6p)而得到的多个图像帧的图像数据和包含按时间序列从监视对象物取得的多个数值数据的过程数据的数据存储部(113b)；存储有数据同步控制程序的程序存储部(113a)，该数据同步控制程序用于在重放图像数据的同时，基于图像帧的帧号和帧周期、数值数据的采样间隔以及记录号，来对图像数据和数值数据进行同步重放等；以及执行该数据同步控制程序等的CPU(111)。

说明书

技术领域

本发明涉及同步显示包含照相机拍摄监视对象的多个图像帧的图像数 据和包含按时间序列从监视对象取得的多个数值数据的过程数据的数据同 步重放装置、数据同步重放方法以及数据同步控制程序。

背景技术

作为数据同步重放装置，例如提出了如下现有技术：在车间发生异常 的情况下，在利用车间监视用的监视器来显示异常发生时的车间的数值数 据和图像帧的同时，将该数值数据和图像帧作为其他文件存储在存储装置 中，并为了判明异常而展开历史记录信息画面时，能够同时显示该异常发 生时的数值数据和图像帧，从而能够精细地监视车间(例如，参照专利文 献1)。

现有技术文献

专利文献

专利文献1：日本专利特开平5－34181号公报

发明内容

发明所要解决的技术问题

然而，上述的专利文献1的数据同步重放装置中，只有在车间发生异常 的场合，在显示车间的数值数据和图像帧的同时存储数据，因此存在以下 问题：无法在事后确认异常发生时以外的正常运行时的数值数据和图像帧。

特别是，在上述的专利文献1的数据同步重放装置中存在以下问题：在 事后确认异常发生时的车间的数值数据和图像帧的情况下，由于基于各数 值数据的记录和附加在各图像帧的日期时间信息来进行同步重放，因此在 监视对象增加、或也存储正常运行时的数值数据以及图像帧的情况下，文 件数以及文件的存储容量会增加，因此在存储较长期间的数据，并在事后 同步重放图像帧和数值数据的情况下，必须要有非常大的容量的存储装置。

另外，在专利文献1的数据同步重放装置中还存在以下问题：由于通过 在数值数据和图像帧上附加日期时间信息来进行同步重放，因此在图像保 存时不能利用MPEG-4等图像帧的压缩解码技术，在图像重放时不能利用 QuickTime(注册商标)播放器等通用的图像数据重放程序，因此开发成本会 增加。

并且，还具有如下问题：在同步重放图像帧和数值数据的情况下，由 于边对照各数值数据的记录与附加在各图像帧上的日期时间信息边进行重 放，因此难以进行高速的同步重放和片头提示。

本发明是鉴于上述问题而完成的，其目的在于，提供一种能高速地对 图像数据所包含的图像帧和过程数据所包含的数据进行同步重放的数据同 步重放装置、数据同步重放方法以及数据同步控制程序。

解决技术问题的技术方案

为了达到上述目的，本发明所涉及的数据同步重放装置的第一特征在 于，包括：图像数据存储部，该图像数据存储部将照相机拍摄监视对象而 得到的多个图像帧与所述图像帧的帧周期一起作为图像数据进行存储，其 中，对各所述图像帧按时间序列附加帧号；过程数据存储部，该过程数据 存储部将从所述监视对象取得的具有随时间的变化的数据与从基准时点开 始的经过时间一起作为过程数据进行存储；图像数据重放部，该图像数据 重放部将所述图像数据存储部中存储的所述图像数据输出至监视器进行重 放，并且还输出重放的图像帧的帧号；以及数据同步重放控制部，该数据 同步重放控制部基于所述帧周期，计算出与从所述图像数据重放部输出的 所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出 的从起始帧开始的相对时间，在所述监视器中重放所述数据。

本发明所涉及的数据同步重放装置的第二特征在于，在所述监视器所 显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控 制部计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于 该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，将该计算 出的所述帧号输出至所述图像数据重放部，重放具有计算出的所述帧号的 所述图像数据。

本发明所涉及的数据同步重放装置的第三特征在于，还包括：同步图 像帧选择部，该同步图像帧选择部在所述监视器所显示的所述过程数据中， 通过外部输入作为其它的文件指定存储的数据的时间的情况下，基于从该 指定的时间的起始以及末尾的所述基准时点开始的相对时间和所述图像帧 的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与 该计算出的帧号相对应的图像帧；以及同步保存控制部，该同步保存控制 部将与所述外部输入所指定的时间相对应的所述数据与所述同步图像帧选 择部所选择的所述图像帧作为同一个文件进行存储。

本发明所涉及的数据同步重放装置的第四特征在于，还包括：画面布 局设定部，该画面布局设定部基于外部输入，在所述监视器上设定通过所 述图像数据重放部显示所述图像数据的图像数据重放区域和通过所述数据 同步重放控制部显示所述过程数据的过程数据重放区域，并且在所述图像 数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。

本发明所涉及的数据同步重放方法的第一特征在于，包括如下步骤： 图像数据存储步骤，在该图像数据存储步骤中，对于照相机拍摄监视对象 而得到的多个图像帧，对各图像帧按时序列附加帧号，并将该多个图像帧 与所述图像帧的帧周期一起作为图像数据存储在图像数据存储部中；过程 数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有 随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储 在过程数据存储部中；图像数据重放步骤，在该图像数据重放步骤中，在 监视器中输出并重放所述图像数据存储部中存储的所述图像数据，并且输 出重放的图像帧的帧号；以及数据同步重放控制步骤，在该数据同步重放 控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的 所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出 的从起始帧开始的相对时间，在所述监视器中重放所述数据。

本发明所涉及的数据同步重放方法的第二特征在于，在所述监视器所 显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控 制步骤计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基 于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，输出该 计算出的所述帧号，由所述图像数据重放步骤重放具有计算出的所述帧号 的所述图像数据。

本发明所涉及的数据同步重放方法的第三特征在于，还包括：同步图 像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述 过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况 下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间 和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的 帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤， 在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据 与所述同步图像帧选择步骤所选择的所述图像帧作为同一个文件进行存 储。

本发明所涉及的数据同步重放方法的第四特征在于，还包括：画面布 局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上 设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和 通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域， 并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数 量以及大小。

本发明所涉及的数据同步控制程序的第一特征在于，在计算机中执行 如下步骤：图像数据存储步骤，在该图像数据存储步骤中，将照相机拍摄 监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据存 储到图像数据存储部中，其中，对各所述图像帧按时间序列附加帧号；过 程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具 有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存 储到过程数据存储部中；图像数据重放步骤，在该图像数据重放步骤中， 将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并 且还输出重放的图像帧的帧号；以及数据同步重放控制步骤，在该数据同 步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤 输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该 计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。

本发明所涉及的数据同步控制程序的第二特征在于，在所述监视器所 显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控 制步骤计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基 于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，输出该 计算出的所述帧号，由所述图像数据重放步骤重放具有计算出的所述帧号 的所述图像数据。

本发明所涉及的数据同步控制程序的第三特征在于，还执行如下步骤： 同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示 的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定 的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相 对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图 像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制 步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所 述数据与所述同步图像帧选择步骤所选择的所述图像帧作为同一个文件进 行存储。

本发明所涉及的数据同步控制程序的第四特征在于，还执行如下步骤： 画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监 视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放 区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放 区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数 据的数量以及大小。

发明效果

根据本发明的数据同步重放装置、数据同步重放方法以及数据同步控 制程序，不基于时刻信息，而是基于图像数据包含的图像帧的帧号、过程 数据的从基准时点开始的经过时间，同步并重放图像帧和数据，因此无需 在数据以及图像帧上附加时刻信息。

因此，能减少文件数量和文件的存储容量，利用与以往一样存储容量 的存储设备就能进行比以往更长期间的存储和同步重放。

由于存储从监视对象取得的具有随时间的变化的数据，因此，在连续 的长时间下没有随时间的变化的情况下，能大幅度削减数据容量。

并且，在图像保存时能利用MPEG-4等图像帧的压缩解码技术，因此能 在图像重放时利用QuickTime(注册商标)播放器等通用的图像数据重放程 序，由此能降低开发成本。

此外，能在不使用时刻信息的情况下，高速地对数据和图像帧进行同 步和重放、或者进行片头提示。

附图说明

图1是表示包含本发明所涉及的数据同步重放装置的在线数据管理系 统的结构例的图。

图2是表示本发明所涉及的数据同步重放装置的结构例的框图。

图3A是表示存储于数据同步重放装置的数据存储部中的图像数据和过 程数据的文件格式的一个示例的图。

图3B是表示图像数据的数据结构的一个示例的图。

图3C是表示过程数据的数据结构的一个示例的图。

图4是表示实施方式1的数据同步重放装置所进行的数据同步显示处理 的步骤的流程图。

图5是表示进行从图像数据到数值数据的同步重放处理时的具体例的 图。

图6是表示实施方式1的数据同步重放装置的数据同步显示处理的步骤 的流程图。

图7是表示进行从数值数据到图像数据的同步重放处理时的具体例的 图。

图8是表示实施方式1的数据同步重放装置的监视器中所显示的显示画 面的一个示例的图。

图9是表示实施方式1的数据同步重放装置的监视器中所显示的显示画 面的其他示例的图。

图10是表示实施方式1的数据同步重放装置的监视器中所显示的显示 画面的其他示例的图。

图11是表示实施方式1的数据同步重放装置的监视器中所显示的显示 画面的其他示例的图。

图12是表示实施方式1的数据同步重放装置的监视器中所显示的显示 画面的其他示例的图。

具体实施方式

(实施方式1)

下面，对本发明所涉及的数据同步重放装置，数据同步重放方法以及 数据同步控制程序的实施方式1进行说明。

<结构的说明>

图1是表示包含本发明所涉及的数据同步重放装置的在线数据管理系 统的结构例的图。

该在线数据管理系统是在例如利用轧机对加热后的铁、不锈钢、铝的 板坯(坯料)进行轧制，将其精轧成厚度为几mm～十几mm的热轧线圈的 热轧车间系统、在为了将通过热轧车间或冷轧车间制造而成的线圈精加工 成最终产品，进行酸洗、退火、镀覆、涂装、切断等的生产线车间系统等 中，在监视器上同步显示对各监视对象进行拍摄而得到的图像数据和从各 监视对象取得的过程数据，并对这些数据进行管理的在线数据管理系统。

图1所示的在线数据管理系统是通过将本发明所涉及的数据同步重放 装置1、多台ITV(Industrial Television：工业电视)照相机21～2m(m为 自然数。)、照相机切换器3、数字图像转换单元4、可编程逻辑控制器(PLC) 等控制设备51～5n(n为自然数。)相连接而构成，是利用多台ITV照相机 21～2m拍摄到的图像数据和控制设备51～5n取得的过程数据来对轧机、冲 压机、驱动这些设备的电动机、活塞等各监视对象物61～6p(p为自然数。) 的动作状态、控制状态等进行监视的系统。

这里，例如数据同步重放装置1和数字图像转换单元4利用以太网(注 册商标)等LAN7相连接，另一方面，数据同步重放装置1和控制设备51～ 5n利用LAN7以外的其他控制用网络8相连接。在控制设备51～5n可与LAN7 相连接的情况下，控制用网络8可以置换成LAN7。

此外，本发明所涉及的数据同步重放装置1是由装置主体11与监视器 (显示器)12、键盘13、鼠标14等连接而成的计算机装置构成的。于是， 该数据同步重放装置1中，输入利用数字图像转换单元4从模拟视频信号转 换成数字视频信号的来自多台ITV照相机21～2m的图像数据、和包含从控 制设备51～5n取得的多个数值数据的过程数据，并在监视器12上正常显示， 或进行同步显示处理等。本发明所涉及的数据同步重放装置1的结构、动作、 图像数据、过程数据的结构等将在下文阐述。

ITV照相机21～2m是拍摄多个监视对象物61～6p，并输出PAL或NTSC 等格式的模拟视频信号的设备，可以是固定式的照相机，也可以是能够通 过发送控制信号，进行平移、倾斜、缩放等远距离操作的照相机。在ITV照 相机21～2m中可以设置语音麦克风也可以不设置语音麦克风。此外，ITV 照相机21～2m可以针对各监视对象物61～6p进行一对一的设定，也可以设 定多台。

照相机切换器3从多台ITV照相机21～2m的视频信号中对在监视器12 中显示的规定个数(在本实施方式1中例如设定为4台。)的视频信号进行 切换并输出。另外，在不限制监视器12中显示的视频信号的数量的情况下、 在ITV照相机21～2m的台数在该规定个数以下的情况下、以及在使数字图 像转换单元4、数据同步重放设备1具备该切换功能的情况下，照相机切换 器3当然也可以被省略。

数字图像转换单元4用于将从多台ITV照相机21～2m输出的NTSC、 PAL格式的模拟视频信号压缩编码成为MPEG－4等数字图像数据并输出到 数据同步重放装置1。另外，在多台ITV照相机21～2m可在照相机内部对所 拍摄的视频信号进行A/D转换，输出数字格式的图像数据的情况下，数字图 像转换单元4可以省略。

由于控制设备51～5n利用程序分别对电动机、或加热机、液压机等各 监视对象物61～6p的动作进行控制，从而经由各自的I/O(输入输出)单元 511～5n1从各监视对象物61～6p取得包含后述的以规定的采样间隔按时间 序列检测出的数值数据的过程数据。

图2是表示本发明所涉及的数据同步重放装置1的结构例的框图。

如上所述，该数据同步重放装置1由装置主体11与监视器(显示器)12、 键盘13、鼠标14等连接而成的计算机装置构成。

如图2所示，装置主体11通过利用内部总线117将CPU111、存储器112、 HDD或大容量存储器等存储部113、外部设备接口(下面简称为I/F。)部 114、控制网络I/F部115、LANI/F部116等相连接而构成。

CPU111通过在存储于存储部113的程序存储部113a中的各种应用程序 中，执行图像数据重放程序从而起到本发明的图像数据重放部的功能，并 且，通过执行数据同步控制程序而起到本发明的数据同步重放控制部，同 步图像帧选择部，同步保存控制部，以及画面布局设定部的功能。

存储器112用作在CPU111执行各种应用程序时，对数据进行暂时存储 或展开等的运算区域等。

存储部113包括程序存储部113a、以及数据存储部113b。

程序存储部113a存储有OS(操作系统)、用于使CPU111起到本发明 的图像数据重放部的功能的图像数据重放程序、用于使CPU111起到本发明 的数据同步重放控制部、同步图像帧选择部、同步保存控制部、以及画面 布局设定部的功能的数据同步控制程序等应用程序。在本实施方式1中，作 为图像数据重放程序，可以使用专门为本装置编写而成的图像数据重放程 序，或者也可以使用QuickTime(注册商标)播放器等通用的图像数据重放程 序。

数据存储部113b作为本发明的图像数据存储部，存储包含由多台ITV 照相机21～2m对多个监视对象物61～6p进行拍摄并进行A/D转换而得到的 多个图像帧的图像数据，并且作为本发明的过程数据存储部，存储包含由 控制设备51～5n从多个监视对象物61～6p按时间序列取得的多个数值数据 的过程数据。

另外，在本实施方式1中，在一个存储部113中设有程序存储部113a和 数据存储部113b，但也可以将程序存储部113a和数据存储部113b分别作为 不同的存储部来构成。

外部设备I/F部114是用于将监视器12、键盘13、鼠标14等外部设备与装 置主体11相连接的接口。

控制网络I/F部115是用于连接控制网络19和装置主体11的接口。

LANI/F部116是用于连接LAN7和装置主体11的接口。

图3A～图3C分别是表示存储于数据同步重放装置1的数据存储部113b 的图像数据和过程数据的文件格式，以及图像数据和过程数据的数据结构 的一个示例的图。

如图3A所示，在数据同步重放装置1的存储部113的数据存储部113b中， 将包含由多台ITV照相机21～2m对多个监视对象物61～6p进行拍摄而得到 的多个图像帧的图像数据D1、以及包含由控制设备51～5n从多个监视对象 物61～6p按时间序列取得的多个数值数据的过程数据D2存储在1个数据文 件Df内的两个部分S1、S2。这里，图像数据D1和过程数据D2当然也可以存 储在不同文件的不同部分。

图3B是表示存储在数据存储部113b中的图像数据D1的数据结构的图。

如图3B所示，图像数据D1是通过将分别从多台ITV照相机21～2m输出 的模拟视频信号经数字图像转换单元4转换成MPEG-4编码方式等的数字 图像数据而得到的，由图像头文件信息D11和各ITV照相机21～2m对作为对 象的监视对象物61～6p进行拍摄而得到的帧号为#1～q(q是自然数。)的 多个图像帧D12构成。此处，为了方便说明，只表示一个图像数据D1，实 际上，多台ITV照相机21～2m的每台都有图像数据D1。

在本实施方式1的情况下，如图3B所示，图像头文件信息D11至少包含 构成该图像数据D1的图像帧D12的每1帧的时间即帧周期Tf和构成图像数 据D1的多个图像帧D12的全部帧数q。在该图像头文件信息D11中，当然也 可以包含用于识别输出图像数据D1的ITV照相机21～2m的照相机识别信 息，即使是来自同一个ITV照相机21～2m的图像数据D1，也可以包含用于 识别不同日期时间的图像数据D1的日期时间识别信息。并且，该图像头文 件信息D11中当然也可以包含用于与对应的过程数据D2相关联的关联信息 等。

这里，本实施方式1中，图像帧D12的帧周期Tf例如为1帧＝1/30秒。另 外，1/30秒只是一个例子，图像帧D12的帧周期Tf也可以是1/60秒，当然也 可以是1/50秒。

图像帧D12是用数字图像转换单元4以MPEG-4等的动态图像压缩方式 将ITV照相机21～2m拍摄得到的模拟格式的视频信号高效率压缩编码而得 到的数据，也可以是例如H.264编码方式、不进行帧与帧之间的预测的 Motion JPEG等，关键在于只要是能通过LAN7传输的数字图像数据的格式 即可。另外，可以分别在多个图像帧D12里附加上通常的解码重放用的解码 时刻信息(DTS)、重放时刻信息(PTS)等时刻情报，在本实施方式1中， 与过程数据同步的重放处理中，不使用解码时刻信息(DTS)和重放时刻 信息(PTS)等时刻情报。

由此，在本实施方式1中，图像数据D1不具有时刻信息，或者即使具有 时刻信息也不在与过程数据D2的同步重放中使用。因此，在本实施方式1 中，在进行图像数据D1和过程数据D2的同步重放处理时，将存储在与图像 数据D1相对应的过程数据D2的过程数据头文件信息D21中的采样开始时刻 Ts1作为图像数据D1的起始时刻(基准时点)、即帧号#1的图像帧D12的重 放开始情报来使用。然后，对于帧号#1的图像帧D12以后的帧号#2～p的图 像帧D12的帧重放开始时刻，基于作为帧号#1的图像帧D12的重放开始时刻 来使用的采样开始时刻Ts1和各图像帧D12的帧号#等按下述方式来计算。因 此，在本实施方式1中，在与过程数据D2的同步重放处理中，不需要各图像 帧D12的时刻信息，即使包含时刻信息等也不使用(参照)该时刻信息。由 此，因为没有使用(参照)各图像帧D12的时刻信息，而是基于帧号来进行 重放，由此能使重放和片头提示高速化。

图3C是表示存储在数据存储部113b中的过程数据D2的数据结构的图

过程数据D2是由控制设备51～5n从多个监视对象物61～6p获得的随时 间变化的数值数据D23构成的二进制数据，如图3C所示，包括：过程数据 头文件信息D21；在具有随时间的变化的情况下的控制设备51～5n从监视对 象物61～6p获得的记录号为#1～r(r是自然数。)的多个数值数据D23；从与 该数值数据D23相对应的采样开始时刻Ts1(基准时点)开始的经过时间号 为#1～r(r是自然数。)的经过时间D22。

在本实施方式1的情况下，过程数据头文件信息D21至少存储有开始取 得该过程数据D2的时刻即采样开始时刻Ts1和从监视对象物61～6p取得的 多个数值数据D23的全部记录数r。另外，经过时间号#1的经过时间D22是 “0”，即表示采样开始时刻Ts1时点，记录号#1存储有采样开始时刻Ts1时 点的从监视对象物61～6p取得的数值数据D23。

因为仅在具有随时间的变化的情况下从监视对象物61～6p取得数值数 据D23，在没有随时间的变化的情况下不会取得数值数据D23。因此，在连 续地经过长时间而数值数据D23中没有随时间的变化的情况下，能大幅度地 削减过程数据D2的数据容量。

由此，在进行记录的时候，无法同步获得构成图像数据D1的多个图像 帧D12和构成过程数据D2的多个数值数据D23。因此，本实施方式1的数据 同步重放装置1为了在不使用解码时刻信息(DTS)和重放时刻信息(PTS) 等图像数据D1的时刻信息、表示过程数据D2的数据取得时的时刻信息的情 况下，对构成图像数据D1的图像帧D12和构成过程数据D2的数值数据D23 进行同步重放处理，在进行同步重放时需要同步处理。

因此，在本实施方式1的数据同步重放装置1中，不使用或参照时刻信 息，而使用帧号和经过时间，并使用图像帧和数值数据来进行同步重放处 理。

<动作的说明>

接着，参照流程图对本实施方式1的数据同步重放装置1的数据同步显 示处理进行说明。

(从图像数据D1到过程数据D2的同步重放动作的说明)

首先，参照流程图对本实施方式1的数据同步重放装置1的基于图像数 据的过程数据的同步重放动作进行说明。

图4是表示本实施方式1的数据同步重放装置1所进行的数据同步显示 处理的步骤的流程图。

首先，若用户操作数据同步重放装置1的键盘13、鼠标14等，点击(选 择)同步重放按钮(未图示。)等，对装置主体11输入图像数据D1和过程 数据D2的同步重放指示(S400“是”)，则CPU111启动存储在程序存储部 113a中的图像数据重放程序和数据同步控制程序并开始同步重放处理。

也就是说，装置主体11的CPU111首先通过执行图像数据重放程序来起 到图像数据重放部的作用，读取出存储在数据存储部113b中的图像数据D1 的图像数据头文件信息D11和过程数据D2的过程数据头文件信息D21，暂时 保存到存储器112中，取得包含在图像数据头文件信息D11中的帧周期Tf (S410)。这里，如上所述，CPU111取得的帧周期Tf例如为1/30秒。

另外，CPU111也可以在S400的处理之前，利用该S410的处理预先取得 帧周期Tf。另外，在图像数据头文件信息D11所包含的帧周期Tf是已知的情 况下，CPU111不需要取得图像数据头文件信息D11所包含的帧周期Tf。

接着，CPU111通过执行图像数据重放程序来起到本发明的图像数据重 放部的作用，利用OS的计时器(未图示。)，以图像数据D1的帧周期Tf即 1/30秒为间隔产生定时事件信号(S420)。

然后，若CPU111以帧周期Tf即1/30秒为间隔产生定时事件信号(S430 “是”)，则起到本发明的图像数据重放部的作用，读取出存储在数据存 储部113b中的构成图像数据D1的图像帧D12，若该图像帧D12利用MPEG-4 格式等来编码，则以MPEG-4格式等对该图像帧D12进行解码，在监视器12 中重放，并且输出重放后的图像帧D12的帧号(S440)。此时，在用户利用 帧号等指定重放开始的图像帧的情况下，会从被指定的图像帧开始进行重 放。另外，图像帧D12的指定并不限于帧号等，也可以由键盘13、鼠标14 在监视器12所显示的显示画面上利用光标来进行指定，在不指定图像帧D12 的情况下，从图像数据D1的起始的图像帧D12、即帧号为#1的图像帧D12 开始进行重放。另外，在这个阶段，图像数据D1和过程数据D2并非同步重 放。

与此同时，CPU111通过执行本发明所涉及的数据同步控制程序来起到 本发明的数据同步重放控制部的作用，首先，取得当前正在重放的图像帧 D12的帧号和帧周期Tf(S450)。此处，该S450的处理也和S410的处理相 同，在图像数据头文件信息D11所包含的帧周期Tf是已知的情况下，CPU111 使用已知的帧周期Tf。

接着，CPU111作为本发明的数据同步重放控制部，基于当前正在重放 的图像帧D12的帧号和帧周期Tf，根据下式(1)计算出“从起始图像帧开 始的相对时间”(S460)。

从起始图像帧开始的相对时间＝帧号×帧周期Tf···(1)

接着，CPU111作为本发明的数据同步重放控制部，将根据上式(1) 求得的“从起始图像帧开始的相对时间”与暂时存储在存储器112等中的过 程数据D2的经过时间D22进行比较，提取与当前正在显示的图像帧D12同步 的数值数据D23(S470)。由于经过时间D22以及数值数据D23是仅在具有 随时间的变化的情况下从监视对象物61～6p获得的，因此不一定存在与“从 起始图像帧开始的相对时间”一致的经过时间D22。因此，CPU111通过将 经过时间D22的值按经过时间号#1～r的顺序与“从起始图像帧开始的相对 时间”进行比较，提取出在不超过“从起始图像帧开始的相对时间”的范 围中的与最长经过时间D22相对应的数值数据D23。

然后，CPU111基于提取出的数值数据D23来进行显示(S480)。由此， CPU111能够在不参照时刻信息的情况下，基于图像帧D12的帧号和经过时 间D22来同步重放与当前正显示的图像帧D12在时间上同步的数值数据 D23。此时，例如在以曲线格式等显示过程数据D2的情况下，CPU111将该 记录号的数值数据D23转换成曲线格式等，并更新包含在用曲线来显示的范 围内的值，更新曲线的显示。另外，在数值数据D23是由多个项目#1～s构 成的情况下，在曲线上反映多个项目#1～s。

然后，CPU111中，在用户输入同步重放中止指示、或者当前正在重放 的图像数据D1进行到最后的图像帧D12从而结束重放之前(S490“否”)， 通过在每次以帧周期Tf即1/30秒为间隔产生定时事件信号(S430“是”)时 进行上述的S440～S480的处理，来对使得帧号和记录号相对应的图像帧 D12和数值数据D23进行同步重放处理。

因此，本实施方式1的数据同步重放装置1中，能够在不参照时刻信息 的情况下，将图像数据D1的帧号和经过时间D22进行对应，从而能使得构 成图像数据D1的图像帧D12和构成过程数据D2的数值数据D23同步地来进 行重放。

然后，CPU111在用户输入同步重放中止指示、或者当前正在重放的图 像数据D1进行到最后的图像帧D12从而结束重放的情况下(S490“是”)， 结束同步重放处理。

(从图像数据D1到过程数据D2的同步重放的具体例)

接着，图示并说明从图像数据D1到过程数据D2的同步重放的具体例。

图5示出进行从图像数据D1到过程数据D2的同步重放处理时的具体 例。另外，图5中，省略了图像数据D1的图像数据头文件信息D11和过程数 据D2的过程数据头文件信息D21来表示。

如图5所示，本实施方式1的数据同步重放装置1中，例如若重放从图像 数据D1中的起始图像帧开始到第三帧的帧号#3的图像帧，则在本实施方式1 中，因为帧周期Tf是1/30秒，因此CPU111根据上式(1)计算出从帧号#1 的起始图像帧D12开始的相对时间为3×1/30秒＝100(m秒)。

接着，因为从帧号#1的起始图像帧D12开始的相对时间即100(m秒) 比经过时间号#10的92(m秒)长，比经过时间号#11的127(m秒)短，因 此CPU111提取出与经过时间号#10相对应的数值数据#10。

因此，根据本实施方式1的数据同步重放装置1，对于构成图像数据D1 的图像帧D12和构成过程数据D2的数值数据D23，即使在记录时无法取得同 步，也能够在不使用图像帧D12、数值数据D23的时刻信息的情况下，使用 图像帧D12的帧号和经过时间D22等来对图像帧D12和数值数据D23进行同 步重放。

结果是，根据本实施方式1的数据同步重放装置1，在图像数据D1和过 程数据D2的同步重放处理中无需参照双方的数据的时刻信息，因此无需解 析找寻图像数据D1、过程数据D2的语法(结构)和头文件信息，能高速地 执行同步重放处理。

(从过程数据D2到图像数据D1的同步重放动作的说明)

接下来，参照流程图对本实施方式1的数据同步重放装置1的从过程数 据D2到图像数据D1的同步重放动作进行说明。

图6是表示本实施方式1的数据同步重放装置1所进行的数据同步显示 处理的步骤的流程图。

用户在监视器12所显示的过程数据D2的显示区域中例如利用鼠标14、 键盘13等使滚动条、光标等移动，指定过程数据D2的数值数据D23的某个 时刻，若将所指定的时刻的数值数据D23和图像帧D12的同步重放指示输入 到装置主体11(S600“是”)，则CPU111通过执行数据同步控制程序来起 到数据同步重放控制部的作用，首先，计算出从由鼠标14、键盘13等所移 动得到的滚动条、光标的位置的从起始记录开始的相对时间(S610)。具 体而言，CPU111计算出从采样开始时刻Ts1(基准时点)开始到滚动条、 光标的位置所表示的时刻为止的时间以作为相对时间。

同时，CPU111起到数据同步重放控制部的作用，从图像数据D1的图像 数据头文件信息D11中取得帧周期Tf(S620)。另外，在CPU111已存储了 这些采样间隔Ts2、帧周期Tf等，其为已知的情况下，当然也可以省略这些 取得处理。

接着，CPU111起到数据同步重放控制部的作用，如下式(2)所示， 通过将计算得到的“从起始记录开始的相对时间”除以图像帧D12的每一帧 的时间即帧周期Tf，从而计算出与当前的数值数据同步的“要同步的图像 帧的帧号”(S640)。

要同步的图像帧的帧号＝从起始记录开始的相对时间÷帧周期Tf··· (2)

然后，CPU111起到图像数据重放部的作用，基于从上式(2)计算出 的帧号，从存储在数据存储部113b中的图像数据D1中读取出该帧号的图像 帧D12，并进行同步重放(S640)。具体而言，CPU111对与“从起始记录 开始的相对时间”相对应的数值数据D23和该帧号的图像帧D12进行同步重 放。例如，CPU111通过将经过时间D22的值按经过时间号#1～r的顺序与“从 起始记录开始的相对时间”进行比较，提取出在不超过“从起始记录开始 的相对时间”的范围内的与最长的经过时间D22相对应的数值数据D23，并 同步重放该提取出的数值数据D23和“要同步的图像帧的帧号”的图像帧 D12。

由此，根据本实施方式1，利用经过时间和图像帧D12的帧号，能进行 数值数据D23和图像帧D12的同步处理。

(从过程数据D2到图像数据D1的同步重放的具体例)

接着，图示并说明从过程数据D2到图像数据D1的同步重放的具体例。

图7示出进行从过程数据D2到图像数据D1的同步重放处理时的具体 例。另外，图7与图5相同，也省略了图像数据D1的图像数据头文件信息D11 和过程数据D2的过程数据头文件信息D21来表示。

即，在本实施方式1的数据同步重放装置1中，例如，如图7所示，过程 数据D2中，若用户在监视器12所显示的过程数据D2的显示区域中，利用鼠 标14、键盘13等使滚动条、光标等移动，由此来指定时刻，则CPU111例如 基于所指定的位置，计算出从起始记录开始的相对时间为134(m秒)。

然后，由于帧周期Tf为1/30秒，因此根据上式(2)，要与从起始记录 开始的相对时间为134(m秒)的数值数据D23同步的图像帧D12的帧号为 134m秒÷(1/30秒)＝4.02≒4，从起始的图像帧D12开始的第四个的帧号 #4的图像帧D12与从起始记录开始的相对时间为134(m秒)所对应的数值 数据D23同步重放。

因而，根据本实施方式1的数据同步重放装置1，使用图像帧D12的帧号 与从起始记录开始的相对时间等，仅通过指定光标的位置，就能同步重放 所对应的图像数据D1的图像帧D12。

另外，本实施方式1的数据同步重放装置1中，在存储部113的数据存储 部113b中存储有包含控制设备51～5n从多个监视对象物61～6p按时间序列 取得的多个数值数据的过程数据D2，但过程数据D2所包含的数据并不限于 数值数据，也可以是比特数据、文本数据。

(显示画面的具体例)

接着，对本实施方式1的数据同步重放装置1的监视器12所显示的显示 画面的具体例进行说明。

图8～图12是分别表示本实施方式1的数据同步重放装置1的监视器12 所显示的显示画面121～125的具体例的图。另外，图8～图12所示的显示画 面121～125是如下显示画面的一个示例：本实施方式1的数据同步重放装置 1的CPU111通过执行储存在程序存储部113a中的数据同步控制程序起到画 面布局设定部的作用以进行设定、变更。即，图8～图12所示的显示画面 121～125是如下显示画面的一个示例：CPU111起到画面布局设定部的作 用，将显示基于用户的指示的图像数据的图像数据重放区域和显示过程数 据的过程数据重放区域设定在监视器12上，并且在图像数据重放区域中的 规定的条件内，设定要重放的图像数据的数量以及大小来进行显示。

在图8所示的显示画面121中，利用作为画面布局设定部的功能，在显 示画面121的中央的上侧设置图像数据显示区域121a，另一方面，在显示画 面121的中央的下侧设置过程数据显示区域121b。然后，在该显示画面121 中，图像数据显示区域121a中设有4个图像数据显示窗口121a1～121a4，这 4个图像数据显示窗口121a1～121a4中显示来自多台ITV照相机21～2m中 的由照相机切换器3根据来自用户的指示或自动地切换得到的例如照相机 号#1～4(camera1～4)这4台ITV照相机的动态图像的图像数据D1。

此外，该显示画面121中，在过程数据显示区域121b中重放由照相机切 换器3切换得到的照相机号#1～4(camera1～4)这4台ITV照相机拍摄的监 视对象物的过程数据D2。此处，过程数据显示区域121b中，图上的水平方 向的横轴表示时间轴，而图上的垂直方向的纵轴表示构成过程数据D2的数 值数据D23的值(等级)。

然后，对于分别在4个图像数据显示窗口121a1～121a4中重放的图像数 据D1和在过程数据显示区域121b中重放的过程数据D2，利用作为数据同步 重放控制部进行动作的CPU111，如上述那样通过使图像帧D12和数值数据 D23同步来进行重放。

另外，在该显示画面121的过程数据显示区域121b中，在图上显示有用 于改变重放的过程数据D2的时刻的沿水平方向移动的过程数据时刻变更条 121b2等。用户能够利用键盘13、鼠标14在显示画面121上操作光标(未图 示)，由此来通过过程数据时刻变更条121b2执行过程数据D2的时间轴的放 大/缩小、过程数据D2的放大显示。

此外，图8中，121b3是指定过程数据显示区域121b中所显示的过程数 据的取出记录(快照)开始位置的取出记录开始位置指定条，121b4是指定 过程数据显示区域121b中所显示的过程数据的取出记录结束位置的取出记 录结束位置指定条，这些指定条在后述的实施方式12的取出记录(快照) 中使用，而实施方式1中不使用。用户能通过像上述那样使用鼠标14、键盘 13等来移动过程数据显示区域121b中的这些指定条。

在图9所示的显示画面122中，为了放大过程数据D2来进行显示，示出 在整个显示画面122中放大过程数据显示区域122b后的状态。因此，在图9 所示的显示画面122中，无法显示图8所示的显示画面121中存在于显示画面 121的中央的上侧一半的图像数据显示区域121a，因此与过程数据显示区域 122b相重叠地显示图像数据显示区域122a，并在该数据显示区域122a中设 有4个图像数据显示窗口122a1～122a4。

在图10所示的显示画面123中，与图8所示的显示画面121相同，在显示 画面123的中央的上侧设有图像数据显示区域123a，另一方面，在显示画面 123的中央的下侧设有过程数据显示区域123b。然后，该显示画面123中， 在图像数据显示区域123a中设有2个图像数据显示区域123a1、123a2，图像 数据显示区域123a1中显示来自照相机号#1的ITV照相机21的动态图像的图 像数据D1，另一方面，图像数据显示区域123a2中显示来自相同照相机号#1 的ITV照相机21(camera1)的静态图像的图像数据D1。此外，该显示画面 123中，在过程数据显示区域123b中显示过程数据D2，该过程数据D2与图 像数据显示区域123a1中所显示的来自照相机号#1的ITV照相机21的动态图 像的图像数据D1同步，并且由控制设备从照相机号#1的ITV照相机21所拍 摄的监视对象物中取得。另外，过程数据显示区域123b与图8、图9所示的 显示画面121、122的过程数据显示区域121b、122b没有任何改变。

在图11所示的显示画面124中，与图8所示的显示画面121等相同，在显 示画面124的中央的上侧设有图像数据显示区域124a，另一方面，在显示画 面124的中央的下侧设有过程数据显示区域124b。然后，该显示画面124中， 与图10所示的显示画面123相同，在图像数据显示区域124a中设有2个图像 数据显示区域124a1，图像数据显示区域124a1中显示来自照相机号#1的ITV 照相机21的动态图像的图像数据D1，另一方面，图像数据显示区域124a2 中显示来自相同照相机号#1的ITV照相机21(camera1)的拍摄时刻不同的4 个静态图像的图像数据D1。

在过程数据D2中包含例如正在被轧制的轧制材料的批次号等文本数据 的情况下，在过程数据显示区域124b中显示文本数据124c。

另外，过程数据显示区域124b与图8～图10所示的显示画面121～123 的过程数据显示区域121b～123b没有任何改变。

在图12所示的显示画面125中，与图8所示的显示画面121等相同，在显 示画面125的中央的上侧设有图像数据显示区域125a，另一方面，在显示画 面125的中央的下侧设有过程数据显示区域125b。然后，该显示画面125中， 在图像数据显示区域125a中显示例如用于从4台照相机视频中选择2台照相 机视频的照相机视频指定按钮125a1，并在图像数据显示区域125a2、125a3 中显示来自利用该照相机视频指定按钮125a1选择的照相机号#1、3这2台 ITV照相机21、23(camera1、3)的动态图像数据。由此，该显示画面125 的图像数据显示区域125a2、125a3的窗口的大小比图10所示的显示画面123 中的图像数据显示区域123a1、123a2的窗口要小，比图8所示的显示画面121 中的图像数据显示区域123a1～121a4的窗口要大，因此容易看清图像数据 D1。另外，该显示画面125中，过程数据显示区域125b与图8～图11所示的 显示画面121～124的过程数据显示区域121b～124b没有任何改变。

如上述所说明那样，根据本实施方式1的数据同步重放装置1，使用构 成图像数据D1的图像帧D12的帧号、帧周期Tf和构成过程数据D2的数值数 据D23的经过时间、采样间隔Ts2等，能同步重放图像帧D12和数值数据D23， 能在监视器12中显示如图8～图12所示的显示画面121～125所示那样的显 示画面。其结果是，根据本实施方式1的数据同步重放装置1，在图像数据 D1和数值数据D23的同步重放处理中，无需参照双方数据的时刻信息，因 此能降低文件数量、文件的存储容量，能在具有与以往相同存储容量的存 储装置中进行比以往要长期间的存储和同步重放。

此外，数值数据D23仅在具有随时间的变化的情况下从监视对象物61～ 6p取得并进行存储，因此在数值数据D23中不具有随时间的变化的情况下， 能大幅度地削减经过时间D22的数据容量。

并且，在图像保存时能利用MPEG-4等图像帧的压缩解码技术，因此能 在图像重放时利用QuickTime(注册商标)播放器等通用的图像数据重放程 序，由此能降低开发成本。

此外，能在不使用时刻信息的情况下，高速地对数据和图像帧进行同 步和重放、或者进行片头提示。

(实施方式2)

实施方式1中，对不参照时刻信息，利用图像帧D12的帧号和经过时间 来进行的图像数据D1和过程数据D2的同步重放处理进行说明，但不限于 此。

本实施方式2中，将下述本实施方式2的数据同步重放装置作为示例进 行说明，在该数据同步重放装置中，除了实施方式1的功能以外，还能通过 指定由过程数据D2指定的时间的数值数据D23的取出记录、即要进行快照 记录的数值数据D23的时间，自动地存储与该所指定的时间的数值数据D23 同步的图像帧D12。

由此，本实施方式2的数据同步重放装置中，对于实施方式1的数据同 步重放装置1的功能还追加了快照记录的功能，存储在程序存储部113a中的 数据同步控制程序也包括用于该快照记录的功能即起到同步保存控制部的 功能的程序。另外，实施方式2的数据同步重放装置的结构与实施方式1相 同，因此参照图1及图2所示的实施方式1的结构，仅说明具有特征的动作。

也就是说，实施方式2的数据同步重放装置1中，用户在监视器12所显 示的过程数据显示区域121b中通过使用鼠标14、键盘13等进行移动，例如 如图8所示，从过程数据D2取出取出记录开始位置指定条121b3以及取出记 录结束位置指定条121b4，由此指定另外记录的过程数据D2的时间。然后， 若用户点击保存按钮(未图示)等，则CPU111执行存储于程序存储部113a 中的数据同步控制程序，首先作为同步图像帧选择部进行动作，与上述实 施方式1的同步重放的情况相同，利用上述数学式(2)等将由用户指定的 时间的数值数据D23的记录号转换成与该指定的时间的数值数据D23同步 后的范围的图像帧D12的帧号。具体而言，CPU111基于所指定的时间的起 始以及末尾的从起始记录开始的相对时间和图像帧D12的帧周期，计算出与 所指定的时间相对应的图像帧D21的帧号。

接着，CPU111通过执行数据同步控制程序来作为同步保存控制部进行 动作，使用户所指定的时间的数值数据D23和与该指定的时间的数值数据 D23同步后的图像帧D12相对应，将图像数据D1、过程数据D2的数据文件 Df作为其他的数据文件Df，即以从图像数据D1、过程数据D2的数据文件Df 中提取出由用户指定的时间的数值数据D23和与该指定的时间的数值数据 D23同步后的图像帧D12的形式，存储于数据存储部113b。

因此，实施方式2的数据同步重放装置1中，能利用邮件程序等将该文 件添附在电子邮件等中并经由互联网、局域网等网络，发送到其他的计算 机装置。

由此，接收到存储有用户指定的时间的数值数据D23和与该时间的数值 数据D23同步后的图像帧D12的文件的该其他的计算机装置中，只要具有与 实施方式1、实施方式2的数据同步重放装置1相同的对图像数据D1和过程数 据D2进行同步重放的同步重放功能，就能根据接收到的文件对用户指定的 时间的数值数据D23和与该指定的时间的数值数据D23同步后的图像帧D12 进行同步重放，并执行远程诊断等。

标号说明

1  数据同步重放装置

11  装置主体

12  监视器

13  键盘

14  鼠标

111  CPU(图像数据重放部、数据同步重放控制部、同步图像帧选择部、 同步保存控制部、画面布局设定部)

112  存储器

113  存储部

113a  程序存储部

113b  数据存储部(图像数据存储部、过程数据存储部)

114  外部设备I/F部

115  控制网络I/F部

116  LAN I/F部

21～2m  ITV照相机(m为自然数。)

3  照相机切换器

4  数字图像转换单元

51～5n  控制设备(n为自然数。)

61～6p  监视对象物61～6p(p为自然数。)

工业上的实用性

本发明可适用于监视车间的在线数据管理系统等。