用于图像系统总线带宽不足的图像实时传输容错方法

摘要

本发明公开了一种用于图像系统总线带宽不足的图像实时传输容错方法，该方法利用异步FIFO桥接系统时钟域和图像传输时钟域，完成数据的安全传输，利用双向计数器记录发送图像时，迟到的实时数据和无效数据，通过丢弃无效数据，完成图像容错处理，避免了丢帧对图像帧率的影响,保证图像的实时传输。

说明书

技术领域

本发明涉及计算机硬件领域，尤指一种用于图像系统总线带宽不足的图像 实时传输容错方法。

背景技术

在一个图像系统中，图像显示是人机交互的基础，也至关重要，直接影响 用户体验度。而流畅实时的图像显示是靠图像的精准无误的传输做保证。

当一个系统受到总线设备较多、总线时钟频率低等因素的影响，会限制系 统总线的带宽。当带宽不足时，很容易引起总线设备抢不到总线，无法从DRAM 等存储设备中读取数据，图像按照固定图像格式输出时，图像数据突然中断， 设备抢到总线时，已经过了发送该组数据的时间，如果再将此时的数据发送出 去，会造成输出图像错误，也就是数据的空间映射出错。并将错误扩展到后续 的图像中，如果将出错的图片丢弃掉，就会降低图像的帧率。而一个可靠的图 像系统，图像显示必定是流畅、实时的、稳定的。

发明内容

为了解决上述技术问题，本发明提供一种用于图像系统总线带宽不足的图 像实时传输容错方法，本发明的用于图像系统总线带宽不足的图像实时传输容 错方法可以解决现有技术中存在的问题。

本发明的技术方案提供一种用于图像系统总线带宽不足的图像实时传输容 错方法，其包括以下步骤:

1)异步FIFO将图像数据从总线时钟域转换至图像传输时钟域，并存储转 换后的所述图像数据；

2)传输容错模块每隔第一时间间隔读取所述异步FIFO的空满状态；当所 述异步FIFO为非空状态且所述传输容错模块处于传输状态时，所述传输容错模 块从所述异步FIFO中读取并暂存所述图像数据；当所述异步FIFO为空状态时 所述传输容错模块进入容错状态，所述传输容错模块对所述图像数据进行容错 处理后返回传输状态；

3)所述数据发送模块每隔第二时间间隔从所述传输容错模块读取数据；当 所述传输容错模块处于传输状态时，所述数据发送模块读取的数据为所述传输 容错模块暂存的所述图像数据；当所述传输容错模块处于传输状态时所述，所 述数据发送模块读取的数据为所述传输容错模块生成的填充数据。

本发明的用于图像系统总线带宽不足的图像实时传输容错方法的进一步改 进在于所述传输容错模块对所述图像数据进行容错处理具体包括以下步骤：所 述传输容错模块记录所述数据发送模块读取到的填充数据的读取量；与此同时 所述传输容错模块反复读取所述异步FIFO的空满状态，当所述异步FIFO为非 空状态时所述传输容错模块从所述异步FIFO中读取并丢弃图像数据；当图像数 据的丢弃量等于填充数据的读取量时，所述传输容错模块返回传输状态。

本发明的用于图像系统总线带宽不足的图像实时传输容错方法的进一步改 进在于：所述传输容错模块内部包含一个双向计数器，当填充数据的读取量增 加时，所述传输容错模块对双向计数器进行累加；当所述图像数据的丢弃量增 加时所述传输容错模块对双向计数器进行累减。

本发明的用于图像系统总线带宽不足的图像实时传输容错方法的进一步改 进在于：当所述双向计数器的数值大于所述容错门限时，所述传输容错模块发 出中断信号。

本发明的用于图像系统总线带宽不足的图像实时传输容错方法的进一步改 进在于：所述双向计数器的位宽可变。

本发明的用于图像系统总线带宽不足的图像实时传输容错方法的进一步改 进在于：所述填充数据为所述传输容错模块处于传输状态时从所述异步FIFO中 读取到的最后一个图像数据。

本发明的用于图像系统总线带宽不足的图像实时传输容错方法的进一步改 进在于：所述图像数据的格式为400、422、444或RGB。

本发明的用于图像系统总线带宽不足的图像实时传输容错方法的进一步改 进在于：所述图像数据包括多个分量时，使用多个异步FIFO分别保存所述图像 数据的分量。

本发明的技术方案的有益技术效果为：当图像数据因总线带宽不足无法按 时发送时，向图像数据中插入填充数据，从而使得图像传输不会中断，保证了 图像的实时性以及高帧率。适用于图像系统中，由总线设备多或时钟频率低等 因素造成的总线带宽不足，设备抢占不到总线的情况。

附图说明

图1为本发明涉及的图像系统的结构；

图2为本发明涉及的图像传输设备的结构框图；

图3为本发明的数据流程图；

图4为正常的图像帧的示意图；以及

图5为图像帧中部分图像数据经过容错处理后的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本 说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过 另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于 不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本说明书所附图式所绘示的结构、比例、大小等，均仅用 以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限 定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比 例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目 的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明 书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于 叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整， 在无实质变更技术内容下，当亦视为本发明可实施的范畴。

下面结合附图介绍本发明的用于图像系统总线带宽不足的图像实时传输容 错方法。

如图1所示的图像系统中，包括数据存储设备10、用于向显示装置传输图 像信号的图像传输设备11以及多个其他总线设备12。数据存储设备10、图像 传输设备11以及总线设备12均挂载至一条总线13。数据存储设备10通过总线 13将图像数据发送至图像传输设备11。在同一时刻只能有一个设备占有总线13。

在运行时，数据存储设备10按照预定时间将图像数据通过总线发送至图像 传输设备11。但是当总线13挂载的设备较多时，总线13带宽会产生偶发性不 足。这会导致数据存储设备10无法及时抢占到总线13，进而导致图像传输设备 无法按时接收到图像数据。

为了避免上述状况，本发明提出了一种用于图像系统总线带宽不足的图像 实时传输容错方法，如图2和图3所示，该方法包括如下步骤：

1)数据存储设备10通过总线13将图像数据发送至异步FIFO。异步FIFO20 (AsynFIFO，异步先入先出队列)将图像数据从总线时钟域转换至图像传输时 钟域，并存储转换后的图像数据。在本实施例中总线时钟域和图像传输时钟域 的时钟频率不同，如果直接将图像数据从总线时钟域传输至图像传输时钟域会 导致信号传输不可靠。异步FIFO20是一种跨时钟域的先入先出队列，异步 FIFO20的入口运行于总线时钟域，其出口运行于图像传输时钟域。

异步FIFO20不仅可用于数据的跨时钟域传输，其内部还可以缓存部分图像 数据，该缓存功能可以克服短暂的总线带宽不足的问题。当总线13带宽正常时， 数据存储设备10不停向异步FIFO20传输图像数据，使得异步FIFO20一直处于 非空状态。但是当总线13带宽长时间不足时，数据存储设备10暂时无法通过 总线向异步FIFO20传输图像数据，异步FIFO20内部的图像数据全部被读取后， 异步FIFO20进入空状态。异步FIFO20的空状态会一直持续到总线13带宽恢复 正常为止。

2)传输容错模块30每隔第一时间间隔读取异步FIFO20的空满状态。当异 步FIFO20为非空状态且传输容错模块30处于传输状态时，传输容错模块30从 异步FIFO20中读取并暂存图像数据。当异步FIFO20为空状态时传输容错模块 30进入容错状态，传输容错模块30对图像数据进行容错处理后返回传输状态。

具体的，当总线13带宽一直处于正常状态时，传输容错模块30处于传输 状态。此时传输容错模块30每隔第一时间间隔从异步FIFO中读取图像数据， 并将读取到的图像数据暂存于寄存器中供数据发送模块40读取。

当总线带宽不足时，异步FIFO20进入空状态。传输容错模块30检测到异 步FIFO20进入空状态后进入容错状态。处于容错状态时，传输容错模块30在 其内部保存填充数据供数据发送模块40读取，以保证图像系统不会因未按时收 到数据而出错。当总线带宽恢复后，异步FIFO20最先接收的部分数据为迟到的 无效图像数据，无效图像数据已经被填充数据所取代。为了保证后续图像数据 空间映射的正确性，传输容错模块30会将迟到的无效图像数据进行丢弃。

传输容错模块30对图像数据进行容错处理具体包括以下步骤：传输容错模 块30将填充数据存入其内部的寄存器供数据发送模块40读取，传输容错模块 30记录数据发送模块40读取到的填充数据的读取量；与此同时传输容错模块 30反复读取异步FIFO20的空满状态，当异步FIFO20为非空状态时传输容错模 块30从异步FIFO20中读取并丢弃无效图像数据；当无效图像数据的丢弃量等 于填充数据的读取量时，传输容错模块30返回传输状态。

3)数据发送模块40每隔第二时间间隔从传输容错模块30读取数据；当传 输容错模块30处于传输状态时，数据发送模块40读取的数据为传输容错模块 30暂存的图像数据；当传输容错模块30处于传输状态时，数据发送模块40读 取的数据为传输容错模块30生成的填充数据。

传输容错模块30内部包含一个容错单元31以及读数据单元32。容错单元 31内部包含一个双向计数器，该双向计数器的初始值为0。当填充数据的读取 量增加时，传输容错模块30对双向计数器进行累加；当迟到的图像数据的丢弃 量增加时，传输容错模块30对双向计数器进行累减。在传输容错模块30进行 容错处理的过程中，双向计数器通常先进行累加。等到总线13带宽恢复后，传 输容错模块30读取并丢弃迟到的无效图像数据，此时双向计数器逐渐累减。当 无效图像数据的丢弃量等于填充数据的读取量时，双向计数器的数值下降至初 始值0。传输容错模块30可以通过双向计数器的数值判断其工作状态，当双向 计数器的数值为0时，传输容错模块30处于传输状态；当双向计数器的数值不 等于0时，传输容错模块30处于容错状态。

容错单元31根据双向计数器的数值、异步FIFO的空满状态以及数据发送 模块的数据请求信号控制读数据单元32。读数据单元32在容错单元31从异步 FIFO中读取图像数据，并且对读取的数据进行丢弃或进行缓存。

在容错单元31内部还保存有容错门限。当双向计数器的数值大于容错门限 时，传输容错模块30发出中断信号。系统在接收到中断信号后对图像传输设备 进行局部复位，丢弃本帧图像，进行下一帧图像的传输，或者其他的操作。在 本实施例中，填充数据为传输容错模块30处于传输状态时从异步FIFO20中读 取到的最后一个有效的图像数据。双向计数器的位宽可变，可根据系统实际应 用，对其位宽进行扩展或者缩小。容错门限本身可以根据图像质量的要求进行 修改。对图像质量的要求越高，相应的容错门限的数值越小。

在本实施例中，图像数据的格式可以为400、422、444或RGB中的任意 一种。图像数据包括多个分量时，可使用多个异步FIFO分别保存图像数据的分 量。本发明的方法适用于传输各种分辨率的图像，常见的有：1920×1080、1280 ×720等。

如图4和图5所示。图4为总线宽带持续正常时数据发送模块40发出的图 像数据。从图4可知图像数据的地址连续，没有图像数据被填充数据所替代。 而图4所示为图像帧中部分图像数据经过容错处理后的示意图。在图4中地址 为13和14的图像数据被填充数据所替代，填充数据为图像数据12。其他图像 数据根据数据地址写入正确的地址。虽然填充数据会导致图像质量的瑕疵，但 是填充数据的使得其他的图像数据可以按时写入，确保了图像数据可以按照正 确方式进行空间映射。在某些对图像质量要求不高的应用场景例如安防监控、 视频通信等领域这种偶发的瑕疵完全是可以接受的。个别离散的像素点拖尾失 真要比帧结构完全出错的复位丢帧要好得多。

本设计已经在不同的FPGA上通过实验验证，能实现在系统带宽不足的情况 下，实时传输高帧率的图像，完全能够避免图像数据的丢失对图像显示带来的 困扰，当帧率高时能掩盖图像数据的瑕疵。

本发明的技术方案的有益技术效果为：当图像数据因总线带宽不足无法按 时发送时，向图像数据中插入填充数据，从而使得图像传输不会中断，保证了 图像的实时性以及高帧率。适用于图像系统中，由总线设备多或时钟频率低等 因素造成的总线带宽不足，设备抢占不到总线的情况。

以上所述仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限 制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟 悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示 的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发 明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、 等同变化与修饰，均仍属于本发明技术方案的范围内。