一种基于FPGA的片上实时高速三维复现方法

摘要

一种基于FPGA的片上实时高速三维复现方法，它有五大步骤。本发明用于三维形貌测量的多频条纹图像数据处理与整体形貌的三维复现。基于FPGA的本方法，方法包括数据采集与预处理、标记背景、译码器解相、外差多频相展开立体匹配与三维复现。在进行相位解算是使用了预先固化在片内的解相译码器模块，克服了在泰勒级数运算造成的总体运算速度慢、资源消耗大的缺点，同时对于不同频率的条纹图像实现数据的实时处理。该方法具有速度快、功耗低、可靠性好的特点，可用于表面三维形貌的光学非接触测量。

说明书

技术领域

本发明涉及一种基于FPGA的片上实时高速三维复现方法，用于对三维 形貌测量时的条纹图像进行实时高速的相位解算与三维复现数据处理。本发 明属于光学三维测量技术领域。

背景技术

按检测方法分，目前对物体三维形貌测量可分为接触式与非接触式两大 类。虽然接触式测量有着精度高范围广的优点，但是由于要求测头与被测物 接触，不可避免地会造成被测物表面的变形与损伤，因而不适合柔软物体的 测量，而且当测头无法接触到物体时无法进行测量。与之相比，非接触式测 量避免了与被测物直接接触，扫描速度也不受机械限制，测量环境要求也不 高，可实现高温、高压等恶劣环境下的测量。目前主要的非接触式测量方法 可分为激光扫描法、结构光法、立体视觉法以及工业CT法等。

在各种方法中，投影栅相位法具有结构简单、测量精度高、测量速度快 的优点，一次测量中可以得到物体表面稠密的三维点云，可以有效适应工业 需要。目前国内外研究投影栅相位法的相展开方法可分为三类：空间相展开 法、时域相展开法以及外差多频相展开法。空间相展开发包括支切法、质量 导向图法、最小断点法、标记法、区域相展开法、最小生成树法、遗传算法、 细胞自动机法、Lp-Norm法等。这些方法虽然能够从不同程度上减少噪声对 相展开结果的影响，但在处理遮挡、阴影等问题时依旧存在无法解决的问题。 时域相展开法相比于空间相展开法，是将每个像素点按时间轴进行相位展开 计算，从而使各个点的结算相对独立，低信噪比的区域不会影响其他点的计 算，避免了空间相展开过程中传播误差所带来的不良影响。

目前在投影栅相位法的数据处理上，大都使用计算机对获得的数据进行 处理。在使用计算机进行数据处理的过程中，数据的传输、存储与运算是减 缓整体运算时间的主要原因；另外由于计算机无法进行并行计算，这也大大 降低了运算速度。而相比之下，利用硬件化的FPGA进行数据处理，一方面 可以减少由传感器到处理核心的传输、存储时间；另一方面可以实现左右相 机图像数据的并行计算。这使得基于FPGA的三维复现方法的实时高速性有 了保证。目前国内还没有此类基于FPGA的三维复现方法。

发明内容

本发明是一种基于FPGA的片上实时高速三维复现方法，用以克服现有 非接触光学主动三维测量方法在在条纹图像在进行相位解算与三维复现时 速度慢的问题。

本发明的技术解决方案为：一种基于FPGA的片上实时高速三维复现方 法，该方法包括数据采集与预处理、标记背景、译码器解相、外差多频相展 开立体匹配与三维复现。具体发明内容包括以下步骤：

步骤一：首先采集某一频率不同相移的条纹图像，依照该传感器的图像 的传输形式在FPGA上对数据进行预处理后存储到RAM中。

步骤二：对于一组同一频率的条纹图像进行背景标记。利用公式 4[B(x,y)]²=[g₃(x,y)-g₁(x,y)]²+[g₀(x,y)-g₂(x,y)]²与事先在FPGA 中设定的阈值B_T标记出有效的图像像素位置。上式中的符号说明如下： g_i(x,y)表示第i幅图像在点(x,y)处的灰度值，B(x,y)表示点(x,y)处的背 景参量。

步骤三：根据公式$\Phi (x,y)=\arctan \frac{g_3(x,y)-g_1(x,y)}{g_0(x,y)-g_2(x,y)},$将之前的计算 结果整形化，在FPGA上进行硬件化的反正切译码，得到相位解算结果。

步骤四：在所有频率的条纹图像均获取且处理完成之后，利用公式 进行外差相展开法，得到结果后存储到RAM中。 上式中的符号说明如下：Φ_b(x,y)是相位展开前的条纹相位，λ₁、λ₂是不同 周期条纹的周期长度。

步骤五：对于左右相机，以上步骤可以同时处理实现并行计算。得到结 果之后，通过事先固化在FPGA中的相机标定结果，对左右相机的相展开结 果进行立体匹配与三维复现。

其中，步骤一中所述的对数据进行预处理是将采集的某一频率的条纹图 像存储到RAM中，以备在之后的运算中同时读取一个像素位置不同相移的 数据。

其中，步骤二中所述的背景标记是指计算每个像素的调制度B(x,y)， 如果小于阈值B_T，则说明是背景或噪声点，在解相时不予计算这个点。由 于背景阈值是事先在FPGA中设计固化的，在比较时可以节省计算速度。

其中，步骤三中所述的整形化是指由于FPGA处理数据均是整形，因此 根据需要的精度将量化成为整数，再通过反正切译码器 计算Φ(x,y)。反正切译码器是事先在FPGA硬件中固化设计好的组合逻辑 电路，在精度要求不变的情况下，相比泰勒级数运算有着速度快、功耗低的 特点。

其中，步骤四中所述的外差相展开法，在公式计 算的过程用，由于是关于条纹频率定值，使用FPGA硬件计算时可 实现设计为常数，以加快运算速度。

其中，步骤五中所述的对于左右相机，以上步骤可以同时处理实现并行 计算。由于在左右相机匹配的过程中需要用到相机标定结果，这是在计算过 程中不变的。因此可以将其事先固化在FPGA中，以实现实时高速运算。

本发明的原理是：针对在以往解相方法数据传输存储速度慢、无法并行 处理造成的总体运算速度慢的问题。本发明采用了使用基于FPGA的反正切 译码器，将计算量较大的泰勒级数运算替换成硬件上快速高效的组合逻辑电 路；以及将一些参数事先固化在FPGA中以加快运算速度；同时将条纹图像 数据处理模块与数据预处理存储模块分开，实现了两部分同时工作，达到了 实时高速运算处理的要求。

本发明与现有技术相比的优点在于：（1）采用硬件上的逻辑电路进行 计算，有着速度快的优点。（2）采用左右相机数据并行计算，可实现数据 实时处理。（3）在硬件设备的选择上可选择适应计算量的设备，避免了以 往计算机计算时所消耗的额外资源。

附图说明

图1基于FPGA的片上实时高速相展开算法的流程图；

图2为反正切译码器基本时序图；

具体实施方式

基于FPGA的片上实时高速三维复现方法用于高速高动态三维形貌测 量的图像数据处理与三维复现。方法包括数据采集与预处理、标记背景、译 码器解相、外差多频相展开立体匹配与三维复现。该方法采用硬件上的逻辑 电路进行计算，有着速度快的优点。采用左右相机数据并行计算，可实现数 据实时处理。该方法具有速度快、功耗低、可靠性好的特点，可用于表面三 维形貌的光学非接触测量。

见图1，本发明一种基于FPGA的片上实时高速三维复现方法，该方法 具体实施步骤如下：

步骤一：首先采集某一频率不同相移的条纹图像，依照该传感器的图像 的传输形式在FPGA上对数据进行预处理后存储到RAM中，以备在之后的运 算中同时读取一个像素位置不同相移的数据。

步骤二：对于一组同一频率的条纹图像进行背景标记。利用公式 4[B(x,y)]²=[g₃(x,y)-g₁(x,y)]²+[g₀(x,y)-g₂(x,y)]²与事先在FPGA 中设定的阈值B_T标记出有效的图像像素位置，如果像素值小于阈值B_T，则 说明是背景或噪声点，在解相时不予计算这个点。由于背景阈值是事先在 FPGA中设计固化的，在比较时可以节省计算速度。上式中的符号说明如下： g_i(x,y)表示第i幅图像在点(x,y)处的灰度值，B(x,y)表示点(x,y)处的背 景参量。

步骤三：根据公式$\Phi (x,y)=\arctan \frac{g_3(x,y)-g_1(x,y)}{g_0(x,y)-g_2(x,y)},$将之前的计算 结果在FPGA上进行硬件化的反正切译码，得到相位解算结果。整形化是指 由于FPGA处理数据均是整形，因此根据需要的精度将量化成为整数，再通过反正切译码器计算Φ(x,y)。反正切译码器是事先在 FPGA硬件中固化设计好的组合逻辑电路，在精度要求不变的情况下，相比 泰勒级数运算有着速度快、功耗低的特点。反正切译码器时序图参见图2。

表1反正切译码器的典型数表

  输入   输出   输入   输出   输入   输出   输入   输出   1   9   51   137   101   147   151   150   2   19   52   138   102   147   152   150   3   29   53   138   103   147   153   150   4   38   54   138   104   147   154   150   5   46   55   139   105   147   155   150   6   54   56   139   106   147   156   150   7   61   57   139   107   147   157   150   8   67   58   140   108   147   158   150   9   73   59   140   109   147   159   150   10   78   60   140   110   148   160   150   11   83   61   140   111   148   161   150   12   87   62   141   112   148   162   150

  13   91   63   141   113   148   163   150   14   95   64   141   114   148   164   150   15   98   65   141   115   148   165   151   16   101   66   142   116   148   166   151   17   103   67   142   117   148   167   151   18   106   68   142   118   148   168   151   19   108   69   142   119   148   169   151   20   110   70   142   120   148   170   151   21   112   71   143   121   148   171   151   22   114   72   143   122   148   172   151   23   116   73   143   123   148   173   151   24   117   74   143   124   149   174   151   25   119   75   143   125   149   175   151   26   120   76   143   126   149   176   151   27   121   77   144   127   149   177   151   28   122   78   144   128   149   178   151   29   123   79   144   129   149   179   151   30   124   80   144   130   149   180   151   31   125   81   144   131   149   181   151   32   126   82   144   132   149   182   151   33   127   83   145   133   149   183   151   34   128   84   145   134   149   184   151   35   129   85   145   135   149   185   151   36   129   86   145   136   149   186   151   37   130   87   145   137   149   187   151   38   131   88   145   138   149   188   151   39   131   89   145   139   149   189   151   40   132   90   146   140   149   190   151   41   133   91   146   141   149   191   151   42   133   92   146   142   150   192   151   43   134   93   146   143   150   193   151   44   134   94   146   144   150   194   151   45   135   95   146   145   150   195   151   46   135   96   146   146   150   196   151   47   136   97   146   147   150   197   152   48   136   98   146   148   150   198   152

  49   136   99   147   149   150   199   152   50   137   100   147   150   150   200   152

步骤四：在所有频率的条纹图像均获取且处理完成之后，利用公式 进行外差相展开，得到结果后存储到RAM中。在 公式计算的过程用，由于是关于条纹频率定 值，使用FPGA硬件计算时可实现设计为常数，以加快运算速度。上式中的 符号说明如下：Φ_b(x,y)是相位展开前的条纹相位，λ₁、λ₂是不同周期条纹 的周期长度。

步骤五：对于左右相机，以上步骤可以同时处理实现并行计算。得到结 果之后，通过事先固化在FPGA中的相机标定结果，对左右相机的相展开结 果进行立体匹配与三维复现。由于在左右相机匹配的过程中需要用到相机标 定结果，这是在计算过程中不变的。因此可以将其事先固化在FPGA中，以 实现实时高速运算。