一种基于机器视觉的中国象棋比赛智能虚拟直播方法

摘要

本发明提出了一种基于机器视觉的中国象棋比赛智能虚拟直播方法。首先，采集静态棋盘图像，进行棋盘坐标标定，建立实物棋盘与虚拟棋盘之间的坐标变换关系；然后，依据棋子在棋盘图像中的位置、名称、颜色等特征信息，建立描述棋盘综合特征的状态信息表；其次，设定棋盘状态变化检测双向基准线，用于棋盘变化动态检测；再次，获取棋盘实时变化图像，确定变化棋子属性及初始及目标位置，实时更新状态信息表；最后，结合象棋比赛规则，实现比赛过程的虚拟直播，包括语音讲解、虚拟联动及比赛回放。使用本发明可以实现中国象棋比赛的现场虚拟直播，该方法具有可靠性高、适应性强、使用方便等优点，本发明也可应用于围棋、五子棋等多种棋类比赛直播。

说明书

技术领域

本发明属于图像识别与智能信息处理领域，特别涉及一种基于机器视觉的中国象棋比赛智能虚拟直播方法。

背景技术

蕴含了中华民族传统文化的中国象棋是人们热衷的一种体育竞技项目。通过查询，发现现有大型象棋比赛的直播解说，是主持人在一块竖立的磁性棋盘上手动复现选手对弈棋局并加以解说，没有实现比赛的自动智能直播。本发明的设计目的是提出一种基于机器视觉的中国象棋智能虚拟直播方法，实现象棋比赛的智能化虚拟直播。

现有技术中，有以下参考文献：文献《手持移动终端平台上的围棋比赛图像识别研究》(付世斌，南京大学，2012)提出了一种基于投影方法的围棋棋盘识别算法，通过一种基于Android系统的棋盘识别软件自动统计出黑白棋子个数和比赛结果；文献《基于视觉的中国象棋棋子识别定位技术》(王殿君，清华大学学报(自然科学版).2013，53(8))提出了一种基于视觉的中国象棋棋子识别定位技术，采用视觉传感器结合图像处理的方法来识别棋盘和棋子，并通过计算机向机械臂发出运动指令完成走棋过程；文献《基于视觉的象棋棋盘识别》(杜俊俐，张景飞，黄心汉，计算机工程与应用.2007，43(34))针对棋盘全局二值化存在的问题，提出了基于相邻像素灰度差阈值的棋盘图像二值化方法；针对棋子文字方向任意的现象，提出了3种基于统计特征的棋子文字识别方法；文献《象棋机器人的研究与探索》(张春晖，王骄，徐心和，机器人技术与应.2009，2)介绍了一种象棋机器人，该机器人包括小型六自由度的工业机器手，摄像头，智能棋盘以及嵌入射频识别芯片的棋子，通过各个功能模块的协调合作完成人机对战。

综上，现有研究不具备对象棋比赛实时监控识别，并具备智能化虚拟直播及语音解说的功能，不能应用于象棋比赛的现场智能直播解说。

发明内容

本发明的目的是依靠图像识别及语音合成技术，提供了一种基于机器视觉的中国象棋比赛智能虚拟直播方法，以代替人实现象棋比赛的现场直播解说。

为达到上述目的，本发明采用如下技术方案来实现：

一种基于机器视觉的中国象棋比赛智能虚拟直播方法，包括以下步骤：

1)首先采集实物棋盘图像，进行棋盘坐标标定，建立实物棋盘图像与虚拟棋盘图像之间的多项式变换模型；

2)其次依据棋子在实物棋盘图像中的位置、名称和颜色特征信息，建立描述虚拟棋盘综合特征的状态信息表；

3)再次设定实物棋盘状态变化检测双向基准线，用于实物棋盘操作变化动态检测；

4)然后获取实物棋盘实时变化图像，确定变化棋子属性及初始位置与目标位置，精确识别棋子状态变化，并实时更新状态信息表；

5)最后结合象棋比赛规则，实现比赛过程的高清虚拟直播，包括语音讲解、虚拟联动及比赛回放。

本发明进一步的改进在于，步骤1)中，棋盘坐标标定时，依据实物棋盘图像几何畸变类型，建立实物棋盘图像与虚拟棋盘图像之间的多项式变换模型，采用去均值归一化积算法进行匹配运算，实现特征点的鲁棒精确定位；基于最小二乘最优估计方法，求解多项式变换模型的参数，实现虚拟棋盘图像的快速有效标定；

其中，实物棋盘图像几何畸变类型为：

式(1)中x,y表示校正前图像任一点坐标，u,v表示校正后图像的对应点坐标，a_ij，b_ij表示多项式的系数，n为畸变模型阶数；

采用基于最小二乘法的最优估计解算模型参数；设f(u,v)原图像，f(x,y)是畸变的图像，两者的坐标之间存在的非线性变换Ta，即：

(x,y)＝Ta[(u,v)](2)

采用三次二元变换式来进行几何畸变校正，(x,y)与(u，v)的关系式为:

采用多选控制点对而后按最小二乘法求解系数，使拟合误差平方和ε为最小，也就是使式(4)最小：

令：

式中，L为选取的控制点对的个数，其中s＝0,1,2,3；t＝0,1,...,3-s；

由此得到：

同理可得：

式(6)和式(7)为两组由10个方程组成的线性方程组，每个方程组包含10个未知数，则通过分别求解上述二式，即可求出a_ij，b_ij，再将其代回式(3)就可实现两个坐标系之间的变换；

其中T为10阶方阵，a、b、X、Y为10维向量；

a＝[a₀₀,a₀₁,a₀₂,a₀₃,a₁₀,a₁₁,a₁₂,a₂₀,a₂₁,a₃₀]^T(9)

b＝[b₀₀,b₀₁,b₀₂,b₀₃,b₁₀,b₁₁,b₁₂,b₂₀,b₂₁,b₃₀]^T(10)

本发明进一步的改进在于，具体实现方法如下：

101)首先采集实物棋盘静态图像，获取特征模板图像；

102)然后手动标定在虚拟棋盘上设定的九个标定点，采用去均值归一化积相关算法进行匹配运算，得到虚拟棋盘与实物棋盘特征点对应关系；

103)代入多项式变换模型，利用最小二乘法求解出坐标标定参数；

104)依据坐标标定参数，将虚拟棋盘中的90个坐标点逆推到实物棋盘图像中，完成标定。

本发明进一步的改进在于，步骤2)中，状态信息表中综合描述了虚拟棋盘包括棋子特征在内每一点的信息，包括以下内容：

a)以表格的形式描述了虚拟棋盘每一个坐标点的相关属性，包括名称、属性、像素坐标、特征、识别位置、状态；

b)状态信息表用于记录实物棋盘状态变化信息。

本发明进一步的改进在于，步骤3)中，实物棋盘变化动态检测时，设计采用加窗中值滤波算法去除噪声的影响，利用背景差分及Sobel边缘检测算法，抑制灰度干扰影响，计算检测线多特征参数，判断基准线状态变化，实现了实物棋盘变化的动态准确检测，增强了对光照等周围环境的适应能力；

具体步骤如下：

301)建立实物棋盘状态变化检测双向基准线，将实时图像与模板图像进行背景差分，统计基准线上像素点的灰度值及梯度值；

302)计算检测线多特征参数，与预先设定的阈值相比较，若参数大于阈值，则认为实物棋盘状态发生变化，其中，预设阈值ρ＝6；

303)存储当前实时图像，用于下一步棋子状态变化识别，同时更新模板用于下一回合实物棋盘变化检测。

本发明进一步的改进在于，步骤4)中，棋子状态变化识别时，依据建立的多项式变换模型，将虚拟棋盘中的棋子所在位置逆推到实物棋盘图像中；判断颜色特征差分图像，通过模板循环递推方法确定变化棋子初始位置与目标位置；结合虚拟棋盘状态信息表及棋弈对抗规范，精确识别棋子状态变化属性；

其中，首先获取视频中的一幅图像作为基准图g(x,y)，实时监控目标场景f_t(x,y)，将基准图与实时图做差分处理得到差分图像e_t(x,y)：

e_t(x,y)＝f_t(x,y)-g(x,y)(13)

当棋子走动时，差分结果明显，利用Sobel边缘检测算法处理差分图像，得到边缘图像edge_t(x,y)

去除噪声影响，计算图像重心定位光斑位置：

式中，I(x_i,y_i)表示图像在(x_i,y_i)点的灰度值，m表示检测区域大小；

根据变换模型将其投影到虚拟棋盘中，实现棋子的步态检测；

本发明进一步的改进在于，具体步骤如下：

401)利用实时图像特征点亮度及色调多特征参数，与模板图像进行差分，得到差分图像；

402)通过模板循环递推方法用窗口对实物棋盘中90个坐标点逐个搜索，统计窗口中像素灰度值，然后选取灰度值最大的3个位置；

403)若其中2个灰度值明显大于第3个，则认为这2个位置发生棋子变化，然后根据状态信息表判断初始及目标位置；若3个灰度值相差不大，则说明棋手在下棋的过程中较大触碰了周围不相干的棋子，此时结合状态信息表及走步规则判断初始及目标位置，并精确识别变化棋子属性。

本发明进一步的改进在于，步骤5)中，高清虚拟直播时，结合实物棋盘视觉监测需求，基于视频监测技术、智能识别技术、信息融合技术、语音合成技术，完成系统的综合集成，实现中国象棋智能虚拟直播。

本发明进一步的改进在于，具体步骤如下：

501)依据象棋比赛规则进行规范化语音讲解，讲解内容主要包括棋子走步，吃子，将军，获胜象棋比赛中的所有要素；

502)根据走步棋子及变化位置实现虚拟联动，驱动虚拟棋盘棋子完成相应走步，并实时更新状态信息表；

503)结合实时状态信息表历史记录，实现比赛回放。

本发明具有如下的有益效果：

本发明提供的一种基于机器视觉的中国象棋比赛智能虚拟直播方法，可以将主持人从大型象棋比赛的直播中解放出来，开创了一种新型的智能化象棋比赛直播模式，同时直播界面包括正射高清虚拟棋盘、对弈选手现场图像转播、棋子变化状态历史记录，具备语音解说，比赛回放等功能，使观众的观赛体验得到提高。

进一步，本发明在棋盘坐标标定时，采用去均值归一化积相关算法进行匹配运算，实现特征点的鲁棒精确定位；基于最小二乘最优估计方法，实现虚拟棋盘图像的快速有效标定，从而最大限度降低了比赛的误识别，提高了可靠性。

进一步，本发明建立的状态信息表中综合描述了虚拟棋盘包括棋子特征在内每一点的信息，可有效记录棋子变化状态历史记录，针对棋局中关键走步进行回放，进一步提高观众观赛体验。

进一步，本发明建立的实物棋盘状态变化检测双向基准线，采用加窗中值滤波算法去除噪声的影响，利用背景差分及Sobel边缘检测算法，抑制灰度干扰影响，实现了实物棋盘变化的动态准确检测，无需人工发出命令，且增强了对光照等周围环境的适应能力。

进一步，本发明直播系统搭建方便，抗外界干扰强，灵敏度和稳定性高，适用性广，可扩展到围棋、五子棋等多种棋类比赛直播，快速投入现场直播工作。

附图说明

图1为棋子智能检测与定位方法流程图。

图2为差分图像。

图3为Sobel边缘检测结果图。

图4为本发明的结构示意图。

图5为本发明的方法原理示意图，说明了本发明的基本思路。

图6a-6d分别描述了虚拟棋盘标定、实物棋盘变化动态检测、棋子状态识别、高清虚拟直播的流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步详细的描述。

本发明根据棋盘标定监测识别等功能需要，设计了相应的方法及技术，主要包括：

1.基于特征匹配与最小二乘法的虚拟棋盘坐标自适应标定方法。

在本系统，实物棋盘图像几何畸变类型为：

式(1)中x,y表示校正前图像任一点坐标，u,v表示校正后图像的对应点坐标，a_ij，b_ij表示多项式的系数，n为畸变模型阶数。

采用基于最小二乘法的最优估计解算模型参数。设f(u,v)原图像，f(x,y)是畸变的图像，两者的坐标之间存在的非线性变换Ta，即：

(x,y)＝Ta[(u,v)](2)

由于一次变换式只能校正线性失真，如刚性变换、仿射变换，二次多项式不能校正径向畸变，而三次多项式变形技术不仅可校正光学镜头的几何畸变，还可消除透视效果。对于上面提到的第二、三种情况产生的畸变，在本系统中采用三次二元变换式来进行几何畸变校正，校正前图像任一点(x,y)与校正后图像的对应点(u，v)的关系式为:

式(3)中，两个坐标变换方程共有20个未知系数，至少要10个点才能唯一地确定这些系数，在实际中对应点对的测量难免有误差，为了避免个别对应点对的测量误差严重影响所求坐标变换方程系数的精度，通常采用多选控制点对而后按最小二乘法求解系数，使拟合误差平方和ε为最小，也就是使式(4)最小

令：

式中，L为选取的控制点对的个数，其中s＝0,1,2,3；t＝0,1,...,3-s；

由此得到：

同理可得：

式(6)和式(7)为两组由10个方程组成的线性方程组，每个方程组包含10个未知数.则通过分别求解上述二式，即可求出a_ij，b_ij，再将其代回式(3)就可实现两个坐标系之间的变换。

其中T为10阶方阵，a、b、X、Y为10维向量。

a＝[a₀₀,a₀₁,a₀₂,a₀₃,a₁₀,a₁₁,a₁₂,a₂₀,a₂₁,a₃₀]^T(9)

b＝[b₀₀,b₀₁,b₀₂,b₀₃,b₁₀,b₁₁,b₁₂,b₂₀,b₂₁,b₃₀]^T(10)

标定步骤如下所示：

第一步：采集实物棋盘静态图像，获取特征模板图像；

第二步：手动标定在虚拟棋盘上设定的九个标定点，采用去均值归一化积相关算法进行匹配运算，得到虚拟棋盘与实物棋盘特征点对应关系；

第三步：代入多项式变换模型，利用最小二乘法求解出坐标标定参数；

第四步：依据坐标标定参数，将虚拟棋盘中的90个坐标点逆推到实物棋盘图像中，完成标定。

2.基于多特征融合的实物棋盘变化动态检测方法。

建立实物棋盘状态变化检测双向基准线，设计采用加窗中值滤波算法去除噪声的影响，利用背景差分及Sobel边缘检测算法，抑制灰度干扰影响，计算检测多特征参数，判断基准线状态变化，实现了实物棋盘变化的动态准确检测，增强了对光照等周围环境的适应能力。

具体步骤如下：

第一步：建立实物棋盘状态变化检测双向基准线，将实时图像与模板图像进行背景差分，统计基准线上像素点的灰度值及梯度值；

第二步：计算多特征参数，与预先设定的阈值相比较(预设阈值ρ＝6)，若参数大于阈值，则认为实物棋盘状态发生变化；

第三步：存储当前实时图像，用于下一步棋子状态变化识别，同时更新模板用于下一回合实物棋盘变化检测。

3.基于坐标逆变换与模板循环递推的棋子识别方法。

如图1所示，设计了基于背景差分的棋子智能检测与定位方法，结合上面求得的变换矩阵，即可实现棋子的步态检测。具体实现原理如下：

如图2所示，首先获取视频中的一幅图像作为基准图g(x,y)，实时监控目标场景f_t(x,y)，将基准图与实时图做差分处理得到差分图像e_t(x,y)：

e_t(x,y)＝f_t(x,y)-g(x,y)(13)

如图3所示，当棋子走动时，差分结果明显，利用Sobel边缘检测算法处理差分图像，得到边缘图像edge_t(x,y)

去除噪声影响，计算图像重心定位光斑位置：

式中，I(x_i,y_i)表示图像在(x_i,y_i)点的灰度值，m表示检测区域大小；

根据变换模型将其投影到虚拟棋盘中，实现棋子的步态检测：

识别步骤如下所示：

第一步：利用实时图像特征点亮度及色调多特征参数，与模板图像进行差分，得到差分图像；

第二步：通过模板循环递推方法用窗口对实物棋盘中90个坐标点逐个搜索，统计窗口中像素灰度值，然后选取灰度值最大的3个位置；

第三步：若其中2个灰度值明显大于第3个，则认为这2个位置发生棋子变化，然后根据状态信息表判断初始及目标位置；若3个灰度值相差不大，则说明棋手在下棋的过程中较大触碰了周围不相干的棋子，此时结合状态信息表及走步规则判断初始及目标位置，并精确识别变化棋子属性。

4.高清虚拟直播技术。

第一步：依据象棋比赛规则进行规范化语音讲解，讲解内容主要包括棋子走步，吃子，将军，获胜等象棋比赛中的所有要素；

第二步：根据走步棋子及变化位置实现虚拟联动，驱动虚拟棋盘棋子完成相应走步，并实时更新状态信息表；

第三步：结合实时状态信息表历史记录，实现比赛回放。

根据本发明，状态信息表综合描述了虚拟棋盘包括棋子特征在内每一点的信息，主要包括以下内容：

a.以表格的形式描述了虚拟棋盘每一个坐标点的相关属性，主要包括名称、属性、像素坐标、特征、识别位置、状态；

b.状态信息表用于记录实物棋盘状态变化信息。

本发明中状态信息表与实物棋盘中每一点是一一对应的，当实物棋盘状态发生变化，状态信息表的信息也会随之更新。

实施例1

如图4所示，介绍了一种适用于本发明的直播系统，包括棋盘基座1、图像采集装置2、支撑架3、计算机4、投影仪5和投影幕6。棋盘基座1用于放置象棋棋面，在棋盘基座1上安装有支撑架3，支撑架3上固定图像采集装置2，图像采集装置2对准棋盘，投影幕6面向投影仪5安放，所述图像采集装置2和投影仪5与计算机4连接。图像采集装置2用于实时采集棋盘上的图像并将图像传递给计算机4，计算机4用于棋盘图像坐标自动标定，棋盘变化自动检测，棋盘棋子状态自动识别，实时将棋子变化状态在虚拟棋盘上更新显示，同时结合棋子变化通过语音合成技术进行实时解说，投影仪5同步投影到投影幕6。

所述图像采集装置2为采用CCD传感器的可见光采集装置，通过USB接口与计算机4相连接，固定于支撑架3上，摄像头垂直向下面向棋盘，其采集到的图像能够包含整个棋盘。

所述计算机4具有棋盘图像坐标自动标定，棋盘变化动态检测，棋子状态变化识别，实时在虚拟棋盘上更新状态，虚拟回播，语音同步解说的功能。

所述投影仪5和投影幕6，所投影像分为3个面积不等区域，从大到小依次为大型正射高清虚拟棋盘、现场图像转播、棋子变化状态历史记录。

如图5及图6a-6d所示，本发明的工作流程如下：

比赛开始前，图像采集装置2采集棋盘图像，用于计算机4进行棋盘坐标标定，通过棋面上的9个标定点，建立实物棋盘与虚拟棋盘之间的对应关系；然后，依据棋子在棋盘图像中的位置、名称、颜色等特征信息，建立描述全棋盘综合特征的状态信息表；接着，建立棋盘状态变化检测双向基准线，用于棋盘变化动态检测。比赛开始后，当一方棋手完成下棋动作，图像采集装置2自动检测棋盘变化并采集棋盘图像传送至计算机，计算机根据采集回来的棋盘图像，识别出棋子特征及其屏幕坐标，生成对应的走棋路线描述文件，更新虚拟棋盘图像，同时通过合成语音结合棋弈对抗规范进行实时解说，实现象棋比赛的高清直播、语音讲解、虚拟联动及比赛回放等综合集成功能。上述过程循环进行，直至比赛结束。