一种基于摄像头的计算机与纸笔信息交互系统及方法

摘要

本发明公开了一种基于摄像头的计算机与纸笔信息交互系统及方法，其信息交互系统包括平铺在操作平台上且上面通过书写笔绘制有一组或多组图文信息的方形纸、摄像头、与摄像头相接的控制器以及分别与控制器相接的参数设置单元、存储器和显示器；其信息交互处理方法包括步骤：一、信息交互前准备工作；二、信息交互：获取背景信息、提取前景信息、方形纸边缘检测、信息分类符识别及信息分类和根据信息类型分别进行信息处理。本发明设计新颖合理、投资成本低、便于控制并且使用效果好、操作性非常强，输写方便，能简便将人们早已习惯的纸笔输入和现代化计算机技术结合在一起。

说明书

技术领域

本发明属于混合现实领域中的信息交互技术领域，尤其是涉及一种基于摄像头的计算机与纸笔信息交互系统及方法。

背景技术

在当前所处的普适计算时代，计算无处不在。有计算就离不开信息交互，因而决不能由于交互方式的限制，将某些研究领域阻挡在技术便利的大门之外。目前作为人机接口设备，键盘鼠标扮演了极其重要的角色，然而在一定程度上鼠标与键盘却把一些人挡在了科技生活的大门之外，传统的鼠标键盘交互方式存在操作步骤比较繁琐、效率低、劳动强度较大、需长时间面对电脑且需配备相应的硬件设备等缺陷和不足。随着人机交互“自然化”的发展，传统的鼠标键盘交互方式已经不能满足用户日益增长的实际需求。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种成本低、使用方便且智能化程度高的基于摄像头的计算机与纸笔信息交互系统。

为解决上述技术问题，本发明采用的技术方案是：一种基于摄像头的计算机与纸笔信息交互系统，其特征在于：包括平铺在操作平台上且上面通过书写笔绘制有一组或多组图文信息的方形纸、实时对方形纸与方形纸上所绘制图文信息进行摄取的摄像头、与摄像头相接且对摄像头所摄取图像信息进行识别和分析处理的控制器以及分别与控制器相接的参数设置单元、存储器和对控制器的分析处理结果进行同步显示的显示器，所述摄像头布设在方形纸上方。

上述一种基于摄像头的计算机与纸笔信息交互系统，其特征是：所述参数设置单元为分别与控制器相接的鼠标和键盘，且所述控制器、显示器、鼠标和键盘组装成一个PC机。

同时，本发明还公开了一种使用操作简便、便于控制且使用效果好、操作性非常强的基于摄像头的计算机与纸笔信息交互系统进行信息交互的方法，其特征在于该方法包括以下步骤：

步骤一、信息交互前准备工作：通过书写笔在方形纸绘制一组或多组图文信息，所述图文信息由图文信息内容和绘制在所述图文信息内容前部的信息分类符组成，且所述图文信息包括纯文字信息、纯图形信息和控制信息三种类型信息；所述纯文字信息的图文信息内容由一个或多个文字组成，所述纯图形信息的图文信息内容由一个或多个图形组成，所述控制信息的图文信息内容由文字和/或控制符号组成且所述控制信息中所包含文字和控制符号的数量为一个或多个；

步骤二、信息交互，其交互过程如下：

201、获取背景信息：通过摄像头摄取所述操作平台的图像信息并同步上传至控制器，所摄取的操作平台图像信息即为信息交互用背景信息，且控制器将所述背景信息存入存储器内；

202、提取前景信息：将绘制一组或多组图文信息的方形纸平铺在所述操作平台上，再通过摄像头摄取所述操作平台和平铺在操作平台的方形纸的组合式图像信息并同步上传至控制器，所述控制器调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且控制器将所述前景信息存入存储器内；

203、边缘检测：控制器调用灰度处理模块对所述前景信息进行灰度处理，并将所述前景信息转换为多灰度级图像；控制器再调用边缘检测模块对所述多灰度级图像进行边缘检测，获得所述多灰度级图像的边缘；之后，控制器再调用Hough变换模块和对灰度图像进行角点检测的角点检测模块，且结合Hough变换模块和角点检测模块对所获得所述多灰度级图像的边缘中的直线段进行分析处理，并相应获得方形纸的四周边线，则在所述前景信息中检测出方形纸的具体位置；

204、信息分类符识别及信息分类：控制器调用符号识读模块，对步骤203中所检测出的方形纸上的信息分类符进行识读，并根据所识读出的信息分类符对方形纸上所绘制的一组或多组图文信息进行分类，且根据分类结果对每一组图文信息的类型进行标注；所述符号识读模块所识读出的信息分类符的数量即为方形纸上所绘制图文信息的数量；

205、信息处理，控制器调用信息处理模块，且根据步骤204中对每一组图文信息所标注的信息类型相应对方形纸上所绘制的一组或多组图文信息分别进行处理，对方形纸上绘制的任一组图文信息来说：

当步骤204中对该组图文信息所标注的信息类型为纯文字信息时，所述信息处理模块调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识别，并将识别结果存为文本数据后存至存储器中；

当步骤204中对该组图文信息所标注的信息类型为纯图形信息时，所述信息处理模块将该组图文信息中的图文信息内容直接存为图片格式后存至存储器中；

当步骤204中对该组图文信息所标注的信息类型为控制信息时，所述信息处理模块调用文字识别模块和/或控制符号识别模块由前至后对该组图文信息中图文信息内容的文字和/或控制符号进行相应识别，并按照识别顺序将识别结果返回至控制器，控制器根据识别结果执行对应的控制指令：采用所述文字识别模块对该组图文信息中的文字进行识别时，将识别结果转存为控制器能识读的数据格式后返回至控制器；采用控制符号识别模块对该组图文信息中的控制符号进行识别时，先将识别结果与存储器中预先存储的控制符号指令库中的控制指令数据进行匹配，再根据匹配结果将与识别结果相匹配的控制指令数据返回至控制器。

上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是：步骤203中所述的边缘检测模块为按照Canny边缘检测算法对所述多灰度级图像进行边缘检测的Canny边缘检测模块。

上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是：步骤203中控制器调用Hough变换模块和角点检测模块，且结合Hough变换模块和角点检测模块对所述多灰度级图像的边缘中的直线段进行分析处理，并相应获得方形纸的四周边线时，其分析处理过程如下：

2031、直线段检测：由所述Hough变换模块和角点检测模块对所述多灰度级图像的边缘中的直线段进行检测，并对所检测出的所有直线段进行标注且将标注结果返回至控制器；

2032、连接形成多边形：控制器将标注后的所有直线段依次连接形成一个封闭多边形；

2033、多边形逼近：控制器调用多边形逼近模块，且结合步骤一中所述方形纸的实际尺寸和方形四周边线的基本特性，对步骤2032中所形成的所述封闭多边形进行逼近处理，并获得方形纸的四周边线。

上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是：步骤2033中控制器调用多边形逼近模块对所述封闭多边形进行多边形逼近时，其逼近过程如下：

I、判断所述封闭多边形是否有4个顶点：当判断得出所述封闭多边形有4个顶点时，则进入步骤II；否则，退出多边形逼近过程并将判断结果返回控制器；

II、判断所述封闭多边形是否为凸多边形：当判断得出所述封闭多边形为凸多边形时，则进入步骤III；否则，退出多边形逼近过程并将判断结果返回控制器；

III、计算并判断所述封闭多边形的面积大小是否接近方形纸的实际面积：当计算得出所述封闭多边形的面积为S×(1±0.5％)时，则进入步骤IV；否则，退出多边形逼近过程并将判断结果返回控制器(3-1)，其中S为步骤一中所述方形纸的实际面积；

IV、计算并判断所述封闭多边形的所有内角大小是否均接近90°：当计算得出所述封闭多边形的所有内角均为90°×(1±0.5％)时，则进入步骤V；否则，退出多边形逼近过程并将判断结果返回控制器；

V、计算并判断所述封闭多边形的两个邻边中长边与短边的长度比是否均接近方形纸的长宽比：当计算得出所述封闭多边形的所有邻边中短边与长边的长度比均为A×(1±0.5％)时，则进入步骤VI；否则，退出多边形逼近过程并将判断结果返回控制器，其中A为步骤一中所述方形纸的长度与宽度间的比值；

VI、计算并判断所述封闭多边形中两个对角线的长度差值是否接近0：当计算得出所述封闭多边形的两个对角线的长度差值≤L×0.5％时，说明所述封闭多边形为方形纸的四周边线；否则，退出多边形逼近过程并将判断结果返回控制器，其中L为步骤一中所述方形纸的长度。

上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是：步骤203中边缘检测完成后，还需进行图像投影校正与对齐：控制器调用图像投影校正与对齐模块，且根据步骤一中所述方形纸的四个顶点与由步骤203中所获得四周边线围成的四变形的四个顶点之间的位置对应关系，通过投射变换方法获取方形纸与所述四变形之间的透射变换矩阵；再根据所获得的透射变换矩阵，将步骤三中所述的前景信息映射到所述四变形内部的方形区域内。

上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是：步骤一中所述的方形纸上面通过多个封闭边框线划分有多个信息输入区，且每一组所述图文信息均书写在一个信息输入区内。

上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是：所述封闭边框线为方框，且信息输入区的形状相应为方形；多个所述封闭边框线由上至下布设在同一竖直线上，且多个所述封闭边框线均布设在方形纸的中部，多个所述封闭边框线呈均匀布设。

上述一种基于摄像头的计算机与纸笔信息交互方法，其特征是：步骤一中所述的信息分类符布设在所述封闭边框线上，且布设在所述封闭边框线的前侧中部或上部。

本发明与现有技术相比具有以下优点：

1、硬件设备简单且投入成本非常低。

2、设计新颖，采用普通矩形的白纸且采用摄像头作为信息交互手段，达到信息输入的目的，具体是通过摄像头读取白纸的信息且配合对读取信息的图像处理，实现信息输入的目的。

3、用于分类的标志形状(即信息分类符)进行图文信息分类和处理，绘制简单，很容易达到对文字、图片和控制信息的准确分类。

4、在整个信息输入的过程中，不需要人工干预，仅仅通过在白纸写上自己的输入和控制信息，就可以实现信息的自动录入。

5、设计新颖合理、投资成本低、使用操作简便且文字图片保存时间长、可操作性强，以摄像头为交互方式且能实现白纸上所书写图文信息的分类提取和保存处理。

综上所述，本发明设计新颖合理、投资成本低、便于控制并且使用效果好、操作性非常强，将人们早已习惯的纸笔输入和现代的多样的计算机技术结合在一起，使计算机能更方便、更实用地服务于我们，也使得在与计算机的交流过程中，用户信息的书写和表达更自然和具有个人特色。因而，本发明实际公开了一种基于摄像头的信息输入系统(即PaperPad)及输入方法，通过信息分类符来对所书写的图文信息进行分类和相应进行处理，实用价值非常高，具有显著的经济效益和社会效益。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明基于摄像头的计算机与纸笔信息交互系统的工作原理框图。

图2为本发明需进行信息交互的方形纸的结构示意图。

图3为本发明采用基于摄像头的计算机与纸笔信息交互系统进行信息交互的方法流程图。

图4为本发明分析处理得出方形纸四周边线的方法流程图。

附图标记说明：

1-方形纸；            1-1-文字分类符；1-2-图形分类符；

1-3-控制类信息分类符；2-摄像头；      3-PC机；

3-1-控制器；          3-2-显示器；    3-3-鼠标；

3-4-键盘；            3-5-存储器；    4-书写笔；

5-封闭边框线；        6-信息输入区。

具体实施方式

如图1所示的一种基于摄像头的计算机与纸笔信息交互系统，包括平铺在操作平台上且上面通过书写笔4绘制有一组或多组图文信息的方形纸1、实时对方形纸1与方形纸1上所绘制图文信息进行摄取的摄像头2、与摄像头2相接且对摄像头2所摄取图像信息进行识别和分析处理的控制器3-1以及分别与控制器3-1相接的参数设置单元、存储器3-5和对控制器3-1的分析处理结果进行同步显示的显示器3-2，所述摄像头2布设在方形纸1上方。

本实施例中，所述参数设置单元为分别与控制器3-1相接的鼠标3-3和键盘3-4，且所述控制器3-1、显示器3-2、鼠标3-3和键盘3-4组装成一个PC机3。

如图3所示的一种基于摄像头的计算机与纸笔信息交互方法，包括以下步骤：

步骤一、信息交互前准备工作：通过书写笔4在方形纸1绘制一组或多组图文信息，所述图文信息由图文信息内容和绘制在所述图文信息内容前部的信息分类符组成，且所述图文信息包括纯文字信息、纯图形信息和控制信息三种类型信息；所述纯文字信息的图文信息内容由一个或多个文字组成，所述纯图形信息的图文信息内容由一个或多个图形组成，所述控制信息的图文信息内容由文字和/或控制符号组成且所述控制信息中所包含文字和控制符号的数量为一个或多个。

本实施例中，所述方形纸1为A4纸或B5纸。

实际操作过程中，所述方形纸1上面通过多个封闭边框线5划分有多个信息输入区6，且每一组所述图文信息均书写在一个信息输入区6内。实际进行布设时，多个所述封闭边框线5由上至下布设在同一竖直线上，且多个所述封闭边框线5均布设在方形纸1的中部，多个所述封闭边框线5呈均匀布设。本实施例中，所述封闭边框线5为方框，且信息输入区6的形状相应为方形，所述方框具体为虚线框。同时，实际进行绘制时，所述信息分类符布设在所述封闭边框线5上，且布设在所述封闭边框线5的前侧中部或上部。

本实施例中，所述信息分类符包括分别与纯文字信息、纯图形信息和控制信息三种类型信息相对应的文字分类符1-1、图形分类符1-2和控制类信息分类符1-3，且文字分类符1-1具体为三角形，图形分类符1-2具体为圆形，控制类信息分类符1-3具体为方形。

结合图2，本实施例中，封闭边框线5的数量为三个，三个封闭边框线5由上至下布设在方形纸1的中部，且三个封闭边框线5分别绘制有一组图文信息：其中最上面的封闭边框线5内所绘制的图文信息为纯文字信息，且该组纯文字信息的图文信息内容为“中国人民”四个字；中间的封闭边框线5内所绘制的图文信息为纯图形信息，且该组纯图形信息的图文信息内容为一个曲线；最下面的封闭边框线5内所绘制的图文信息为控制信息，且该组控制信息的图文信息内容为控制符号另外，三组图文信息的信息分类符均布设在各封闭边框线5的前侧上部。

步骤二、信息交互，其交互过程如下：

201、获取背景信息：通过摄像头2摄取所述操作平台的图像信息并同步上传至控制器3-1，所摄取的操作平台图像信息即为信息交互用背景信息，且控制器3-1将所述背景信息存入存储器3-5内。

202、提取前景信息：将绘制一组或多组图文信息的方形纸1平铺在所述操作平台上，再通过摄像头2摄取所述操作平台和平铺在操作平台的方形纸1的组合式图像信息并同步上传至控制器3-1，所述控制器3-1调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且控制器3-1将所述前景信息存入存储器3-5内。

实际操作时，用步骤202中所述的组合式图像信息减去步骤201中所述的背景信息，即可得到当前需进行信息交互的前景信息。

203、边缘检测：控制器3-1调用灰度处理模块对所述前景信息进行灰度处理，并将所述前景信息转换为多灰度级图像；控制器3-1再调用边缘检测模块对所述多灰度级图像进行边缘检测，获得所述多灰度级图像的边缘；之后，控制器3-1再调用Hough变换模块和对灰度图像进行角点检测的角点检测模块，且结合Hough变换模块和角点检测模块对所获得所述多灰度级图像的边缘中的直线段进行分析处理，并相应获得方形纸1的四周边线，则在所述前景信息中检测出方形纸1的具体位置。

本实施例中，步骤203中所述的边缘检测模块为按照Canny边缘检测算法对所述多灰度级图像进行边缘检测的Canny边缘检测模块。本实施例中，对所述前景信息进行灰度处理之前，还需根据实际需要对所述前景信息进行图像增强处理。

结合图4，所述控制器3-1调用Hough变换模块和角点检测模块，且结合Hough变换模块和角点检测模块对所述多灰度级图像的边缘中的直线段进行分析处理，并相应获得方形纸1的四周边线时，其分析处理过程如下：

2031、直线段检测：由所述Hough变换模块和角点检测模块对所述多灰度级图像的边缘中的直线段进行检测，并对所检测出的所有直线段进行标注且将标注结果返回至控制器3-1。

2032、连接形成多边形：控制器3-1将标注后的所有直线段依次连接形成一个封闭多边形。

2033、多边形逼近：控制器3-1调用多边形逼近模块，且结合步骤一中所述方形纸1的实际尺寸和方形四周边线的基本特性，对步骤2032中所形成的所述封闭多边形进行逼近处理，并获得方形纸1的四周边线。

本实施例中，步骤2033中控制器3-1调用多边形逼近模块对所述封闭多边形进行多边形逼近时，其逼近过程如下：

I、判断所述封闭多边形是否有4个顶点：当判断得出所述封闭多边形有4个顶点时，则进入步骤II；否则，退出多边形逼近过程并将判断结果返回控制器3-1。

II、判断所述封闭多边形是否为凸多边形：当判断得出所述封闭多边形为凸多边形时，则进入步骤III；否则，退出多边形逼近过程并将判断结果返回控制器3-1。

III、计算并判断所述封闭多边形的面积大小是否接近方形纸1的实际面积：当计算得出所述封闭多边形的面积为S×(1±0.5％)时，则进入步骤IV；否则，退出多边形逼近过程并将判断结果返回控制器3-1，其中S为步骤一中所述方形纸1的实际面积。

IV、计算并判断所述封闭多边形的所有内角大小是否均接近90°：当计算得出所述封闭多边形的所有内角均为90°×(1±0.5％)时，则进入步骤V；否则，退出多边形逼近过程并将判断结果返回控制器3-1。

V、计算并判断所述封闭多边形的两个邻边中长边与短边的长度比是否均接近方形纸1的长宽比：当计算得出所述封闭多边形的所有邻边中短边与长边的长度比均为A×(1±0.5％)时，则进入步骤VI；否则，退出多边形逼近过程并将判断结果返回控制器3-1，其中A为步骤一中所述方形纸1的长度与宽度间的比值。

本实施例中，A＝1.25。

VI、计算并判断所述封闭多边形中两个对角线的长度差值是否接近0：当计算得出所述封闭多边形的两个对角线的长度差值≤L×0.5％时，说明所述封闭多边形为方形纸1的四周边线；否则，退出多边形逼近过程并将判断结果返回控制器3-1，其中L为步骤一中所述方形纸1的长度。

本实施例中，步骤203中边缘检测完成后，还需进行图像投影校正与对齐：控制器3-1调用图像投影校正与对齐模块，且根据步骤一中所述方形纸1的四个顶点与由步骤203中所获得四周边线围成的四变形的四个顶点之间的位置对应关系，通过投射变换方法获取方形纸1与所述四变形之间的透射变换矩阵；再根据所获得的透射变换矩阵，将步骤三中所述的前景信息映射到所述四变形内部的方形区域内。进行图像投影校正与对齐的主要原因在于：由于摄像头2的布设位置具有不确定性，则在通过边缘检测所构造的四边形的基础上，根据方形纸1的四个顶点和该四边形的四个顶点之间的对应关系，通过透射变换获取透射变换矩阵，然后将摄像头2所摄取的图像(具体指所述前景信息)映射到所述四边形内的方形区域中，这样将原有摄像头2自任意布设角度所采集的图像变成从摄像头2正前方所采集的图像，因而解决了摄像头2的视角误差，大大提高了下一步(步骤204)进行信息分类符识别的识别率。

204、信息分类符识别及信息分类：控制器3-1调用符号识读模块，对步骤203中所检测出的方形纸1上的信息分类符进行识读，并根据所识读出的信息分类符对方形纸1上所绘制的一组或多组图文信息进行分类，且根据分类结果对每一组图文信息的类型进行标注；所述符号识读模块所识读出的信息分类符的数量即为方形纸1上所绘制图文信息的数量。

本实施例中，进行信息分类时，通过步骤一中所书写的打头三角形标志来区分纯文字信息，通过打头圆形标志来区分纯图形信息，通过打头方形标志来区分控制信息。

205、信息处理，控制器3-1调用信息处理模块，且根据步骤204中对每一组图文信息所标注的信息类型相应对方形纸1上所绘制的一组或多组图文信息分别进行处理，对方形纸1上绘制的任一组图文信息来说：

当步骤204中对该组图文信息所标注的信息类型为纯文字信息时，所述信息处理模块调用文字识别模块由前至后对该组图文信息中的图文信息内容进行识别，并将识别结果存为文本数据后存至存储器3-5中。

本实施例中，将“中国人民”四个字存为文本数据后存至存储器3-5中预先建立的文本数据库内。

当步骤204中对该组图文信息所标注的信息类型为纯图形信息时，所述信息处理模块将该组图文信息中的图文信息内容直接存为图片格式后存至存储器3-5中。

本实施例中，将所绘制的曲线直接存为图片格式后存至存储器3-5中先建立的图形数据库内。

当步骤204中对该组图文信息所标注的信息类型为控制信息时，所述信息处理模块调用文字识别模块和/或控制符号识别模块由前至后对该组图文信息中图文信息内容的文字和/或控制符号进行相应识别，并按照识别顺序将识别结果返回至控制器3-1，控制器3-1根据识别结果执行对应的控制指令：采用所述文字识别模块对该组图文信息中的文字进行识别时，将识别结果转存为控制器3-1能识读的数据格式后返回至控制器3-1；采用控制符号识别模块对该组图文信息中的控制符号进行识别时，先将识别结果与存储器3-5中预先存储的控制符号指令库中的控制指令数据进行匹配，再根据匹配结果将与识别结果相匹配的控制指令数据返回至控制器3-1。

本实施例中，控制符号识别模块将识别出的控制符号与控制符号指令库中的控制指令数据进行匹配后，得出“相加指令”并将该指令返回至控制器3-1，控制器3-1再相应执行相加指令。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。