投影系统及其非平面自动校正方法与自动校正处理装置

摘要

一种投影系统及其非平面自动校正方法与自动校正处理装置。投影系统的非平面自动校正方法包括以下步骤：估算一投影面的一深度图；校正一投影区域与一深度感测区域的一对应范围；在该对应范围内，根据该投影面的该深度图调整一互动内容。

说明书

技术领域

本发明涉及一种投影系统及其非平面自动校正方法与自动校正处理装置。

背景技术

一般的投影装置(例如：Epson BrightLink 595Wi及与其类似的产品)在进行校正时必须将影像投射于平坦的表面，若是投影面不够平坦或是投影面上有高低起伏的对象就无法完成校正程序。而且在校正的过程中，需要使用者依照指示去标定范围，无法自动感应范围。即使是专业人员也需要花许多时间在调整投影机位置与执行校正步骤间来回重复几次才能完成，十分繁琐耗时。通常这种装置都安装在固定的位置不移动，其校正方法不适用于常需搬动的可携式投影互动装置。

发明内容

为解决上述的问题，本发明提出了投影系统及其非平面自动校正方法与自动校正处理装置，其利用深度感测技术、投影技术、影像撷取技术及自动校正技术，使得投影系统能够自动校正投影区域与深度感测区域的对应范围，并在此对应范围内，依据投影面的深度信息调整互动内容，以避免画面变形，或是避免将投影面的凸起处误认为互动操作的物体(如：手或肢体)。因此能节省安装校正的时间，适用于常需搬动的可携式投影互动装置，同时在平坦与非平坦的表面都能达到良好的投影互动效果，且不受投影面上放置其他物品的影响。

根据本发明的一方面，提出一种投影系统的非平面自动校正方法。投影系统的非平面自动校正方法包括以下步骤：估算一投影面的一深度图(depth map)；校正一投影区域与一深度感测区域的一对应范围；在该对应范围内，根据该投影面的该深度图调整一互动内容。校正该投影区域与该深度感测区域的该对应范围的步骤包括：根据一投影装置与一深度感测装置的默认的一位置信息，投影至少二校正图形至该投影面；撷取该投影面的一影像，并于该影像中检测该至少二校正图形；获得该至少二校正图形在该深度图的深度图位置信息；依据该至少二校正图形的深度图位置信息，调整该至少二校正图形的投影位置，以获得该深度图的至少二定位点，该至少二定位点位于该投影区域之内且位于该深度感测区域之内；根据该至少二定位点，校正该投影区域与该深度感测区域的对应范围。在该对应范围内，根据该投影面的深度图调整该互动内容的步骤包括：将该互动内容投影在与该深度感测区域对应的该范围内；依据该深度感测装置对该投影面估算的深度图，修正该互动内容的变形；依据先前对该投影面估算的深度图，调整该互动内容的一相对位置。

根据本发明的另一方面，提出一种投影系统。投影系统包括一深度感测装置、一投影装置、一影像捕获设备及一自动校正处理装置。该深度感测装置用于估算一投影面的一深度图(depth map)。该投影装置用于投影至少二校正图形及一互动内容。该至少二校正图形是根据该投影装置与该深度感测装置的默认的一位置信息，投影该至少二校正图形至该投影面；该互动内容是经过一自动校正处理装置调整后再投影。该影像捕获设备，用于撷取该投影面的一影像。该自动校正处理装置用于校正该投影区域与该深度感测区域的对应范围；并在该对应范围内，根据该投影面的该深度图调整互动内容。该自动校正处理装置包括一对应范围校正单元和一互动内容调整单元。该对应范围校正单元在该影像中检测该至少二校正图形，并获得该至少二校正图形在该深度图的深度图位置信息。该互动内容调整单元在该对应范围内，根据该投影面的该深度图调整该互动内容。该自动校正处理装置依据该至少二校正图形的该深度图位置信息，调整一投影位置，以获得该深度图的至少二定位点，该至少二定位点位于该投影区域之内且位于该深度感测区域之内，并根据该至少二定位点，获得该投影区域与该深度感测区域的该对应范围。该投影互动内容调整单元将该互动内容投影在与该深度感测区域对应的该范围内；依据该深度感测装置对该投影面估算的深度图，修正该互动内容的变形；依据先前对该投影面估算的深度图，调整该互动内容的一相对位置。

根据本发明的另一方面，提出一种自动校正处理装置。自动校正处理装置连接一深度感测装置、一投影装置及一影像捕获设备。该深度感测装置用于估算一投影面的一深度图(depth map)。该投影装置用于投影至少二校正图形及一互动内容。该至少二校正图形是根据一投影位置，投影至该投影面；该互动内容是经过该自动校正处理装置调整后再投影。该影像捕获设备用于撷取该投影面的一影像。该自动校正处理装置包括一对应范围校校正单元和一互动内容调整单元。该对应范围校正单元包括一检测单元、一计算单元、一位置调整单元及一范围设定单元。该检测单元用于在该影像中检测该至少二校正图形。该计算单元用于获得该至少二校正图形在该深度图的深度图位置信息。该位置调整单元用以依据该至少二校正图形的深度图位置信息，调整该投影位置，以获得该深度图的至少二定位点。该至少二定位点位于该投影区域之内且位于该深度感测区域之内。该范围设定单元用于根据该至少二定位点，获得已校正的该对应范围。互动内容调整单元包括一影像缩放单元、一影像屏蔽单元、一影像变形单元、一影像分割单元、一影像移动单元及一影像组合单元。影像缩放单元依据投影区域与深度感测区域的对应范围缩小或放大投影互动内容。影像屏蔽单元用于当投影区域比深度感测区域大时，遮蔽超出对应范围的互动内容。影像变形单元依据深度感测装置对投影面估算的深度图，修正互动内容的变形。影像分割单元依据投影面的深度图，区分固定不变的背景与有位置及深度变化的前景。影像移动单元用于当投影面放置有物品时，依据投影面的深度图，调整投影文字或图案的相对位置。影像组合单元用于组合影像缩放单元、影像屏蔽单元、影像变形单元、影像分割单元及影像移动单元的处理结果，并将组合后的结果传送至投影装置。

附图说明

图1是本发明一实施例的投影系统的示意图；

图2是本发明一实施例的投影系统应用于非平面的一投影面的示意图；

图3是本发明一实施例的对应范围校正单元的示意图；

图4是本发明一实施例的互动内容调整单元的示意图；

图5是本发明一实施例的对应范围校正方法的流程图；

图6是本发明一实施例的互动内容调整方法的流程图；

图7A～7C是图5中各步骤的示意图；

图8是本发明另一实施例的校正图形的示意图；

图9是本发明另一实施例的校正图形的示意图；

图10是本发明另一实施例的校正图形的示意图；

图11是本发明另一实施例的校正图形的示意图。

【附图标记说明】

100-投影系统； 110-深度感测装置；

120-投影装置； 130-影像捕获设备；

140-自动校正处理装置； 141-对应范围校正单元；

141a-检测单元；141b-计算单元；

141c-位置调整单元；141d-范围设定单元；

142-互动内容调整单元； 142a-影像缩放单元；

142b-影像屏蔽单元；142c-影像变形单元；

142d-影像分割单元；142e-影像移动单元；

142f-影像组合单元；900-投影面；

C0-投影中心点；C51-圆心；

CM1a、CM1b、CM2-控制信号；

D51-直径； DM-深度图；

E11、E12、E13、E14、E41、E42、E51、E52-定位点；

H0-水平的投影中心轴；IM-影像；

ML-深度图位置信息；

P11、P12、P13、P14、P21、P22、P23、P24、P31、P32、P33、P34、P41、P42、P51、P52-校正图形；

R11、R41、R51-对应范围；

S110、S120、S130、S140、S150、S160、S170、S180、S210、S220、S230、S240、S250、S260、S270、S280、S290-流程步骤；

V0-垂直的投影中心轴。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

请参照图1及图2，图1是本发明一实施例的投影系统100的示意图，图2是投影系统100应用于非平面的一投影面900的示意图。投影系统100例如是投影机、智能白板、智能壁灯、智能台灯、智能餐桌、智能炉具或智能料理台。投影机可播放静态画面或动态影片。智能白板、智能壁灯、智能台灯、智能餐桌、智能炉具或智能料理台可与使用者位于前景的手掌或肢体进行交互式投影。这些应用均可能会投影在非平面的投影面900。本实施例的投影系统100通过深度感测技术、投影技术、影像撷取技术及自动校正技术，使得投影系统100能够自动校正投影区域与深度感测区域的对应范围，并在此对应范围内，依据投影面900的深度信息调整互动内容，以避免画面变形，或者避免将投影面900的凸起处误认为互动操作的物体(如：手或肢体)。

如图1所示，投影系统100包括一深度感测装置110、一投影装置120、一影像捕获设备130及一自动校正处理装置140。深度感测装置110用于估算一投影面的一深度信息，例如是一组双镜头相机、一结构光深度感测装置、一飞时(Time ofFlight)深度感测装置或是一光达(LiDAR)深度感测装置。投影装置120用于投影一画面及至少二校正图形，例如是一CRT投影机、一LCD投影机或一DLP投影机。影像捕获设备130用于撷取一画面，例如是一彩色照相机或一单色照相机。自动校正处理装置140用于执行各种计算程序、判断程序、检测程序与控制程序等，以校正投影区域与深度感测区域的对应范围，并在此对应范围内，根据投影面的深度图调整互动内容，例如是一芯片、一电路、一电路板或储存数组程序代码的记录媒体。

自动校正处理装置140包括一对应范围校正单元141及一互动内容调整单元142。对应范围校正单元141用于校正投影区域与深度感测区域的对应范围。互动内容调整单元142用于在此对应范围内，以一控制信号CM2来根据投影面的深度图调整互动内容。请参照图3所示的对应范围校正单元141，对应范围校正单元141包括一检测单元141a、一计算单元141b、一位置调整单元141c及一范围设定单元141d。检测单元141a用于对影像捕获设备130所撷取的画面进行各种检测程序。计算单元141b用于进行各种计算程序。位置调整单元141c用于进行各种位置调整程序。范围设定单元141d用于设定投影区域与深度感测区域的对应范围。请参照图4所示的互动内容调整单元142，互动内容调整单元142包括一影像缩放单元142a、一影像屏蔽单元142b、一影像变形单元142c、一影像分割单元142d、一影像移动单元142e及一影像组合单元142f。影像缩放单元142a依据投影区域与深度感测区域的对应范围缩小或放大互动内容。影像屏蔽单元142b用于当投影区域比深度感测区域大时，遮蔽超出对应范围的互动内容。影像变形单元142c依据深度感测装置110对投影面估算的深度图，修正互动内容的变形。影像分割单元142d依据投影面的深度图，区分固定不变的背景与有位置及深度变化的前景。影像移动单元142e用于影像分割单元142d判断出有前景时，依据投影面的深度图，调整投影文字或图案的相对位置。影像组合单元142f用于组合影像缩放单元142a、影像屏蔽单元142b、影像变形单元142c、影像分割单元142d及影像移动单元142e的处理结果，并将组合后的结果传送至投影装置120。

请参照图1～3、5及图7A～7C，图5是本发明一实施例的投影系统100的非平面自动校正方法中的对应范围校正方法的流程图，图7A～7C是图5中各步骤的示意图。在步骤S110中，校准深度感测装置110与影像捕获设备130。在此步骤中，深度感测装置110及影像捕获设备130可以同时拍摄一校正板，而取得较准确的3D空间信息。

在步骤S120中，如图2所示，深度感测装置110估算投影面900的一深度图(depth map)DM(如图7A所示)。在另一实施例中，深度感测装置110也可建立一立体网格(3D mesh)，立体网格例如是一立体三角网格或一立体矩形网格。深度感测装置110可以红外线投射至投影面900，再依据红外线的反射情况测得深度图或建立出立体网格。

在步骤S130中，如图2所示，投影装置120根据投影装置120与深度感测装置110的默认的位置信息，投影至少二校正图形(例如是校正图形P11、P12、P13、P14)至投影面900。这些校正图形P11、P12、P13、P14均不相同。不同的底纹表示不同的颜色，校正图形P11、P12、P13、P14的颜色配置均不相同。如此一来，通过颜色配置即可分辨出此些校正图形P11、P12、P13、P14。

在步骤S140中，如图2所示，影像捕获设备130撷取投影面900的一影像IM，对应范围校正单元141中的检测单元141a并于此影像IM中检测这些校正图形P11、P12、P13、P14。在此步骤中，检测单元141a可以利用模板比对算法(template matching algorithm)来比对出这些校正图形P11、P12、P13、P14。

在步骤S150中，如图7A所示，对应范围校正单元141中的计算单元141b获得这些校正图形P11、P12、P13、P14在深度图DM的深度图位置信息ML。在另一实施例中，校正图形P11、P12、P13、P14在影像IM的位置也可通过立体空间转换矩阵分析出这些校正图形P11、P12、P13、P14在立体网格的网格位置信息。

在步骤S160中，对应范围校正单元141中的位置调整单元141c依据这些校正图形P11、P12、P13、P14的深度图位置信息ML，传送控制信号CM1a至投影装置120调整校正图形P11、P12、P13、P14的投影位置，再传送控制信号CM1b至影像捕获设备130重新撷取投影面900的影像IM，并在此影像IM中重新检测这些校正图形P11、P12、P13、P14，以获得在深度图DM中对应的位置，重复步骤S160多次以得到深度图DM的至少二定位点。该至少二定位点位于投影区域之内且位于深度感测区域之内。

举例来说，图7A的校正图形P13、P14位于深度图DM之外，投影装置120将校正图形P13朝向一投影中心点C0或一投影中心轴(例如为水平的投影中心轴H0或垂直的投影中心轴V0)移动。

如图7B所示，直到校正图形P13被完整移入深度图DM而被辨识出来时，才停止对校正图形P13的移动。此时，位置调整单元141c即可取得一定位点E13。同样地，如图7B～7C所示，投影装置120将位于深度图DM外的校正图形P14朝向投影中心点C0、水平的投影中心轴H0或垂直的投影中心轴V0移动，直到校正图形P14被完整移入深度图DM而被辨识出来时，才停止对校正图形P14的移动，以获得定位点E14。

如图7B～7C所示，投影装置120将位于深度图DM内的校正图形P11、P12背向投影中心点C0、水平的投影中心轴H0或垂直的投影中心轴V0移动，直到校正图形P11、P12至少被部份移出深度图DM而无法被辨识出来时，才停止对校正图形P11、P12的移动，以获得定位点E11、E12。

在步骤S170中，对应范围校正单元141中的范围设定单元141d根据定位点E11、E12、E13、E14，获得一已校正投影区域与深度感测区域的对应范围R11。对应范围R11为定位点E11、E12、E13、E14的最大内接矩形。

在步骤S180中，对应范围校正单元141中的范围设定单元141d输出投影区域与深度感测区域的对应范围R11至互动内容调整单元142。如图6所示是本发明一实施例的投影系统100的非平面自动校正方法中的互动内容调整方法的流程图。在步骤S210中，检查投影区域与深度感测区域的对应范围R11比例是否一致？若不一致则执行步骤S220缩放投影影像。若一致则执行步骤S230检查投影区是否偏移出深度感测区？若有偏移则执行步骤S240遮蔽超出对应范围R11的互动内容。若无偏移则执行步骤S250检查投影面深度值变异量是否大于临界值？若大于临界值代表投影面为非平面，则执行步骤S260修正互动内容的变形。若小于或等于临界值代表投影面可视为平面，不需修正互动内容的变形。在步骤S270中依据投影面的深度图，区分固定不变的背景与有位置及深度变化的前景。接着执行步骤S280依据投影面的深度图，调整互动内容的相对位置，避免投影的互动内容与放置在投影面的物品互相干扰。最后在步骤S290中组合步骤S220、步骤S240、步骤S260及步骤S280的处理结果，并将组合后的结果传送至投影装置120。如此使得投影系统100能够自动校正投影区域与深度感测区域的对应范围R11，并在此对应范围R11内，依据投影面900的深度信息调整互动内容，以避免画面变形；或是避免将投影面900的凸起处误认为互动操作的物体(如：手或肢体)。

请参照图8，其是本发明另一实施例的校正图形P21、P22、P23、P24的示意图。在此实施例中，投影装置120在步骤S130所投影的校正图形P21、P22、P23、P24可以是形状相同但颜色不同。影像捕获设备130可以是一彩色照相机。在步骤S140中，对应范围校正单元141中的检测单元141a可以通过色彩比对出这些校正图形P21、P22、P23、P24。

请参照图9，其是本发明另一实施例的校正图形P31、P32、P33、P34的示意图。在此实施例中，投影装置120在步骤S130所投影的校正图形P31、P32、P33、P34可以是颜色相同但形状不同。影像捕获设备130可以是一单色照相机。在步骤S140中，对应范围校正单元141中的检测单元141a可以通过形状比对出这些校正图形P31、P32、P33、P34。

请参照图10，其是本发明另一实施例的校正图形P41、P42的示意图。在此实施例中，校正图形P41、P42的数量为2。在步骤S170中，对应范围校正单元141中的位置调整单元141c以移动校正图形P41、P42所找出的定位点E41、E42作为矩形的对角线，以获得矩形的一投影区域与深度感测区域的对应范围R41。

请参照图11，其是本发明另一实施例的校正图形P51、P52的示意图。在此实施例中，校正图形P51、P52的数量为2。在步骤S170中，对应范围校正单元141中的位置调整单元141c以移动校正图形P51、P52所找出的定位点E51、E52的距离作为圆形的直径D51，以该直径D51的中心点作为圆形的圆心C51，以获得圆形的一投影区域与深度感测区域的对应范围R51。

根据上述各种实施例，通过投影校正图形及移动校正图形的动作，可以校正投影区域与深度感测区域的对应范围，并在此对应范围内，根据投影面的深度图调整互动内容。如此投影系统可以将互动内容投影在投影区域与深度感测区域对应的范围内；也可依据深度感测装置对投影面估算的深度图，修正互动内容的变形；并且当表面有放置物品时，也可依据先前对投影面估算的深度图，调整互动内容的相对位置。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。