标签发放装置及标签发放方法

摘要

本发明公开一种标签发放装置及标签发放方法，该标签发放装置包括：摄像部；图像输出部，输出摄像部摄像的图像；物体识别部，通过读取输出的所述图像的特征量，识别指定的物体；信息读出部，从存储该物体所涉及的信息的文件中，读出关于被识别的所述物体的信息；以及标签发放部，对标签打印发放关于已读出的所述物体的信息。

说明书

本申请主张申请号为日本JP2010-186588、申请日为2010年8 月23日的优先权及申请号为日本JP2011-147574、申请日为2011年 7月1日的优先权，本申请引用上述文件中的所有内容。

技术领域

本发明涉及一种标签发放装置及标签发放方法。

背景技术

目前，在超市等的店铺中，使用有对粘贴在商品上显示商品名 称、价格等的标签进行打印的标签打印机。标签打印机从商品主文 件读入商品名称、价格等的商品信息，生成对标签进行打印的打印 数据，并基于生成的打印数据对标签进行打印。

不过，近年来随着没有专业知识的兼职工作人员的增加，例如， 在后院对鱼片等进行盒装包装附加标签时，存在有混淆鱼的种类的 问题。

发明内容

鉴于上述问题，本发明的目的在于提供一种标签发放装置及标 签发放方法，其能够与正规品进行比较，并打印发放对应的标签。

本发明第一方面涉及的标签发放装置，包括：摄像部；图像输 出部，输出摄像部摄像的图像；物体识别部，通过读取输出的所述 图像的特征量，识别指定的物体；信息读出部，从存储该物体所涉 及的信息的文件中，读出关于被识别的所述物体的信息；以及标签 发放部，对标签打印发放关于已读出的所述物体的信息。

本发明第二方面所涉及的标签发放方法，包括以下步骤：输出 所述摄像部摄像的图像；通过读取输出的所述图像的特征量，对指 定的物体进行识别；从存储该物体所涉及的信息的文件中，读出关 于已识别的所述物体的信息；以及对标签打印发放关于已读出的所 述物体的信息。

附图说明

图1是表示第一实施例所涉及的标签打印机的外观立体图。

图2是表示第一打印机处于从主体拉出的状态的立体图。

图3是表示标签打印机的硬件构成框图。

图4是例示PLU文件的数据构成的概念图。

图5是表示CPU的功能构成的框图。

图6是表示标签打印机的处理动作的一例的流程图。

图7是表示读取窗中的读取区域的一例的概念图。

图8是表示向显示设备的画面显示例的正视图。

图9是示意地示出处理的具体例的说明图。

图10是表示第二实施例所涉及的标签打印机的动作的一例的 流程图。

图11是表示被发放的标签的一例的正视图。

图12是表示被发放的标签的一例的正视图。

图13是表示被发放的标签的一例的正视图。

具体实施方式

下面，以标签打印机为例，参照附图对本实施例所涉及的标签 发放装置及标签发放方法进行说明。本实施例的标签发放装置是对 在超市、食品加工厂等中，发放已打印商品的商品名称、价格等的 商品信息的标签的标签打印机的应用例。

图1是表示第一实施例所涉及的标签打印机1的外观立体图。 标签打印机1是将与商品相关的信息打印在标签上，并发放已打印 的标签的装置。标签打印机1的主体2的上部设置有显示设备3等 的显示器。显示设备3显示用于编辑在标签上进行打印的商品信息 等的标签注册画面。此外，在显示设备3的表面上设置有触摸面板4。 此外，标签打印机1的主体2的上面设置有键盘5。此外，标签打印 机1的主体2的正面下部设置有载置商品并称量商品的重量的计量 秤8。

此外，标签打印机1的主体2并列收纳有第一打印机6和第二 打印机7两个打印机单元。由于第一打印机6及第二打印机7构成 相同，所以在下面对第一打印机6进行说明。第一打印机6通过将 手指搭在第一打印机6的前面面板下部所设置的槽部6a向A方向 拉，如图2所示，能够从主体2拉出来。

图2是表示第一打印机6处于从主体2被拉出来的状态的立体 图。在第一打印机6的内部，将标签粘贴在底纸上的滚筒状的标签 用纸P被装卸自如地保持在未图示的保持轴上。此外，第一打印机 6具备热敏头等的打印头16。打印头16在标签用纸P上打印文字、 符号、条形码、二维代码等。这样，已打印的标签从第一打印机6 的前面面板上部所设置的标签发放口6b被排出。而且，第二打印机 7也同样，具备标签发放口7b及打印头17(参照图3)。

这样的标签打印机1从PLU文件F1(详细进行后述，参照图4) 读入商品名称、价格等的商品信息，生成对标签进行打印的打印数 据，并基于生成的打印数据对标签进行打印。

而且，这样的标签打印机1具备商品读取部10(参照图3)。商 品读取部10在读取窗9的里侧配置摄像部104(参照图3)。

商品由操作员(店员)把持，并通过操作员手动向计量秤8移 动。在该移动过程中，商品朝向标签打印机1的读取窗9。这时，配 置在读取窗9的里侧的摄像部104(参照图3)对商品进行摄像。在 商品读取部10中，检测出通过摄像部104摄像的图像所包含的商品 的全部或一部分。在标签打印机1中，当检测出在通过摄像部104 摄像的图像中包含有商品的全部或一部分时，对其摄像的图像所包 含的商品的各个商品，参照商品的图像相关的PLU文件F1(参照图 4，后面将详细进行)，通过从通过商品读取部10的摄像部104摄像 的商品的全部或一部分的图像，识别作为指定的物体的商品，指定 商品。

图3是表示标签打印机1的硬件构成框图。标签打印机1具有 作为执行信息处理的信息处理部的微机60。微机60由执行各种运算 处理并控制各部的CPU 61(Central Processing Unit：中央处理器) 总线连接ROM 62(Read Only Memory：只读存储器)和RAM 63 (Random Access Memory：随机存取存储器)构成。

标签打印机1的CPU 61通过任意各种输入输出电路(均未图示) 连接有所述的显示设备3、触摸面板4、键盘5及计量秤8。这些部 件接受CPU 61的控制。

标签打印机1的CPU 61连接有HDD 64(Hard Disk Drive：硬 盘驱动器)。HDD 64存储有程序、各种文件。HDD 64所存储的程 序、各种文件在标签打印机1启动时，其全部或一部分被复制到RAM 63中并通过CPU 61依次执行。HDD 64所存储的程序的一例是标签 打印用的程序PR。HDD 64所存储的文件的一例是从存储计算机SC 发送存储的PLU文件F1。

PLU文件F1是对陈列在店铺中进行销售的商品的各个，设定有 商品的销售登记所涉及的信息和该商品的图像的相关的文件。图4 是例示出PLU文件F 1的数据构成的概念图。如图4所示，PLU文 件F1是对应每个商品，存储单独地分配的商品ID、商品所属的商 品分类、商品名称、单价等的与商品有关的信息、摄像其商品的商 品图像及“相似度：0.XX”的阈值的文件。虽然后面将详细描述， 但是该“相似度：0.XX”的阈值在商品是水果、新鲜食品等新鲜度 变色等时，通过与PLU文件F1所存储的商品的商品图像进行比较， 可判定为是与正规状态不同的物品。

返回到图3，标签打印机1的CPU 61通过输入输出电路(未图 示)连接有用于与存储计算机SC执行数据通信的通信接口25。存 储计算机SC设置在店铺的后院等。存储计算机SC的HDD(未图 示)存储有向标签打印机1发送的PLU文件F1。

并且，标签打印机1的CPU 61连接有商品读取部10。此外， 标签打印机1的CPU 61连接有进行标签打印的第一打印机6及第二 打印机7两个打印单元。标签打印机1在CPU 61的控制下，执行标 签打印。

商品读取部10也具有微机110。微机110由CPU 101总线连接 ROM 102和RAM 103而构成。ROM 102存储有通过CPU 101执行 的程序。CPU 101通过各种的输入输出电路(均未图示)连接有摄 像部104、声音输出部105。摄像部104、声音输出部105由CPU 101 控制动作。

摄像部104诸如是彩色CCD图像传感器或彩色COMS图像传 感器等，是在CPU 101的控制下进行从读取窗9的摄像的摄像单元。 例如，在摄像部104中进行30fps的视频的摄像。摄像部164以规定 的帧频依次摄像的帧图像被保存到RAM 103中。

声音输出部105是用于产生预先设定的警报音等的声音电路和 扬声器等。声音输出部105在CPU 101的控制下进行警报音等的声 音的告知。

而且，在CPU 101的控制下，通过商品读取部10的摄像部104 摄像的图像(包含商品的全部或一部分的图像)被输入给标签打印 机1的CPU 61。

接着，参照图5对CPU 101、CPU 61通过依次执行程序实现的 CPU 101、CPU 61的功能部进行说明。图5是表示CPU 101、CPU 61 的功能构成的框图。如图5所示，CPU 101通过依次执行程序，具 有作为摄像图像取得部1011、商品检测部1012及作为图像输出单元 的图像输出部1013的功能。同样，CPU 61具有作为物体识别单元 的物体识别部611、作为告知单元的商品显示部612、作为相似度判 定单元的相似度判定部613、作为不合格品告知单元的不合格品告知 部614、作为信息读出单元的信息读出部615及作为标签发放单元的 标签发放部616的功能。

摄像图像取得部1011向摄像部104输出摄像导通信号从而使摄 像部104开始摄像动作。摄像图像取得部1011在摄像动作开始后， 依次取得摄像部104摄像并保存到RAM 103中的帧图像。由摄像图 像取得部1011的帧图像的取得按照RAM 103所保存的顺序进行。

商品检测部1012使用模式匹配技术等检测出通过摄像图像取 得部1011取得的帧图像所包含的商品的全部或一部分。具体地说， 从将取得的帧图像进行二值化的图像中抽取轮廓线等。接着，对从 最后的帧图像中抽取的轮廓线和从此次的帧图像中抽取的轮廓线进 行比较，检测出有变更的部分，也就是说，为了销售登记而检测出 朝向读取窗9的商品的映入。另外，作为检测出商品的其他方法， 从取得的帧图像检测出有无皮肤区域。接着，在检测出皮肤区域时、 也就是说当检测出店员的手的映入时，通过进行上述的轮廓线的检 测，尝试进行对假想店员的手正把持的商品的轮廓抽取。这时，当 检测出表示手的形状的轮廓和除此以外的轮廓时，由于店员的手把 持商品，所以检测出商品的映入。

图像输出部1013向标签打印机1的CPU 61输出摄像图像取得 部1011取得的帧图像。虽然图像输出部1013也可以将摄像图像取 得部1011取得的帧图像逐次向标签打印机1的CPU 61进行输出， 但是在本实施例中，向标签打印机1的CPU 61输出通过商品检测部 1012检测出商品的全部或一部分的帧图像。这样，通过向标签打印 机1的CPU 61输出通过商品检测部1612检测出商品的全部或一部 分的帧图像，从而能够防止在标签打印机1的CPU 61中进行根据未 包含有商品的全部或一部分的帧图像而参照PLU文件F 1来执行的 物体识别的情况发生。由于指定物体的识别处理需要处理时间，所 以能够通过防止在没有指定物体的识别的可能性的未包含有商品A 的全部或一部分的帧图像中的处理，从而谋求处理时间的缩短。

物体识别部611通过参照PLU文件F1的商品图像，从通过商 品读取部10的摄像部104摄像的商品的全部或一部分的图像中，读 取色彩和表面的凹凸状况等的表面状态作为特征量，从而作为指定 物体对商品进行识别。另外，物体识别部611由于谋求处理时间的 缩短，所以不考虑商品的轮廓、大小。在标签打印机1的CPU 61 中，根据物体识别部611的识别结果，能够从预先登记在PLU文件 F1的商品中，指定商品读取部10所读取的商品。

相似度判定部613对物体识别部611已识别的商品，计算出相 似度，并判定相似度是否超出在PLU文件F 1中预先规定的阈值。

这样，识别图像中所包含的物体被称为一般物体识别(generic  object recognition)。关于这样的一般物体识别在下述的文献中各种识 别技术被说明。

柳井啓司，“一般物体認識の現状と今後”，情報処理学会 論文誌，V o l.48，N o.S I G 16[平成22年8月10 日検索]，インタ一ネツト<URL： http://mm.cs.uec.ac.j p/I PSJ-TCVIM-Yana i.pdf  >(柳井启司， “一般物体识别的现状与未来”，信息处理学会论文杂志，Vol.48， No.SIG16“平成22年8月10日检索”，网址<URL：http: //mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>)

此外，通过对应每个目的物对图像进行区域分割，进行一般物 体识别的技术在下述的文献中被说明。

Jamie Shotton ら，“Semantic Texton Forests for  Image Categorization and Segmentation”，[平成22年8月 10日検索]，インタ一ネツト<URL： http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.1 45.3036&rep＝rep1&type＝pdf>(Jamie Shotton ら(杰米肖顿等人)， “Semantic Texton Forests for Image Categorization and  Segmentation：”，“平成22年8月10日检索”，网址<URL：http: //citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep ＝rep1&type＝pdf>)

信息读出部615读出与通过物体识别部611识别的商品图像相 关的信息、也就是说作为商品读取部10已读取的商品被指定的商品 的商品ID、商品分类、商品名称、单价等，商品显示部612将该商 品所涉及的信息显示在显示设备3上。

标签发放部616对标签打印发放关于通过信息读出部615读出 的商品的信息。

接着，对标签打印机1的动作进行详细地说明。图6是表示本 实施例所涉及的标签打印机1的动作的一例的流程图。

如图6所示，例如，当通过按下操作键盘5所设置的商品确认 模式键(未图示)而开始处理时，则摄像图像取得部1011向摄像部 104输出摄像导通信号从而开始摄像部104的摄像(步骤S 1)。接着， 摄像图像取得部1011取得摄像部164摄像并保存在RAM 103中的 帧图像(摄像图像)(步骤S2)。接着，商品检测部1012从摄像图 像取得部1011取得的帧图像中，进行商品的全部或一部分的检测(步 骤S3)。接着，图像输出部1013向CPU 61侧输出通过商品检测部 1012检测出商品的全部或一部分的帧图像(步骤S4)。

图7是表示读取窗9中的读取区域R的例子的概念图。具体地 说，图7是例示出在读取商品A时的读取区域R的概念图。如图7 所示，当在上述的商品A的移动过程中，在读取区域R映入有商品 A时，通过步骤S3从摄像其读取区域R的帧图像中检测出商品A 的全部或一部分。通过该商品A的全部或一部分的检测，在步骤S4 中，向CPU 61输出摄像读取区域R的帧图像。

接着，如图6所示，CPU 61接收从商品读取部10输出的检测 出商品A的全部或一部分的帧图像(步骤S 11)。接着，物体识别部 611参照PLU文件F 1的商品图像，根据从商品读取部10输出的商 品A的全部或一部分的图像，将商品A作为指定物体进行识别(步 骤S12)。

接着，相似度判定部613对物体识别部611识别的商品A，计 算出相似度(步骤S13)。相似度是在将PLU文件F1所存储的各商 品的商品图像视为100％＝“相似度：1.0”时，表示从商品读取部 10输出的商品A的全部或一部分的图像相似到哪种程度的数据。如 上所述，诸如按照色彩和表面的凹凸状况等的表面状态，计算出相 似度。另外，诸如也可以在色彩和表面的凹凸状况中，改变加权。

接着，相似度判定部613判定在步骤S 13中计算出的相似度是 否超出预先规定的阈值(“相似度：0.XX”)(步骤S 14)。

在相似度判定部613判定在步骤S13中计算出的相似度超出预 先规定的阈值(“相似度：0.XX”)时(步骤S 14的是)，在步骤S 15 中，信息读出部615读出与作为通过物体识别部611识别的指定物 体的商品A的商品图像相关的信息(商品ID、商品分类、商品名称、 单价等)，商品显示部612将与商品A的商品图像相关的信息显示在 显示设备3上。

图8是表示对显示设备3的画面显示例的图。在图8所示的例 子中，在将商品A的图像显示在显示区域G1上的同时，使预先保 存的商品A的商品名称等的商品信息一并显示在显示区域G2上。 通过这样的画面显示，诸如在后院盒装包装鱼片等时，由于即使没 有专业的知识也能分清鱼的种类，所以可辅助鱼块等的辨别。

接着，CPU 61判定有无键盘5的操作指示等的工作结束(步 骤S 16)。当继续工作时(步骤S 16：否)，则CPU 61向步骤S 11返 回处理使处理继续。当结束工作时(步骤S 16：是)，CPU 61结束处 理。

另一方面，当相似度判定部613判定在步骤S 13中计算出的相 似度未超出预先规定的阈值(“相似度：0.XX”)时(步骤S 14：否)， 不合格品告知部614向店员告知是未被识别为正规品的商品(步骤 S17)，促使店铺方采取销售中止等的措施。具体地说，不合格品告 知部614用对显示设备3的画面显示、声音输出部105的警报音的 输出等，向店员告知错误。通过进行该告知，标签打印机1能够促 使店员读取其他商品A等的恰当的操作。

如图9所示，当在物体识别部611识别的商品A是“香蕉”时、 且阈值作为“相似度：0.50”被存储到PLU文件F 1中时，对于在(a) 中表示的商品，由于相似度是0.717，所以判定为计算出的相似度超 出预先规定的阈值。另一方面，对于在(b)中表示的商品，由于相 似度是0.252，所以判定为计算出的相似度未超出预先规定的阈值。 因此，对于在(a)中表示的商品，作为“香蕉”按正常被销售登记。 另一方面，对于在(b)中表示的商品，虽然作为“香蕉”被先识别， 但作为变色、损坏、变形、就是颜色或表面的凹凸状况等不正常的 商品，作为不合格品不被销售登记。同样，小菜等也在PLU文件F 1 中存储正规的烧烤、油炸的商品图像，在烧烤不足/过度和油炸不足 /过度等脱离阈值时，能够判定为是不合格品。

这样，根据本实施例的标签打印机1，在新鲜食品、小菜等变 色、损坏、变形、因烹饪不善而颜色不同等时，能够通过与PLU文 件F1所存储的商品图像进行比较，将脱离基准的商品判断为不合格 品。

尤其，即使在繁忙店铺等对检验商品的新鲜度的时间有限制的 店铺或雇佣较多店员在小菜的烹饪上存在个性差别的店铺等，也能 够以数值形式的判断与正规商品进行比较。

另外，在本实施例中，虽然进行识别的物体是PLU文件F 1所 存储的销售商品，但是并不限定于此，也可以是用于促销的促销品 等。

在本实施例的标签打印机1中所执行的程序被预先安装在ROM 中而提供。在本实施例的标签打印机1中所执行的程序也可以以可 安装的形式或可执行的形式的文件，记录在CD-ROM、软磁盘(FD)、 CD-R、DVD(Digital Versatile Disk：数字多功能磁盘)等的计算机 可读存储介质中而提供。

而且，也可以将在本实施例的标签打印机1中所执行的程序存 储在与互联网等的网络连接的计算机上，并通过经由网络下载而提 供。此外，也可以将在本实施例的标签打印机1中所执行的程序经 由互联网等的网络提供或配置。

在本实施例的标签打印机1中所执行的程序为包括上述的各部 (物体识别部611、商品显示部612、相似度判定部613、不合格品 告知部614、信息读出部615、标签发放部616、摄像图像取得部1011、 商品检测部1012、图像输出部1013)的模块构成，作为实际的硬件， 通过CPU(处理器)从上述ROM读取并执行程序，上述各部被装 载到主存储装置上，并在主存储装置上生成物体识别部611、商品显 示部612、相似度判定部613、不合格品告知部614、信息读出部615、 标签发放部616、摄像图像取得部1011、商品检测部1012、图像输 出部1013。

接着，对第二实施例进行说明。另外，与所述的第一实施例相 同的部分以相同标记表示并省略说明。在第一实施例中，例如对在 后院盒装包装鱼片时等的物体识别及被识别的物体的信息的告知进 行了说明。在本实施例中，进一步基于被识别的物体所涉及的信息， 进行标签发放。

图10是表示本实施例所涉及的标签打印机1的动作的一例的流 程图。如图10所示，例如，当通过按下操作键盘5所设置的标签发 放模式键(未图示)而处理开始时，则摄像图像取得部1011向摄像 部104输出摄像导通信号从而开始摄像部104的摄像(步骤S 1)。 接着，摄像图像取得部1011取得摄像部104摄像、并保存在RAM 103 中的帧图像(摄像图像)(步骤S2)。接着，商品检测部1012从摄 像图像取得部1011已取得的帧图像中，进行商品的全部或一部分的 检测(步骤S3)。接着，图像输出部1013向CPU 61侧输出通过商 品检测部1012检测出商品的全部或一部分的帧图像(步骤S4)。

接着，CPU 61接收从商品读取部10输出的检测出商品的全部 或一部分的帧图像(步骤S 11)。接着，物体识别部611参照PLU文 件F 1的商品图像，根据从商品读取部10输出的商品A的全部或一 部分的图像，作为指定物体对商品A进行识别(步骤S 12)。

接着，相似度判定部613对物体识别部611已识别的商品A， 计算出相似度(步骤S 13)。

接着，相似度判定部613判定在步骤S 13中计算出的相似度是 否超出预先规定的阈值(“相似度：0.XX”)(步骤S14)。

当相似度判定部613判定为在步骤S 13中计算出的相似度超出 预先规定的阈值(“相似度：0.XX”)时(步骤S 14的是)，则在步骤 S15中，信息读出部615读出与作为通过物体识别部611识别的指定 的物体的商品A的商品图像相关的信息(商品ID、商品分类、商品 名称、单价等)，商品显示部612将与商品A的商品图像相关的信息 显示在显示设备3上(步骤S 15)。另外，操作者在与最后商品A的 商品图像相关的信息(商品ID、商品分类、商品名称、单价等)显 示在显示设备3上之前，将商品A载置在计量秤8上。

并且，CPU 61称量计量秤8所载置的商品的重量(步骤S20)， 基于读出的信息(商品ID、商品分类、商品名称、单价等)及称量 的重量，生成打印数据，并基于生成的打印数据，打印发放标签(步 骤S21)。图11是表示发放的标签L 1的一例的正视图。如图11所 示，在标签L1上打印有商品名称、单价、重量、与重量对应的价格 等。

另一方面，当相似度判定部613判定为在步骤S 13中计算出的 相似度未超出预先规定的阈值(“相似度：0.XX”)时(步骤S 14的 否)，不合格品告知部614向店员告知是未被识别为正规品的商品(步 骤S17)，促使店铺方采取销售中止或减价销售等的措施。具体地说， 不合格品告知部614通过对显示设备3的画面显示、声音输出部105 的警报音的输出等，向店员告知错误。

CPU 61在判定为有键盘5的操作指示等的减价销售的指示时 (步骤S22的是)，信息读出部615读出与作为通过物体识别部611 识别的指定的物体的商品A的商品图像相关的信息(商品ID、商品 分类、商品名称、单价等)，商品显示部612将与商品A的商品图像 相关的信息显示在显示设备3上，而且，确定未识别为正规品的商 品A的减价金额(步骤S23)。另外，对未识别为正规品的商品A进 行减价销售时所使用的折扣率或减价金额也可以阶段地设定。折扣 率或减价金额诸如通过与PLU文件F1所预先存储的多个阈值(相 似度：0.XX)对应，可根据相似度阶段地设置。

另一方面，在判定为有键盘5的操作指示等的销售中止的指示 时(步骤S22的否)，想步骤S11返回处理。

之后，CPU 61称量计量秤8所载置的商品的重量(步骤S20)， 标签发放部616基于读出的信息(商品ID、商品分类、商品名称、 单价等)、减价金额及称量的重量，生成打印数据，并基于已生成的 打印数据打印发放标签(步骤S21)。图12是表示发放的标签L2的 一例的正视图。在图12所示的标签L2中，由于商品未被识别为正 规品，所以显示有减价金额(20元)及从正常价格减去减价金额(20 元)的价格。

另外，如图12所示，并不限于标签显示从正常价格减去减价金 额，如图13所示，也可以与正规的标签L1(与图11相同)不同， 另外打印发放表示减价金额(200日元)的减价标签L3。

如上所述，对本发明的实施例进行了详细地说明，但是只要实 质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领 域的技术人员来说是显而易见的。因此，这样的变形例也全部包含 在本发明的保护范围之内。