为图片产生诗句的方法和装置

摘要

提供一种为图片产生诗句的方法和装置。一种为图片产生诗句的方法包括：接收图片；通过对接收的图片进行分析，为所述图片产生至少一个文字标签；基于产生的文字标签计算所述图片与诗句文库中的每句诗词的匹配度，并且选择匹配度最高的诗句作为所述图片的第一诗句。

说明书

技术领域

本申请涉及一种为图片产生诗句的方法和装置，尤其涉及一种对接收的 图片进行文字标注，并且根据标注的文字来产生相应的诗句的方法和装置。

背景技术

随着图像处理技术和移动互联网技术的发展以及数码拍摄工具的普及， 用户可容易地通过数码相机或带有拍摄功能的便携式终端拍摄大量的图片并 上传到互联网上。

目前的图像分析处理可对图片进行标注，产生一些文字标签，但不能合 成与图片相关联的文字描述。

发明内容

本发明的目的在于提供一种为图片产生诗句的方法和装置，通过对图片 进行分析，并且从诗句文库选取与图片匹配的诗句，从而为图片提供优美的 描述诗句，增强用户的体验。

根据本发明的一方面，提供一种为图片产生诗句的方法，包括：接收图 片；通过对接收的图片进行分析，为所述图片产生至少一个文字标签；基于 产生的文字标签计算所述图片与诗句文库中的每句诗词的匹配度，并且选择 匹配度最高的诗句作为所述图片的第一诗句。

优选地，所述通过对接收的图片进行分析，为所述图片产生至少一个文 字标签的处理包括：对接收的图片进行特征分析，提取多个图片特征；使用 提取的多个图片特征构建特征向量；将构建的特征向量分别输入多个预先训 练的标签图片模型，以获得所述标签图片模型的置信度值，所述每个标签图 片模型包括特征信息以及至少一个文字标签；将置信度最高的标签图片模型 的文字标签作为所述图片的文字标签。

优选地，所述基于产生的文字标签计算所述图片与诗句文库中的每句诗 词的匹配度的处理包括：根据产生的标签中的字词在诗句文库中的每句诗词 中出现的次数计算所述图片与诗句文库中的每句诗词的匹配度。

优选地，所述基于产生的文字标签计算所述图片与诗句文库中的每句诗 词的匹配度的处理包括：对产生的标签中的字词分别赋予权重，并且根据产 生的标签中的字词在诗句文库中的每句诗词中出现的次数以及所述字词的权 重所述图片与诗句文库中的每句诗词的匹配度。

优选地，所述的方法还包括：将选择的第一诗句作为被译诗句输入训练 的诗句翻译模型，以产生第二诗句。

优选地，所述的方法还包括：以当前产生的第二诗句作为被译诗句输入 诗句翻译模型迭代地产生预定个数的诗句。

根据本发明的另一方面，提供一种为图片产生诗句的装置，包括：图片 接收单元，用于接收图片；图片标注单元，用于通过对接收的图片进行分析， 为所述图片产生至少一个文字标签；诗文合成单元，用于基于产生的文字标 签计算所述图片与诗句文库中的每句诗词的匹配度，并且选择匹配度最高的 诗句作为所述图片的第一诗句。

优选地，图片标注单元在通过对接收的图片进行分析，为所述图片产生 至少一个文字标签时，进行以下处理：对接收的图片进行特征分析，提取多 个图片特征；使用提取的多个图片特征构建特征向量；将构建的特征向量分 别输入多个预先训练的标签图片模型，以获得所述标签图片模型的置信度值， 所述每个标签图片模型包括特征信息以及至少一个文字标签；将置信度最高 的标签图片模型的文字标签作为所述图片的文字标签。

优选地，诗文合成单元根据产生的标签中的字词在诗句文库中的每句诗 词中出现的次数计算所述图片与诗句文库中的每句诗词的匹配度。

优选地，诗文合成单元对产生的标签中的字词分别赋予权重，并且根据 产生的标签中的字词在诗句文库中的每句诗词中出现的次数以及所述字词的 权重所述图片与诗句文库中的每句诗词的匹配度。

优选地，诗文合成单元还将选择的第一诗句作为被译诗句输入训练的诗 句翻译模型，以产生第二诗句。

优选地，诗文合成单元还以当前产生的第二诗句作为被译诗句输入诗句 翻译模型迭代地产生预定个数的诗句。

本发明的为图片产生诗句的方法和装置可对接收的图片进行分析来产生 文字标签，并且通过将产生的文字标签与诗句文库中的诗句进行匹配来产生 诗句。此外，还能够已产生的诗句作为输入，通过预先训练的诗句翻译模型 来产生更多的诗句，从而可为用户提供的图片或提供给用户的图片进行创意 的诗文标注。

附图说明

通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变 得更加清楚，其中：

图1是示出根据本发明的示例性实施例的为图片产生诗句的方法的流程 图；

图2是示出根据本发明示例性实施例的步骤S120的处理的流程图；

图3是示出根据本发明示例性实施例的步骤S130的处理的流程图；

图4是示出根据本发明的示例性实施例的为图片产生诗句的装置的逻辑 框图；

图5A和图5B分别示出步骤S120处理的示例结果；

图6A和图6B分别示出步骤S130处理的示例结果。

具体实施方式

以下，将参照附图来详细说明本发明的实施例。

本发明的总体发明构思是，在计算机设备上，对提供的图片进行特征分 析，为图片产生文字标签，并且从诗句文库中选取与所述文字标签匹配度最 高的诗句作为所述图片的描述诗句。在此基础上，根据统计机器翻译的原理 预先利用已有的大量平行句进行机器学习，以训练出诗句翻译模型。将一句 诗词作为被译诗句输入所述诗句翻译模型，可产生下一句诗词。以此迭代地 可产生多句诗词。

图1是示出根据本发明的示例性实施例的标注多媒体内容的方法的流程 图。

参照图1，在步骤S110，接收图片。所述图片可以是拍摄的照片或会花 作品。

在步骤S120，通过对接收的图片进行分析，为所述图片产生至少一个文 字标签。已有各种对图片进行分析来并生成文字标签的技术。公开号为CN 102105901A的中国专利申请公开了一种从图像集合中识别与输入的图像相 似的近邻图像，并且使用为所述近邻图像标注的标签对所述输入图像进行注 释的技术。图2示出根据本发明的一个示例性实施例在步骤S120的处理，稍 后将参照图2对步骤S120进行描述。

在步骤S130，基于产生的文字标签计算所述图片与诗句文库中的每句诗 词的匹配度，并且选择匹配度最高的诗句作为所述图片的第一诗句。根据本 发明的示例性实施例，所述诗句文库以诗句（或词句，在此统称为诗句）为 单位存储诗词，选择的诗句也是一个诗句。根据本发明的可选实施例，所述 诗句文库也可以整首诗/整首词为单位存储诗词，在这种情况下，选择的诗句 将是整首诗词。稍后将参照图3，以诗句文库以诗句为单位存储诗词作为示 例描述步骤S130的操作。

可将本发明的标注多媒体内容的方法实现为一种服务，根据接收的包括 图片的请求执行步骤S110～S130的处理，并且作为响应，提供在步骤S130 中选择的诗句。

也可在收录多媒体内容的服务器中执行将本发明的标注多媒体内容的方 法，在接收到待收录的图片（如用户上传的图片）时，执行步骤S110～S130 的处理，并且一同存储在步骤S130中选择的诗句与收录的图片。

图2是示出根据本发明示例性实施例的步骤S120的处理的流程图。

参照图2，在步骤S1210，从接收的图片提取多个图片特征。可通过GIST、 HOG（Histograms of Oriented Gradients，梯度方向直方图）、SIFT（Scale  Invariant Feature Transform，尺度不变特征变换匹配算法）中的一种或多种算 法来提取多个图片特征，以及/或者图片的纹理、颜色等特征。

在步骤S1220，使用提取的多个图片特征构建特征向量。

在步骤S1230，将构建的特征向量分别输入多个预先训练的标签图片模 型，以获得所述标签图片模型的置信度值。这里，可通过支持向量模型（SVM） 分类器预先训练所述每个标签图片模型，训练得到的每个标签图片模型具有 多个标签。例如，通过一定数量的老虎图片可训练出老虎的标签图片模型， 通过一定数量的山的图片可训练出山的标签图片模型。将从步骤S1220构建 的特征向量输入到任一标签图片模型，可获得所述图片针对所述标签图片模 型的置信度值。

此后，在步骤S1240，将置信度最高的标签图片模型的文字标签作为所 述图片的文字标签。图5A示出从老虎图片获得的多个文字标签，包括“老 虎”、“孟加拉虎”、“东北虎”、“猫科动物”、“华南虎”等。图5B示出从黄山 松图片产生的多个文字标签，“迎客松”、“黄山松”、“黄山”、“安徽黄山”、 “三清山”等。

图3是示出根据本发明示例性实施例的步骤S130的处理的流程图。

参照图3，在步骤S1310，基于产生的文字标签计算所述图片与诗句文库 中的每句诗词的匹配度。根据本发明的可选实施例，根据产生的标签中的字 词在诗句文库中的每句诗词中出现的次数计算所述图片与诗句文库中的每句 诗词的匹配度。例如，对产生的标签中的字词分别赋予权重，根据产生的标 签中的字词在诗句文库中的每句诗词中出现的次数以及所述字词的权重所述 图片与诗句文库中的每句诗词的匹配度。

在步骤S1320，将计算得到的匹配度最高的诗句选择为所述图片的第一 诗句。

根据本发明的优选实施例，还执行步骤S1330～S1370，通过将当前产生 的诗句作为被译诗句以得到更多的诗句。

在步骤S1330，将产生的第一诗句作为被译诗句。

预先从各种信息员获得的大规模诗句整理成第一二句平行，第二三句平 行及第三四句平行的平行语料库。通过该平行语料库，可预先训练出诗句翻 译模型。给定被译诗句，可通过所述诗句翻译模型“翻译”得到下一诗句。 因此，在步骤S1350，将被译诗句输入训练的诗句翻译模型，以产生下一诗 句。

在步骤S1360，确定是否已完成了诗句的产生。可通过判断是否已生成 了预定数量的诗句来确定是否完成了诗句的产生，也可通过判断产生的所述 下一诗句是否为空来确定是否完成了诗句的产生。

如果在步骤S1360，确定尚未完成诗句的产生，则在步骤S1370，将刚 刚产生的所述下一诗句作为被译诗句，然后，返回步骤S1350，继续产生更 多的诗句。

如果在步骤S1360，确定已完成了诗句的产生，则在步骤S1380，输出 得到的全部诗句。

图6A和图6B分别示例性地示出了自图5A和图5B的老虎图片和黄山 松图片产生的诗文。例如，为老虎图片产生的诗句为：

雷劈老松疑虎怒，

雨冲阴洞觉龙腥。

上方人不如山雨，

归去路长似无人。

我的心已经放在你那里了，再也收不回来了。

其中，前两句出自同一首唐诗《九华贺雨吟》，第三、第四句与前两句并 不出自同一首诗，最后两句则是现代诗文，与前几句都不属同一意境，颇具 幽默感。

由此可见，通过本发明的标注多媒体内容的方法可从接收的图片中产生 一句或多句诗词，并且通过诗句翻译模型产生的多句诗词不拘于同一诗文， 因此可为图片进行有创意的诗文标注，为用户提供文学体验。

图4是示出根据本发明的示例性实施例的为图片产生诗句的装置的逻辑 框图。

参照图4，根据本发明的为图片产生诗句的装置包括图片接收单元410、 图片标注单元420和诗文合成单元430。

图片接收单元410接收图片。所述图片可以是拍摄的照片或会花作品。

图片标注单元420通过对图片接收单元410接收的图片进行分析，为所 述图片产生至少一个文字标签。可使用现有的对图片进行文字标注的方法执 行图片的分析和标注。根据本发明的可选实施例，图片标注单元420使用提 取的多个图片特征构建特征向量，将构建的特征向量分别输入多个预先训练 的标签图片模型，以获得所述标签图片模型的置信度值，所述每个标签图片 模型包括特征信息以及至少一个文字标签，然后将置信度最高的标签图片模 型的文字标签作为所述图片的文字标签。

诗文合成单元430基于图片标注单元420产生的文字标签计算所述图片 与诗句文库中的每句诗词的匹配度，并且选择匹配度最高的诗句作为所述图 片的第一诗句。诗文合成单元430可根据产生的标签中的字词在诗句文库中 的每句诗词中出现的次数计算所述图片与诗句文库中的每句诗词的匹配度。 例如，诗文合成单元430可对产生的标签中的字词分别赋予权重，并且根据 产生的标签中的字词在诗句文库中的每句诗词中出现的次数以及所述字词的 权重所述图片与诗句文库中的每句诗词的匹配度。

根据本发明的优选实施例，预先从各种信息员获得的大规模诗句整理成 第一二句平行，第二三句平行及第三四句平行的平行语料库。通过该平行语 料库，可预先训练出诗句翻译模型。诗文合成单元430将选择的第一诗句作 为被译诗句输入预先训练的诗句翻译模型，以产生第二诗句。根据本发明的 又一优选实施例，诗文合成单元430以当前产生的第二诗句作为被译诗句输 入诗句翻译模型迭代地产生预定个数的诗句。

根据本发明的可选实施例，为图片产生诗句的装置还包括输出单元，用 于输出诗文合成单元430产生的全部诗句。

从上述参照附图对本发明的示例性实施例的描述可以看出，本发明的为 图片产生诗句的方法和装置可对接收的图片进行分析来产生文字标签，并且 通过将产生的文字标签与诗句文库中的诗句进行匹配来产生诗句。此外，还 能够已产生的诗句作为输入，通过预先训练的诗句翻译模型来产生更多的诗 句，从而可为用户提供的图片或提供给用户的图片进行创意的诗文标注。

需要指出，根据实施的需要，可将本申请中描述的各个步骤拆分为更多 步骤，也可将两个或多个步骤或者步骤的部分操作组合成新的步骤，以实现 本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在 记录介质（诸如CD ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机 代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可 读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法 可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如ASIC 或FPGA）的记录介质上的这样的软件处理。可以理解，计算机、处理器、 微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组 件（例如，RAM、ROM、闪存等），当所述软件或计算机代码被计算机、处 理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机 访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用 于执行在此示出的处理的专用计算机。

尽管已参照优选实施例表示和描述了本发明，但本领域技术人员应该理 解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些 实施例进行各种修改和变换。