一种基于素材引擎的漫画自动生成方法

摘要

本发明提供了一种基于素材引擎的漫画自动生成方法，其包括：用户上传查询请求，服务器分析查询请求语义，搜索和整合与查询求请求语义相关的图像素材，其中图像素材包括基于角色行为的虚拟人体骨骼模型和基于场景的背景素材，生成多种风格的漫画作为查询结果，用户可据此调整查询结果中的各个图像元素。本发明能够让机器智能地对用户提交的检索语句进行语义分析，从图像数据库中查找最符合用户检索需要的主题以及相关的素材图片，然后围绕着该主题自动地生成一幅漫画，用户可以在这幅漫画的基础上根据自己的喜好对漫画的风格进行修改，最终得到一幅能够传达用户思想的漫画，使人与人之间的交流变得更加丰富、生动。

说明书

技术领域

本发明涉及漫画制作技术领域，具体涉及基于素材引擎的漫画自动生成方法。

背景技术

随着现代社会和互联网技术的发展，尤其是社交网络技术的发展，人与人之间的跨时空交流变得越来越重要和普遍，同时人们也在努力找寻着既能传达信息又能够体现个性的交流方式。怎么才能使人与人之间的交互变得更为方便，更为温馨，更为丰富多彩和更加地个性化呢？通过漫画的方式进行交流将是一种很好的选择。试想一下如果有一种办法能将人们的沟通语言转变为生动的个性化漫画，那将是多么的奇妙，我们就是针对这种需要发明一种基于素材引擎的漫画自动生成方法。现在通过漫画风格方式进行的交流大多为通过手机移动通信终端或日常所用的即时通讯中双方所传送的表情，然而，移动通信终端和即时通讯中表情的生成不具备智能化，不能准确的表达用户的情感需求，只有一些固定的模板和文字，不能满足当前越来越多的个性化需求；当前的平台大多数为把用户提交的图片进行漫画化，例如把一张真实的人的头像进行漫画化，这样并不能生成能够表达用户情感的整体漫画效果，不适应于广泛的交流沟通和推广。并且，这些平台中大多数为基于图片生成漫画，只是简单把漫画进行缩放操作或者格式转换，例如把ＰＣ上的长篇漫画作品转换成可以在移动通信终端上浏览的漫画作品即手机漫画。这需要原始漫画的存在，并且内容不能进行任意更改。

发明内容

本发明的目的是克服现有技术存在的上述不足，提供了一种基于素材引擎的漫画自动生成方法。本发明的目的在于让机器智能地对用户提交的检索语句进行语义分析，从图像数据库中查找最符合用户检索需要的主题以及相关的素材图片，然后围绕着该主题自动地生成一幅漫画，用户可以在这幅漫画的基础上根据自己的喜好对漫画的风格进行修改，最终得到一幅能够传达用户思想的漫画，使人与人之间的交流变得更加丰富、生动，具体技术方案如下。

一种基于素材引擎的漫画自动生成方法，其特征在于，包括以下步骤：

（1）服务器端构建素材引擎，图片素材引擎包括图片信息数据库和图片上传接口；

（2）服务器端获取并保存图片素材于步骤（1）所创建的图片信息数据库中；

（3）用户输入一句中文自然语言作为查询请求来查询图片信息数据库中的图片素材；

（4）服务器端利用中文分词技术对步骤（3）中用户输入的查询请求进行语义分析，提取出句子主干的主语、谓语、宾语和状语，并将它们转换为图片信息数据库可接受的查询条件；

（5）服务器端根据步骤（4）中的查询条件检索素材，获取符合查询条件的图片素材信息；

（6）服务器端根据步骤（4）中提取出的句子主干和步骤（5）中获得的图片素材信息进行图像处理并生成漫画；

（7）用户编辑步骤（6）中生成的漫画；

（8）用户对步骤（7）中生成的最终漫画进行保存。

 

上述的基于素材引擎的漫画自动生成方法，步骤（1）中，服务器端建立的图片信息数据库包括基于角色行为的虚拟人体骨骼模型库和基于场景的背景库。其中，基于场景的背景库中的数据库包括图片表；基于角色行为的虚拟人体骨骼模型库包括骨骼模型表，此外还有三个表，分别是关键字表、关键字到图片表以及关键点表。

上述的基于素材引擎的漫画自动生成方法，步骤（1）中，服务器端建立的图片上传接口依据网络文件传输协议以实现用户的图片传输到图片信息数据库中，该图片上传接口还需要从用户输入图片素材相关信息，如图片内容文字描述、上传者、图片类型等。使用的网络协议包括:TCP/IP协议,socket协议。

上述的基于素材引擎的漫画自动生成方法步骤（2）中，服务器端通过用户上传、图片搜索两种方式获取的海量图片以及相应的文本描述进行分类，然后保存到步骤（1）所建立的图片信息数据库中。

上述的基于素材引擎的漫画自动生成方法，步骤（3）中，用户输入一个中文自然语言的句子作为查询请求。

上述的基于素材引擎的漫画自动生成方法，步骤（4）中，服务器分析用户查询请求语义，并据此提取关键的主语、谓语、宾语、状语等语法结构作为句子主干分析结果。服务器端将句子主干分析结果转换成图片信息数据库可接受的查询条件。

上述的基于素材引擎的漫画自动生成方法，步骤（5）中，根据步骤（4）中的查询条件，服务器搜索图片信息数据库，检索相关图片素材的信息，包括图片地址、图片中人物、图片中行为、图片位置等信息。

上述的基于素材引擎的漫画自动生成方法，步骤（6）中，服务器端根据宾语谓语确定这幅漫画的主要行为内容，利用宾语和谓语的关键词搜索相应的背景图片；根据宾语谓语确定这幅漫画的主要行为内容的承载者图片；通过主语谓语搜索出漫画中主要行为的实施者图片，即“主语图片”，并利用关联到相关背景图片的关键点中主语图片的关键点，将其放置到相应位置；根据谓语宾语搜索出漫画中主要行为的接受者图片，即“宾语图片”，并将其放置到相应位置，并记录下该图片的位置信息；根据谓语宾语搜索出漫画中主要行为的接受者图片，即“宾语图片”，将其放置到相应位置，并记录下该图片的位置信息；服务器端根据各个图片素材的位置信息，将各个图片素材进行适当地处理和整合，最终生成一张完整的漫画。

上述的基于素材引擎的漫画自动生成方法，步骤（7）中，用户可以在服务器生成的漫画的基础上再对漫画进行自主编辑，并可调整素材图片的位置、大小、方向、图层。根据生成的漫画，利用SilverLight互联网富媒体技术，实现用户对漫画的编辑功能，也就是说如果用户对自动生成的漫画效果不满意，可以对漫画进行以下编辑功能：(a)通过拖拽鼠标实现对素材图片位置的调整；(b)通过拉扯图片实现对素材图片大小、方向的调整；(c)通过点击鼠标右键菜单选项可实现对素材图片图层的调整，实现包括“置于顶层”、“置于底层”、“上移一层”、“下移一层”功能。

上述的基于素材引擎的漫画自动生成方法，步骤（8）中，用户可对生成编辑完成的漫画进行下载，并保存在本地。

本发明提供了一种基于检索语句的漫画自动生成方法，服务器使用自动语义分析方法提取检索语句中的关键语法成分，分别检索每个语法成分对应素材图片，整合这些素材图片的信息，生成一幅完整的漫画。本发明提供了一种面向用户的漫画风格定制方法，其采用SilverLight互联网富媒体应用技术，用户可以对检索返回的素材图片进行缩放、移位、旋转、调整像素、图层，给用户充分的发挥空间，从而得到既能准确表达用户思想又富有个性的漫画。本方法为用户提供了一个更为个性化的漫画生成方法。

本发明与现有技术相比，具有如下优点相对优势：

本发明与现有技术相比，本发明的基于素材引擎的漫画自动生成方法实现了高度的智能化，只需要用户输入想表达的语言，然后服务器端就会自动分析，自动生成对应的漫画，操作步骤少，使得漫画生成周期变短；本发明的优势还体现在：本发明的方法生成的图片不但具有默认的风格和美观的布局，而且，这些图片还可以由用户自我编辑，进一步实现用户所需要的表达效果，从而体现了设计的人性化，充分贴近用户，给用户最大的满意。并且基于素材引擎的漫画自动生成方法不需要原始漫画的存在，可以对漫画里的图片素材进行变更和编辑，从而能准确的表达用户的情感需求，而不依赖于一些固定的模板和文字。这不仅相对较好的满足了当今越来越丰富的个性化需求，同时也在很大程度上克服了当前方法生成漫画目的性不强的不足。

附图说明

图1为实施方式中获取并保存图片素材的流程图。

图2为实施方式中漫画自动生成的流程图。

具体实施方式

以下结合附图对本发明的实施作进一步说明，但本发明的实施和保护范围不限于此。

本实施方式的基于素材引擎的漫画自动生成方法，包括构建素材引擎、获取并保存图片素材、用户输入查询请求、语义分析、图像处理并生成漫画、编辑漫画、对最终漫画进行打包。下面进行详细介绍： 

步骤一，服务器端构建素材引擎，图片素材引擎包括图片信息数据库和图片上传接口。

图片信息数据库包括基于角色行为的虚拟人体骨骼模型库和基于场景的背景库。其中，基于场景的背景库中的数据库包括图片表；基于角色行为的虚拟人体骨骼模型库包括骨骼模型表，此外还有三个表，分别是关键字表、关键字到图片表以及关键点表；如下表所示。

服务器端依据TCP/IP和socket网络文件传输协议建立图片上传接口，实现将图片传输到图片信息数据库中。并且，该图片上传接口还需要用户输入图片素材相关信息，如图片内容文字描述、上传者、图片类型等作为接口的参数。

表1为图片表，用来存储图片信息，包括图片风格、图片编号、图片类型、图片视角、图片上传者、图片来源、图片扩展名、图片所在服务器地址。

表1

属性名称对应属性的英文名称图片编号id 图片所在服务器地址address图片扩展名extension图片视角visual_angle图片风格style图片类型type图片上传者uploader图片来源source

表2为关键字表，用来存储关键字信息，包括关键字编号、关键字和关键字词性。

表2

属性名称对应属性的英文名称关键字编号id关键字word关键字词性type

表3为关键字到图片表，用来存储关键字和图片之间的对应关系，包括对应关系编号，关键字编号，图片编号。

表3

属性名称对应属性的英文名称对应关系编号id关键字编号key_word_id图片编号img_id

表4为关键点表，用来存储图片初始位置的信息，包括关键点编号、关键点X坐标、关键点Y坐标、关键点模式、关键点类型：

表4

属性名称对应属性的英文名称关键点编号id关键点模式mode关键点类型type关键点X坐标x关键点Y坐标y关键点Z坐标z关键点视角visual_angle

       表5为骨骼模型表，用来存储24个骨骼关节的位置信息，包括人体编号，上传者姓名，视角及24个骨骼关节的位置信息：

表5

属性名称对应属性的英文名称编号id作者/上传者author视角:1为正视图view_aspect左肩膀x坐标left_shoulder_x左肩膀y坐标left_shoulder_y左肘x坐标left_elbow_x左肘y坐标left_elbow_y左手x坐标left_hand_x左手y坐标left_hand_y左胯x坐标left_crotch_x

左胯y坐标left_crotch_y左膝x坐标left_knee_x左膝y坐标left_knee_y左脚x坐标left_foot_x左脚y坐标left_foot_y右肩膀x坐标right_shoulder_x右肩膀y坐标right_shoulder_y右肘x坐标right_elbow_x右肘y坐标right_elbow_y右手x坐标right_hand_x右手y坐标right_hand_y右胯x坐标right_crotch_x右胯y坐标right_crotch_y右膝x坐标right_knee_x右膝y坐标right_knee_y右脚x坐标right_foot_x右脚y坐标right_foot_y

步骤二，获取并保存图片素材，如附图1，获取并保存图片素材方法的实现通过两条主线实现，即通过用户上传图片素材的方式和通过图片搜索引擎获取海量图片，并根据相应的文本描述对其进行分类；然后将图片素材保存到图片信息数据库中。

用户上传图片素材的方式为：

（1）用户登录到图片上传页面，准备进行图片上传操作；

（2）用户在本地文件夹中选择待上传的图片；

（3）用户选择待上传的三种图片素材类型即骨骼、背景和其他类型，类型缺省情况下默认为背景图片；

（4）用户输入描述图片素材的关键字；

（5）用户对待上传的图片素材进行确认；

（6）服务器获取本次上传的图片素材及相应信息存在图片表（如表1）中，服务器获取本次上传的图片素材关键字存放在关键字表（如表2）中。

图片搜索引擎方式：

（1）素材搜索模块向图片搜索引擎发送关键词信息；

（2）素材搜索模块读取图片搜索引擎返回的图片地址；

（3）服务器根据图片地址下载图片；

（4）服务器将图片素材存放在图片表中和将关键词信息存储到关键字表中。

 

步骤三，用户输入查询请求的实现步骤：

（1）服务器端建立一个编辑框，用于接受用户输入的一句中文自然语言作为查询请求；

（2）服务器端在编辑框旁边建立一个文本框，显示“请在此输入”来提醒用户在（1）中的编辑框里输入查询请求。

 

步骤四，服务器端对用户输入的查询请求进行语义分析的实现步骤：

（1）服务器端加载中科院汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，作为语义分析的基础。

（2）借助（1）中的汉语分词系统，服务器端分析用户查询请求语义，提取关键的主语、谓语、宾语、状语等语法结构作为句子主干分析结果。

（3）服务器端将句子主干分析结果转换成图片信息数据库接受的查询条件，查询条件即为句子主干的主语、谓语、宾语、状语等词语。

 

步骤五，服务器端根据步骤四中的查询条件检索符合查询条件的图片素材，获取的图片素材信息。在本发明方法中，实现检索素材方法为：

（1）服务器端对用户输入的信息进行智能分词，获取关键字；

（2）在图片信息数据库中的关键字表和关键字到图片表中对关键字进行搜索并获得符合相应的关键字的图片编号；

（3）根据图片编号在图片表和骨骼模型表中进行搜索，并获得多个关键字所分别对应的图片素材和骨骼模型；最后，服务器通过图片的视角检索图片的可能位置。

 

步骤六，根据步骤五中得到的图片素材信息进行图像处理并生成漫画。

（1）服务器端根据宾语谓语确定这幅漫画的主要行为内容，利用宾语和谓语的关键词在背景库中搜索相应的背景图片；根据宾语谓语确定这幅漫画的主要行为内容的承载者图片；

（2）通过主语谓语搜索出漫画中主要行为的实施者图片，即“主语图片”，根据图片视角将其放置到相应位置，并记录下该图片的位置信息；

（3）根据谓语宾语搜索出漫画中主要行为的接受者图片，即“宾语图片”，并根据图片视角将其放置到相应位置，并记录下该图片的位置信息；根据谓语宾语搜索出漫画中主要行为的接受者图片，即“宾语图片”，根据图片视角将其放置到相应位置，并记录下该图片的位置信息；

（4）服务器端根据各个图片素材的视角去关键点表搜索出关键点信息，利用关键点信息和位置信息，将各个图片素材进行适当地处理和整合，最终生成一张完整的漫画。

 

步骤七，编辑漫画。利用SilverLight互联网富媒体技术，实现用户对漫画的编辑功能，也就是说如果用户对自动生成的漫画效果不满意，可以对漫画进行以下编辑功能：(a)通过拖拽鼠标实现对素材图片位置的调整；(b)通过拉扯图片实现对素材图片大小、方向的调整；(c)通过点击鼠标右键菜单选项可实现对素材图片图层的调整，实现包括“置于顶层”、“置于底层”、“上移一层”、“下移一层”功能。

 

步骤八，对最终漫画进行保存。用户对编辑完成的漫画进行下载，并将其保存在本地。

 

     附图2为本发明中漫画自动生成的实现，包括以下步骤：

（1）用户输入并提交要描述的句子作为用户查询请求；

（2）服务器端对用户查询请求进行语义分析，在这一步实现提取句子的主干，包括句子的主语、谓语、宾语和状语，并实现将查询请求转换为数据库可以接受的查询条件；

（3）服务器端根据查询条件检索素材，获得图片素材信息；

（4）服务器端根据句子主干和图片素材信息进行图片匹配，确定它们在漫画中的位置；

（5）服务器端根据各个图片素材的位置信息，将各个图片素材进行适当地处理和整合，最终生成一张完整的漫画呈现给用户；

（6）用户对服务器端生成的漫画进行判断，如果不满意，进入步骤（7），如果满意进入步骤（8）；

（7）用户进行个性化处理，可以实现以下6种形式的编辑：

拖拽：可以实现调整漫画中人物和事物的位置；

色彩调整：可以调整漫画的明暗程度；调整漫画的色调搭配；

像素上的调整：可以实现调整漫画的大小；

裁剪：可以对漫画进行部分截图；

旋转：可以取得漫画的多个角度，达到各种表现效果；

红眼消除：消除用户上传的图片中有眼睛发出红光的现象；

（8）用户对漫画进行下载和保存在本地。