一种面向目标的RESTful Web服务发现方法

摘要

本发明公开了一种面向目标的RESTful Web服务发现方法，首先收集RESTful Web服务的信息（特别是功能性的文本描述），并获得Web服务集的领域划分；然后从每个领域的Web服务集中进行领域知识库构建，包括Web服务‑服务目标关联矩阵、服务目标簇集等；最后基于构建的领域知识库，为给定的用户查询推荐语义相似的服务目标，然后将用户选择的服务目标集与Web服务的服务目标集进行匹配，得到候选Web服务集。本发明能够准确地发现满足用户需求目标的RESTful Web服务，具有很好的实用性；通过为用户的初始查询推荐语义相似的服务目标，可以帮助用户制定能够体现其需求的高质量查询。

说明书

技术领域

本发明属于服务计算技术领域，特别涉及一种面向目标的RESTful Web服务发现方法。

背景技术

Web服务作为面向服务计算(Service-Oriented Computing，SOC)的基本构件，是封装了特定计算或业务功能的自包含、自描述、平台独立的软件模块，可以在互联网上发布和调用。利用已有的Web服务资源，可以提高软件开发的效率和质量，同时降低开发成本[文献1]。随着SOC的快速发展，面向服务的软件开发(Service-Oriented Software Development，SOSD)日益成为互联网上软件开发的主流，已被广泛应用于许多领域，如电子商务、工作流管理等[文献2]。在此情势下，互联网上发布的Web服务资源呈现出快速增长的趋势。

目前，互联网上已发布的Web服务主要可以分为两类：遵循简单对象访问协议(Simple Object Access Protocol，SOAP)的Web服务(简称SOAP-based Web服务)和遵循表征状态转移(REpresentational State Transfer，REST)协议的RESTful Web服务。SOAP-based Web服务必须采用标准的Web服务描述语言(Web Services Description Language，WSDL)进行描述，给Web服务的开发者造成了一定的限制。虽然RESTful Web服务也具备Web应用描述语言(Web Application Description Language，WADL)、WSDL 2.0等结构化的描述语言，但大多数开发者倾向于采用简单的自然语言文本对其所开发的RESTful Web服务进行描述[文献7]。近年来，RESTful Web服务受到越来越多开发者的青睐，其增长趋势也比传统的SOAP-based Web服务更加明显[文献8]。例如，截止到2016年3月23日，著名Web服务编程网站ProgrammableWeb(http://www.programmableweb.com/，简称PWeb)上注册的Web服务已达到14,836个，其中，RESTful Web服务的比例约为62％，SOAP-based Web服务的比例约为16％。

Web服务发现作为SOC的关键性支撑技术之一，旨在帮助用户从众多的Web服务资源中发掘能够满足其需求的Web服务，促进Web服务的重用。虽然已有大量的Web服务发现方法(如[文献3],[文献4],[文献5],[文献6])被提出， 但目前的Web服务发现方法依然存在如下一些问题：

(1)已有的Web服务发现方法主要针对采用WSDL描述的SOAP-based Web服务，对主要以自然语言文本描述的RESTful Web服务关注较少。

(2)在进行Web服务发现时，用户通常会使用能够准确表达其需求的高层次目标，如“规划行程(plan a trip)”、“查找旅馆(find hotels)”，作为查询条件。然而，目前主流的Web服务注册中心(如PWeb)仍然采用基于关键字匹配的Web服务发现机制，性能不高，难以满足用户的需求。

(3)除用户查询与Web服务之间的匹配机制外，用户查询的质量也是影响Web服务发现结果的关键因素。一个能够准确反映用户需求的查询有助于得到更相关的Web服务。然而，对大多数用户而言，由于缺乏与所期望的Web服务功能相关的知识，很难制定高质量的查询。例如，由于Web服务开发者/提供者表述方式的差异，会存在语义相似的Web服务功能描述，如“get hotels”、“find hotels”、“search accommodations”等。在制定查询时，用户很难全面考虑到这些语义相似的功能，进而导致遗漏许多能够满足其需求的Web服务。目前对这一问题的关注较少。

[文献1]M.Bano,D.Zowghi,N.Ikram,et al.What makes service oriented requirements engineering challenging？a qualitative study.IET Software,2014,8(4),pp.154-160.

[文献2]L.Chen,L.Hu,Z.Zheng,et al.WTCluster:Utilizing Tags for Web Services Clustering.International Conference on Service-Oriented Computing,2011,pp.204-218.

[文献3]P.Plebani and B.Pernici.URBE:Web Service Retrieval Based on Similarity Evaluation.IEEE Transactions on Knowledge and Data Engineering,2009,21(11),pp.1629-1642.

[文献4]F.Liu,Y.Shi,J.Yu,et al.Measuring Similarity of Web Services Based on WSDL.IEEE International Conference on Web Services,2011,pp.155-162.

[文献5]G.Cassar,P.Barnaghi,and K.Moessner,Probabilistic Matchmaking Methods for Automated Service Discovery.IEEE Transactions on Services Computing,2013,7(4),pp.654-666.

[文献6]Z.Cong,A.Fernandez,H.Billhardt,et al.ServiceDiscovery Acceleration with Hierarchical Clustering.Information Systems Frontiers,2014,17(4),pp.799-808.

[文献7]W.Jiang,D.Lee,and S.Hu.Large-Scale Longitudinal Analysis of SOAP-Based and RESTful Web Services.IEEE 19th International Conference on Web Services,2012,pp.218-225.

[文献8]M.Maleshkova,C.Pedrinaci,and J.Domingue.Investigating Web APIs on the World Wide Web.European Conference on Web Services,2010,pp.107-114.

发明内容

为了解决上述技术问题，本发明提供了一种面向目标的RESTful Web服务发现方法，能够准确地发现满足用户需求目标的RESTful Web服务，并具有很好的实用性。

本发明所采用的技术方案是：1.一种面向目标的RESTful Web服务发现方法，其特征在于，包括以下步骤：

步骤1：收集RESTful Web服务的信息，包括Web服务名称、所属领域和功能性的文本描述，得到Web服务集；

步骤2：对Web服务集进行预处理；

步骤3：针对预处理后的Web服务集，判断是否存在领域划分(即Web服务是否包含所属领域的信息)；

若是，则执行下述步骤4；

若否，则执行下述步骤5；

步骤4：判断领域划分是否存在重叠；

若是，则执行下述步骤5；

若否，则执行下述步骤6；

步骤5：使用Web服务分类方法对Web服务集进行领域划分；

Web服务分类方法的基本过程如下：首先，指定需要进行分类的领域(可以是Web服务集中已有的领域或者用户设定的领域)，将Web服务集划分为指定领 域相关的Web服务集和领域无关的Web服务集；然后，分别从领域相关的Web服务集和领域无关的Web服务集中选取数目相同的Web服务构造训练集，除训练集外的Web服务构成测试集；接着，为训练集和测试集中的Web服务构建向量空间模型，具体来说，将每个Web服务表示为一个向量，向量的维度是所有Web服务包含的不同词的总数，向量的每一维表示一个词，每个词在每个Web服务向量中的权值采用TF-IDF(Term Frequency–Inverse Document Frequency)计算；最后，采用支持向量机(Support Vector Machine，SVM)对构建的向量空间进行分类，得到指定领域的Web服务集。

步骤6：针对每个领域的Web服务集进行领域知识库的构建，包括：领域词汇排序表(Ranked Domain Word List，RDWL)、领域动词集(Domain Verb Set，DV)、领域核心名词集(Domain Core Noun Set，DCN)、Web服务-服务目标关联矩阵(Web Service-Service Goal Assignment Matrix，WSSGAM)和服务目标簇集(Service Goal Clusters，SGC)；

步骤7：对给定的用户查询q进行Web服务发现。

作为优选，步骤2中所述对Web服务集进行预处理，包括分词、词形还原、去停用词和词频统计，具体实现包括以下子步骤：

步骤2.1：对每个Web服务的信息进行解析，获取其中包含的所有词；

步骤2.2：将所有词还原成其基本原形，如“retrieves”、“retrieved”和“retrieving”的基本原型均为“retrieve”；

步骤2.3：根据停用词表去掉一些无实际意义的词，如“can”、“it”、“the”等；

步骤2.4：统计每个词在Web服务中的频次。

作为优选，步骤6中，首先对每个领域，统计该领域预处理后的Web服务集中包含的所有词以及每个词在该领域中的出现频次(即每个词在该领域所有Web服务中的出现频次之和)；然后，为特定的领域d进行领域知识库构建，其具体实现包括以下子步骤：

步骤6.1：计算d中每个词对该领域的重要性，并按照重要性对d中所有词降序排列，得到d的领域词汇排序表，记为RDWL_d；

步骤6.2：选出RDWL_d的top>d；

步骤6.3：从d中每个Web服务的文本描述中进行服务目标提取，得到d的Web服务-服务目标关联矩阵，记为WSSGAM_d；

服务目标(Service Goal)用于表示Web服务所能提供的功能。一个服务目标sg的表示为：sg＝〈sgv,sgn,sgp〉，其中，sgv为动词或动词短语，表示sg要执行的操作；sgn为名词或名词短语，表示sg的操作对象；sgp为可选的参数集，用于对sg进行补充说明，比如sg的操作方式和约束等。

从Web服务的文本描述中进行服务目标提取的基本过程如下：首先，获取文本描述包含的语句集合；然后，利用Stanford Parser(http://nlp.stanford.edu/software/lex-parser.shtml)对每条语句进行语法解析，得到能够体现句中词汇之间语法依赖关系的Stanford Dependency(SD)集合；接着，根据3种SD模式：dobj(a,b)→<a,b,null>、nsubjpass(a,b)→<a,b,null>和prep(a,b)+nsubj(a,c)→<a,b,null>，从每条语句的SD集中获取该语句包含的一些重要服务目标的骨架(称为初始目标)；然后，利用每条语句中其它的SD关系(如amod、nn、conj和prep)对从该语句中获取的每个初始目标进行信息扩充，同时识别隐藏的服务目标，得到该语句的候选服务目标集；最后，对从所有语句中获取的候选服务目标进行词形还原和去停用词处理，得到Web服务的文本描述中包含的服务目标集。

令S_d代表d的Web服务集，SG_d代表从d的所有Web服务中提取的服务目标集，则WSSGAM_d的每个元素WSSGAM_d(s_i,sg_j)∈{0,1}，WSSGAM_d(s_i,sg_j)＝1表示Web服务s_i∈S_d包含服务目标sg_j∈SG_d；

步骤6.4：统计d中所有服务目标(即SG_d)包含的动词(即sgv部分)，得到d的领域动词集，记为DV_d；

步骤6.5：计算d中服务目标之间的语义相似度，构建服务目标语义相似度矩阵，矩阵的每一行代表d中的一个服务目标，每一列也代表d中的一个服务目标，每个单元的值是该单元所在的行与列对应的两个服务目标之间的语义相似度；

步骤6.6：基于服务目标语义相似度矩阵，将d中每个服务目标表示为一个向量，向量的维数是d中服务目标的总数，向量的每一维表示d中的一个服务目标，每个服务目标sg的向量中每一维的值为sg与该维对应的服务目标之间的语义相似度；然后，利用K-Means算法对d中所有服务目标的向量进行聚类，得到d的服务目标簇集，记为SGC_d。

作为优选，步骤6.1中所述d中每个词w对该领域的重要性，计算方法如下：

$r_{d,w}=\frac{N(w,d)}{\underset{w_i\in d}{\max }N(w_i,d)}\times (\alpha \times (1-\frac{\left|\right\{d:w\in d\left\}\right|}{\left|D\right|})+(1-\alpha )\times \frac{N(w,d)}{{\Sigma }_{d_i\in D}N(w,d_j)}),$

其中，N(w,d)表示w在d中的出现频次，表示d中词出现的最大频次，|{d:w∈d}|表示包含w的领域数目，|D|表示全部Web服务所属的领域总数，表示w在所有领域中的出现频次之和；α为0到1之间的小数，默认取0.6，可由用户调整。

作为优选，步骤6.5中所述d中服务目标之间的语义相似度，计算方法如下：

首先，将d中每个服务目标sg包含的词划分为3个子集，即

V_d(sg)＝W(sg)∩DV_d,CN_d(sg)＝W(sg)∩DCN_d，

Oth_d(sg)＝W(sg)-V_d(sg)-CN_d(sg)，

其中，W(sg)代表sg包含的词集；DV_d和DCN_d分别代表d的领域动词集和领域核心名词集；V_d(sg)、CN_d(sg)和Oth_d(sg)分别代表sg包含的动词集、 领域核心名词集以及除动词与领域核心名词外的其他词集(如形容词、领域非核心名词等)；对服务目标来说，这3种词之间的重要性优先级为：领域核心名词>动词>其他词；

然后，计算d中任意两个服务目标sg_i和sg_j之间的语义相似度，采用如下公式：

$\begin{array}{c}gSim({\mathrm{sg}}_i,{\mathrm{sg}}_j)={\lambda }_1\times WSim\left(V_d\right({\mathrm{sg}}_i),V_d\left({\mathrm{sg}}_j\right))+{\lambda }_2\times WSim\left({\mathrm{CN}}_d\right({\mathrm{sg}}_i),{\mathrm{CN}}_d\left({\mathrm{sg}}_j\right))\\ +{\lambda }_3\times WSim\left({\mathrm{Oth}}_d\right({\mathrm{sg}}_i),{\mathrm{Oth}}_d\left({\mathrm{sg}}_j\right))\end{array},$

其中，λ₁、λ₂和λ₃为权重因子；默认取λ₁＝0.3，λ₂＝0.6，λ₃＝0.1，可由用户调整；WSim(W₁,W₂)表示两个词集W₁和W₂之间的语义相似度，计算公式为：

$WSim(W_1,W_2)=\left(\begin{array}{cc}\frac{1}{\left|W_1\right|}\times \underset{w_i\in W_1}{\Sigma }\underset{w_j\in W_2}{max}\left\{wsim(w_i,w_j)\right\},& if\left|W_1\right|\le \left|W_2\right|\\ \frac{1}{\left|W_2\right|}\times \underset{w_i\in W_2}{\Sigma }\underset{w_j\in W_1}{max}\left\{wsim(w_i,w_j)\right\},& if\left|W_1\right|>\left|W_2\right|\end{array}\right),$