衡量搜索引擎排序算法有效性的方法和装置

摘要

本发明提供了一种衡量搜索引擎排序算法有效性的方法和装置，该方法包括：对至少一个查询Query在待衡量搜索引擎中查询得到的至少一条查询结果条目分别进行相关性打分，确定各查询Query的首页查询结果的实际得分值以及理论最大得分值；根据所述各查询Query的首页查询结果的实际得分值以及理论最大得分值，衡量出所述待衡量搜索引擎排序算法的有效性。本发明实施例能够提供更加深入、细化的衡量结果，能够更好地指导后续优化搜索引擎的工作。

说明书

技术领域

本发明涉及信息搜索技术领域，特别是一种衡量搜索引擎排序算法有效性 的方法和装置。

背景技术

随着互联网技术的不断发展以及信息的不断膨胀，人们对于网络信息的使 用需求越来越高，搜索引擎成为人们获取网络信息的重要工具。当用户输入查 询Query(搜索)后，搜索引擎通常会将包含该查询Query的页面作为查询结 果返回给用户。

相关技术中，搜索引擎通常采用排序算法对查询结果条目进行排序，进而 返回给用户，可见一种有效性较高的排序算法能够将相关性较好的、高质量的 查询结果优先展现给用户。因而，如何准确、客观地衡量搜索引擎排序算法有 效性成为目前亟待解决的技术问题，对后续优化搜索引擎具有重要指导意义。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地 解决上述问题的衡量搜索引擎排序算法有效性的方法和装置。

依据本发明的一个方面，提供了一种衡量搜索引擎排序算法有效性的方 法，包括：对至少一个查询Query在待衡量搜索引擎中查询得到的至少一条查 询结果条目分别进行相关性打分，确定各查询Query的首页查询结果的实际得 分值以及理论最大得分值；根据所述各查询Query的首页查询结果的实际得分 值以及理论最大得分值，衡量出所述待衡量搜索引擎排序算法的有效性。

可选地，所述确定各查询Query的首页查询结果的实际得分值的步骤，包 括：对所述各查询Query的首页查询结果条目分别进行相关性打分，得到所述 各查询Query的首页查询结果的首页打分列表；根据所述首页打分列表，确定 所述各查询Query的首页查询结果的实际得分值。

可选地，所述确定各查询Query的首页查询结果的理论最大得分值的步 骤，包括：对所述各查询Query除首页以外的其他页查询结果条目分别进行相 关性打分，得到至少一个打分值；根据所述至少一个打分值调整所述首页打分 列表，得到调整后的首页打分列表；根据所述调整后的首页打分列表，确定所 述各查询Query的首页查询结果的理论最大得分值。

可选地，根据所述至少一个打分值调整所述首页打分列表，得到调整后的 首页打分列表的步骤，包括：根据所述至少一个打分值，得到所述其他页中各 页的打分列表；根据所述其他页中各页的打分列表调整所述首页打分列表，得 到调整后的首页打分列表。

可选地，根据所述至少一个打分值调整所述首页打分列表的步骤，包括： 当所述其他页中查询结果条目的相关性打分值大于所述首页中查询结果条目 的相关性打分值时，用所述其他页中的查询结果条目替换所述首页中的查询结 果条目，实现调整所述首页打分列表。

可选地，根据所述各查询Query的首页查询结果的实际得分值以及理论最 大得分值，衡量出所述待衡量搜索引擎排序算法的有效性，包括：计算所述实 际得分值与所述理论最大得分值的比值，得到所述待衡量搜索引擎排序算法对 应所述各查询Query的有效程度值；根据所述有效程度值，衡量出所述待衡量 搜索引擎排序算法的有效性。

可选地，根据所述有效程度值，衡量出所述待衡量搜索引擎排序算法的有 效性，包括：统计所述各查询Query在所述待衡量搜索引擎中的查询频率；根 据所述各查询Query的查询频率，对所述有效程度值进行加权求和，进而衡量 出所述待衡量搜索引擎排序算法的有效性。

可选地，所述方法还包括：根据所述各查询Query的首页查询结果的实际 得分值以及理论最大得分值，衡量出所述待衡量搜索引擎排序算法的排序损 失。

可选地，根据所述各查询Query的首页查询结果的实际得分值以及理论最 大得分值，衡量出所述待衡量搜索引擎排序算法的排序损失，包括：计算所述 理论最大得分值与所述实际得分值的差值，得到所述待衡量搜索引擎排序算法 对应所述各查询Query的排序损失值；根据所述排序损失值，衡量出所述待衡 量搜索引擎排序算法的排序损失。

依据本发明的另一个方面，提供了一种衡量搜索引擎排序算法有效性的装 置，包括：

确定模块，适于对至少一个查询Query在待衡量搜索引擎中查询得到的至 少一条查询结果条目分别进行相关性打分，确定各查询Query的首页查询结果 的实际得分值以及理论最大得分值；

衡量模块，适于根据所述各查询Query的首页查询结果的实际得分值以及 理论最大得分值，衡量出所述待衡量搜索引擎排序算法的有效性。

可选地，所述确定模块还适于：对所述各查询Query的首页查询结果条目 分别进行相关性打分，得到所述各查询Query的首页查询结果的首页打分列 表；根据所述首页打分列表，确定所述各查询Query的首页查询结果的实际得 分值。

可选地，所述确定模块还适于：对所述各查询Query除首页以外的其他页 查询结果条目分别进行相关性打分，得到至少一个打分值；根据所述至少一个 打分值调整所述首页打分列表，得到调整后的首页打分列表；根据所述调整后 的首页打分列表，确定所述各查询Query的首页查询结果的理论最大得分值。

可选地，所述确定模块还适于：根据所述至少一个打分值，得到所述其他 页中各页的打分列表；根据所述其他页中各页的打分列表调整所述首页打分列 表，得到调整后的首页打分列表。

可选地，所述确定模块还适于：当所述其他页中查询结果条目的相关性打 分值大于所述首页中查询结果条目的相关性打分值时，用所述其他页中的查询 结果条目替换所述首页中的查询结果条目，实现调整所述首页打分列表。

可选地，所述衡量模块还适于：计算所述实际得分值与所述理论最大得分 值的比值，得到所述待衡量搜索引擎排序算法对应所述各查询Query的有效程 度值；根据所述有效程度值，衡量出所述待衡量搜索引擎排序算法的有效性。

可选地，所述衡量模块还适于：统计所述各查询Query在所述待衡量搜索 引擎中的查询频率；根据所述各查询Query的查询频率，对所述有效程度值进 行加权求和，进而衡量出所述待衡量搜索引擎排序算法的有效性。

可选地，所述衡量模块还适于：根据所述各查询Query的首页查询结果的 实际得分值以及理论最大得分值，衡量出所述待衡量搜索引擎排序算法的排序 损失。

可选地，所述衡量模块还适于：计算所述理论最大得分值与所述实际得分 值的差值，得到所述待衡量搜索引擎排序算法对应所述各查询Query的排序损 失值；根据所述排序损失值，衡量出所述待衡量搜索引擎排序算法的排序损失。

本发明实施例提供了衡量搜索引擎排序算法有效性的方案，即对至少一个 查询Query在待衡量搜索引擎中查询得到的至少一条查询结果条目分别进行 相关性打分，进而确定各查询Query的首页查询结果的实际得分值以及理论最 大得分值，随后根据各查询Query的首页查询结果的实际得分值以及理论最大 得分值，衡量出待衡量搜索引擎排序算法的有效性。由于首页查询结果具备容 易被用户获取并重视其包含的信息的特性，因而首页查询结果的质量和相关性 的好坏能够一定程度上反映搜索引擎排序算法的有效性程度，从而本发明实施 例中利用各查询Query的首页查询结果的实际得分值以及理论最大得分值，对 待衡量搜索引擎排序算法的有效性进行衡量，能够提供更加准确、客观的衡量 结果，进而能够更好地指导后续优化搜索引擎的工作，为用户提供更丰富的数 据支持，以及更为准确的搜索结果，满足用户对信息的需求，提高用户信息搜 索体验。此外，本发明实施例将资源数据本身与搜索引擎的排序算法分离开来， 根据待衡量搜索引擎自身的查询结果的相关性得分情况，对其排序算法的有效 性进行衡量，相比于现有技术中将资源数据本身与搜索引擎的排序算法作为整 体衡量搜索引擎的性能，本发明实施例能够提供更加深入、细化的衡量结果， 进一步能够更好地指导后续优化搜索引擎的工作。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术 手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、 特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会 更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领 域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并 不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的 部件。在附图中：

图1示出了根据本发明一个实施例的衡量搜索引擎排序算法有效性的方法 的流程图；

图2示出了根据本发明另一个实施例的衡量搜索引擎排序算法有效性的方 法的流程图；以及

图3示出了根据本发明一个实施例的衡量搜索引擎排序算法有效性的装置 的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了 本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被 这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本 公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为解决上述技术问题，本发明实施例提供了一种衡量搜索引擎排序算法有 效性的方法。图1示出了根据本发明一个实施例的衡量搜索引擎排序算法有效 性的方法的流程图。参见图1，该方法至少包括步骤S102至步骤S104。

步骤S102、对至少一个查询Query在待衡量搜索引擎中查询得到的至少 一条查询结果条目分别进行相关性打分，确定各查询Query的首页查询结果的 实际得分值以及理论最大得分值。

步骤S104、根据各查询Query的首页查询结果的实际得分值以及理论最 大得分值，衡量出该待衡量搜索引擎排序算法的有效性。

本发明实施例提供了衡量搜索引擎排序算法有效性的方案，即对至少一个 查询Query在待衡量搜索引擎中查询得到的至少一条查询结果条目分别进行 相关性打分，进而确定各查询Query的首页查询结果的实际得分值以及理论最 大得分值，随后根据各查询Query的首页查询结果的实际得分值以及理论最大 得分值，衡量出待衡量搜索引擎排序算法的有效性。由于首页查询结果具备容 易被用户获取并重视其包含的信息的特性，因而首页查询结果的质量和相关性 的好坏能够一定程度上反映搜索引擎排序算法的有效性程度，从而本发明实施 例中利用各查询Query的首页查询结果的实际得分值以及理论最大得分值，对 待衡量搜索引擎排序算法的有效性进行衡量，能够提供更加准确、客观的衡量 结果，进而能够更好地指导后续优化搜索引擎的工作，为用户提供更丰富的数 据支持，以及更为准确的搜索结果，满足用户对信息的需求，提高用户信息搜 索体验。此外，本发明实施例将资源数据本身与搜索引擎的排序算法分离开来， 根据待衡量搜索引擎自身的查询结果的相关性得分情况，对其排序算法的有效 性进行衡量，相比于现有技术中将资源数据本身与搜索引擎的排序算法作为整 体衡量搜索引擎的性能，本发明实施例能够提供更加深入、细化的衡量结果， 进一步能够更好地指导后续优化搜索引擎的工作。

上文步骤S102中提及的至少一个查询Query，可以是预先设置的，也可 以是从高中低频的多个查询Query中随机抽取的，等等，本发明不限于此。

在步骤S102中对至少一个查询Query在待衡量搜索引擎中查询得到的至 少一条查询结果条目分别进行相关性打分，可以是计算各查询Query与其对应 的至少一条查询结果条目的相关性值，将该相关性值作为相关性打分值。进一 步，可以采用常用的相关性算法(如文本特征相关性算法、文本语义相关性算 法等)来计算各查询Query与其对应的至少一条查询结果条目的相关性值，此 处本发明不作限制。

在步骤S102中对至少一个查询Query在待衡量搜索引擎中查询得到的至 少一条查询结果条目分别进行相关性打分后，本发明实施例提供了一种优选的 方案来确定各查询Query的首页查询结果的实际得分值，即在对各查询Query 的首页查询结果条目分别进行相关性打分之后，得到各查询Query的首页查询 结果的首页打分列表，从而根据首页打分列表，确定各查询Query的首页查询 结果的实际得分值。例如，对于各查询Query，选取前N个查询结果条目作为 首页查询结果，并将该N个查询结果条目的相关性打分值生成首页打分列表， 如当N为21时，首页打分列表为(s1,s2,s3,…,s21)，那么首页查询结果的实 际得分值为首页打分列表中各打分值的总和。

进一步，对各查询Query除首页以外的其他页查询结果条目分别进行相关 性打分，得到至少一个打分值，随后根据至少一个打分值调整首页打分列表， 得到调整后的首页打分列表，最后根据调整后的首页打分列表，确定各查询 Query的首页查询结果的理论最大得分值。在实际应用中，可以通过多种方式 实现对首页打分列表的调整，下面列举以下几种方式。

方式一，通过多次调整，使得调整后的首页打分列表中的最小打分值大于 或等于至少一个打分值中的最大打分值。即，确定首页打分列表中的最小打分 值以及该至少一个打分值中的最大打分值，若首页打分列表中的最小打分值小 于该至少一个打分值中的最大打分值，则采用至少一个打分值中的最大打分值 替换首页打分列表中的最小打分值，并从至少一个打分值中删除用于替换的最 大打分值，从而实现首页打分列表的第一次调整。随后，确定第一次调整后的 首页打分列表中的最小打分值以及剩余的至少一个打分值(在第一次调整首页 打分列表时，从至少一个打分值中删除了用于替换的最大打分值)中的最大打 分值，若第一次调整后的首页打分列表中的最小打分值小于剩余的至少一个打 分值中的最大打分值，则采用剩余的至少一个打分值中的最大打分值替换第一 次调整后的首页打分列表中的最小打分值，并从剩余的至少一个打分值中删除 用于替换的最大打分值，从而实现首页打分列表的第二次调整。以此类推，使 得最后一次调整得到的首页打分列表中的最小打分值大于或等于剩余的至少 一个打分值中的最大打分值。

方式二，利用多个打分列表(如其他页中各页的打分列表)实现调整。即， 根据至少一个打分值，得到其他页中各页的打分列表，随后根据其他页中各页 的打分列表调整首页打分列表，得到调整后的首页打分列表。例如，仍然以每 页的查询结果条目数21为例，选取第二页和第三页的查询结果条目分别进行 相关性打分，得到第二页的打分列表(s22,s23,s24,…,s42)以及第三页的打分 列表(s43,s44,s45,…,s63)，从而利用第二、三页的打分列表调整首页打分列 表。在本发明的优选方案中，可以先利用第二页的打分列表调整首页打分列表， 即确定首页打分列表中的最小打分值以及第二页的打分列表中的最大打分值， 若首页打分列表中的最小打分值小于第二页的打分列表中的最大打分值，则采 用第二页的打分列表中的最大打分值替换首页打分列表中的最小打分值，并从 第二页的打分列表中删除用于替换的最大打分值，从而实现首页打分列表的第 一次调整。随后，确定第一次调整后的首页打分列表中的最小打分值以及剩余 的第二页的打分列表(在第一次调整首页打分列表时，从第二页的打分列表中 删除了用于替换的最大打分值)中的最大打分值，若第一次调整后的首页打分 列表中的最小打分值小于剩余的第二页的打分列表中的最大打分值，则采用剩 余的第二页的打分列表中的最大打分值替换第一次调整后的首页打分列表中 的最小打分值，并从剩余的第二页的打分列表中删除用于替换的最大打分值， 从而实现首页打分列表的第二次调整。以此类推，使得最后一次调整得到的首 页打分列表中的最小打分值大于或等于剩余的第二页的打分列表中的最大打 分值。之后，接着利用第三页的打分列表，调整已利用第二页的打分列表进行 调整后的首页打分列表，调整方式可参照上述利用第二页的打分列表调整首页 打分列表，此处不再赘述。

需要说明的是，在应用中可以根据实际的调整效率进行调整方式的选取， 当然，本发明实施例的调整方式也不仅限于上述两种，本发明实施例还可以采 用其他方式来调整首页打分列表，从而确定各查询Query的首页查询结果的理 论最大得分值。

在步骤S102确定各查询Query的首页查询结果的实际得分值以及理论最 大得分值之后，步骤S104根据各查询Query的首页查询结果的实际得分值以 及理论最大得分值，衡量出该待衡量搜索引擎排序算法的有效性，本发明实施 例提供了一种优选的方案，在该方案中，可以计算实际得分值与理论最大得分 值的比值，得到待衡量搜索引擎排序算法对应各查询Query的有效程度值，从 而根据有效程度值，衡量出待衡量搜索引擎排序算法的有效性。例如，预先设 置待衡量搜索引擎排序算法的有效性的不同等级对应的有效程度值的区间，如 待衡量搜索引擎排序算法的有效性的等级有高、中、低三级，分别对应的有效 程度值的区间为[1，0.95]、(0.95，0.85]、(0.85，0)，若计算出实际得分值 与理论最大得分值的比值，即有效程度值为0.96，则衡量出待衡量搜索引擎排 序算法的有效性的等级为高。需要说明的是，此处待衡量搜索引擎排序算法的 有效性的等级以及对应的有效程度值的区间仅是示意性的，并不限制本发明。

进一步，对于至少一个查询Query，可以统计各查询Query在待衡量搜索 引擎中的查询频率，从而根据各查询Query的查询频率，对有效程度值进行加 权求和，进而衡量出待衡量搜索引擎排序算法的有效性。这里，可以设置查询 频率区间对应的权值，查询频率越高权值越大，从而可以利用相应的权值对有 效程度值进行加权求和。例如，以三个查询Query为例，其各自对应的有效程 度值分别为0.9、0.95、0.88，且各自对应的权值为0.3、0.5、0.25，进行加权 求和，最后利用加权求和得到的值衡量出待衡量搜索引擎排序算法的有效性。

此外，在本发明的优选实施例中，还可以根据各查询Query的首页查询结 果的实际得分值以及理论最大得分值，衡量出待衡量搜索引擎排序算法的排序 损失。即，可以计算理论最大得分值与实际得分值的差值，得到待衡量搜索引 擎排序算法对应各查询Query的排序损失值，从而根据排序损失值，衡量出待 衡量搜索引擎排序算法的排序损失，为后续优化搜索引擎提供指导。

下面通过一具体实施例详细介绍本发明中衡量搜索引擎排序算法有效性 的方法。图2示出了根据本发明另一个实施例的衡量搜索引擎排序算法有效性 的方法的流程图。参见图2，该方法至少包括步骤S202至步骤S216。

步骤S202、对待衡量搜索引擎的查询Query进行随机抽取，高中低频各 K个。

步骤S204、对各查询Query，抓取首页查询结果，并对N个首页查询结 果条目进行相关性打分，得到各查询Query的首页查询结果的首页打分列表。

步骤S206、根据首页打分列表，确定各查询Query的首页查询结果的实 际得分值。

在该步骤中，当N为21时，首页打分列表为(s1,s2,s3,…,s21)，那么首 页查询结果的实际得分值为首页打分列表中各打分值的总和。

步骤S208、对各查询Query，抓取除首页以外的其他页查询结果，并对除 首页以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值。

步骤S210、根据至少一个打分值调整首页打分列表，得到调整后的首页打 分列表。

在该步骤中，可以通过多种方式实现对首页打分列表的调整，可以参考前 文介绍的方式一或方式二进行调整，此处不再赘述。

步骤S212、根据调整后的首页打分列表，确定各查询Query的首页查询 结果的理论最大得分值。

步骤S214、计算实际得分值与理论最大得分值的比值，得到待衡量搜索引 擎排序算法对应各查询Query的有效程度值，从而根据有效程度值，衡量出待 衡量搜索引擎排序算法的有效性。

在该步骤中，可以预先设置待衡量搜索引擎排序算法的有效性的不同等级 对应的有效程度值的区间，如待衡量搜索引擎排序算法的有效性的等级有1、2、 3三级，分别对应的有效程度值的区间为[1，0.95]、(0.95，0.85]、(0.85，0)， 若计算出实际得分值与理论最大得分值的比值，即有效程度值为0.96，则衡量 出待衡量搜索引擎排序算法的有效性的等级为1。需要说明的是，此处待衡量 搜索引擎排序算法的有效性的等级以及对应的有效程度值的区间仅是示意性 的，并不限制本发明。

步骤S216、计算理论最大得分值与实际得分值的差值，得到待衡量搜索引 擎排序算法对应各查询Query的排序损失值，从而根据排序损失值，衡量出待 衡量搜索引擎排序算法的排序损失。

在本实施例中，将资源数据本身与搜索引擎的排序算法分离开来，根据待 衡量搜索引擎自身的查询结果的相关性得分情况，对其排序算法的有效性进行 衡量，提供了更加深入、细化的衡量结果，能够更好地指导后续优化搜索引擎 的工作。

对应于上述实施例中衡量搜索引擎排序算法有效性的方法，本发明实施例 还提供了一种衡量搜索引擎排序算法有效性的装置。图3示出了根据本发明一 个实施例的衡量搜索引擎排序算法有效性的装置的结构示意图。参见图3，该 装置至少可以包括：确定模块310和衡量模块320。

现介绍本发明实施例的衡量搜索引擎排序算法有效性的装置的各组成或 器件的功能以及各部分间的连接关系：

确定模块310，适于对至少一个查询Query在待衡量搜索引擎中查询得到 的至少一条查询结果条目分别进行相关性打分，确定各查询Query的首页查询 结果的实际得分值以及理论最大得分值；

衡量模块320，与确定模块310相耦合，适于根据各查询Query的首页查 询结果的实际得分值以及理论最大得分值，衡量出待衡量搜索引擎排序算法的 有效性。

在本发明一实施例中，上述确定模块310还适于：对各查询Query的首页 查询结果条目分别进行相关性打分，得到各查询Query的首页查询结果的首页 打分列表；根据首页打分列表，确定各查询Query的首页查询结果的实际得分 值。

在本发明一实施例中，上述确定模块310还适于：对各查询Query除首页 以外的其他页查询结果条目分别进行相关性打分，得到至少一个打分值；根据 至少一个打分值调整首页打分列表，得到调整后的首页打分列表；根据调整后 的首页打分列表，确定各查询Query的首页查询结果的理论最大得分值。

在本发明一实施例中，上述确定模块310还适于：根据至少一个打分值， 得到其他页中各页的打分列表；根据其他页中各页的打分列表调整首页打分列 表，得到调整后的首页打分列表。

在本发明一实施例中，上述确定模块310还适于：当其他页中查询结果条 目的相关性打分值大于首页中查询结果条目的相关性打分值时，用其他页中的 查询结果条目替换首页中的查询结果条目，实现调整首页打分列表。

在本发明一实施例中，上述衡量模块320还适于：计算实际得分值与理论 最大得分值的比值，得到待衡量搜索引擎排序算法对应各查询Query的有效程 度值；根据有效程度值，衡量出待衡量搜索引擎排序算法的有效性。

在本发明一实施例中，上述衡量模块320还适于：统计各查询Query在待 衡量搜索引擎中的查询频率；根据各查询Query的查询频率，对有效程度值进 行加权求和，进而衡量出待衡量搜索引擎排序算法的有效性。

在本发明一实施例中，上述衡量模块320还适于：根据各查询Query的首 页查询结果的实际得分值以及理论最大得分值，衡量出待衡量搜索引擎排序算 法的排序损失。

在本发明一实施例中，上述衡量模块320还适于：计算理论最大得分值与 实际得分值的差值，得到待衡量搜索引擎排序算法对应各查询Query的排序损 失值；根据排序损失值，衡量出待衡量搜索引擎排序算法的排序损失。

根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能 够达到如下有益效果：

本发明实施例提供了衡量搜索引擎排序算法有效性的方案，即对至少一个 查询Query在待衡量搜索引擎中查询得到的至少一条查询结果条目分别进行 相关性打分，进而确定各查询Query的首页查询结果的实际得分值以及理论最 大得分值，随后根据各查询Query的首页查询结果的实际得分值以及理论最大 得分值，衡量出待衡量搜索引擎排序算法的有效性。由于首页查询结果具备容 易被用户获取并重视其包含的信息的特性，因而首页查询结果的质量和相关性 的好坏能够一定程度上反映搜索引擎排序算法的有效性程度，从而本发明实施 例中利用各查询Query的首页查询结果的实际得分值以及理论最大得分值，对 待衡量搜索引擎排序算法的有效性进行衡量，能够提供更加准确、客观的衡量 结果，进而能够更好地指导后续优化搜索引擎的工作，为用户提供更丰富的数 据支持，以及更为准确的搜索结果，满足用户对信息的需求，提高用户信息搜 索体验。此外，本发明实施例将资源数据本身与搜索引擎的排序算法分离开来， 根据待衡量搜索引擎自身的查询结果的相关性得分情况，对其排序算法的有效 性进行衡量，相比于现有技术中将资源数据本身与搜索引擎的排序算法作为整 体衡量搜索引擎的性能，本发明实施例能够提供更加深入、细化的衡量结果， 进一步能够更好地指导后续优化搜索引擎的工作。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发 明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细 示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或 多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一 起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法 解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确 记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发 明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式 的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为 本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适 应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实 施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它 们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的 至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要 求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有 过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、 摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征 来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它 实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意 味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中， 所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器 上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解， 可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实 施例的衡量搜索引擎排序算法有效性的装置中的一些或者全部部件的一些或 者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全 部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现 本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号 的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供， 或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并 且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施 例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的 限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之 前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包 括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干 装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体 体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解 释为名称。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的 多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本 发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因 此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

本发明还公开了：A1、一种衡量搜索引擎排序算法有效性的方法，包括：

对至少一个查询Query在待衡量搜索引擎中查询得到的至少一条查询结 果条目分别进行相关性打分，确定各查询Query的首页查询结果的实际得分值 以及理论最大得分值；

根据所述各查询Query的首页查询结果的实际得分值以及理论最大得分 值，衡量出所述待衡量搜索引擎排序算法的有效性。

A2、根据A1所述的方法，其中，所述确定各查询Query的首页查询结果 的实际得分值的步骤，包括：

对所述各查询Query的首页查询结果条目分别进行相关性打分，得到所述 各查询Query的首页查询结果的首页打分列表；

根据所述首页打分列表，确定所述各查询Query的首页查询结果的实际得 分值。

A3、根据A1-A2任一项所述的方法，其中，所述确定各查询Query的首 页查询结果的理论最大得分值的步骤，包括：

对所述各查询Query除首页以外的其他页查询结果条目分别进行相关性 打分，得到至少一个打分值；

根据所述至少一个打分值调整所述首页打分列表，得到调整后的首页打分 列表；

根据所述调整后的首页打分列表，确定所述各查询Query的首页查询结果 的理论最大得分值。

A4、根据A1-A3任一项所述的方法，其中，根据所述至少一个打分值调 整所述首页打分列表，得到调整后的首页打分列表的步骤，包括：

根据所述至少一个打分值，得到所述其他页中各页的打分列表；

根据所述其他页中各页的打分列表调整所述首页打分列表，得到调整后的 首页打分列表。

A5、根据A1-A4任一项所述的方法，其中，根据所述至少一个打分值调 整所述首页打分列表的步骤，包括：

当所述其他页中查询结果条目的相关性打分值大于所述首页中查询结果 条目的相关性打分值时，用所述其他页中的查询结果条目替换所述首页中的查 询结果条目，实现调整所述首页打分列表。

A6、根据A1-A5任一项所述的方法，其中，根据所述各查询Query的首 页查询结果的实际得分值以及理论最大得分值，衡量出所述待衡量搜索引擎排 序算法的有效性，包括：

计算所述实际得分值与所述理论最大得分值的比值，得到所述待衡量搜索 引擎排序算法对应所述各查询Query的有效程度值；

根据所述有效程度值，衡量出所述待衡量搜索引擎排序算法的有效性。

A7、根据A1-A6任一项所述的方法，其中，根据所述有效程度值，衡量 出所述待衡量搜索引擎排序算法的有效性，包括：

统计所述各查询Query在所述待衡量搜索引擎中的查询频率；

根据所述各查询Query的查询频率，对所述有效程度值进行加权求和，进 而衡量出所述待衡量搜索引擎排序算法的有效性。

A8、根据A1-A7任一项所述的方法，其中，还包括：

根据所述各查询Query的首页查询结果的实际得分值以及理论最大得分 值，衡量出所述待衡量搜索引擎排序算法的排序损失。

A9、根据A1-A8任一项所述的方法，其中，根据所述各查询Query的首 页查询结果的实际得分值以及理论最大得分值，衡量出所述待衡量搜索引擎排 序算法的排序损失，包括：

计算所述理论最大得分值与所述实际得分值的差值，得到所述待衡量搜索 引擎排序算法对应所述各查询Query的排序损失值；

根据所述排序损失值，衡量出所述待衡量搜索引擎排序算法的排序损失。

B10、一种衡量搜索引擎排序算法有效性的装置，包括：

确定模块，适于对至少一个查询Query在待衡量搜索引擎中查询得到的至 少一条查询结果条目分别进行相关性打分，确定各查询Query的首页查询结果 的实际得分值以及理论最大得分值；

衡量模块，适于根据所述各查询Query的首页查询结果的实际得分值以及 理论最大得分值，衡量出所述待衡量搜索引擎排序算法的有效性。

B11、根据B10所述的装置，其中，所述确定模块还适于：

对所述各查询Query的首页查询结果条目分别进行相关性打分，得到所述 各查询Query的首页查询结果的首页打分列表；

根据所述首页打分列表，确定所述各查询Query的首页查询结果的实际得 分值。

B12、根据B10-B11任一项所述的装置，其中，所述确定模块还适于：

对所述各查询Query除首页以外的其他页查询结果条目分别进行相关性 打分，得到至少一个打分值；

根据所述至少一个打分值调整所述首页打分列表，得到调整后的首页打分 列表；

根据所述调整后的首页打分列表，确定所述各查询Query的首页查询结果 的理论最大得分值。

B13、根据B10-B12任一项所述的装置，其中，所述确定模块还适于：

根据所述至少一个打分值，得到所述其他页中各页的打分列表；

根据所述其他页中各页的打分列表调整所述首页打分列表，得到调整后的 首页打分列表。

B14、根据B10-B13任一项所述的装置，其中，所述确定模块还适于：

当所述其他页中查询结果条目的相关性打分值大于所述首页中查询结果 条目的相关性打分值时，用所述其他页中的查询结果条目替换所述首页中的查 询结果条目，实现调整所述首页打分列表。

B15、根据B10-B14任一项所述的装置，其中，所述衡量模块还适于：

计算所述实际得分值与所述理论最大得分值的比值，得到所述待衡量搜索 引擎排序算法对应所述各查询Query的有效程度值；

根据所述有效程度值，衡量出所述待衡量搜索引擎排序算法的有效性。

B16、根据B10-B15任一项所述的装置，其中，所述衡量模块还适于：

统计所述各查询Query在所述待衡量搜索引擎中的查询频率；

根据所述各查询Query的查询频率，对所述有效程度值进行加权求和，进 而衡量出所述待衡量搜索引擎排序算法的有效性。

B17、根据B10-B16任一项所述的装置，其中，所述衡量模块还适于：

根据所述各查询Query的首页查询结果的实际得分值以及理论最大得分 值，衡量出所述待衡量搜索引擎排序算法的排序损失。

B18、根据B10-B17任一项所述的装置，其中，所述衡量模块还适于：

计算所述理论最大得分值与所述实际得分值的差值，得到所述待衡量搜索 引擎排序算法对应所述各查询Query的排序损失值；

根据所述排序损失值，衡量出所述待衡量搜索引擎排序算法的排序损失。