移动互联网上收集组织举办活动的记录与评分方法

摘要

本发明公开了移动互联网上收集组织举办活动的记录与评分方法，利用开发的前端工具软件所收集到的组织活动相关大数据，形成组织活动评分的大数据指标体系，并通过有监督机器学习建立组织活动评分与排名的预测模型。用户可以通过前端工具软件记录组织活动相关信息、积累360度评估的评分资料。系统通过对这些数据的处理，能够自动生成活动相关的记录信息，同时建立和修正相关预测模型，最终实现对组织活动的全自动化评分。本发明通过工具软件的设计使用以及活动评分预测模型的建立，降低了组织进行活动记录和累积专门评估资料的时间、精力成本，并极大提升了对活动评估的效率与准确性，为组织提供了客观的反馈信息。

说明书

技术领域

本发明属于信息技术领域中的大数据收集与分析，具体涉及基于大数据收集的组织活动记录与评分方法，通过软件工具收集组织活动记录与活动评分的相关大数据资料，自动生成组织的活动记录文档，并通过机器学习建立组织活动评分的预测模型，具体技术有软件开发、数据处理、有监督机器学习以及预测模型的解释与修正。

背景技术

在各类需要评估绩效的领域中，如何克服评价维度单一的问题一直备受关注，360度评估反馈于20世纪80年代以来，被广泛运用于企业中，由企业中与员工相关的各类人员从多个角度来全方位评价员工的绩效，并将评价结果向员工反馈，期以获得更加可靠、客观的结果。实践证明这样的多维度评价有较强优势，能够在一定程度上克服偏误，有助于被评价者能力的提升。因此，将这一方法应用于对组织的评估也能使得组织提升自身的效能。但是，目前还没有针对以举办活动为主要工作的组织的360度评估设计——如盈利型组织中的策展公司、营销公司等，以及非盈利组织中的社会企业、社会组织等，还未明确这类组织由哪些对象来评估更为合适。

随着科学技术的不断革新，大数据已经充斥人们日常生活的方方面面，大数据技术的发展也带来丰富的大数据资源。且大数据资料的收集并不需要十分复杂的技术，往往人们在使用电子设备和互联网时就已经不知不觉地留下了电子印迹，成为大数据的一部分。只要设计出合适的工具并稍加引导，就能将过往工作中的一些书面流程直接转化为电子流程，进而使与这一套流程的相关记录成为大数据资源，从而进行合理的开发与应用。特别是如果能将360度评估反馈所需的数据以这样的方式收集，也可以降低考核的成本。

将大数据资源转化为大数据指标体系，在有监督的预测模型下，与组织评价中最具权威性的专家评价作为标签进行机器学习,从而形成具有推论性的预测模型。当预测模型具有可推论性时,只需获得用相应的大数据，计算相关大数据指标，即可用于预测组织的评分。并且，当下已经有SHAP等工具可以用来解释预测模型的准确性，能够用以说明哪一类指标对于提高组织活动的评价更为重要。

国内目前虽然已有一些软件能够用于活动的发起与记录，比如“准到”、“活动聚”等，但主要做单次活动记录之用，针对群体也并非组织而是个人，并且没有对数据进行开发以用于组织评分。对于以活动为主要工作内容的组织，如盈利型组织中的策展公司、营销公司等；非盈利型组织中的社会企业、社会组织、社区社会组织等，缺少对其活动进行评估的工具。当前的组织评估往往只涉及单一维度或部分维度，特别是对于以办活动为主要内容的组织，通常仅由专家或活动受益对象对活动效果做出评价，导致评估结果过于片面，缺乏客观性。并且目前以办活动为主要工作内容的组织，其活动记录和评估资料大多还停留在书面记录的阶段，缺少电子化工具，评估时效性差，组织的活动资料整合后统一上交，历经繁复的资料审查、归档、评估过程后才能知晓结果，周期过长，难以对组织的工作起到指导与反馈作用。当下也还尚未形成有效、完整的基于工具软件收集的组织活动的记录和评估数据来计算组织评分的大数据指标体系，也缺少组织活动的管理工具，比如用户对自身权限内组织评分加以对比从而加以奖惩，对组织活动效益的判断，记录资料与真实情况的符合程度，避免造成信息不对称场景。

发明内容

本发明设计出一套针对以活动为主要工作内容的组织的活动记录与评分工具。针对目前组织评估往往只涉及单一维度的问题，本发明力图至少从两个层面拓宽当前的组织评估维度——一是拓宽评价者的维度，由原来的仅有第三方专家评估的单一维度评估拓宽为组织自评、组织互评、专家评估、服务对象评估的360度评估；二是由原来的只针对项目完成情况进行评估转化为对项目过程记录的评估、对项目主体的评估以及对组织自身的评估。本发明希望通过评估维度的拓宽使组和评估方织能从评估结果中发现问题、改善问题。

本发明开发出适合该类组织的活动记录与活动评分的工具软件，组织可以使用软件便捷地记录数据，通过大数据工具的使用，将当前定时定点的主流评估方式转化为随时随地能够记录、随时随地能够评估。对工具软件所收集的大数据进行数据处理，根据理论选取和计算大数据指标，将印迹化数据整理为有意义的预测因子，同时后续数据挖据、模型修正的结果可以进一步校准和补充这些大数据指标的维度，这个过程伴随着更细化地给出组织评分的决策建议。基于上述得到的预测模型，对于组织进行评分并依照等级权限和选定范围进行排名，基于多维度的组织评分、全方位的记录来规避信息不对称问题，形成良性的评估环境。

移动互联网上收集组织举办活动的记录与评分方法，具体技术方案如下：

本发明主要分为三大模块，第一部分为数据收集前端(微信小程序)，第二部分为数据分析模块，最后一部分为用户使用模块。三者之间的关系为：数据收集前端为数据分析模块提供数据资源，其中包括作为扎根真相的“专家评估数据”，数据分析模块为用户使用模块提供大数据指标体系和可推论的预测模型，用户使用模块通过用户在工具软件记录的数据来计算大数据指标，将其输入预测模型中，得到对组织活动评分的预测，从而实现权限内等级排名、活动效益评估、资料真实性评价、活动分享等功能。

数据收集前端是经过用户主动输入数据并授权系统收集活动记录数据和活动评估数据的模块。活动记录数据模块留存了用户填写提交的自身活动的记录和照片的文本数据和图数据，包括相关人员，如专家、资方对组织的观察工作记录，以及组织的活动记录基本信息，如时间、地点、活动流程、活动参与人员合照等。活动评估数据模块包括组织自评、组织互评、专家评估及服务对象满意度评估四类数据。除服务对象评估外，其他三种评估均可在立项阶段、实施阶段以及结题阶段灵活进行。

前端收集到的原始数据在数据分析模块会经由大数据比对、数据预处理和大数据指标计算流程。数据比对涉及资料完整度、地理位置信息、活动时间以及参与人数等方面，用以判别资料的真实性。大数据指标计算模块中，主要负责大数据中的相关各类指标处理以及最终形成大数据指标体系。主要形成评价数据、活动数据、组织数据三个大类。原始资料中的多组数据经由云端处理为三类数据库：记录维度数据库、活动维度数据库以及组织维度数据库。记录维度数据库的每条数据即为数据收集前端收集到的每条数据，该维度为最底层的数据，活动记录数据与活动评价数据均需此类数据；记录维度数据库经过筛选，将其中不同使用者记录的同一活动进行合并，即获得活动维度数据，每一条数据都是某个组织的一次活动；组织维度数据库由活动维度的相关活动记录数据和记录维度的活动评价数据综合而成，形成某一组织的各类信息，即每一条数据都代表一个组织。数据的具体释义及计算方式见下表：

在得到了上述结构的数据后，取“组织维度”的数据进行分数计算，输出各个指标的分值结果。

数据分析模块中的预测模型训练模块主要利用上述大数据指标作为输入值，算法可以在扎根真相的基础上做出修正与改进，就本发明而言，最初的扎根真相来自于数据收集模块中的“专家评估数据”，即专家对于组织活动的实际评分，对这一扎根真相的收集过程已经包含在360度评分数据的收集过程当中。因此预测模型的建立将经过数据处理的活动记录与活动评分大数据得到的不同指标进行组合作为输入，专家实际评分作为输出，最终得到与专家评分结果最接近的预测模型。当预测模型逐步修正并趋于稳定后，后续组织活动评价得分由大数据预测模型所得分数和专家评分共同决定，但可以确定的是，专家评分占比根据后续预测模型逐步趋于稳定和具有较高准确率后逐步降低，专家评分主要由大数据预测模型来代替。预测模型修正模块先基于初步训练的预测模型，分析预测错误样本的错误原因，重新进行数据处理、指标计算、模型选择来干预和修正模型，修正后继续结合SHAP来判断上述修正对模型准确率的提升效果。

数据分析模块中的预测模型训练和修正模块，是结合数据收集、大数据比对、大数据指标计算几个模块共同实现的，通过收集更多的大数据与扎根真相、通过预测模型的可解释以及与相关理论的对话形成新的大数据指标体系，最终对预测模型进行多轮修正，生成最优的分类模型，最终完成预测模型的训练和修正。

用户使用模块直接面向用户，首先需要用户授权数据使用权限，当系统获得该用户在本系统前端工具软件上的全部电子印迹数据使用的权限，依照大数据计算模块形成的指标体系来比对、计算该用户的大数据指标，然后在评分预测模块进行评分的预测，最终可实现等级权限内组织排名、资料真实性评价、活动效益评价、活动分享等实用功能。

基于上述模块，本发明将经过以下流程：

首先，数据比对、数据处理和大数据指标计算步骤，获取用户授权后的记录与评分数据，进行资料真伪比对，将半结构数据、文字数据按照规则处理成为三类数据库，得到全处理指标后，输出每个指标的分值结果，作为用以训练和测试预测模型的数据集。

进一步，在预测模型的训练、筛选和修正步骤，划分上述数据集中的80％为训练集，20％为测试集，以数据收集模块当中的“专家评估”分数为标签，使用有监督模型对训练集进行训练，并用测试集进行测试，根据模型在测试集上的表现来选择输出最佳模型；生成初步的预测模型后，使用SHAP值分析预测模型特征，计算特征重要性；通过大数据指标与算法的更新对模型进行修正；通过多轮修正，生成预测效果最优的组织活动评分预测模型。

接下来，进入用户使用的步骤，用户请求组织活动评分预测功能，授权系统获取用户相关联之全部组织活动信息后，系统通过用户关联的记录收据与评分数据使用预测模型对组织活动评分的预测，得到对组织活动分数的预测。同时，用户可以选择是否输出活动评分数据表、活动记录文档，是否进行活动分享，高权限用户同时获取权限内所有组织活动的评分与排名表。

有益效果

本发明主要目的是利用工具软件收集的相关大数据来计算组织评分，从而实现对组织表现的评价和对活动效益的判断。通过大数据指标体系，将大数据整理为有意义的预测组织评分的影响因子，在后续模型修正中校准和补充这些大数据指标的维度，生成计算组织评分的决策支持。根据大数据指标初步建立组织分数预测模型，并使用收集新的数据、生成新的指标等一方面让模型更具可解释性，另一方面提高预测模型准确率。最终，基于上述得到的预测模型，对用户所输入组织进行评分、活动效益评估、活动成果分享等功能。

工具软件的开发和大数据资料的收集，降低了组织进行活动记录和累积专门评估资料的时间、精力成本，同时也大大提升了对活动评估的效率与准确性，为组织提供客观的反馈信息，经过评分预测模型的多次修正，最终将实现完全自动化的组织活动评估，避免因不同专家评价标准不一造成评价差异较大的问题。

附图说明

图1系统的整体架构图。

图2数据匹配与大数据指标计算流程。

图3预测模型训练与筛选流程。

图4预测模型的解释流程。

图5预测模型的修正流程。

图6预测模型的重新修正流程。

图7用户使用流程。

具体实施方式

以下结合附图进一步说明本发明技术方案。

如图1系统架构图所示，移动互联网上收集组织举办活动的记录与评分方法，包括数据收集前端、数据分析模块、以及用户使用模块三大模块。所述数据收集前端包含了用户的智能手机，用于通过微信小程序将用户的活动记录和对应的活动评分数据上传至存储终端再进行数据分析。

图1中最上层数据收集前端是经过用户主动输入数据并授权系统收集活动记录数据和活动评估数据的模块。数据前端中的活动记录数据模块留存了用户填写提交的自身活动的记录和照片的文本数据和图数据，内容通常包括：1)组织名称及记录人员名称；2)组织活动时间、地点、名称、等基本信息；3)活动基本内容、资金使用情况及活动流程；4)记录人员个人感受；5)其他活动信息；6)活动现场照片；7)活动记录及参与人员签到页面。数据前端中的活动评估数据模块包括组织自评、组织互评、专家评估及服务对象满意度评估四类数据。组织自评主要指组织成员定期对自己的组织情况、项目执行情况及资金使用情况进行评估，组织成员身份初步被划分为组织负责人、财务负责人、其他核心组成员、一般成员，对组织管理、活动效果、财务情况等维度进行自我评价。组织互评主要是指组织之间在合作或者竞争统一项目的情况下对彼此，内容涉及组织管理、活动效益、筹资能力等维度。专家评估是指外部专家或第三方专家对组织进行评估，内容包括组织管理、活动是否有针对性、活动与组织的关联程度、活动效益、财务管理等方面，同时为组织提供自身发展、活动和资金管理的专业意见和建议。服务对象评估是指活动受益者或活动参加者对组织及其活动进行评价，服务对象评估不能自行填写，需要在组织在记录活动后生成二维码，服务对象扫码后进入专用的评价链接才可进行评价。

中间层的数据分析模块中包括大数据比对模块、大数据计算模块、模型训练模块和模型修正模块。

数据比对包括资料完整度比对、地理位置信息比对、活动时间比对、参加人数比对，用以预测用户提供的数据真实性，同时形成后续大数据指标计算中的一部分指标。

大数据指标计算模块中，主要负责大数据中的相关各类指标以及最终形成大数据指标体系。主要形成评价数据、活动数据、组织数据三个大类。原始资料中的多组数据经由云端处理为三类数据库：记录维度数据库、活动维度数据库以及组织维度数据库。记录维度数据库的每条数据即为小程序使用者所提交的每条数据，该维度为最底层的数据，活动记录数据与活动评价数据均需此类数据；记录维度数据库经过筛选，将其中不同使用者记录的同一活动进行合并，即获得活动维度数据，每一条数据都是某个组织的一次活动；组织维度数据库由活动维度的相关活动记录数据和记录维度的活动评价数据综合而成，形成某一组织的各类信息，即每一条数据都代表一个组织。在本实施例中，数据的具体释义及计算方式见下表：

在得到了上述结构的数据后，取“组织维度”的数据进行分数计算，即对每个组织的每项指标都进行打分部分组织维度的指标可直接进行计算，另一部分需要先对原始指标做处理，下表是本实施例中对组织维度全部指标的处理方式：

得到全部组织的全处理后指标值后，计算分数方式如下：

1)计算每个处理后指标在全部组织中的平均值与标准差；

2)用处理后指标减去平均值，再除以标准差，最后再加3；

3)如果上面得到的值>5，则＝5；如果得到的值<1，则＝1；中间值不变；

4)处理完毕，在组织维度表中输出每个指标的分值结果。

数据分析模块中的第三层预测模型训练模块主要利用上述大数据指标作为输入值，算法可以在扎根真相的基础上做出修正与改进，就本发明而言，最初的扎根真相来自于专家对于组织活动的实际评分。因此预测模型的建立将上述大数据得到的不同指标进行组合作为输入，专家实际评分作为输出，最终得到与专家评分结果最接近的预测模型。即将数据集划分为训练集和测试集，其中训练集占80％，以专家评分为基准，对预测模型进行训练，并用测试集测试预测模型的准确性，避免过拟合和欠拟合，同时保持较高的准确率。本实施例中，具体使用有监督模型例如SVM、决策树、随机森林以及集成算法XGBoost、GBDT等作为训练模型，最终得到XGBoost准确率高于其他分类器。训练过程中，使用python语言中xgboost.sklearn库中的XGBClassifier方法，以五折交叉验证的预测准确率作为评价指标，对XGBoost基本参数进行调节，得到{每一次提升的学习率的列表(learning_rate):0.1,树的深度(max_depth):3,树的个数(n_estimators):550}参数组合下，模型准确率最高，其他参数为默认值。

数据分析模块中的第四层预测模型修正模块先基于初步训练的预测模型，分析预测错误样本的错误原因，重新进行数据处理、指标计算、模型选择来干预和修正模型，修正后结合SHAP来判断上述修正对模型准确率的提升效果，并在收集更多大数据的基础上对预测模型进行多轮修正，生成最优的预测模型，最终完成预测模型的训练和修正。SHAP是Python开发的一个"模型解释"包，可以解释任何机器学习模型的输出。结合上述得到的XGBoost模型，导入shap库，首先创建一个explainer，然后传入特征值矩阵，计算各个特征的SHAP值，可以得到每个特征对于最终预测准确率的贡献值以及影响的正负性。进一步分析，可使用交互值(interaction value)，得到特征之间的交互作用。以上可解释分析步骤可以更好地为我们提供不同特征的对于预测的意义，并可结合其决策路径图(decision_plot)可得到错误样本分错原因，从而对增加或调整指标来修正模型，提高准确率。

用户使用模块直接面向用户，首先需要用户授权数据使用权限，当系统获得该用户在本系统前端工具软件上的全部电子印迹数据使用的权限，依照大数据计算模块形成的指标体系来比对、计算该用户的大数据指标，然后在评分预测模块进行评分的预测，最终可实现等级权限内组织排名、资料真实性评价、活动效益评价、动态管理等实用功能。用户包括普通权限用户和高级权限用户，普通权限用户即某一组织的负责人；高级权限用户即多个组织的管理者或资方。

目前，普通权限用户能够获得的数据有：(1)组织的活动评分数据，可以知晓组织得分情况，比对活动资源投入是否与评分成正比；(2)系统自动生成的一套与组织活动相关的记录表可代替传统的记录方式，实现办公无纸化；(3)一套自动生成的、有基本格式的新闻稿件，用户可在此基础上进行修改，可以较快地实现活动新闻稿发布。

高级权限用户除可获得所管理组织的上述全部数据外，还可获得一套由系统自动生成的排名表，一目了然地获知各个组织的表现，并且，系统还会标示出经过数据比对存在提交虚假活动记录的组织，便于高级权限用户及时发现问题，对其进行管理。

上述系统的应用经由以下步骤实现：

首先，数据匹配和大数指标计算步骤，具体的数据匹配和大数据指标计算流程如图2：(1)数据提供方通过数据上传端将用户数据信息加密上传到分布式数据库；(2)数据上传端上传数据后检查是否收到分布式数据库返回的数据存储地址信息。收到地址则进入下一步骤。若无，则检查上传过程，重新执行数据上传工作；(3)在收到数据存储地址的情况下，获取用户关联组织的相关活动记录数据与全部相关活动评估数据；(4)进行大数据比对与数据预处理；(5)根据初步的指标体系计算大数据指标；(6)输出用于训练和测试的数据集。

在完成数据匹配和大数据指标的计算后，具体进行预测模型的训练和最优分类模型的筛选。具体流程如图3：(1)数据管理节点不断监听并接受数据集生成信息；(2)当数据管理节点监听到生成数据集将其暂时存储至本地；(3)数据集分别划分80％为训练集，20％为测试集；(4)使用训练集进行分别使用不同分类模型进行训练；(5)比较各分类模型准确率；(6)输出准确率最高的预测模型。

生成初步预测模型后，系统解释预测模型并生成回归分析结果供数据分析人员参考，具体流程如图4：(1)预测模型管理阶段不断监听预测模型是否生成信息；(2)当监听到预测模型生成信息后做预测模型的解释，如果没有则继续等待生成预测模型；(3)使用SHAP可解释模型对分析预测模型特征；(4)计算特征重要性；(5)计算预测错误样本预测路径；(6)使用回归分析计算，帮助分析人员辅助决策；(7)输出SHAP特征重要性、预测错误样本预测路径、回归分析结果。

对预测模型进行修正，具体流程如图5：(1)预测模型修正管理节点，监听模型修正指令；(2)监听是否进行模型的修正，如果获得分析人员修正预测模型指令，则继续进行模型的修正，否则继续进行是否进行有监督算法的更新；(3)监听是否排除部分大数据指标，如果是则更新大数据指标的更新，否则继续进行是否数据集更新的监听；(4)更新大数据指标；(5)监听是否更新数据集，如果是则更新训练集与测试集，否则监听是否更改监督算法；(6)监听是否更改监督算法，如果是则使用新的监督算法，生成新的数据集及监督算法；(7)生成修正预测模型。

进行新的预测模型的修正，具体流程如图6：(1)预测模型修正管理节点监听模型修正指令；(2)监听是否进行模型的修正，如果获得分析人员修正预测模型指令，则继续进行模型的修正，否则保持现有预测模型；(3)输出预测模型修正指令，触发预测模型修正流程。

通过多轮修正，生成最终的预测模型，用户使用该预测模型实现组织评分预测功能。具体的流程如图7：(1)用户请求组织活动评分预测功能；(2)系统检验用户是否授予数据使用权限，否则询问用户是否授权用户权限，如果是则进入下一步骤；(3)获取用户关联组织的相关的活动记录与活动评分大数据；(4)计算大数据指标；(5)使用预测模型预测用户关联组织的评分；(6)输出用户关联组织的各项指标评分，同时输出相关文档。