评价学生作业产品的方法

摘要

本发明的实施例提供一种用于评价学生作业产品的方法。该方法包括：计算设备接收学生作业产品；计算设备在数据库中确定与学生作业产品类似的以前的学生作业产品相关的评价的可用性，所述数据库存储多个以前的学生作业产品和多个以前的学生作业产品的先前形成的集群的集群数据；计算设备基于学生作业产品中存在的一个或多个特征，根据先前形成的集群中的一个集群对学生作品进行分类；计算设备指定存储在数据库中的评价，所述评价与学生作业产品被分类到的集群相关。根据本发明的实施例的方法可以减少教师的审查和反馈时间，并提高向学生给出的反馈的一致性和质量。

说明书

本申请是申请日为2016年2月8日、申请号为201680020268.9、发明名称为“用于评价响应的半自动系统和方法”的发明专利申请的分案申请。

相关申请

本申请要求于2015年2月6日提交的美国临时申请62/112,665的根据35U.S.C.119(e)的权益，其公开内容通过参考并入在此。

技术领域

本发明的实施例涉及用于评价学术作品的方法和系统。

背景技术

在许多学业和学术环境中，教师(包括讲师、教育家、培训师、助教和教授，以下统称为“教师”)准备作业、报告、项目、家庭作业和测试(统称为“学生作业产品“)，以衡量和促进学生学习。在许多领域，教师使用学生可以用自由文本格式、数学格式、编程代码格式或类似形式进行回答的开放式问题。为了对学生进行审查、评分和提供有价值的反馈，教师花费大量的时间阅读、审查和评论学生的作业或测试的答案，以协助学生的学习过程。在大学、学院、高中、职业学校、企业培训和在线教学环境中，学生作业产品的审查可能特别繁重。

为了节省审查学生答案的时间，教师可以准备能够易于手动或使用计算机检查的多项选择测试。然而，多项选择测试有许多缺点。在许多领域，多项选择格式无法准确地捕捉到学生获得答案的方法。多项选择题的答案对学生来说也更易于从同伴进行复制或抄袭。此外，需要许多多项选择题来适当地评价学生在给定科目中的熟练程度。

发明内容

在向大量学生呈现作业的学业或学术环境中，许多学生的作业产品可能与其他学生的作业产品相似。学生作业产品可以分为多个集群，每个集群包括来自多个学生的学生作业，允许教师相对于每个集群提供反馈，而不需要评价每个学生的工作。

本发明的实施例提供了一种用于评价学生作业产品的半自动化系统和方法。该方法可以包括从多个学生获得多个学生作业产品，识别作业产品中存在的基元，选择作业产品中的基元的子集，将作业产品聚类成集群，从教师接收聚类相关的评价并基于集群评价来提供作业产品的评价。

可以使用计算设备的处理器来执行选择作业产品的子集，以找到以最小的学生作业产品重叠提供学生作业产品的最佳覆盖的基元子集。

可以使用包括非瞬态存储器的计算设备来执行聚类，该计算设备用于执行算法。根据本发明的实施例的方法可以减少教师的审查和反馈时间，并提高对学生的反馈的一致性和质量。

根据本发明的实施例，在使用相对于某个作业产品进行聚类和接收教师评价的系统和/或方法之后，教师可将聚类和评价数据存储在数据库中，并使用聚类和评价数据用于评价来自学生的类似作业产品，从而减少向学生提供反馈所需的时间。例如，如果老师使用上述方法帮助评价给定任务的学生作业产品，并将所得到的聚类和评价数据存储在数据库中，则教师可以使用计算设备基于给予先前任务的聚类、分类和/或评价，对于新接收的作业产品进行分类。这种分类可以帮助教师在类似的课程或后续学期中向不同群组的学生给出相同的任务，并允许对学生回答进行简单快速的审查。

根据本发明的实施例的方法可以节省教师在学生作业产品上提供个性化的学生反馈的时间，而不是单独地审查来自每个学生的每个作业产品。

尽管本发明内容涉及学术作品及其对教师的评价，但是本发明的实施例涉及用于评价对于任何类型的问题的响应的系统和方法。例如，可以执行要求产品的用户描述其用户体验的调查。用户提交的响应可以由审查者分析，并使用在此所述的方法进行聚类。这些方法可以简化审查者执行的分析过程。

提供本发明内容从而以简化的形式介绍概念的选择，这在下面的详细描述中进一步描述。本发明内容不是旨在标识所要求保护的主题的主要特征或基本特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

下面参考本段落之后列出的附图来描述实施例的非限制性示例。在多于一个附图中出现的相同结构、元件或部件通常在它们出现的所有附图中标记有相同的附图标记，并且附图中标记有表示给定特征的图标的标记可以用于参考给定的特征。出于呈现的方便和清楚来选择附图中示出的组件和特征的大小，而不必按比例显示。

图1描绘了示出根据本发明实施例的用于评价学生作业产品的方法的框图；

图2描绘了示出根据本发明的实施例的用于聚类和评价学生作业产品的方法的各方面的框图；

图3描绘了根据本发明的实施例的聚类结果的显示器的线框；和

图4描绘了根据本发明的实施例的聚类结果的显示器的线框。

具体实施方式

现在参考图1，其示出根据本发明的实施例的用于评价学生作业产品的方法10的框图。

方法10包括块20，包括获得多个学生作业产品。作业产品可以提交给计算设备。根据本发明的实施例，计算设备可以是服务器、智能手机、桌上型计算机、膝上型计算机、平板手机、平板设备或智能手表。可选地，计算设备或服务器可以是“分布式系统”，其在不同的物理上分立的位置中具有代码或硬件组件。计算设备可以是“云计算机”，或者可以是万维网或互联网的一部分。根据本发明的实施例，到达和来自计算设备的数据通信可以通过有线和/或无线通信、蜂窝数据传输、Wi-Fi网络、云计算、或者通过万维网或互联网。

根据本发明的实施例，计算设备可以与学术机构的学习管理系统(LMS)相关联。LMS目前由许多学术机构设立。可用于实施本发明的实施例的示例性LMS包括“魔灯(Moodle)”和“黑板(Blackboard)”。

根据本发明的实施例，计算设备包括处理器。处理器41可以包括本领域已知的任何处理和/或控制电路，并且可以通过示例的方式包括多于一个微处理器、专用电路(ASIC)、现场可编程阵列(FPGA)和/或芯片上的系统(SOC)中的任何一个或者任何组合。处理器可以执行基元库的生成，基元库的处理和聚类。

根据本发明的实施例，计算设备包括存储器。存储器可以具有适合存储数据和/或计算机可执行指令的任何电子和/或光学电路，并且可以通过示例的方式包括多于一个闪存、随机存取存储器(RAM)、只读存储器(ROM)和/或可擦除可编程只读存储器(EPROM)中的任何一个或任何组合。学生作业可能存储在存储器中。基元数据和/或聚类数据可以存储在存储器中。

根据本发明的实施例，学生作业产品可以例如由教师和/或学生提交到计算设备来获得。学生和/或教师可以使用基于网络的平台来提交学生作业产品。学生和/或教师可以在输入个人识别码或号码或其他标识符后进入网络平台。

根据本发明的一个实施例，教师是在学业、学术、公共、私人或职业机构中的包括助教的教师。该机构可以亲自提供课程，例如在课堂上或在线教学。

根据本发明的实施例，学生作业产品从包括任务的答案、报告、项目，家庭作业答案和测试答案的群组中选出。

根据本发明的实施例，每个学生提交单个作业产品，例如单个任务。根据本发明的实施例，每个学生提交多个作业产品，例如具有多个不同答案的任务。根据本发明的实施例的方法可以在作业中独立于其他答案来聚类每个答案。

方法10包括块30，其包括确定数据库中是否可获得与类似作业产品相关的评价。以前可能提交过类似的作业产品，例如上一学期的同一位老师，或由教授同一课程的另一位教师。数据库可以存储在计算设备的存储器中。

根据本发明的实施例的计算设备可以将特定时间由特定教师给出的特定课程/课的学生作业自动匹配到不同课程/课的已存储作业，即使这两位老师不知道对方的课程。可以通过相对于存储在数据库中的作业产品的集合对于接收到的作业产品进行分类来执行匹配过程。如果相对于已存储的作业产品及其相关联的集群对于新作业产品进行分类的平均分数高于预定义的阈值或阈值公式，则可以定义匹配。

如果未识别出与作业产品相关的评价，方法10还可以包括块40，其包括聚类学生作业产品以形成集群。下面将参考图2以更长篇幅说明聚类。

方法10还可以包括块50，其包括相对于集群提供概要和/或质心作业产品。质心作业产品是与集群的质心相关联的作业产品。质心可以是与集群中其他作业产品最相似的作业产品。下面将参照图2更详细地说明概要和质心作业产品。

方法10可以进一步包括块60，包括向教师呈现集群以供观看。根据本发明的一个实施例，向教师呈现代表集群的集群作业产品的概要。根据本发明的实施例，向教师呈现代表集群的质心作业产品。根据本发明的一个实施例，向老师呈现代表集群的概要和质心作业产品两者。

根据本发明的实施例，概要可以包括与作业产品、基元和/或集群相关的统计数据。概要可以包括描述基元在整个学生作业产品和/或每个集群中的频率的统计数据。然后，概要可以由老师用于分析学生的理解，以改善未来的教学方法，例如在课堂时间将更多的注意力集中到理解不足的基元。

现在参考图3，其包括示出根据本发明的实施例的集群作业产品的计算设备的显示器的线框200。向老师呈现作业产品可以如线框200所示进行。线框200包括左框210、右框220和滚动条222。左框210包括质心显示器230，其示出给定集群的质心作业产品。质心显示器230包括质心标题232和质心文本234。例如，质心显示器230可以显示指定为“集群1”的集群的质心作业产品，质心作业产品被指定为该集群的“作业产品6”。

右框220包括多个作业产品240、250和260，在相同的集群内被指定的每个作业产品，例如与“集群1”相关联的作业产品。作业产品240包括作业产品标题242和作业产品文本244。作业产品250包括作业产品标题252和作业产品文本254。作业产品260包括作业产品标题262和作业产品文本264。

使用在线框200中示意性示出的显示器来观看学生作业产品可以有利于教师评审给定集群中的作业产品。显示器可以使得教师能够易于比较集群的质心作业产品和该集群的其他作业产品。老师可以使用滚动条222滚动右框220，从而显示集群内的所有作业产品。

根据本发明的实施例，线框200可以包括与作业产品相关联的集群验证和/或集群移除图标(均未示出)。教师可以例如在右框220中查看作业产品，并通过激活集群验证图标来确认关联的作业产品应当与正在观看的当前集群相关联。老师可以通过激活集群移除图标来指示关联的作业产品不应与正在查看的当前集群相关联。老师可以指示作业产品应与哪个集群相关联。系统可以使用来自教师的输入将作业产品聚类到不同的集群中。由于教师的输入，系统还可能会将另外的非常相似的作品的分配从该集群改变到另一个集群。

根据本发明的实施例，作业产品文本244、254和264可以各自包括突出显示的文本或以其他方式与其他文本区分的文本，例如通过字体大小或样式。突出显示的文本可以包括被识别为作业产品240、250和260相关联的集群的特征的基元。突出显示的文本或以其他方式与其他文本区别的文本可以包括与作业产品文本相关的基元数据。

再参考图1，方法10进一步包括块70，其包括相对于集群从教师接收评价。

从教师收到的评价可以包括以下任何一个或多个：作业产品的等级、关于学生作业产品的反馈、对于学生作业产品的作者的未来任务的建议、或定向学习的建议。定向学习的建议可以包括在特定集群中的学生之间的匹配以学习和/或与来自另一个集群的学生或多个学生协作。

方法10还可以包括框80，其包括将作业产品、相关联的聚类数据和评价存储在数据库中。与集群相关联的评价可以存储在数据库中以供将来参考，例如，如果教师在另一门课或后续学期中提供相同或相似的作业，则教师可以访问先前存储的聚类和评价数据。

方法10还可以包括块90，其包括向学生提供对学生的作业产品的评价。根据本发明的实施例，评价可以例如通过电子邮件或通过机构的学习管理系统(LMS)以以电子形式发送。根据本发明的实施例，根据块70，当相对于集群接收到来自教师的评价时可以由计算机自动地向该学生发送该评价。

根据本发明的实施例，可以向学生提供他/她自己的学生作业产品的评价。可选地，学生还可以获得由老师相对于其他学生作业集群提供的评价。

再次参考框30。如果在数据库中识别与作业产品相关的评价，则方法10还可以包括框35，包括根据先前指定的集群来分类学生作业产品。基于学生作业产品中存在的特征或多个特征，可以根据先前形成的集群对于每个学生作业产品进行分析和分类。

根据本发明的实施例，可能要求学生重新提交与作业相关的作业产品。在这种情况下，根据块35，可以对作业产品进行分类，为学生提供与他/她重新提交的作业产品相关的新的评价和反馈。

方法10可以进一步包括块45，包括指定每个作业产品集群的评价。该评价可以基于教师输入，或者基于存储在与具有相似特征的相应集群相关的数据库中的先前评价来指定。

在对于每个作业产品集群进行指定评价时，如块90所述，可以向每个学生提供评价。

方法10可以进一步包括块95，其包括从学生接收与学生接收到的评价有关的反馈。学生可以向老师提交与评价有关的反馈。反馈可能与评价的相关性和/或聚类有关。教师可以基于收到的反馈和/或所有反馈的分析和统计汇总来修改与每个集群相关联的集群和/或评价。可选地，可以使用优化算法来结合学生反馈，从而改进未来的聚类和/或反馈。

现在参考图2，其描述了示出根据本发明的实施例的方法100的框图，该框图示出用于聚类和评价学生作业产品的方法的各方面。方法100可以由计算设备执行。

方法100可以包括块110，包括基于接收的学生作业产品生成基元库。基元可以是学生作业产品之中常见的元素(例如，子模式)。例如，在用于排序随机数数组的计算机科学作业中，基元可以是扫描数组中所有值以便找到最小值的循环。许多可能彼此不同的学生作业包括该基元。一个替代基元可以是扫描数组中的值的所有相邻对以便在每对中仅排序该对值的循环。

根据本发明的实施例，通过将学生作业产品与多个其他学生作业产品进行比较来识别基元。基于出现在其他学生作品中的相同或类似部分的反复出现，可以将学生的解决方案“剪切”成各种部分或基元。

根据本发明的实施例，使用分割算法形成基元。分割算法可以与识别文本中的短语或句子的文本分割算法类似。

根据本发明的实施例，可以使用序列比对算法从学生作业产品生成基元。在序列比对中，可以使用“全局序列比对”和/或“局域序列比对”来分析学生作品的元素(单词、数字、代码段、概念等)。动态编程方法可用于对学生作业产品执行序列比对。其他序列比对方法可以包括在生物信息学、基因组学、文本挖掘和自然语言处理领域实施的算法。

根据本发明的实施例，通过为每个作业产品分配一对并使用局部比对来比较作业产品来发现基元。可选地，可以进行对的随机选择。可选地，每个作业产品可以与每个其他作业产品进行比较。可以通过下列方式可选地使用动态编程来执行局部比对，以便在一对作品中找到子序列之间的局部比对。例如，如果一个作业是ABCDEFGHIJK，另一个是ZZZZZZBCZDEGZZ，那么来自第一个作业的BCDEFG子序列将与第二个作业的BCZDEG子序列匹配。尽管这两个子序列不相同，但是由于两个子序列之间存在插入、删除和置换变化(突变)，仍然可以将相似性识别为共同基元。虽然在一个作业中，子序列在序列的开头，而在另一个工作中，它在序列的末尾，由于使用局部比对算法，这些仍然被认为是一个基元。在将子序列识别为基元后，可以将其添加到基元库。计算设备可以继续分析同一对作业以找到出现在两个作业中的另一基元。计算设备可以继续分析后续的作业对，并重复与上述相同的过程。

根据本发明的实施例，可以基于学生作业产品和其他学生作业产品的共同特征的相似性来识别基元。这可以称为基于特征的基元识别。可用于基于特征的基元识别的示例性特征包括非限制性示例：作业产品中有多少个单词，多少个名词，多少动词，多少/哪些名称、地点、日期、事件、国家、公司、基因、疾病、分子化合物、物理定律、数学定理、政治运动、宗教观念，作业产品的复杂性，作业产品的大小，使用哪些名词/动词/专有名词等。从数字来源和万维网能够获得这样的条目的库，通常使用或不使用关键字提取算法。

根据本发明的实施例，可以使用参考匹配算法来生成基元。老师可以选择用于基元生成的相关参考。可以基于学生作业产品或其部分与相关参考的相似性来将每个学生作业产品分割为基元。该参考可能是问题的答案或几个这样的答案，以前在课程中学习过的文本，教科书文本或百科全书参考。然后基于学生作业产品与参考的各个相似性，将学生作业产品进行相互比较。

方法100还可以包括块120，包括处理基元库。基元库可以被加工以组合基元和/或去除不重要的基元。可以使用序列比对算法来处理基元库。可以处理基元库以提供由基元进行的学生作业产品的最优的最大覆盖与最小重叠。

根据本发明的实施例，一旦发现基元，可以形成矩阵以选择提供集体作业产品的最大覆盖和最小重叠的基元子集。可以形成矩阵，使得每个学生作业产品中的每个元素(线、词、命令或句子)被归为一行。存在于作业产品中并存储在基元库中的基元可以各自归为矩阵中的一列。可以通过来自库和作业产品的基元之间的局部比对来检测在给定的作业产品中存在或不存在基元，并且可以在矩阵的适当行中分别由1或0表示。对于矩阵中的每一行，可以针对给定的基元子集计算矩阵(1或0)的元素的总和以形成“覆盖向量”。计算设备的处理器可以基于将提供尽可能接近1,1,1,1的“覆盖向量”的基元，从基元库中选择基元的子集。这样的基元子集提供作业产品的最大覆盖，同时学生作业产品被基元的重叠最小化。没有覆盖可以表示为0的标量。重叠可以表示为高于1的值。下面的示例2描述了与这种矩阵和向量相关的实施例。

根据本发明的实施方案，除去重要性最小的基元。例如，如果发现一个基元不在提供学生作业产品的重叠最小的最大覆盖的子集中，则可以删除该基元。可选地，如果在低于预定阈值的学生作业产品的一小部分中发现了基元，则可以对基元进行折扣，而不是进一步处理或用于聚类。

方法100还可以包括块130，其包括聚类作业产品以形成集群。基于根据块120进行处理的基元的子集，形成少于学生作业产品的数量的多个集群。每个集群可以包括多个作业产品，其基于每个作业产品内的基元的存在、顺序、数量和/或对齐质量彼此类似。根据本发明的一个实施例，学生作业产品可以聚集在大约5到20个集群之间。每个集群可以由构成每个集群的作业产品中某个基元或某些基元(例如，最常见的基元)的存在来定义。

根据本发明的实施例，使用分层或分段聚类来形成集群。可能使用的其他方法包括：邻位相连法、K均值、高斯混合模型、期望最大化、自组织映射、主成分分析、遗传算法、神经网络和其他在无监督或监督学习领域中已知的方法、生物信息学、基因组学、文本挖掘和自然语言处理。

根据本发明的实施例，学生作业产品可以同时聚集在多个集群中。换句话说，作业产品可以包括将其与两个或更多个集群相关联的要素。根据本发明的实施例，与两个或更多个集群相关联的学生作业产品可以相对于两个集群接收教师反馈。

根据本发明的实施例，作业产品可以被确定为不同于与所有其他集群相关联的作业产品。作业产品可以被认为不属于任何集群，可以作为个人作业产品呈现给教师。作业产品可以获得来自老师的个人评价。根据本发明的实施例，被确定为不同于任何集群且不与任何集群相关联的所有作业产品然后被呈现给教师以进行单独评价。

为了说明聚类的示例，在用于排序随机数数组的计算机科学任务中，一个聚类中的所有学生作业产品相同的基元可以是扫描数组中所有值以便找到最小值的循环。许多可能彼此不同的学生作业包括该基元。一个替代基元可以包括所有的学生作业产品，其包括扫描数组中的值的所有相邻对以便在每对中仅排序该对值的循环的基元。第三个集群可以包括由两个基元组成的所有学生作业产品。

除了使用关于块130描述的计算设备的聚类之外，可以通过人类输入来改进聚类。教师在审查与集群相关联的作业产品时，可以确定该作业产品应当分类到另一个集群中。老师可以指定作业产品与另一个集群的关联。然后，计算设备可以根据教师的输入重新计算聚类过程以关联各种集群中的其他作业产品。例如，老师进行这种输入时，处理器可以重新聚类与由老师指定的基元相同组合的学生作业产品。

方法100可以进一步包括块140，包括针对每个集群显示至少一个特征基元。特征基元可以按照图形格式来显示。图形格式可以显示出对于每个集群的每个特征基元的位置相对于其在每个作业产品中的位置被显示。每个集群的作业产品可以示出多个作业产品的图形表示而进行显示，每个作业产品具有图形化呈现的基元或多个基元。

方法100还可以包括块145，其包括相对于集群识别质心作业产品或多个质心作业产品。质心作业产品表示该集群的学生作业产品中最具代表性的学生作业产品。集群的质心可以被定义为与同一集群中的其他作业产品的相似度最小的作业产品。定义质心的其他方法可以包括其他度量，如中值、汉明(Humming)距离、欧几里得距离、皮尔森相关性等。

方法100还可以包括块150，包括形成与集群相关的概要。概要可以包括与每个聚类相关的基元的描述和/或与每个聚类相关的度量。例如，概要可以指示多少作业产品与每个集群相关联的。概要还可以指示集群内的变异程度。概要可以包括相对于集群的质心的部分。概要可以包括与集群相关联的基元的列表。

根据本发明的实施例的方法可以用于检测可能彼此复制的作业产品的学生。经由计算设备提交的作业产品可以针对基元进行分析，并且可以形成集群。集群内的两个学生作业产品之间的相似性可以由计算设备向教师指示。根据本发明的实施例的方法的优点在于，即使学生试图通过例如改变学生作业产品中存在的基元的顺序和/或将来自多个其他作业(而不仅仅是一个)的不同基元进行组合来避免检测到复制，也可以检测到复制。如果基元之间或作业产品之间的相似性高于某一阈值，则可以检测到剽窃。

示例1：

下面的示例针对计算机科学领域的任务描述了根据本发明的实施例如何执行用于评价学生作业产品的半自动方法。分配给学生的示例性任务是“从具有1到23之间的数字的用户接收输入。在屏幕上显示具有长度为输入数字的一条边的尖锐三角形。

虽然当前示例涉及包括一个问题的方法，但是根据本发明的实施例的学生作业产品可以包括具有一个问题或多个问题的任务的答案。基元识别和后续聚类可以基于每个问题或基于整个作业产品来执行。

在学生使用他们的唯一学生识别号进入学生评价网站后，他们通过使用互联网将作业的答案上传到大学的LMS来将其进行电子提交。每个提交的学生解决方案由不同的学生提交。下面详述示例性解决方案。

对于每个解决方案，期望输入循环和输出循环。十名学生提交他们的解决方案如下。所有学生解决方案(作业产品)都被输入到一个检测基元的计算设备中。不会影响最大覆盖和最小重叠的最佳状态的基元被删除。使用序列比对算法来识别基元，表示输出循环的基元被指定为Inl、In2和In3，输入循环被指定为01、02和03。另外，替换基元与输入循环或输出循环无关。这些基元被指定为XI和X2。只在一个作业产品中找到输入循环In3和输出循环03。没有两个作业产品是相同的，因为每个输入和输出循环可以使用各种语法进行编码以实现相同的输入或输出循环。

计算设备在学生作业产品中识别出基元时，基于所发现的基元将学生作业产品聚类成集群。

集群A表示作业产品，其中对于输入循环和输出循环具有正确的响应，分别由In1和O1来表示。集群B表示作业产品，其中输入循环有正确的响应，输出循环的响应为O2。集群C表示作业产品，其中输入循环(In2)的响应不正确以及输出循环有正确响应。集群D表示作业产品，其中输入循环和输出循环都没有正确的响应。集群L表示存在X1或X2的附加基元的作业产品。集群Q表示具有不存在于其他作业产品中的基元的集群，在这种情况下为In3和O3。学生ID号码、相关基元和集群如下表1所示。

表1

然后向教师呈现聚类，并呈现每个聚类的质心作业产品。老师提供有关每个集群的质心作业产品的相关反馈。然后，基于聚类由教师提供的反馈基于每个学生作业产品所关联的集群或多个集群提供给每个学生。

老师还可以将作业产品指定为与集群中的一个不相关。聚类数据和评价数据都存储在数据库中。老师可以向20名学生提供有价值的反馈，而实际只审查七个解决方案，从而节省时间。

可以经由连接到计算设备的显示器向计算设备的教师或其他用户呈现如图4所示的聚类和相关联的数据。图4示出根据本发明的实施例的聚类结果的显示器的线框300。线框300包括集群图标310，其包括选择集群图标312和未选择的集群图标314。集群图标310包括集群标识符316和集群数据318。集群数据可以包括与每个集群有关的数据。在图4中，示出了每个集群中学生作业产品数量的表示。集群数据318可以包括总结在每个集群中呈现的基元或多个基元的概要数据。能够选择每个集群图标310以显示图标上指定的集群中的作业产品的图形表示。

线框300包括作业产品图形320。每个作业产品图形包括基元指示符326和328。基元指示符326和328各自表示作业产品图形中存在的基元。在线框300中，基元符326表示作业产品中的Inl基元的存在。基元指示符328表示在作业产品中存在O1基元。如图4所示，由作业产品图形320图形地显示的所有集群A作业产品都包括基元指示符326和328。每个基元指示符326和328的位置和长度在作业产品内不同，如图形320所示。某些作业产品包括一个非重要的基元，如图标指示符327所示。

作业产品图形320包括非质心图形324和质心图形322。质心图形322表示聚类A的质心作业产品。非质心图形324表示聚类A内的不是质心的作业产品。

线框300还包括作业产品显示器330，其表示与所选择的工件产品图形相关联的作业产品，特别是质心图形322。作业产品显示330包括部分332、334和336。部分332和336分别用基元指示符338和340表示为作为基元的作业产品的部分。部分334不是由基元指示符指定的，而是代表与基元无关的一部分作业产品。

教师可以经由连接到显示器的计算设备访问线框300。老师可以选择集群图标310中的一个来查看集群。与所选集群相关联的作业产品可以通过图形形式显示为作业产品图形320。然后，老师可以选择作业产品图形320以在作业产品显示330中进行。教师可以通过看到与每个部分相关联的基元指示符338和336，看到每个作业产品的哪些部分与每个基元相关联。

示例2：

以下实施例说明如何处理基元库以组合和/或去除不重要的基元，如参照图2，块120所述。在这个例子中，有意义的基元然后用于聚类，而被去除的不重要基元不用于聚类。

在根据本发明的实施例的方法的示例性使用中，接收到7份学生作业产品，并被指为作业1至作业7。表2表示包含与每个学生作业产品相关的基元数据的矩阵。

表2：

矩阵的每一行可以表示作品的命令、单词或句子。计算设备通过其处理器识别最初存在于所有学生作业产品中的8个基元，表示为基元1至8，它们存储在基元库中。在给定的学生作业产品行中给定的基元的存在由数字“1”表示。在学生作业的给定行中没有给定的基元由空格或数字0表示。可以使用局部序列比对技术来计算每个作业中的基元的存在或不存在，这表明即使在作业的给定行中与库中的基元没有100％的相似性，也可能存在基元。

标记为“覆盖”的矩阵的列表示对于一组选择的基元的每行的表中值的总和。为了限制基元的数量，使用优化算法来优化基元的选择，以在“覆盖”列中接收具有尽可能接近1的值的向量。覆盖列的给定行中的结果为“1”，表示所选择的基元中的一个基元提供了对于该行所表示的命令/单词/句子的覆盖。小于1的结果表明，所选择的基元对于给定的作业行不提供任何覆盖。大于1的结果表明所选择的基元相对于给定的作业行提供重叠。

使用矩阵采用优化算法来提供覆盖列中尽可能接近于1的向量。优化算法可以采用遗传算法。或者或另外，优化算法可以采用爬山法、梯度下降法、模拟退火和/或动态编程。可选地，可以执行多于一个优化循环来定位适当的基元。

在表2所示的阵列中，基元1、2、5和7是被选择的基元。然后，这些基元用于根据学生作业产品中存在的所选基元将学生作业产品聚类成集群。

根据本发明的实施例，还进一步提供了一种用于评价学生作业产品的方法，包括：经由计算设备从多个学生接收多个学生作业产品，使用计算设备识别学生作业产品中存在的基元；使用计算设备基于学生作业产品中存在的基元将作业产品聚类成集群；从教师接受与集群有关的评价；并基于对集群的评价向学生提供学生作业产品的评价。可选地，使用所接收的学生作业产品的序列比对来确定基元。可选地，使用选自包括以下的方法进行聚类：邻位相连法、K均值、高斯混合模型、期望最大化、自组织映射、主成分分析、遗传算法和神经网络。可选地，从50多名学生收到作业产品。可选地，作业产品被聚集在5至20个集群之间。可选地，在集群之后，使用与每个集群相关联的作业产品的图形表示来显示作业产品。可选地，基元在作业产品的每个图形表示内以图形进行显示。可选地，该方法包括在集群之后，从教师接收作业产品与集群的关联相关的输入。可选地，该方法还包括基于作业产品与集群的关联相关的教师输入对于作业产品重新聚类。可选地，识别学生作业产品中存在基元包括使用基于先前接收过的学生作业产品先前接收的基元数据。可选地，评价可以包括以下中的一个或多个：作业产品的等级、关于学生作业产品的反馈、对于学生作业产品的作者的未来作业的建议和/或定向学习的建议。可选地，该方法还包括在识别基元之后，识别提供学生作业产品的增强覆盖的基元子集。可选地，该方法还包括在识别基元之后，识别提供学生作业产品的最小重叠的基元子集。可选地，该方法还包括在识别基元之后，使用优化算法来去除不重要的基元。可选地，优化算法选自包括遗传算法、爬山法、梯度下降法、模拟退火和动态编程的群组。可选地，优化算法指示基元的哪个子集提供具有最小重叠的集体作业的最大覆盖。可选地，基于基元的子集执行聚类。可选地，该方法还包括在聚类时识别与每个聚类相关联的质心。可选地，该方法还包括：向教师显示与集群相关联的质心。可选地，该方法还包括在进行聚类时显示与基元、集群和/或学生作业相关的概要数据。可选地，概要数据包括统计数据。可选地，该方法还包括在进行聚类时将聚类数据存储在数据库上。可选地，该方法还包括在向学生提供评价时从学生接收关于评价的进一步输入。可选地，通过基于特征的基元识别来识别基元。可选地，通过参考匹配算法来识别基元。可选择地，在学习管理系统执行接收多个学生作业产品。可选地，该方法还包括：在基于网络的平台执行接收多个学生作业产品。可选地，学生作业选自包括任务的答案、报告、项目、作业答案和测试答案中选出。

根据本发明的实施例，还提供了用于评价问题的响应的方法，包括：经由计算设备从多个响应者接收多个响应，使用计算设备识别响应中存在的基元；基于存在于响应中的基元，使用计算设备将响应聚类成集群；提供集群响应的描述。

在本申请的描述和权利要求中，每个动词“包含”、“包括”和“具有”及其结合用于表示动词的对象或多个对象不一定是动词的主体或多个主体的组件、元件或部分的完整列表。

本申请的发明中实施例的描述以示例形式来提供，并不旨在限制本发明的范围。所描述的实施例包括不同特征，在本发明的所有实施例并不需要所有的不同特征。一些实施例使用一些特或者特征的可能组合。本领域技术人员将清楚的是所描述的发明的实施例的变型，并且本发明的实施例包括在所描述的实施例中提到的特征的不同组合。本发明的范围仅由权利要求来限制。