一种基于用户自定义的数据集生成方法

摘要

本发明公开了一种基于用户自定义的数据集生成方法，该方法包括以下步骤：用户设定数据集参数，系统自动生成对应的数据集；依据数据需要审核参数、数据源参数，从消息队列中获取符合要求的数据；调用接口，处理并获取处理后的数据；写入数据到服务器的文件中，判断数据处理情况，完成数据的处理；压缩所述文件；依据实际的数据条数，更新并存储数据库中的数据集信息；发送完成创建数据集信息到应用层。通过采用版本参数和数据类型参数创建的数据集，对用户来说具有更强的针对性与专业性。因为数据集是面向特定的应用领域的，如图像描述、实体识别、关系抽取等，使用户不需再进行额外的数据处理，做到了“拿来即用”。