基于区块链和数据集市的储存系统和方法

摘要

本申请实施例提供了一种基于区块链和数据集市的储存系统和方法，涉及区块链交易技术领域，该系统包括：区块链子系统和数据集市子系统；其中，数据集市子系统用于获取卖家的出售数据集和买家的数据订单；还用于基于分层储存，储存出售数据集和数据订单；还用于根据储存后的出售数据集，生成第一数据信息凭证，第一数据信息凭证为出售数据集的数据信息凭证；区块链子系统用于基于智能合约，根据第一数据信息凭证、所述数据订单和所述出售数据集，获得交易信息。本申请能够改善现有大多数的数据集市在集中式服务器上运行，会存在单点故障和单点性能瓶颈的问题，达到将数据集市引入区块链中，避免出现单点故障和单点性能瓶颈的效果。

说明书

技术领域

本申请实施例涉及区块链交易技术领域，尤其涉及一种基于区块链和数据集市的储存系统和方法。

背景技术

当前，集中式数据集市存在一些不可避免的数据安全隐私、数据版权保护以及共享流通性能瓶颈等问题。基于此，当用户的隐私信息（例如位置、聊天记录等）被保存在集中式的数据库中，集中式数据集市就很容易成为攻击者的目标，存在隐私泄露和数据丢失的风险。

在实现本发明的过程中，发明人发现，现有大多数的数据集市在集中式服务器上运行，会存在单点故障和单点性能瓶颈。

发明内容

本申请实施例提供了一种基于区块链和数据集市的储存系统和方法，能够改善现有大多数的数据集市在集中式服务器上运行，会存在单点故障和单点性能瓶颈的问题。

在本申请的第一方面，提供了一种基于区块链和数据集市的储存系统，应用于区块链交易，包括：区块链子系统和数据集市子系统；

其中，所述数据集市子系统用于获取卖家的出售数据集和买家的数据订单，所述出售数据集包括出售数据，所述数据订单包括数据需求和计算任务；还用于基于分层储存，储存所述出售数据集和所述数据订单；还用于根据储存后的所述出售数据集，生成第一数据信息凭证，所述第一数据信息凭证为所述出售数据集的数据信息凭证；

所述区块链子系统用于基于智能合约，根据所述第一数据信息凭证、所述数据订单和所述出售数据集，获得交易信息。

通过采用以上技术方案，将数据集市子系统与区块链子系统连接，即将数据集市引入区块链，数据集市子系统获得卖家的出售数据集和买家的数据订单，然后基于分层储存，储存出售数据集和数据订单，再储存后的所述出售数据集，发送第一数据信息凭证至区块链子系统连接，区块链子系统接收第一数据信息凭证，再基于智能合约，根据第一数据信息凭证、数据订单和出售数据集，获得交易信息；综上可知，利用区块链的去中心化分布式数据储存技术，将数据集市引入区块链，能够改善现有大多数的数据集市在集中式服务器上运行，会存在单点故障和单点性能瓶颈的问题，达到将数据集市引入区块链中，避免出现单点故障和单点性能瓶颈的效果。

在一种可能的实现方式中，所述数据集市子系统具体用于：

基于分层储存，将所述出售数据集进行加密储存，生成第一数据信息凭证，所述第一数据信息凭证包括所述出售数据集的储存地址、哈希值和储存时间；

基于分层储存，将所述数据订单进行分布式储存。

在一种可能的实现方式中，所述区块链子系统具体用于：

基于安全多方计算，根据所述数据订单，从所述第一数据信息凭证中确定第二数据信息凭证，所述第二数据信息凭证为所述出售数据的数据信息凭证；

基于定价机制，根据所述第二数据信息凭证，获得交易信息，所述交易信息包括所述第二数据信息凭证和所述出售数据的数据售价。

在一种可能的实现方式中，所述数据集市子系统还具体用于：

在买家付款后，获得所述计算任务的计算结果，所述计算结果基于安全多方计算，并根据所述出售数据和所述计算任务计算；

将所述出售数据和所述计算结果发送至所述买家客户端。

在一种可能的实现方式中，所述区块链为公有链。

在一种可能的实现方式中，所述数据集市子系统包括星际文件子系统。

在本申请的第二方面，提供了一种基于区块链和数据集市的储存方法，包括：

获取卖家的出售数据集和买家的数据订单，所述出售数据集包括出售数据，所述数据订单包括数据需求和计算任务；

基于分层储存，储存所述出售数据集和所述数据订单；

根据储存后的所述出售数据集，生成第一数据信息凭证，所述第一数据信息凭证为所述出售数据集的数据信息凭证；

基于智能合约，根据所述第一数据信息凭证、所述数据订单和所述出售数据集，获得交易信息。

在一种可能的实现方式中，所述基于分层储存，储存所述出售数据集和所述数据订单，包括：

基于分层储存，将所述出售数据集进行加密储存，生成第一数据信息凭证，所述第一数据信息凭证包括所述出售数据集的储存地址、哈希值和储存时间；

基于分层储存，将所述数据订单进行分布式储存。

在一种可能的实现方式中，所述基于智能合约，根据所述第一数据信息凭证、所述数据订单和所述出售数据集，获得交易信息，包括：

基于安全多方计算，根据所述数据订单，从所述第一数据信息凭证中确定第二数据信息凭证，所述第二数据信息凭证为所述出售数据的数据信息凭证；

基于定价机制，根据所述第二数据信息凭证，获得交易信息，所述交易信息包括所述第二数据信息凭证和所述出售数据的数据售价。

在一种可能的实现方式中，还包括：

在买家付款后，获得所述计算任务的计算结果，所述计算结果基于安全多方计算，并根据所述出售数据和所述计算任务计算；

将所述出售数据和所述计算结果发送至所述买家客户端。

应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本申请实施例中基于区块链和数据集市的储存系统的结构图；

图2示出了本申请实施例中基于区块链和数据集市的储存系统进行交易的示意图；

图3示出了本申请实施例中基于区块链和数据集市的储存方法的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请实施例提供的基于区块链和数据集市的储存系统可以应用于区块链交易技术领域。

数据集市（Data Mart），也叫数据市场，是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。

然而，当前大多数的数据集市在集中式服务器上运行，这样的系统存在着单点故障和单点性能瓶颈，造成集中式数据集市存在一些不可避免的问题，如数据安全隐私、数据版权保护以及共享流通性能瓶颈等。同时，因用户的敏感信息（例如位置、聊天记录等）被保存在集中式的数据库中，存在隐私泄露和数据丢失的风险，所以集中式数据集市很容易成为攻击者的目标。

与此同时，在区块链交易中，数据交易的中介（通常情况下是市场平台）必须是安全可信的。市场平台需要具备公信力，以确保其不会非法使用交易中的数据，泄露数据持有者的隐私。然而，若市场平台存在上述非法动机，即使其违规使用、出售了数据，一般也难以追究。

为解决这个技术问题，本申请的实施例提供了一种基于区块链和数据集市的储存系统。

图1示出了本申请实施例中基于区块链和数据集市的储存系统的结构图。参见图1，本实施例中基于区块链和数据集市的储存系统包括：区块链子系统101和数据集市子系统102。

其中，数据集市子系统102用于获取卖家的出售数据集和买家的数据订单，出售数据集包括出售数据，数据订单包括数据需求和计算任务。数据集市子系统102还用于基于分层储存，储存出售数据集和数据订单。数据集市子系统102还用于根据储存后的出售数据集，生成第一数据信息凭证，第一数据信息凭证为所述出售数据集的数据信息凭证。区块链子系统101用于基于智能合约，根据第一数据信息凭证、数据订单和出售数据集，获得交易信息。

通过采用以上技术方案，将数据集市子系统102与区块链子系统101连接，即将数据集市引入区块链，数据集市子系统102获得卖家的出售数据集和买家的数据订单，然后基于分层储存，储存出售数据集和数据订单，再储存后的所述出售数据集，发送第一数据信息凭证至区块链子系统连接101，区块链子系统101接收第一数据信息凭证，再基于智能合约，根据第一数据信息凭证、数据订单和出售数据集，获得交易信息；综上可知，利用区块链的去中心化分布式数据储存技术，将数据集市引入区块链，能够改善现有大多数的数据集市在集中式服务器上运行，会存在单点故障和单点性能瓶颈的问题，达到将数据集市引入区块链中，避免出现单点故障和单点性能瓶颈的效果。

图2示出了本申请实施例中基于区块链和数据集市的储存系统进行交易的示意图。参见图1、图2，交易前，首先，买卖双方用户需要进行账号注册。

具体地，若买卖双方想要在数据集市中买卖数据，买卖双方用户首先需要应用运行在去中心化应用（Decentralization App，即DApp）中的分布式客户端，在各种区块链（如以太坊、EOS或NEO等）上进行账号注册，并注册好买家和卖家的区别身份。

其次，卖家需要找到管理员，将出售数据集（即要卖的信息）进行智能合约编写。

具体地，卖家需在卖家去中心化应用（Decentralization App，即DApp）中的分布式客户端中添加想要卖的数据（即卖家的出售数据集），并将出售数据集进行智能合约编写。买家需在买家DApp中的分布式客户端104中添加想要买的数据需求（即买家的数据订单），并将数据订单进行智能合约编写。

其中，卖家的出售数据集包括在此次交易中卖家实际出售的出售数据，买家的数据订单包括在此次交易中买家实际购买的数据需求和计算任务。

需要说明的是，卖家可以是多位卖家，出售数据集可以由多位卖家出售的数据构成的数据集；卖家可以是一位卖家，出售数据集可以是卖家出售的数据构成的数据集。买家可以是多位买家，数据订单为多位买家的数据需求和计算任务组，买家可以是一位买家，数据订单为一位买家的数据需求和计算任务。在一次交易中，买家与卖家双方的出售数据和数据订单需要一一对应才能完成交易。

交易时，首先，在基于区块链和数据集市的储存系统中，数据集市子系统102需要从卖家DApp中的分布式客户端103中获取卖家的出售数据。数据集市子系统102还需要从买家DApp中的分布式客户端104中获取买家的数据订单。

其次，基于分层储存技术，数据集市子系统102将出售数据集和数据订单分别进行储存。其中，数据集市子系统102接收到数据订单后，将对数据订单进行数据加密，上传到数据集市子系统102中。数据集市子系统102将出售数据集的数据或者数据的哈希值上传至数据集市子系统102中。此时，将在智能合约中注册储存在数据集市子系统102的出售数据集和数据订单。数据集市子系统102还将根据储存后的出售数据集生成出售数据集的数据信息凭证（即第一数据信息凭证）。

随后，基于智能合约，将第一数据信息凭证和数据订单上链至区块链子系统101。区块链子系统101将接收到卖家提供的出价数据的数据哈希值（即第一数据信息凭证），即数据的卖家选好一份或者多份符合数据买家需求的数据，并定好一个打包的价格。最后，数据买家将基于智能合约，获取市场平台中数据卖家的真实出价，即交易信息。

需说明的是，在买卖双方进行交易时，数据买家基于智能合约将停止接受其他卖家参与交易，并开始接受已参与交易的卖家公开他们的出价。其中，智能合约无法主动执行命令，需要区块链用户触发，同时数据买家可以将一些卖家列入黑名单，拒绝他们的出价。

另外，还需说明的是，数据购买者（买家）通常不需要所有用户的所有数据，而是关心特定用户（卖家）的特定数据。例如，在众包任务中，数据购买者想知道某位置的室外温度，其可以提出购买数据的限制条件，即卖方提供数据的传感器的位置需要在一定的范围内，并且提供的数据也需要满足一定的时效性。上述过程被称为数据筛选，买家可以将自己的数据需求整理成一个逻辑表达或者一个数学函数存入区块链，以供卖家查询判断。

在一些实施例中，所述数据集市子系统102具体用于：

基于分层储存，将出售数据集进行加密储存，生成第一数据信息凭证，所述第一数据信息凭证包括出售数据集的储存地址、哈希值和储存时间。

基于分层储存，将数据订单进行分布式储存。

在本申请实施例中，将完整的数据存储到区块链中是不现实的，但可以上传与特定的数据绑定的“数据摘要”。基于此，针对非实时和可容错的交易模式（即区块链交易），引入数据集市子系统102，可以在较长的时间间隔内将数据发送到数据后端。

在本申请实施例中，数据集市子系统102，是点对点（即P2P）技术，是具有分布式的文件传输系统。在数据集市子系统102中，文件可通过其内容的哈希值进行寻址。当数据成功存储在数据集市子系统102中时，用户将收到一个哈希索引，这将允许用户以后检索该文件。最后，这个索引将代替数据存入智能合约，节省整个系统的负担。在整个区块链的交易中，数据集市子系统102是公开透明的，其中存储的数据是加密的。

同时，如果所有参与系统的用户都维护一个数据集市子系统102节点，其代价是很高的。因此，可以让一部分系统参与者作为分布式文件存储的服务提供者，向上传数据的用户收取一定的费用。

通过采用以上技术方案，在区块链中引入数据集市子系统102，基于分层储存技术，对卖家的出售数据集和买家的数据订单进行分层储存，能够达到即使得交易公开透明，又保护了买卖双方安全隐私的效果。

在一些实施例中，所述区块链子系统101具体用于：

基于安全多方计算，根据数据订单，从第一数据信息凭证中确定第二数据信息凭证，第二数据信息凭证为所述出售数据的数据信息凭证。

基于定价机制，根据第二数据信息凭证，获得交易信息，交易信息包括第二数据信息凭证和出售数据的数据售价。

在本申请实施例中，为使得基于区块链和数据集市的储存系统中的数据集市子系统，在市场系统内的整个交易过程中，不泄露任何关于用户及其数据的额外信息，有许多可以安全、正确地执行系统中的计算工作，同时还可保护各方的隐私的方法。例如，安全多方计算，其在系统中的作用就是在保护隐私性、公平性等特性的同时，完成各种计算任务，不同领域的研究都能不同程度、不同角度地达成目标。

在本申请实施例中，通过安全多方计算，区块链子系统101可在出售数据集中定位一些符合买家数据需求（即符合买家预设的条件）的出售数据，即基于安全多方计算，根据数据订单中的数据需求，从第一数据信息凭证中确定第二数据信息凭证。

在本申请实施例中，在博弈论环境中考虑定价机制的设计，使得每个数据持有者（卖家）对于他们的数据都有一个私人的估值（即数据持有者隐私被泄露出去的损失），数据购买者（买家）对于他将购买的数据也有一个估值（即这份数据对于购买者的价值）。其中，出价者可能选择不诚实地报告他们对一份数据的估值。

在本申请实施例中，经过数据买家与数据卖家的交互后，基于区块链和数据集市的储存系统中区块链子系统101将触发定价机制，定价机制会确定出售数据及其价格，即基于定价机制，根据第二数据信息凭证，获得交易信息。

其中，在查验数据买卖智能合约信息中各项数据合法性的基础上，才会触发定价机制。

通过采用以上技术方案，在交易结果达成之前，即定价机制开始执行前，交易双方都可以终止交易，虽然这可能会导致参与者的信誉值降低，但在“后悔”不常发生的情况下，能够确保交易的随时终止。同时，在定价机制开始执行后（即基于区块链和数据集市的储存系统运行定价机制后），由于区块链和安全计算的特性，交易双方都无法阻止交易的继续进行，以太币转移和买家任务计算就一定会执行，从而确保了数据交易的不可抵赖性，保证了交易公平。

同时，在基于区块链和数据集市的储存系统中，保护了系统参与者的身份隐私和数据隐私。身份隐私是基于区块链的匿名能力实现的，而基于区块链和数据集市，数据隐私则得到了全方位的保护，数据加密、数据选择机制和安全计算使攻击者无法从交易的执行中得到数据的任何额外信息。

在一些实施例中，所述数据集市子系统102还具体用于：

在买家付款后，获得计算任务的计算结果，计算结果基于安全多方计算，并根据出售数据和计算任务计算。

将出售数据和计算结果发送至买家客户端。

在本申请实施例中，根据基于区块链和数据集市的储存系统运行定价机制后的规则（即上述“在定价机制开始执行后，由于区块链和安全计算的特性，交易双方都无法阻止交易的继续进行，以太币转移和买家任务计算就一定会执行，从而确保了数据交易的不可抵赖性，保证了交易公平”），基于区块链和数据集市的储存系统将基于安全多方计算，根据出售数据计算数据订单中的计算任务，并将计算结果和出售数据进行数据交付，发送至买家客户端（即买家需在DApp中的分布式客户端104）。

在一些实施例中，区块链为公有链。

通过采用以上技术方案，基于区块链和数据集市的储存系统直接基于以太坊以及其他公有链实现，可提高数据集市子系统102的可用性。

另外，基于区块链和数据集市的储存系统还可以采用更加高效、轻量级的各种区块链公有链系统。

在一些实施例中，数据集市子系统102包括星际文件子系统。

在本申请实施例中，数据集市子系统102需要分布式文件存储层的辅助。

可选的，提供分布式文件存储层的系统为星际文件子系统(InterPlanetary FileSystem，即IPFS)。

通过采用以上技术方案，数据集市与分布式文件存储层均为点对点的技术，在基于区块链和数据集市的储存系统中，可形成一个点对点的数据传输网络。基于此，当数据成功存储在数据集市子系统102中的IPFS中时，用户将收到一个哈希索引，这将允许用户以后检索该文件。

综上可见，当一个数据买家需要一些特定的数据来计算一个特定的任务时，其会根据数据订单进行数据筛选，并将数据订单编写入智能合约。整个基于区块链和数据集市的储存系统则通过安全多方计算的方式，定位到一些符合条件的数据，经过数据买家与数据卖家的交互后，触发定价机制，确定出售数据及其价格。待买家付款完成后，基于区块链和数据集市的储存系统又以安全多方计算的方式运行买家的计算任务，并将计算结果返回给买家，交易完成。

通过采用以上技术方案，将区块链与数据集市结合，可规避集中式数据集市的弊端，获得一个去中心化的数据集市，即可以规避依赖可信中介介入数据交易的要求，摆脱单点故障和单点性能瓶颈，并提高透明度和可信度。同时，区块链是一种去中心化的分布式数据存储技术，区块链去中心化的架构可以作为数据集市的底层架构，提供良好的支持，在数据集市子系统中引入区块链层，将使个人用户能够直接与数据需求方达成交易，不依赖任何第三方，从而让用户保持对数据的所有权，并确保交易过程的公开透明。

需要说明的是，对于前述的各系统实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些子系统可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

以上是关于系统实施例的介绍，以下通过方法实施例，对本申请所述方案进行进一步说明。

图3示出了本申请实施例中基于区块链和数据集市的储存方法的流程图。参见图3，本实施例中基于区块链和数据集市的储存方法包括：

步骤S301：获取卖家的出售数据集和买家的数据订单，所述出售数据集包括出售数据，所述数据订单包括数据需求和计算任务。

步骤S302：基于分层储存，储存所述出售数据集和所述数据订单。

步骤S303：根据储存后的所述出售数据集，生成第一数据信息凭证，所述第一数据信息凭证为所述出售数据集的数据信息凭证。

步骤S304：基于智能合约，根据所述第一数据信息凭证、所述数据订单和所述出售数据集，获得交易信息。

在一些实施例中，步骤S302包括：步骤A1-步骤A2。

步骤A1：基于分层储存，将所述出售数据集进行加密储存，生成第一数据信息凭证，所述第一数据信息凭证包括所述出售数据集的储存地址、哈希值和储存时间。

步骤A2：基于分层储存，将所述数据订单进行分布式储存。

在一些实施例中，步骤S304包括：步骤B1-步骤B2。

步骤B1：基于安全多方计算，根据所述数据订单，从所述第一数据信息凭证中确定第二数据信息凭证，所述第二数据信息凭证为所述出售数据的数据信息凭证。

步骤B2：基于定价机制，根据所述第二数据信息凭证，获得交易信息，所述交易信息包括所述第二数据信息凭证和所述出售数据的数据售价。

在一些实施例中，所述方法还包括：步骤S305-步骤S306。

步骤S305：在买家付款后，获得所述计算任务的计算结果，所述计算结果基于安全多方计算，并根据所述出售数据和所述计算任务计算。

步骤S306：将所述出售数据和所述计算结果发送至所述买家客户端。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的方法的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。