一种大数据金融资产实时估值方法、装置及可读介质

摘要

本发明公开了一种大数据金融资产实时估值方法，包括：步骤S1、采集T‑1日盘后估值系统的估值结果数据；步骤S2、对T日日初已经发生的业务进行业务初始化处理，输出T日实时持仓数据；步骤S3、对接实时交易数据、实时行情数据，进行实时交易、实时持仓、实时资金变动、实时资金余额处理，并根据定价服务提供的资产行情，生成相应的估值数据；步骤S4、在估值数据的基础上，计算与估值相关的指标，输出实时估值数据。本发明采用大数据的流式计算和分布式计算两种能力架构设计，实现前台交易清算和后台估值核算的完美融合，给用户提供高频次和准确率高的实时估值数据，提高投资决策辅助能力和实时风险控制能力。

说明书

技术领域

本发明涉及金融产品估值领域，具体的说，是涉及一种大数据金融资产实时估值方法、装置及可读介质。

背景技术

随着社会经济的发展，现代信息技术的提高，互联网技术呈现高速发展的态势，对人们的日常生活产生深远的影响。各行业开始将业务逐渐渗透到网络上，在改变人们消费观念的同时，更是将发展眼光深入到金融理财领域。现代化的互联网技术被广泛地应用到金融市场，并使用网络搜索引擎、社交网站、在线支付以及云计算等多样化的发展方式，将金融市场对资源配置的优化作用进行了积极的发挥，利用互联网进行理财便成为一种普遍的现象。互联网理财运作模式逐渐建立，而金融产品作为一种日常理财途径，更以其完善的互联网基金商业运作模式，适应经济市场的同时，不断发展。

人们投资金融产品，必然面临着资产的估值问题，即根据相关规定对资产和负债按一定的价格进行评估与计算，进而确定资产净值与单位资产净值的过程。但就我国现有的金融行业法律的制定来看，还缺乏健全的法律体系，金融产品的发展还存在着很大的风险，不仅存在着金融产品本身的市场风险、道德风险以及流动性风险以外，还存在着互联网发展所带来的信息技术风险以及安全风险等。在新的发展形势下，无论作为投资者还是金融产品发行者都应当在对风险进行分析和认识的前提下，对风险进行积极的规避，在此基础上，实现投资者、第三方支付机构以及金融资产管理机构的可持续发展，为互联网金融产品的发展提供强有力的法律保障和规制，实现金融产品效益的最大发挥。

在这个大环境的背景下，业务量的增加和规模的不断壮大，使金融资产管理机构如雨后春笋般不断发展起来，同时行业竞争也如火如荼的进行当中。作为金融资产管理机构的核心业务系统，从运营部门开始到投资部门甚至到决策领域的部门都开始对高效率、稳定安全的金融资产估值系统进行严格的要求，使之能保障业务的顺利展开。

在目前的金融资产管理机构的估值软件中，前台交易系统在交易期间提供产品的资金和证券资产的清算，产生产品资产的持仓信息和估值信息；后台估值系统在交易结束后进行日终估值，一般晚上8:00左右才能出产品估值结果，产生产品的资产净值和估值表信息。然而，前台交易系统的主要缺点是：1、估值方法单一；2、数据准确率低。后台估值系统的主要缺点是：1、一天只能做一次估值，频次低；2、估值所需时间长。上述两者在实时估值方面均存在缺陷，不能满足金融资产管理机构的投资和风控应用要求。

发明内容

为了克服现有的技术的不足，本发明提供一种大数据金融资产实时估值方法、装置及可读介质。

本发明技术方案如下所述：

第一方面，本发明提供一种大数据金融资产实时估值方法，包括：

步骤S1、采集T-1日盘后估值系统的估值结果数据；

步骤S2、对T日日初已经发生的业务进行业务初始化处理，输出T日实时持仓数据；

步骤S3、对接实时交易数据、实时行情数据，进行实时交易、实时持仓、实时资金变动、实时资金余额处理，并根据定价服务提供的资产行情，生成相应的估值数据；

步骤S4、在所述估值数据的基础上，计算与估值相关的指标，输出实时估值数据。

根据上述方案的本发明，在步骤S1中，所述估值结果数据通过接口协议和ETL数据同步的方式进行采集。

进一步的，在步骤S1中，批量数据通过DataStage数据同步工具、DataX数据同步工具或者Sqoop数据同步工具中的一种进行同步。

根据上述方案的本发明，所述估值结果数据包括持仓余额信息、估值信息、中间计算结果、债券每百元利息、增值税相关信息及维护的业务信息。

根据上述方案的本发明，在步骤S2中，业务初始化处理的业务包括存款到期、回购到期、新股和新债缴款、T日资金结转、债券兑息兑付到账、分红送股权益、应付费用支付及现金和固收产品计提利息。

根据上述方案的本发明，在步骤S2中，通过数据同步工具，从Hive数据库同步到Redis数据库中，并采用Spark分布式计算架构对批量数据进行快速处理。

根据上述方案的本发明，在步骤S3中，包括

步骤S31、通过CDC变化数据捕获工具实时接收交易数据，并发送Kafka消息；

步骤S32、实时清算服务接收Kafka的交易流水信息，并通过Flink流式计算架构的流式处理，输出实时交易、实时持仓、实时资金变动及实时资金余额；

步骤S33、实时行情网关接收交易所的行情并发送Kafka消息；

步骤S34、定价服务接收行情的Kafka消息，通过Flink流式计算架构计算证券品种的公允价值，生成相应的估值数据。

进一步的，在步骤S4中，包括

步骤S41、在所述估值数据的基础上，再结合数据维度表，形成证券品种的持仓、市值明细数据；

步骤S41、根据实时指标的计算规则，通过Flink流式计算架构计算估值相关的指标，输出实时估值数据。

更进一步的，所述指标包括资产净值、单位净值、每万份收益及七日年化收益率。

第二方面，本发明提供一种计算装置，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的大数据金融资产实时估值方法。

第三方面，本发明提供一种计算机可读介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述的大数据金融资产实时估值方法。

根据上述方案的本发明，本发明的有益效果在于：

1、本发明采用大数据的流式计算和分布式计算两种能力架构设计，实现前台交易清算和后台估值核算的完美融合，给用户提供高频次和准确率高的实时估值数据，提高投资决策辅助能力和实时风险控制能力；

2、本发明采用高性能的分布式计算架构一个维度一个节点计算，实现了在增加维度情况下横向扩展；

3、本发明为用户提供了实时估值的功能，用户在交易期间就可以按照后台估值系统的核算准则，实时接收交易系统的指令、委托、成交数据，如每隔3秒接收沪深交易所行情，运用大数据的流式计算能力对用户的所有产品进行实时估值，提供准确的持仓信息、估值表、资产净值等相关信息。

附图说明

图1为本发明的方法流程图；

图2为图1中步骤S3的详细方法流程图；

图3为图1中步骤S4的详细方法流程图。

具体实施方式

下面结合附图以及实施方式对本发明进行进一步的描述：

请参阅图1，本发明实施例提供的一种大数据金融资产实时估值方法，包括以下步骤：

步骤S1、采集T-1日（上一个交易日）盘后估值系统的估值结果数据，估值结果数据包括持仓余额信息、估值信息、中间计算结果、债券每百元利息、增值税相关信息及维护的业务信息，涉及到的数据模型包含产品基本信息、产品持仓、证券基本信息、债券基本信息和资讯信息等数据。

进一步的，估值结果数据通过接口协议和ETL数据同步的方式进行采集，其中批量数据通过DataStage数据同步工具、DataX数据同步工具或者Sqoop数据同步工具中的一种进行同步。

步骤S2、对T日（交易日）日初已经发生的业务进行业务初始化处理，输出T日实时持仓数据。业务初始化处理的业务包括存款到期、回购到期、新股和新债缴款、T日资金结转、债券兑息兑付到账、分红送股权益、应付费用支付及现金和固收产品计提利息。

进一步，通过数据同步工具，从Hive数据库同步到Redis数据库中，并采用Spark分布式计算架构对批量数据进行快速处理。

步骤S3、对接实时交易数据、实时行情数据，进行实时交易、实时持仓、实时资金变动、实时资金余额处理，并根据定价服务提供的资产行情，生成相应的估值数据。

请参阅图2，进一步，在步骤S3中，包括以下步骤：

步骤S31、通过CDC（Change Data Capture是Oracle在数据库级别实现的增量抽取）变化数据捕获工具实时接收交易数据（Oracle数据日志），并发送Kafka消息；

步骤S32、实时清算服务接收Kafka的交易流水信息，并通过Flink流式计算架构的流式处理，来一笔交易处理一笔，输出实时交易、实时持仓、实时资金变动及实时资金余额；

步骤S33、实时行情网关接收交易所的行情并发送Kafka消息；

步骤S34、定价服务接收行情的Kafka消息，通过Flink流式计算架构计算证券品种的公允价值，生成相应的估值数据。

步骤S4、在估值数据的基础上，计算与估值相关的指标，输出实时估值数据。指标包括资产净值、单位净值、每万份收益及七日年化收益率。

请参阅图3，进一步的，在步骤S4中，包括以下步骤：

步骤S41、在估值数据的基础上，再结合数据维度表，形成证券品种的持仓、市值明细数据；

步骤S41、根据实时指标的计算规则，通过Flink流式计算架构计算估值相关的指标，输出实时估值数据。

本发明采用大数据的流式计算和分布式计算两种能力架构设计，实现前台交易清算和后台估值核算的完美融合，给用户提供高频次和准确率高的实时估值数据，提高投资决策辅助能力和实时风险控制能力；采用高性能的分布式计算架构一个维度一个节点计算，实现了在增加维度情况下横向扩展；本发明为用户提供了实时估值的功能，用户在交易期间就可以按照后台估值系统的核算准则，实时接收交易系统的指令、委托、成交数据，如每隔3秒接收沪深交易所行情，运用大数据的流式计算能力对用户的所有产品进行实时估值，提供准确的持仓信息、估值表、资产净值等相关信息。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

根据本实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

在一些可能的实施方式中，本发明提供一种计算装置可以包括至少一个处理单元、以及至少一个存储单元。其中，存储单元存储有程序代码，当程序代码被处理单元执行时，使得处理单元执行本说明书上述描述的根据本发明各种示例性实施方式的大数据金融资产实时估值方法中的步骤。例如，处理单元可以执行如图1所示的步骤S1～S5中大数据金融资产实时估值的流程。

在一些可能的实施方式中，本发明提供一种计算机可读介质，该存储有计算机可执行指令，计算机可执行指令用于执行本说明书上述描述的根据本发明各种示例性实施方式的大数据金融资产实时估值方法中的步骤。

可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

上面结合附图对本发明专利进行了示例性的描述，显然本发明专利的实现并不受上述方式的限制，只要采用了本发明专利的方法构思和技术方案进行的各种改进，或未经改进将本发明专利的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。