公开/公告号CN113076289A
专利类型发明专利
公开/公告日2021-07-06
原文格式PDF
申请/专利权人 中国建设银行股份有限公司;
申请/专利号CN202110339254.6
申请日2021-03-30
分类号G06F16/16(20190101);G06F16/172(20190101);G06F16/11(20190101);
代理机构11127 北京三友知识产权代理有限公司;
代理人贾磊;李辉
地址 100033 北京市西城区金融大街25号
入库时间 2023-06-19 11:44:10
技术领域
本发明涉及大数据预处理技术领域,尤其涉及彭博市场数据的自动化取数方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
如图1所示,彭博取数SFTP方式一般过程为:用户上传请求文件(Request File)给Bloomberg DL服务器,DL服务器上会生成结果数据文件(Response File),用户再下载并分析该数据文件。彭博请求文件包括:文件头(HEADER)、请求字段(FIELDS)、模板组织格式(DATA_DEF)、债券清单(DATA_RANGE)共4个部分。
现有彭博取数方式,若需要请求不同债券或不同字段的彭博数据,每获取一次结果文件,都需用户自行编写彭博请求文件,并进行上传下载操作,会给用户带来大量重复性操作。
发明内容
本发明实施例提供一种彭博市场数据的自动化取数方法,用以解决了以往用户重复性操作的问题,该方法包括:
配置彭博请求文件模板中请求文件头文件、请求字段文件和模板组织格式文件的文件名称、文件存储路径以及文件内容,配置彭博请求文件模板中债券清单文件的文件名称和文件存储路径;
配置结果文件模板中的结果文件名称以及结果文件存储路径;
基于业务需求自动生成债券清单文件的内容信息;
根据彭博请求文件模板中的配置,生成彭博请求文件;
将彭博请求文件上传至Bloomberg DL服务器,并基于结果文件模板,将BloombergDL服务器返回的反馈数据文件下载至结果文件存储路径;
基于结果文件模板,将反馈数据文件解析加载到GP数据库。
本发明实施例还提供一种彭博市场数据的自动化取数装置,用以解决了以往用户重复性操作的问题,该装置包括:
配置模块,用于配置彭博请求文件模板中请求文件头文件、请求字段文件和模板组织格式文件的文件名称、文件存储路径以及文件内容,配置彭博请求文件模板中债券清单文件的文件名称和文件存储路径;配置结果文件模板中的结果文件名称以及结果文件存储路径;
请求文件生成模块,用于基于业务需求自动生成债券清单文件的内容信息,根据彭博请求文件模板中的配置,生成彭博请求文件;
请求文件上传模块,用于将彭博请求文件上传至Bloomberg DL服务器;
反馈数据文件下载模块,用于基于结果文件模板,将Bloomberg DL服务器返回的反馈数据文件下载至结果文件存储路径;
加载入库模块,用于基于结果文件模板,将反馈数据文件解析加载到GP数据库。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述彭博市场数据的自动化取数方法。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述彭博市场数据的自动化取数方法的步骤。
本发明实施例中,与现有技术中彭博取数方式每获取一次结果文件,都需用户自行编写请求文件,并进行上传下载操作的技术方案相比,通过配置彭博请求文件模板中请求文件头文件、请求字段文件和模板组织格式文件的文件名称、文件存储路径以及文件内容,配置彭博请求文件模板中债券清单文件的文件名称和文件存储路径;配置结果文件模板中的结果文件名称以及结果文件存储路径;基于业务需求自动生成债券清单文件的内容信息,根据彭博请求文件模板中的配置生成彭博请求文件;将彭博请求文件上传至Bloomberg DL服务器,并基于结果文件模板,将Bloomberg DL服务器返回的反馈数据文件下载至结果文件存储路径;基于结果文件模板,将反馈数据文件解析加载到GP数据库,使不同模板的不同字段数据统一存储于同一张表,便于统一的数据管理、数据分析及数据清理。本发明实施例可以解决以往用户重复性操作的问题,使用户能够更加灵活的配置彭博取数请求文件以及结果文件,并简化了用户的操作,实现彭博市场数据的自动化取数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为现有技术中的彭博市场数据的取数方法流程图;
图2为本发明实施例中彭博市场数据的自动化取数方法流程图(一);
图3为本发明实施例中彭博市场数据的自动化取数方法流程图(二);
图4为本发明实施例中彭博市场数据的自动化取数方法流程图(三);
图5为本发明实施例中彭博市场数据的自动化取数方法流程图(四);
图6为本发明实施例中彭博市场数据的自动化取数方法流程图(五);
图7为本发明实施例中彭博市场数据的自动化取数方法流程图(六);
图8为本发明实施例中彭博市场数据的自动化取数装置结构框图(一);
图9为本发明实施例中彭博市场数据的自动化取数装置结构框图(二)。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
针对现有技术中彭博取数方式,每获取一次结果文件,都需用户自行编写请求文件,并进行上传下载操作,会给用户带来大量重复性操作的问题,本发明提出一种彭博市场数据的自动化取数方法,通过自动化程序实现彭博请求文件的每日自动生成、上传以及彭博结果文件的下载并解析入库,解决了以往用户重复性操作的问题,使用户能够更加灵活的配置彭博取数请求文件以及结果文件,为用户操作节约时间,以便用户能更高效的分析数据。
下面详细描述彭博市场数据的自动化取数方法。
图2为本发明实施例中彭博市场数据的自动化取数方法流程图(一),如图2所示,该方法包括:
步骤201:配置彭博请求文件模板中模板表名、模板头部配置信息文件、模板请求字段清单文件、模板组织格式文件、模板债券清单文件共五个部分,包括配置模板头部配置信息文件、模板请求字段清单文件、模板组织格式文件对应的文件名称、文件存储路径以及文件内容,配置彭博请求文件模板中债券清单文件的文件名称和文件存储路径;
步骤202:配置结果文件模板中的结果文件名称以及结果文件存储路径;
步骤203:基于业务需求自动生成债券清单文件的内容信息;
具体的,业务需求即从每日持有债券头寸数据中获取特定范围的所有债券;
步骤204:根据彭博请求文件模板中的配置(包括了生成的债券清单文件的内容信息),生成彭博请求文件;
步骤205:将彭博请求文件上传至Bloomberg DL服务器,并基于结果文件模板,将Bloomberg DL服务器返回的反馈数据文件下载至结果文件存储路径;反馈数据文件为Bloomberg DL服务器根据彭博请求文件生成;
步骤206:基于结果文件模板,将反馈数据文件解析加载到GP数据库。
Greenplum数据库:Greenplum(以下简称GP数据库)是一款开源数据仓库,基于开源的PostgreSQL改造而来,主要用来处理大规模数据分析任务。
在本发明实施例中,在彭博请求文件模板中,用户只需配置模板名以及请求文件头(HEADER)、请求字段(FIELDS)、模板组织格式(DATA_DEF)3个部分的文件名称,并将对应文件放入指定路径,而债券清单(DATA_RANGE)只需用户在请求模板配置文件中配置相应的数据文件名称,数据文件内容则由程序每日自动生成。在结果文件模板中,用户只需配置模板名称以及对应的结果文件名称路径。
在本发明实施例中,使用FTP传输程序将彭博请求文件上传至Bloomberg DL服务器。
在本发明实施例中,如图3所示,步骤205:基于结果文件模板,将Bloomberg DL服务器返回的反馈数据文件下载至结果文件存储路径,具体包括:
步骤2051:基于结果文件模板对应的文件名称,确定需要下载的反馈数据文件的名称;
步骤2052:使用FTP传输程序将Bloomberg DL服务器返回的反馈数据文件下载至结果文件模板中的结果文件存储路径;
具体的,反馈数据文件为Bloomberg DL服务器根据彭博请求文件生成,具体包括:反馈数据文件的债券代码为Bloomberg DL服务器根据债券清单文件的内容信息获得,反馈数据文件的彭博字段为Bloomberg DL服务器根据用户配置请求字段(FIELDS)及模板组织格式(DATA_DEF)获得,反馈数据文件的名称为Bloomberg DL服务器根据用户配置的请求文件头(HEADER)中的REPLYFILENAME生成。
在本发明实施例中,如图4所示,步骤206基于结果文件模板,将反馈数据文件解析加载到GP数据库,具体包括:
步骤2061:基于结果文件模板中的结果文件名称确定反馈数据文件的名称;
步骤2062:基于结果文件模板的结果文件存储路径,从结果文件存储路径获取反馈数据文件加载到GP数据库。
在本发明实施例中,如图5所示,步骤206将反馈数据文件解析加载到GP数据库,具体包括:
按照预设的表结构对反馈数据文件进行解析,将反馈数据文件的数据分解为预设表结构,并加载到GP数据库。
具体的,所述表结构包括业务批次号、模板表名、债券标识、定价来源、字段名称、字段值等表字段。
在本发明实施例中,如图6所示,该方法还可以包括:
步骤601:设置保留时长阈值;
步骤602:将保留时长超出保留时长阈值的反馈数据文件清除。
下面从脚本执行的角度来说明本发明提出的彭博市场数据的自动化取数方法流程。
如图7所示,该方法包括:
(1)数据文件生成:每日生成债券头寸中的债券清单写入bb_number.dat文件。
对应于彭博请求文件(*.req)债券清单(DATA_RANGE)DATA_RANGE部分,需生成的债券清单数据文件信息如表1所示:
表1债券清单数据文件信息
彭博请求文件债券清单(DATA_RANGE)文件组织脚本,逻辑可按业务需求编写,但要求需生成表1彭博请求文件债券清单(DATA_RANGE)文件格式的债券清单文件,生成的文件名称需与表4模板配置文件中配置的DATA_RANGE文件名一致。本实施例中的脚本编写要求如表2所示:
表2彭博请求文件债券清单(DATA_RANGE)文件组织脚本
(2)彭博请求文件组装:根据请求模板灵活生成请求文件。
彭博请求文件(*.req)组织脚本编写要求如表3所示,根据对应模板配置在请求文件目录生成文件名为模板表名+业务日期的请求文件,以表3为例,生成BB_3SRC_PRCYYYYMMDD.req文件:
表3彭博请求文件组织脚本
彭博请求文件模板配置文件编写要求如表4所示,可自行添加不同模板,分为模板表名、模板头部配置信息文件、模板请求字段清单文件、模板组织格式文件、模板债券清单文件共五个部分,需设定模板名、以另外四个请求模板配置文件的文件名称:
表4彭博请求文件模板配置文件编写要求
其中,模板头部配置信息文件HEADER配置文件编写要求如表5所示。
其中REPLYFILENAME可设定Bloomberg DL服务器需生成的反馈数据结果文件名称。以表5为例,设定生成文件名称为BB_3SRC_PRCYYYYMMDD01.csv的反馈数据结果文件。
SECID可设定请求的债券标识字段。以表5为例,使用的是BB_UNIQUE_ID作为请求的债券标识,即债券清单中的债券标识均为彭博BB_UNIQUE_ID字段。另SECID也可以设定为CUSIP、ISIN等彭博债券标识字段,但需与步骤(1)生成的债券清单文件中的债券标识字段类型一致。
表5请求文件头HEADER配置文件编写要求
模板请求字段清单文件FIELDS配置文件编写要求如表6所示,表示Bloomberg DL服务器需反馈债券的对应字段数据:
表6请求字段FIELDS配置文件编写要求
模板组织格式文件DATA_DEF配置文件编写要求如表7所示,即上述请求字段对应的不同定价来源设置,表中设定了CBBT、BGN、BVAL三个定价来源,可根据业务需求自行设置:
表7模板组织格式DATA_DEF配置文件编写要求
模板债券清单文件对应步骤(1)中生成的债券清单文件。
(3)上传请求文件
使用FTP传输程序上传彭博请求文件(使用BB_UploadReq_poms.bat上传*.req文件)至彭博DL服务,以表8为例,上传步骤(2)生成的BB_3SRC_PRC YYYYMMDD.req请求文件:
表8彭博请求文件上传脚本
(4)反馈数据文件下载
彭博DL服务器根据请求文件中定义的结果文件名,生成对应的反馈文件。
反馈文件样例如表9所示,第一行为时间信息;第二行为字段名称,其中第一列代表债券标识,第二列代表错误码,第三列代表后面的字段数量,第四列开始的字段名称对应请求文件FIELD中的请求字段;第三行开始为对应的字段数据,第一列字段值则对应请求文件DATA_RANGE中的债券清单。
表9反馈文件
结果配置文件编写要求如表10所示。
文件名需填写反馈文件的文件名,要求与请求文件中设置的REPLYFILENAME一致,路径填写文件需下载至的本地存储路径:
表10结果配置文件编写要求
根据结果文件配置模板,确定反馈数据文件的文件名称,以及需下载至的存储路径,使用FTP传输程序将彭博DL服务器生成的指定名称的反馈数据文件,下载至指定存储路径(使用BB_Ftp_poms.bat下载*.csv文件),如表11所示:
表11彭博反馈文件下载脚本
(5)结果数据文件加载入库
根据结果文件配置模板,确定反馈数据文件的文件名称,以及存储路径,将结果文件加载至GP数据库。
系统在获取到返回反馈文件后,使用脚本(bb_load2gp.pl),如表12所示,将返回反馈文件加载至GP数据库。
表12脚本(bb_load2gp.pl)
将数据文件加载至GP数据库,表名fmr_bb_reply,对应表结构(table)详见表13,含有字段:batch_id、tbl_nm、secid、prc_src、col_nm、val、notes1、notes2,表中描述了字段的字段中文名、数据类型,以及列举了对应的两个数据样例。将每个反馈数据文件中的每一行数据拆分为不同定价来源下的每一个彭博字段数据,使不同模板的不同字段数据统一存储于同一张表,便于统一的数据管理、数据分析及数据清理。
其中业务批次号对应命令中的第二、三个参数,表示业务日期及对应批次;模板表名对应命令中的第二个参数。
另外,以表9反馈文件为例。
债券标识对应反馈文件中的第一列SECURITIES的字段值,即为请求文件中的DATA_RANGE债券清单中所有债券标识;
定价来源对应反馈文件中的第五列PRICING_SOURCE的字段值,即对应请求文件中的DATA_DEF设定的定价来源;
字段名称对应反馈文件中第四列字段PX_BID开始的字段名称,即对应请求文件中的FIELDS设定的请求字段,字段值对应第三行开始的字段值。
例如,见表13数据样例1。对应表9反馈文件中的“LW0021946|0|8|102.684000|CBBT|103.216800|.53278689|10/22/2019|.203|103.100000|103.632800|”的第一行数据。债券标识对应第一列字段值,定价来源对应的第五列的字段值CBBT,字段名称则对应第四列的字段名称PX_BID,字段值对应第四列的字段值102.684000。
见表13数据样例2,对应表9反馈文件中的“LW0021946|0|8|102.635000|BGN|103.167800|.53278689|10/22/2019|.222|103.024000|103.556800|”的第二行数据。债券标识对应第一列字段值,定价来源对应的第五列的字段值BGN,字段名称则对应第六列的字段名称PX_DIRTY_BID,字段值对应第六列的字段值103.167800。
表13表结构
(6)数据保留策略:保留近90个工作日数据。超出对应的工作日数据系统自动清理掉。
本发明实施例中还提供了一种彭博市场数据的自动化取数装置,如下面的实施例所述。由于该装置解决问题的原理与彭博市场数据的自动化取数方法相似,因此该装置的实施可以参见彭博市场数据的自动化取数方法的实施,重复之处不再赘述。
图8为本发明实施例中彭博市场数据的自动化取数装置结构框图(一),如图8所示,该装置包括:
配置模块02,用于配置彭博请求文件模板中请求文件头文件、请求字段文件和模板组织格式文件的文件名称、文件存储路径以及文件内容,配置彭博请求文件模板中债券清单文件的文件名称和文件存储路径;配置结果文件模板中的结果文件名称以及结果文件存储路径;
请求文件生成模块04,用于基于业务需求自动生成债券清单文件的内容信息,根据彭博请求文件模板中的配置,生成彭博请求文件;
请求文件上传模块06,用于将彭博请求文件上传至Bloomberg DL服务器;
反馈数据文件下载模块08,用于基于结果文件模板,将Bloomberg DL服务器返回的反馈数据文件下载至结果文件存储路径;
加载入库模块10,用于基于结果文件模板,将反馈数据文件解析加载到GP数据库。
在本发明实施例中,请求文件上传模块06具体用于:
使用FTP传输程序将彭博请求文件上传至Bloomberg DL服务器。
反馈数据文件下载模块08具体用于:基于结果文件模板对应的文件名称,确定需要下载的反馈数据文件的名称,使用FTP传输程序将Bloomberg DL服务器返回的反馈数据文件下载至结果文件存储路径;
其中,反馈数据文件的债券代码为Bloomberg DL服务器根据债券清单文件的内容信息获得,反馈数据文件的彭博字段为Bloomberg DL服务器根据用户配置请求字段(FIELDS)及模板组织格式(DATA_DEF)获得,反馈数据文件的名称为Bloomberg DL服务器根据用户配置的请求文件头(HEADER)中的REPLYFILENAME生成。
加载入库模块10具体用于:基于结果文件名称及结果文件存储路径,将反馈数据文件解析加载到GP数据。
在本发明实施例中,加载入库模块10具体用于:
基于结果文件模板对应的文件名称确定反馈数据文件的名称;
基于结果文件存储路径,将反馈数据文件加载到GP数据库。
在本发明实施例中,加载入库模块10具体用于:
按照预设的表结构对反馈数据文件进行解析,将反馈数据文件的数据分解为预设表结构,并加载到GP数据库。
在本发明实施例中,所述表结构包括业务批次号、模板表名、债券标识、定价来源、字段名称、字段值的表字段。
在本发明实施例中,如图9所示,该装置还可以包括:
保留时长阈值设置模块12,用于设置保留时长阈值;
文件自动清除模块14,用于将保留时长超出保留时长阈值的反馈数据文件自动清除。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述彭博市场数据的自动化取数方法。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述彭博市场数据的自动化取数方法的步骤。
本发明实施例中,与现有技术中彭博取数方式每获取一次结果文件,都需用户自行编写请求文件,并进行上传下载操作的技术方案相比,通过配置彭博请求文件模板中请求文件头文件、请求字段文件和模板组织格式文件的文件名称、文件存储路径以及文件内容,配置彭博请求文件模板中债券清单文件的文件名称和文件存储路径;配置结果文件模板中的结果文件名称以及结果文件存储路径;基于业务需求自动生成债券清单文件的内容信息,根据彭博请求文件模板中的配置生成彭博请求文件;将彭博请求文件上传至Bloomberg DL服务器,并基于结果文件模板,将Bloomberg DL服务器返回的反馈数据文件下载至结果文件存储路径;基于结果文件模板,将反馈数据文件解析加载到GP数据库,使不同模板的不同字段数据统一存储于同一张表,便于统一的数据管理、数据分析及数据清理。本发明实施例可以解决以往用户重复性操作的问题,使用户能够更加灵活的配置彭博取数请求文件以及结果文件,并简化了用户的操作,实现彭博市场数据的自动化取数。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
机译: 博登贝丁自动化生产的方法和装置
机译: 具有分形维数的具有自动聚焦功能的图像拾取装置和自动聚焦方法
机译: 具有分形维数的具有自动聚焦功能的图像拾取装置和自动聚焦方法