一种基于图神经网络的数据血缘发现方法、系统及装置

摘要

本发明涉及大数据平台构建技术领域，提供一种基于图神经网络的数据血缘发现方法、系统及装置，获取各个表在同一批次下新增的表记录；所述各个表在同一批次下新增的表记录经过训练层之后转换为输出样本集；所述输出样本集经过聚类后得到聚类伪标签；所述输出样本集根据所述聚类伪标签进行分类，得到分类结果，根据所述分类结果与聚类伪标签得到平均分类误差，若所述平均分类误差大于等于误差阈值，则反向传播更新训练层；多次循环执行采样训练过程，迭代更新训练层，直至所述平均分类误差小于误差阈值，则取出训练层中的注意力层，获取各个表之间的血缘关系，本发明在无权限获取DDL和无法获取任务调度流程等场景下，可以使用本方法发现表之间的血缘关系。