抽象语法树

摘要： 为提高和保障电网安全稳定控制系统控制策略(简称稳控策略)的实现效率和可靠性,研制了一种基于UML活动图的稳控策略的自动编程实现方法和基础平台。首先,抽象稳控策略的最小元素和动态行为元素,提出稳控策略动态行为描述方法,建立基于UML活动图的稳控策略模型和抽象语法树。然后,规范稳控策略模型的存储标准及格式,制定模型到代码的映射规则,基于抽象语法树使用深度优先搜索算法将模型自动转化为嵌入式系统可执行代码。最后,构建稳控策略模型至主体代码自动生成和辅助代码自动补全的软件技术框架并研发实现。结合4个大型稳控系统的新建和改造的编程案例及其成效,验证了所提代码自动生成方法和平台工具的可行性、高效性和可靠性。

摘要： 目前已有的代码坏味检测方法仅依赖于代码结构信息和启发式规则,对嵌入在不同层次代码中的语义信息关注不够,而且现有的代码坏味检测方法准确率还有进一步提升的空间.针对该问题,提出一种基于预训练模型和多层次信息的代码坏味检测方法DeepSmell,首先采用静态分析工具提取程序中的代码坏味实例和多层次代码度量信息,并对代码坏味实例进行标记;然后通过抽象语法树解析并获取源代码中与代码坏味相关的层次信息,将其中的文本信息与度量信息相结合生成数据样本;最后使用BERT预训练模型将文本信息转化为词向量,应用GRU-LSTM模型获取层次信息之间潜在的语义关系,并结合CNN模型与注意力机制检测代码坏味.在实验中,选取JUnit、Xalan和SPECjbb2005等24个大型实际应用程序构建训练集和测试集,并对特征依恋、长方法、数据类和上帝类等4种代码坏味进行检测.实验结果表明,DeepSmell与目前已有的检测方法相比在平均查全率和F1值上分别提高了9.3%和10.44%,同时保持了较高的查准率,DeepSmell可以有效地实现代码坏味检测.

摘要： 目前的源代码漏洞检测方法大多仅依靠单一特征进行检测,表征的维度单一导致方法效率低.针对上述问题提出一种基于结构化文本及代码度量的漏洞检测方法,在函数级粒度进行漏洞检测.利用源代码结构化文本信息及代码度量结果作为特征,通过构造基于自注意力机制的神经网络捕获结构化文本信息中的长期依赖关系,以拟合结构化文本和漏洞存在之间的联系并转化为漏洞存在的概率.采用深度神经网络对代码度量的结果进行特征学习以拟合代码度量值与漏洞存在的关系,并将其拟合的结果转化为漏洞存在的概率.采用支持向量机对由上述两种表征方式获得的漏洞存在概率做进一步的决策分类并获得漏洞检测的最终结果.为验证该方法的漏洞检测性能,针对存在不同类型漏洞的11种源代码样本进行漏洞检测实验,该方法对每种漏洞的平均检测准确率为97.96%,与现有基于单一表征的漏洞检测方法相比,该方法的检测准确率提高了4.89%~12.21%,同时,该方法的漏报率和误报率均保持在10%以内.

摘要： 基于抽象语法树的软件缺陷预测方法是当前最先进的方法之一,但现有的工作在预测过程中很少考虑抽象语法树节点的上下文信息,因此预测准确率仍有提升的空间.另外,带标签样本数据不足是软件缺陷预测领域长期存在的问题.为解决上述问题,提出一种结合BERT和PFMM的软件缺陷预测模型,简称BERT-PFMM.该模型由3个子模块构成:预处理模块,负责用源程序构造抽象语法树,并采用深度优先遍历方式生成该抽象语法树的节点向量作为BERT模型的输入;特征提取模块,用BERT模型提取上下文相关特征;特征加强及分类模块,采用PFMM将特征映射到更容易分类的空间,使模型的输出与标签的对应关系更强,进而基于加强的特征进行软件缺陷预测.实验表明:所提出的BERT-PFMM比现有的软件缺陷预测方法具有更好的性能.

摘要： 编译器模糊测试,是测试编译器功能性与安全性的常用技术之一.模糊测试器通过产生语法正确的测试用例,对编译器的深层代码展开测试.近来,基于循环神经网络的深度学习模型被引入编译器模糊测试用例生成过程.针对现有方法生成测试用例的语法正确率不足、生成效率低的问题,提出一种基于前馈神经网络的编译器模糊测试用例生成方法,并设计实现了原型工具FAIR.与现有的基于token序列学习的方法不同,FAIR从抽象语法树中提取代码片段,利用基于自注意力的前馈神经网络捕获代码片段之间的语法关联,通过学习程序设计语言的生成式模型,自动生成多样化的测试用例.实验结果表明,FAIR生成测试用例的解析通过率以及生成效率均优于同类型先进方法.该方法显著提升了检测编译器软件缺陷的能力,已成功检测出GCC和LLVM的20处软件缺陷.此外,该方法具有良好的可移植性,简单移植后的FAIR-JS已在JavaScript引擎中检测到两处软件缺陷.

摘要： 跨项目缺陷预测(cross-project defect prediction, CPDP)已经成为软件工程数据挖掘领域的一个重要研究方向,它利用其他项目的缺陷代码来建立预测模型,解决了模型构建过程中的数据不足问题.然而源项目和目标项目的代码文件之间存在着数据分布的差异,导致跨项目预测效果不佳.基于生成式对抗网络(generative adversarial network,GAN)中的对抗学习思想,在鉴别器的作用下,通过改变目标项目特征的分布,使其接近于源项目特征的分布,从而提升跨项目缺陷预测的性能.具体来说,提出的抽象连续生成式对抗网络(abstract continuous generative adversarial network, AC-GAN)方法包括数据处理和模型构建两个阶段:(1)首先将源项目和目标项目的代码转换为抽象语法树(abstract syntax tree,AST)的形式,然后以深度优先方式遍历抽象语法树得出节点序列,再使用连续词袋模型(continuous bag-of-words model,CBOW)生成词向量,依据词向量表将节点序列转化为数值向量;(2)处理后的数值向量被送入基于GAN网络结构的模型进行特征提取和数据迁移,然后使用二分类器来判断目标项目代码文件是否有缺陷. AC-GAN方法在15组源-目标项目对上进行了对比实验,实验结果表明了该方法的有效性.

摘要： 针对基于抽象语法树的源代码漏洞检测方法难以从大规模语法树中充分提取语法和结构特征,导致漏洞表征能力不足、检测准确率低的问题,提出了一种基于抽象语法树压缩编码(abstract syntax tree compressed coding,ASTCC)的源代码漏洞检测方法.该方法首先将程序抽象语法树以代码语句为单元分割成1组子树;然后通过递归神经网络对子树进行编码以提取代码语句内语法信息;再将原始语法树中的子树替换为其编码节点,从而在保留结构特征的同时减小原始语法树的深度并减少了叶子节点数量;最后,通过带注意力机制的树卷积神经网络实现源代码漏洞检测.在NVD和SARD公开数据集上的实验结果表明,ASTCC方法能够降低抽象语法树的规模,增强模型对源代码漏洞的表征能力,有效提升漏洞检测的准确率.

摘要： 随着C++语言标准的不断演进,词法语法解析工具如JavaCC等对于很多扩充的新特性以及复杂的语法结构不能做到完全支持,这可能会导致抽象语法树生成错误且不完整;针对这一问题,提出一个针对抽象语法树生成错误的处理框架;首先,通过对JavaCC的扩充,实现一套可以解析C++语言的词法语法分析器,生成抽象语法树并记录报错行;其次,根据报错行寻找所在函数区间即不支持或不匹配的语法片段;最后,通过注释函数区间的方式来跳过不支持或不匹配的语法片段进行错误处理并迭代生成抽象语法树;实验结果表明,对抽象语法树生成进行错误处理后可以更全面的分析代码,抽象语法树完成率上升37.8%,分析行数提高3.9倍。

摘要： 近年来,随着不同编程语言代码自动转换工具的出现,跨语言的代码抄袭检测问题受到了越来越多的关注.现有跨语言代码抄袭检测主要包括传统的基于中间特征的检测方法和近年来出现的基于机器学习的检测方法,后者在检测模型训练完成之后具有更好的检测速度,是当前跨语言代码抄袭检测的研究热点.然而,现有的基于机器学习的跨语言抄袭检测方法大多将代码作为文本来处理,未考虑代码的结构特征.结合代码基于抽象语法树的结构特征,本文提出了一个基于伪孪生神经网络框架的跨语言抄袭检测工具CLPDetector.该工具将训练数据中的源代码对转换成对应的抽象语法树,基于抽象语法树生成代码的向量表示,然后将结合BiLSTM、CNN和Attention的深度神经网络嵌入到伪孪生网络架构中训练抄袭检测模型,从而实现了跨语言代码抄袭的检测.为了提高检测精度,首先,在训练检测模型前,利用基于抽象语法树的skip-gram算法对词向量进行了预训练,并基于程序依赖图删除了训练数据集代码中的冗余代码.其次,在代码抄袭检测阶段,提出了一个基于属性计数的过滤器,用以排除不可能抄袭的代码对,提高检测效率.实验中基于一个开源的数据集,以Java代码和Python代码为例对CLPDetector的检测效果进行了验证.结果表明,在精确率和F1值方面,CLPDetector比基于属性计数的工具CLCDSA分别高7%和3%,比单纯使用BiLSTM的检测工具ASTLeaner分别高10%和8%.

摘要： 源代码摘要是一段用自然语言描述的有关源代码的简介.源程序和自然语言之间存在着巨大的差异,计算机程序生成的摘要很难满足实际的需要.本文提出了一个基于深度学习的代码摘要生成模型At-ComGen,该模型基于混合的注意力机制设计,使用编码器-解码器结构的神经网络搭建.为了保持源代码的文本和结构信息,At-ComGen模型在源代码编码过程中同时使用独立的词汇编码器和语法树编码器.At-ComGen的解码器中还创新性地引入了BERT预训练模型技术提高生成摘要的描述能力.实验结果表明,At-ComGen模型在BLUE、METEOR等评价指标上均优于目前流行的代码摘要生成模型.

摘要： 针对软件源代码进行软件同源性鉴别的技术,主要包括基于文本的相似性鉴别技术,基于抽象语法树的检测以及对程序编程风格的分析技术。然而这三种技术都存在一定的缺陷,因此本文提出了一种结合文本和抽象语法树比对的软件同源性鉴别方法。该方法的特点是在文本比对的基础上,加入了根据语义构建的基于抽象语法树的比对方法,将二者比对结果进行综合考虑。实验结果表明,综合了两种比对技术的软件同源性鉴别方法,和现有软件比对工具相比,在降低了误检率的同时,能得出更准确的软件同源性鉴别结果。

摘要： 为了进行基于系统崩溃的故障模型的软件静态测试,需要从抽象语法树上获取相关的数据依赖关系和定义使用链. 这就要求在原有抽象语法树的基础上进行语义分析,产生最终的抽象语法树.论文描述了C/C++抽象语法树及其语法和语义分析过程的具体方法.

摘要： 多年来,由于Webshell脚本语言灵活、利用姿势多变、隐秘性强,使其成为备受黑客青睐的攻击后门之一.如何有效检测Webshell是安全行业的难题之一.目前市场上存在多种检测方式,典型的有静态检测(包括正则、ssdeep等),动态检测(类似沙箱)和基于日志的检测,但在实际检测过程中这些方式并不理想.文章探索与实践了3种检测方式:基于深度学习检测Webshell、基于抽象语法树和动态执行相结合检测Webshell,以及基于动态检测和AI推理引擎相结合检测Webshell.经过市场公测验证,基于动态检测和AI推理引擎相结合的检测方法可以有效检测Webshell.文章通过对比这些不同检测方法,希望提供Webshell检测的新思路,以推动安全行业的进步和发展.

摘要： 在软件工程的发展过程中，计算机科学家们为了降低软件开发的强度，缩短开发周期，一直以来都致力于程序自动补全方面的研究。程序自动补全问题可以视为序列预测问题,即基于已输入的代码预测下一个可能出现的代码片段.深度学习中的长短期记忆神经网络擅长于处理序列预测问题,因此基于长短期记忆神经网络对程序自动补全进行研究.不同于其他序列化数据,代码是一种包含结构信息的文本数据,若直接将代码视为序列化数据进行学习,则会因为丢失代码中包含的结构信息而使得程序补全效果较差.为此,可利用抽象语法树作为辅助工具,将代码转化为包含完整结构信息的序列化数据.另外传统的长短期记忆神经网络在处理结构化的数据时具有一定的局限性,因此可通过在网络中增设记忆单元的方式对其进行改进,以学习输入数据中结构信息.提出并实现了一种基于层次LSTM的程序自动补全模型——StackLSTM模型,实验结果表明,StackLSTM模型具有十分强大的学习能力,在小数据集中就可以很好地学会程序的语义以及结构信息,可以有效加速训练;它在大数据集中也能取得更好的效果,预测非终结符和终结符的准确率均高于传统的长短期记忆神经网络模型.

摘要： 缓冲区溢出作为系统或程序自身存在的一种漏洞对系统或软件安全造成了潜在威胁,黑客可以轻易利用这一漏洞进行攻击,以达到控制系统或窃取秘密的目的.据统计,利用缓冲区溢出漏洞进行的攻击已经占到了互联网攻击总数的一半以上.文章在对缓冲区溢出原理进行分析的基础上,给出了缓冲区溢出的故障模型,并提出了基于静态分析的代码自动检测算法,为故障发现及预防奠定了基础.

摘要： 缓冲区溢出作为系统或程序自身存在的一种漏洞对系统或软件安全造成了潜在威胁,黑客可以轻易利用这一漏洞进行攻击,以达到控制系统或窃取秘密的目的.据统计,利用缓冲区溢出漏洞进行的攻击已经占到了互联网攻击总数的一半以上.文章在对缓冲区溢出原理进行分析的基础上,给出了缓冲区溢出的故障模型,并提出了基于静态分析的代码自动检测算法,为故障发现及预防奠定了基础.

摘要： 缓冲区溢出作为系统或程序自身存在的一种漏洞对系统或软件安全造成了潜在威胁,黑客可以轻易利用这一漏洞进行攻击,以达到控制系统或窃取秘密的目的.据统计,利用缓冲区溢出漏洞进行的攻击已经占到了互联网攻击总数的一半以上.文章在对缓冲区溢出原理进行分析的基础上,给出了缓冲区溢出的故障模型,并提出了基于静态分析的代码自动检测算法,为故障发现及预防奠定了基础.

摘要： 缓冲区溢出作为系统或程序自身存在的一种漏洞对系统或软件安全造成了潜在威胁,黑客可以轻易利用这一漏洞进行攻击,以达到控制系统或窃取秘密的目的.据统计,利用缓冲区溢出漏洞进行的攻击已经占到了互联网攻击总数的一半以上.文章在对缓冲区溢出原理进行分析的基础上,给出了缓冲区溢出的故障模型,并提出了基于静态分析的代码自动检测算法,为故障发现及预防奠定了基础.

摘要： 缓冲区溢出作为系统或程序自身存在的一种漏洞对系统或软件安全造成了潜在威胁,黑客可以轻易利用这一漏洞进行攻击,以达到控制系统或窃取秘密的目的.据统计,利用缓冲区溢出漏洞进行的攻击已经占到了互联网攻击总数的一半以上.文章在对缓冲区溢出原理进行分析的基础上,给出了缓冲区溢出的故障模型,并提出了基于静态分析的代码自动检测算法,为故障发现及预防奠定了基础.

摘要： 一种基于问题知识库的软件静态分析方法，重点描述问题知识库的形成.表示、构建及应用。该方法对隐藏代码问题发现、分析，通过构造AST检查器和路径检查器，形成包括R(Rule)、D(Defect)、M(Metric)的规则集，应用于静态分析、提高静态分析准确度。

摘要： 本发明公开了一种基于不完全抽象语法树的代码语法错误修复方法。针对代码编译错误，该方法实现了对代码编译错误的定位与纠错。该方法利用不完全的AST信息，构建包含代码结构信息的输入序列，使用图模型传播、更新相邻节点之间的信息。该方法同时提出了一种新的纠错的方法。通过预测错误起始位置，结束位置，是否拷贝，拷贝位置，生成的词这5种信息，该方法可以修改和替换任意长度的错误代码。同时，该方法基于迭代的方式进行纠错，能够实现代码中多个错误的修复。

摘要： 本发明公开了基于关键词Trie树消除GCC抽象语法树冗余的方法，步骤为：通过GCC编译器编译源码文件得到原始数据；对原始数据进行文本预处理即对原始数据进行数据清洗后根据GCC抽象语法树节点自上而下递增存储的逻辑结构将一节点的数据存储为一单元；用有用节点信息关键词Trie树对上步所得数据进行检索输出有效节点及其子节点信息，完成GCC抽象语法树冗余消除；关键词Trie树是依据有用节点关键词词库建立的，有用节点关键词词库是通过对基准文本库中的文本进行文本预处理后构造得到的，其包括GCC抽象语法树文本文件的编译产生的有效节点类型。本发明的处理过程简单，数据处理量小，处理速度快，去除冗余效率及查准率高。

摘要： 本发明公开了一种基于抽象语法树的全局变量多处赋值异常检测方法，包括以下步骤：(1)设置异常场景规则及风险等级；(2)设置配置信息，描述当前控制软件中的速率组信息；(3)将C语言编码的控制软件源代码转换为抽象语法树；(4)从抽象语法树中提取控制软件源代码中的函数定义实现及函数调用的相关信息；(5)根据异常场景定义，检测符合异常场景定义的软件代码信息；(6)显形符合异常场景定义的软件代码信息。本发明将控制软件源代码转换为语法树，通过语法树提取代码中的多速率交互信息，检测并显形符合异常场景定义的软件信息，提高了控制软件的质量。

摘要： 本发明涉及软件开发领域，本发明公开了一种通过抽象语法树实现跨语言代码交互的方法，包括以下步骤：在当A，B两种编程语言需要交互时，将B编程语言转换为抽象语法树，再将B语言的抽象语法树转换为A编程语言，最终实现A编程语言对B编程语言的调用。本发明优点如下：本专利适用适合所有基于语法树实现的语言；本专利通过转换现有语言功能的代码成动态语法树，再根据动态语法树自动生成需要调用现有语言的开发语言代码，一次开发完成后，可以适配现有语言的所有功能，工作量较小。

摘要： 本公开实施例公开了一种抽象语法树的解析方法及计算机程序产品，所述方法包括：获取待解析的脚本以及所述脚本的编译类型；基于所述编译类型选择目标编译组件；基于所述目标编译组件对所述脚本进行解析，输出所述脚本对应的抽象语法树；其中，不同编译类型对应的所述目标编译组件输出的所述抽象语法树的结构类型相同。该技术方案能够将各种语言编写的脚本归一化成同种类型的抽象语法树，能够提高脚本的适配效率以及准确率。

摘要： 本申请涉及一种基于抽象语法树的恶意代码检测方法、装置及电子设备，该方法包括：将待检测代码文件转换为抽象语法树；利用预设的节点分类器对所述抽象语法树中的节点进行分类；对分类后的所述节点进行处理，生成控制流图；基于所述控制流图进行恶意代码检测。本申请可以尽可能多的提取待检测代码文件中隐藏的信息，实现恶意代码更加有效、准确的检测；且利用抽象语法树可以去除待检测代码文件的冗余，提取待检测代码文件中更加有效的代码信息，进一步提高恶意代码检测的有效性和准确性，并提高检测效率。

摘要： 本发明公开了一种基于抽象语法树的智能合约漏洞检测的方法及应用，该方法包括：对智能合约的源代码进行词法分析和语法分析，以构造出所述源代码的抽象语法树；遍历所述抽象语法树，以补充抽象语法树的节点信息，并从补充后的抽象语法树中提取智能合约的控制流图、读写变量信息；根据所述控制流图获取智能合约的执行路径集，并根据所述读写变量信息获取所述智能合约的数据流分析结果；根据数据流分析结果和所述抽象语法树自定义漏洞检测器，并将漏洞检测器应用到所述执行路径集的每条路径中；遍历所述抽象语法树，以得到漏洞检测器的检测结果，并将检测结果输入到JSON文件中。该方法能够发现智能合约中存在的漏洞，保证智能合约开发过程中的安全性。

摘要： 本发明涉及一种基于生成对抗网络的代码抽象语法树生成方法，属于计算机领域，所述方法包含两个连续的迭代过程；第一层迭代为生成器‑文本转换器；生成器生成的文本进入文本转换器，经过自由拆分组合，构成抽象语法树，若无法与源代码的抽象语法树匹配，则返回生成器继续下一轮迭代；否则迭代结束，输出该语法树；进入第二层迭代文本转换器‑判别器，输出的抽象语法树经过特征提取进入判别器与源代码抽象语法树进行对比，若匹配失败则返回文本转换器，重新组合文本序列生成新的抽象语法树，进入下一轮迭代；否则迭代结束，输出该语法树，程序结束。

摘要： 本发明公开了一种基于抽象语法树及令牌的代码克隆检测的方法及应用，该方法包括以下步骤：解析所有代码为令牌和抽象语法树；通过所述令牌过滤掉非代码克隆的代码块，并通过所述抽象语法树筛选出与查询块具有相同代码克隆类型的候选块；判断所述候选块与所述查询块的相似度下限是否高于预设阈值；若是，将所述候选块和所述查询块转化为克隆对输出。该方法能够通过代码块的令牌和抽象语法树过滤非代码克隆的代码块，帮助缩小候选范围，提高判断不同克隆类型时代码片段之间相似度的判断效率，进而提高判断的精确率。

摘要： 本发明公开了基于抽象语法树和图神经网络的指纹身份识别方法和系统，涉及网络空间安全技术，包括对源代码进行预处理；构建源代码的抽象语法树，对抽象语法树节点的令牌值进行特征选择和添加不同类型的边构建代码特征图；采用代码特征图训练图匹配神经网络，生成源代码的图嵌入特征向量；采用孪生神经网络对图匹配神经网络输出的两个图嵌入特征向量进行计算和判断，识别两份源代码是否属于同一个作者。本发明结合抽象语法树和图神经网络技术，生成源代码的抽象语法树，通过添加边信息和筛选令牌值构建源代码特征图，使用添加注意力机制的图神经网络生成特征图的图嵌入特征向量，并通过孪生神经网络对源代码的作者身份进行识别和判断。