BiLSTM

摘要： 通过对目前现有的肺癌检测技术研究,发现大部分研究人员主要针对肺癌(Computed tomography,CT)影像进行研究,忽略了电子病历所隐藏的肺癌信息,本文提出一种基于图像与文本相结合的肺癌分类方法,从现有的基于深度学习的肺癌图像分类出发,引入了电子病历信息,使用Multi-head attention以及(Bi-directional long short-term memory,Bi-LSTM)对文本建模.实验结果证明,将电子病历信息引入到图像分类模型之后,对模型的性能有进一步的提升.相对仅使用电子病历进行预测,准确率提升了大约14%,精确率大约提升了15%,召回率提升了14%.相对仅使用肺癌CT影像来进行预测,准确率提升了3.2%,精确率提升了4%,召回率提升了4%.

摘要： Traditional named entity recognition methods need professional domain knowl-edge and a large amount of human participation to extract features,as well as the Chinese named entity recognition method based on a neural network model,which brings the prob-lem that vector representation is too singular in the process of character vector representa-tion.To solve the above problem,we propose a Chinese named entity recognition method based on the BERT-BiLSTM-ATT-CRF model.Firstly,we use the bidirectional encoder representations from transformers(BERT)pre-training language model to obtain the se-mantic vector of the word according to the context information of the word;Secondly,the word vectors trained by BERT are input into the bidirectional long-term and short-term memory network embedded with attention mechanism(BiLSTM-ATT)to capture the most important semantic information in the sentence;Finally,the conditional random field(CRF)is used to learn the dependence between adjacent tags to obtain the global optimal sentence level tag sequence.The experimental results show that the proposed model achieves state-of-the-art performance on both Microsoft Research Asia(MSRA)corpus and people’s daily corpus,with F1 values of 94.77% and 95.97% respectively.

摘要： 针对传统微博文本情感分析方法不能充分提取文本特征的缺陷,提出一种将ALBERT与基于注意力机制的双向长短时记忆网络相融合的ALBERT-BiLSTM-ATT微博文本情感分析模型。模型首先使用ALBERT预训练生成文本特征表示,然后将其输入基于注意力机制的双向长短时记忆网络模型BiLSTM-ATT中,并对微博文本特征进行训练,最后经过SoftMax函数层实现微博文本情感分析。在已公开发布的微博文本数据集“微博2018”上,与其他7种微博情感分析模型进行情感分析对比实验,对比实验结果表明ALBERT-BiLSTM-ATT模型在对比实验中的精确率、召回率和F1值皆更高。

摘要： 论文提出一种基于双向LSTM的气动回路故障诊断方法,使用AMESim软件建立某生产线的气动回路仿真模型,模拟气动回路的单重故障和多重故障,记录仿真数据,制作该气动回路的故障诊断数据集,在Matlab环境下建立双向LSTM网络架构进行气动回路故障诊断实验与分析,结果表明双向LSTM模型在多重故障识别的正确率高于LSTM模型以及传统的诊断方法。

摘要： 专业术语的自动抽取对于领域机器翻译、领域知识图谱等方面均具有重要作用.近年来,新能源领域专利文本的申请量逐年增加,我国科技文献走向世界有了更高需求,专业术语翻译质量直接影响专利文本的翻译质量.为了提高新能源领域专利文本术语抽取结果的准确率和召回率,构建新能源领域术语库以及提高新能源领域专利文本的翻译质量打下基础.本文提出了基于BERT-BiLSTM-CRF的新能源专利术语抽取方法,以自建的3002条新能源领域专利文本作为实验对象,在中文数据集上的实验结果达到了0.9211的精确率,0.9245的召回率以及0.9228的F1值.与其他经典深度学习术语抽取模型相比,基于BERT-BiLSTM-CRF的新能源专利术语抽取模型能有效地将新能源领域专利文本中字符较多的长序列术语识别出来,提高术语抽取在实际应用中的效果.

摘要： [研究目的]针对主流话题发现模型存在数据稀疏、维度高等问题,提出了一种基于突发词对主题模型(BBTM)改进的微博热点话题发现方法(BiLSTM-HBBTM),以期在微博热点话题挖掘中获得更好的效果。[研究方法]首先,通过引入微博传播值、词项H指数和词对突发概率,从文档层面和词语层面进行特征选择,解决数据稀疏和高维度的问题。其次,通过双向长短期记忆(BiLSTM)训练词语之间的关系,结合词语的逆文档频率作为词对的先验知识,考虑了词之间的关系,解决忽略词之间关系的问题。再次,利用基于密度的方法自适应选择BBTM的最优话题数目,解决了传统的主题模型需要人工指定话题数目的问题。最后,利用真实微博数据集在热点话题发现准确度、话题质量、一致性三个方面进行验证。[研究结论]实验表明,BiLSTM-HBBTM在多种评价指标上都优于对比模型,实验结果验证了所提模型的有效性及可行性。

摘要： 全球导航卫星系统(Global Navigation Satellite System,GNSS)坐标时间序列在大地测量及地球动力学中的得到了广泛的应用。研究表明,受到环境以及系统误差的影响,实际GNSS站点坐标时间序列包含的季节信号的振幅是时变的,这给GNSS坐标时间序列的精确建模和重构带来一定的困难和挑战。传统的噪声分析方法在处理带有时变季节变化的GNSS坐标时间序列时无法很好应对信号中的时变振幅干扰。基于此,本文将双向长短期记忆循环神经网络(Bidirectional Long Short-term Memory,Bi-LSTM)应用于GNSS坐标时间序列的重构,利用Bi-LSTM强大的建模能力对GNSS坐标时间序列建模,克服季节项的时变振幅干扰,取得对GNSS坐标时间序列的精确重构。实验结果表明,基于Bi-LSTM神经网络方法能够学习到GNSS坐标时间序列间的时变特性,并有效分离信号与噪声,分离出的噪声残差分量与实际真值更接近。

摘要： 针对现有事件抽取模型事件数据集规模较小、存在开销与性能不平衡问题,采用ALBERT预训练语言模型生成词向量,将其输入BiLSTM+CRF模型完成句子级事件的特征向量提取,抽取出事件触发词、论元和角色等中文事件要素,在大规模中文事件数据集DuEE上进行验证。结果表明,该模型与其他同类型模型相比,准确率和F_(1)值均有所提升,在大规模事件数据集上的准确率、召回率和F_(1)值分别为95.4%、77.8%和85.7%。

摘要： 电子病历的增长构成用户健康大数据的基础,可提高医疗服务质量并降低医疗成本,因此迅速有效地检索病例在临床医学中具有实际意义。电子病历具有极强的专业性和独特的文本特点,然而传统的文本检索方法存在文本实体语义表达不准确、检索精度较低的不足。针对以上特点及问题,提出一种融合BERT-BiLSTM模型结构,以充分表达电子病历文本语义信息,提高检索的准确率。依据公开数据,首先,将公开的标准中文电子病历数据按临床诊断规则做关联扩展检索主题词预处理;其次,利用BERT模型,根据病历文本的上下文语境动态获取字粒度向量矩阵,再将生成的字向量作为双向长短时记忆网络模型(BiLSTM)的输入,以提取上下文信息的全局语义特征;最后,将检索文档的特征向量映射到欧氏空间中,找出与检索文档距离最近的病历文本,实现非结构化临床数据文本检索。仿真结果表明,该方法能够从病历文本中挖掘出多层次、多角度的文本语义特征,在电子病历数据集上取得的F1值为0.94,能显著提高文本语义检索准确率。

摘要： 公交车头时距预测作为公交车调度决策系统的重要依据,可以帮助公交公司及时发现交通拥堵,做出合理的调度决策.然而,现有的研究仅限于传统的预测方法,缺乏综合多种影响因素预测车头时距波动.为解决这个问题,本研究采用一种基于公交智能卡数据的双向长短时神经网络-注意力机制(Bi-LSTM-Attention)预测框架.该模型将注意力机制融入双向长短时记忆网络中,利用历史公交车头时距、公交运行时间、停靠时间预测每个站点的公交车头时距波动.通过某市两条公交线路实例对该模型进行验证.实验结果表明:与已有算法相比,Bi-LSTM-Attention在单步和多步预测中均表现出更高的准确度,可以为公交动态调度提供理论支持.

摘要： 本发明提供一种基于BILSTM‑MDN的传输线路动态热定值概率预测方法，属于电力系统线路运行状态评估领域。首先，对传输线周围环境数据和DTR序列数据进行归一化处理，并计算其自相关系数。其次，将数据按照共同输入长度生成滑窗特征和标签，滚动生成滑窗数据集，并划分训练集和预测集。第三，搭建BILSTM‑MDN神经网络，设定超参数后，输入训练集进行学习，调整超参数直至误差达到最小。最后，通过预测集对模型的预测准确度进行评估，并得到最终的预测结果和预测误差。本发明将MDN的前置网络替换为BILSTM，结合BILSTM的时序特征提取能力和MDN输出概率密度的能力，从而可以对DTR进行精确的概率预测，并能够减少环节间的人为因素的影响。

摘要： 本发明公开了一种基于BiLSTM‑Attention的战术意图识别方法，它包括如下步骤：步骤S1：将空中目标意图识别描述为空战意图识别特征到空战意图类型的映射；步骤S2：建立基于BiLSTM‑Attention空战意图识别模型。本发明的有益效果在于：在基于LSTM网络的基础上引入双向(Bidirectional)循环机制和注意力(Attention)机制，从而模拟决策人员对于空战情况的推理过程。将编码化的空战特征向量输入BiLSTM层，相比放入LSTM层能充分利用历史时刻和未来时刻信息综合作出判断；把BiLSTM层的输出向量放入Attention机制层能进一步突出影响意图的关键信息，提高意图识别的准确率。

摘要： 本发明公开了一种基于两阶段特征提取和改进BiLSTM的光功率预测方法及系统，所述方法包括：S1，使用偏自相关函数对光功率数据进行浅层特征提取后进行归一化处理；S2，构建CNN网络，将处理后的数据送入CNN进行深层特征提取；S3，构建BiLSTM模型；S4，引入Lorenz映射对鲸鱼算法的初始种群进行改进，采用改进鲸鱼优化算法对BiLSTM的参数进行优化；S5，将经CNN深度特征提取后的数据送入到改进BiLSTM进行预测。本发明通过浅层特征提取和深度特征提取的两阶段特征提取，可以进一步挖掘出特征之间的相互关联性并滤除掉光功率数据的噪声和不稳定的成分，将其处理得到的数据送入到改进的BiLSTM模型中进行光功率预测，可以有效提高预测精度。

摘要： 本申请涉及一种基于BiLSTM‑CRF模型的文本数据智能提取方法，该方法先使用Flink定时从数据源中抽取流数据写入到ClickHouse中，然后从所述ClickHouse中拉取待处理的数据，将所述待处理的数据经过分批分类、标注合并以及生成词典处理，形成预训练数据，之后将所述预训练数据导入到BiLSTM‑CRF模型进行训练以形成预测模型，基于预测模型形成预测模型服务API，最后拉取数据源中的流数据经过所述预测模型服务API得到预测结果，将所述预测结果映射到特定实体并写入服务数据库中存储，从而实现非结构、无规律的文本内容的实体识别、提取以及存储等处理。本申请还涉及一种基于BiLSTM‑CRF模型的文本数据智能提取装置，具有实现对非结构、无规律的文本内容进行识别、提取以及存储的效果。

摘要： 本发明公开了一种基于BiLSTM和SVM的消费倾向分析方法，所述方法包括以下步骤：判断单个句子是否与消费有关；通过Bag‑of‑words模型，判断句子中出现的商品的类型；通过BiLSTM和SVM模型判断句子中人物的情感态度，即支持还是反对；根据商品的类型和人物的情感态度进行综合计算，判断句子中用户的消费倾向；对文本的各个句子依次进行上述操作，统计得出整篇文本中用户的消费倾向。通过本发明，可以根据用户的网络言论、评价等分析出用户在网上消费时的倾向，比如是追求品质型的还是注重平价型的，从而更精准地给用户推荐商品。

摘要： 本发明公开了一种基于CNN和BILSTM的船舶轨迹预测方法。步骤1：对信息数据进行预处理；所述信息数据为通过船舶AIS采集的包括经度、纬度、航向和航速；步骤2：将步骤1中预处理后的信息数据划分训练集和测试集；步骤3：将步骤2的训练集导入到卷积神经网络CNN中进行特征提取；步骤4：将步骤3提取到的特征和训练集的数据结合构成轨迹预测的输入数据；步骤5：将步骤4的输入数据导入到BILSTM神经网络模型进行学习，获得轨迹数据中的隐含的船舶运动规律模型；步骤6：利用步骤5的模型进行船舶的轨迹预测。本发明用以解决复杂水上交通环境下船舶轨迹预测准确率较低的问题。

摘要： 本申请实施例涉及一种基于BiLSTM的变压器知识智能问答模型的处理系统，包括：问题输入模块，用于接收用户输入的与变压器关联的问题；意图识别与槽位提取模块，用于对所述问题进行分词处理，并采用BiLSTM对所述分词后的词语进行处理，获取查询类型和每一分词对应的实体名称或属性名称；查询检索模块，用于根据所述查询类型和每一分词对应的实体名称或属性名称，生成查询语句，并基于查询语句在网络上检索所有关联的答案；答案输出模块，用于根据答案排序策略将检索的所有关联的答案排序，并按照预设显示格式依序显示的答案。上述系统解决了用户如何通过口语化的语句输入，以实现与变压器知识图谱中的实体进行链接的问题。

摘要： 一种基于BiLSTM和WGAN‑GP网络的sEMG数据增强方法，其具体步骤如下：步骤S1，采集表面肌电信号，进行预处理；步骤S2,对预处理后的真实肌电数据进行标准化，并划分为训练数据集和测试数据集；步骤S3，建立基于BiLSTM网络的WGAN‑GP网络模型并输入训练数据集进行训练，输出得到生成样本集；步骤S4，将生成样本集和测试数据集比较进行模型误差分析，判断模型的稳定性。本发明基于WGAN‑GP的神经网络框架结合BiLSTM来生成表面肌电信号(sEMG)，一方面提高模型训练过程的稳定性，另一方面提高生成样本的质量。

摘要： 本发明公开了一种基于VMD分解和改进双层BILSTM网络的短期负荷预测方法，构建改进双层BiLSTM网络负荷预测模型，设置超参数，利用训练集、验证集对改进双层BiLSTM网络负荷预测模型进行训练，获取网络参数，得到训练后的改进双层BiLSTM网络负荷预测模型；将历史时刻对应的负荷序列、VMD分解后的负荷子序列、温度序列输入到训练后的改进双层BiLSTM网络负荷预测模型，得到t+1时刻负荷的预测结果。本发明将复杂的负荷时间序列分解为频率更加集中、周期性更突出的若干子序列。有效降低了训练误差、提高了训练稳定性。提高预测模型的训练速度，保证模型误差的收敛趋势，避免陷入局部最优。

摘要： 本发明涉及一种CNN+BiLSTM+Attention风电超短期功率预测方法及系统，所述方法包括：采集风力发电设备对应的预测时段的气象要素数据，并对所述数据进行处理；将所述处理后的数据输入预先训练好的风电超短期功率预测模型中，得到所述风力发电设备预测时段对应的超短期功率数据。本发明提供的技术方案，可以准确地预测风力发电设备的超短期功率，进而保障了供电系统的稳定运行，降低了新能源发电功率预测的误差现象。