卷积神经网络

摘要： 三维肺部电子计算机断层扫描(computed tomography,CT)图像非刚性配准是医学图像配准领域中最重要的任务之一.但是,肺部组织受呼吸运动影响而产生的非线性形变与大尺度位移给三维肺部CT图像的非刚性配准带来巨大挑战.针对这一难题,设计开发了一种基于无监督学习端到端的配准方法.通过改进现有U-Net神经网络结构,在跳接之间引入Inception模块,充分融合多尺度深层特征生成高精度的稠密位移向量场.为保证位移向量场光滑,在损失函数中加入雅可比正则化项,以达到训练中显式惩罚位移向量场中奇点的目的.另外,为缓解现有公开数据资源有限导致的过拟合问题,提出了一种基于三维薄板样条(3D-thin plate spline,3D-TPS)变换的数据增强方法实现对训练数据的扩充,将具有60套三维肺部CT图像的训练数据集EMPIRE10扩充为6060套以满足卷积神经网络训练的需要.设计验证实验,通过与基于学习的Voxelmorph方法和两个包含传统方法配准工具包ANTs和Elastix进行比较.实验结果表明:在公开可用的DIR-Lab 4 DCT数据集上,所提出的方法在目标配准误差(target registra-tion error,TRE)上达到次优的2.09 mm,平均Dice得分达到最优的0.987,同时所生成的扭曲图像中几乎不存在折叠体素.

摘要： 提出一种改进的二阶龙格-库塔超分辨率算法.首先,提出一种浅层共享编码器,以实现低分辨率图像的浅层特征提取.其次,提出一种深层特征学习单元,并与基于龙格-库塔方法的残差模块相融合,进而构建出一种基于深层特征的残差模块,以提升深层特征提取能力.实验结果表明:与主流超分辨率算法相比,文中算法在主观视觉效果和客观评价指标方面都具有更好的效果.

摘要： 针对传统算法不适用于外观发生较大变化的图像拼接问题,提出一种基于卷积神经网络的遥感图像拼接方法,通过深度学习使模型实现对遥感图像的配准和拼接.通过两次实验将该算法与传统算法进行对比.首先,以欧氏距离作为评价指标,分别通过两种算法在不同图像数据集上进行统计,对它们的图像配准能力进行评估.其次,在真实的遥感图像拼接应用场景下对比两种算法实现的遥感图像拼接效果.实验结果表明,卷积神经网络模型对外观发生较大形变的图像具有更好的配准能力,因此对于外观产生较大变化的遥感图像,可采用该算法代替传统算法实现图像拼接,得到更精确的全景图像.

摘要： 将对抗样本引入训练过程可以提高深度学习模型的鲁棒性,而且能为模型提供可解释的梯度,但这一防御策略往往需要较多的计算资源和时间成本.为提升训练模型效率和鲁棒性,同时降低训练成本,提出一种基于随机扰动的对抗训练方法:首先利用基于FGSM(Fast Gradi-ent Sign Method)的随机扰动方法生成对抗样本;其次,所提出算法的优越性;最后,利用周期性学习率和Adam(Adaptive Moment Estimation)相结合方法更新学习率.实验结果表明,通过引入周期性学习率机制,整个对抗训练过程的稳定性和拟合效果有了显著提升,所提出的训练方法能降低训练成本和提高模型的性能.

摘要： 针对矿井提升机在井下恶劣环境中工作易发生故障,且故障主要依赖于人工检测的问题,提出了一种基于WPCE-CNN的音频感知提升机健康状况研究.首先,通过小波包分解获取音频信号的二维系数特征矩阵,然后输入具有批量归一化层(BN)和Relu非线性激活层的Block层卷积神经网络(CNN)进行分类识别.最后,实验结果表明,本文提出的WPCE-CNN音频感知提升机健康状况的故障分类研究,准确率高于传统卷积神经网络,达到97.7％,能有效地进行提升机音频信号提取及故障诊断分类任务,此研究在降低人力和物力成本的同时,提高了工作人员的安全性和生产效率.

摘要： 针对深度学习在嵌入式或移动端设备中用于故障诊断时,受限于有限的硬件资源而又需要有足够的效率和精度的应用需求,提出基于轻量级卷积神经网络的电机滚动轴承故障诊断方法.首先对滚动轴承的振动信号数据集进行连续小波变换生成固定尺寸的时频图,并以此方式生成数据集输入网络进行训练.使用测试集进行测试,结果表明,所生成的故障诊断预测网络模型具有较高的识别精度和识别速度,准确率达到99％.通过验证噪声对网络的影响,表明所使用的网络具有较好的鲁棒性和泛化能力.

摘要： 近年来,人工智能技术发展迅速,已逐渐应用于临床影像资料处理、辅助诊断及预后评估等领域,研究表明,其能简化医生临床任务,快速提供分析处理结果,具有较高的准确性.在口腔正畸诊疗方面,人工智能可辅助用于二维及三维头影测量快速定点,此外,也广泛应用于三维牙模信息的高效处理与分析,并在决策正畸治疗是否需要拔牙、辅助判断生长发育阶段及正畸预后和美学评估中具有优势.尽管目前人工智能技术的应用受限于训练数据资料的数量与质量,但将其与正畸临床诊疗相结合,可提供更快更有效的分析诊断,为更准确的诊疗决策提供支持.本文就目前人工智能技术在口腔正畸诊疗中的应用进行综述,以期正畸医生在临床中理性看待和合理使用人工智能技术,让人工智能更好服务于正畸临床诊疗,以促进口腔正畸智慧化诊疗流程进一步发展.

摘要： 为了提高分割算法在焊缝缺陷检测工程中的实用性,提出轻量级焊缝缺陷评估网络MYNet.其中,轻量级的残差结构降低了模型的计算量,多层视觉融合机制FPN(feature pyramid network)提高了网络的分割能力,并行蒙版机制可以得到快速和高质量的缺陷分割蒙版;引入开源跨平台计算机视觉库OpenCV,利用像素阈值计算不同缺陷面积;引入腾讯超高性能的移动平台推理框架,加快模型在中央处理器的前向推理速度.搭建以ARM Cortex-A72架构为控制核心的数字化人工智能(artificial intelligence)评估设备,部署适用于缺陷检测的轻量级64位Linux系统,验证了焊缝缺陷评估算法的可行性.实验结果表明:本文模型能够有效定位和学习不同类型的缺陷特征;网络评估缺陷面积和位置信息的准确率为94.64％;相比于准确度较高但计算量较大的MS R-CNN网络,所提方法的准确率仅下降1.93％,但网络的参数权重仅为MS R-CNN网络的1/14,网络执行所需计算力更低.在基于ARM(advanced RISC machine)架构的低成本硬件上,轻量级的残差结构使网络前向推理速度提升了309％,仅用1.7 s完成低成本硬件上的焊缝实例分割任务.本文所提方法能有效学习和评估X射线焊缝缺陷图像,应用在评估设备上的算法降低了焊接质检的成本.

摘要： 基于超声波的非接触式传感扩展了移动设备的交互范围,提出了一种超声传感系统,它可以在多种表面材料上工作,只需要一对声音收发器。该系统使用了多普勒频移和信道脉冲响应来捕捉微妙的手部动作;然后通过卷积神经网络(CNN)从测量的信号数据中提取判别特征,形成对用户手势动作进行识别和身份验证的超声传感系统。在智能手机上实现了超声传感系统,并进行了大量的真实环境实验来评估其性能。实验结果表明:仅使用一个收发器对,它的性能可以与多收发器对实现相媲美;还可以用于多种材料表面,且不需要捕获用户的生物信息即可对用户手势识别,以及辅助身份验证的准确性超过96%。

摘要： 负荷数据的高度随机性和不确定性,导致短期负荷预测的精度很难提升。为了提高短期负荷预测的准确度,提出了一种基于完全自适应噪声集合经验模态分解(CEEMDAN)与卷积神经网络(CNN)和门控循环单元(GRU)组合模型的短期负荷预测方法。首先,利用CEEMDAN模型将复杂的原始负荷序列分解为几个相对简单的子序列;其次,利用卷积神经网络(CNN)和门控循环单元(GRU)建立各分量预测模型,将归一化后的分量输入训练模型,得到预测子序列;最后,将所有分量的结果汇总,得到最终预测结果。结果表明,与LSTM模型、GRU模型、CNN-GRU及CEEMDAN-GRU组合模型相比,CEEMDAN-CNN-GRU组合模型所测精度有了明显提升,平均提升了25.08%,23.59%,20.41%和13.53%。CEEMDAN-CNN-GRU组合模型能够提取历史负荷数据中的非线性特征,有效提升短期负荷预测精度,可为电力系统建设提供有力支撑。

摘要： 近年来,基于深度学习的表面缺陷检测方法成为研究热点,其中卷积神经网络是基于深度学习缺陷检测的主流方法,本文总结了近几年基于卷积神经网络的缺陷检测方法,包括卷积神经网络、自编码神经网络、残差卷积神经网络和全卷积神经网络,介绍这几种网络的特点,以及它们在表面缺陷检测上的应用,并对这些方法进行总结,分析各种方法的优缺点.

摘要： 深度学习(Deep Learning,DL)是机器学习的技术和研究领域之一.通过建立具有阶层结构的人工神经网络(Artificial Neural Networks,ANNs),在计算系统中实现人工智能,是目前很流行的机器学习方法.与此同时,卷积神经网络可谓是现在深度学习领域中大红大紫的网络框架,在计算机视觉领域更是一枝独秀.对卷积神经网络的发展进行了概述,列举了几种比较经典的卷积神经网络,并提出了卷积神经网络的未来发展趋势.

摘要： 航空发动机在高温、高负荷状态下工作,出厂后发动机的性能将会不可避免地出现退化,基于部件特性建立的性能仿真模型精度也会逐渐降低.而基于数据驱动的建模方法通过分析发动机在运行过程中的历史参数变化来预测发动机的未来性能趋势,能用于发动机性能保持、延寿和全寿命周期的设计优化,对于发动机的运行维护具有重要意义.本文以发动机历史气动热力学测量参数数据为基础,利用扩张卷积和因果卷积建立了一个时序卷积神经网络,挖掘各测量参数之间的隐藏关系,实现对关键性能的预测.该预测模型可根据需求灵活地设置预测参数及预测周期数,基于发动机长试数据来验证模型的准确度,在实际发动机数据来源台份不足时,通过仿真拟合的方法来补充数据集.结果表明,无论是实测参数还是仿真参数,该模型均具有较高的预测精度,为发动机的性能预测提供了一种有效的方法.

摘要： 光学遥感图像船只目标检测存在着检测率低、虚警高、计算量大的问题.面向卫星平台智能化船只目标检测系统,提出了一种层次化智能解译的船只目标检测算法.利用自适应阈值分割实现了海陆分离,去除了算法在陆地区域可能产生的虚警.利用Top-Hat算法进行了船只目标候选区域提取;设计了级联的虚警剔除方法屏蔽了大量的虚警;针对易混的虚警信息,通过卷积神经网络对ROI进行二分类,实现了船只目标的精确检测.

摘要： 基于ResNet50深度神经网络模型和核素富集检测装置,本文研究设计了一种用于海洋环境监测的智能无人系统.该系统搭载用于姿态估计的嵌入式神经网络运算单元、运动控制单元和核素富集检测装置,其中核素富集检测装置基于纳米吸附复合材料和γ探测器实现对海洋核素的现场快速富集检测.改进的ResNet50卷积神经网络模型直接以摄像机捕获图片作为输入,通过两个部分参数共享的子网络实现对当前位置的六自由度姿态估计,在DeepLoc和King's College数据集上取得的位置估计误差和角度估计误差分别为1.23m和5.07°,以及1.68m和4.25°.仿真结果表明该无人系统具有较高精度的视觉定位效果,将为实现海洋环境监测的智能化和无人化提供关键技术支撑.

摘要： 随着信息技术的迅猛发展,入侵检测系统越来越受到关注.文中针对在入侵检测中单一应用卷积神经网络(CNN)和循环神经网络(RNN)无法同时学习时序和空间特征的问题,提出了一种基于CNN和RNN的混合模型,将CNN和RNN模块的输出线性连接形成中间混合层.通过在NSL-KDD数据集上的实验结果可知,该模型有效提高了入侵检测识别的精度和分类准确性.

摘要： 语义分割是图像理解的重要手段.为每个像素分配相应的标签,将图像分割成不同的类别区域,在无人驾驶医学图像处理等领域具有重要的研究意义.对近年来语义分割的方法进行阐述,从分辨率、多尺度和注意力机制3个角度对模型结构研究进展进行分析比较,最后对语义分割所面临的挑战和发展趋势进行探讨.

摘要： 网络技术的快速发展使网络流量的组成更加复杂,流量数据的分类问题面临着更大的挑战.文中提出一种基于卷积神经网络与长短时记忆循环神经网络的双分支网络分类方法,在双分支网络并行训练后确定相应的网络权值,拟合得出最终的分类结果.网络在普通流量、恶意流量以及加密流量的数据集测试中具有较高的准确率以及强健的稳定性.

摘要： 显著性区域提取旨在模拟人类视觉系统快速关注图像中感兴趣区域的能力,可作为图像预处理技术为后续的目标检测任务提供有价值的候选目标集,这在目标空间占比较小的图像场景中(如遥感图像)尤为重要.虽然当前以卷积网络为代表的显著性区域提取技术已取得长足进步,但仍存在诸多技术局限:(1)提取准确性有赖于大规模的训练数据,样本搜集与标注的人工代价高昂;(2)模型的训练与推理计算开销过大,不利于资源受限的嵌入式硬件平台部署.为了解决上述问题,设计了一种高效的显著性区域提取网络,将传统图像小波分析与经典的稀疏编码、条件随机场等机器学习方法相结合,针对性地挖掘图像纹理结构信息及空间上下文奇异性,进而预测显著性区域.从技术上讲,(1)网络的小波纹理结构分析单元通用性良好,可规避样本训练过程,降低训练样本依赖性;(2)网络的稀疏编码单元可实现特征向量的低熵编码,有助于提升特征的鲁棒性;(3)网络的邻域关联单元基于条件随机场模型,可利用空间上下文间的关联性来挖掘图像奇异性信息,从而联合判断显著性区域.实验表明,与基于手工特征提取的显著性区域提取方法相比,所提方法具有相当甚至更优的提取准确性;与传统的深度学习网络相比,所提方法具有良好的训练与推理计算效率.

摘要： 显著性区域提取旨在模拟人类视觉系统快速关注图像中感兴趣区域的能力,可作为图像预处理技术为后续的目标检测任务提供有价值的候选目标集,这在目标空间占比较小的图像场景中(如遥感图像)尤为重要.虽然当前以卷积网络为代表的显著性区域提取技术已取得长足进步,但仍存在诸多技术局限:(1)提取准确性有赖于大规模的训练数据,样本搜集与标注的人工代价高昂;(2)模型的训练与推理计算开销过大,不利于资源受限的嵌入式硬件平台部署.为了解决上述问题,设计了一种高效的显著性区域提取网络,将传统图像小波分析与经典的稀疏编码、条件随机场等机器学习方法相结合,针对性地挖掘图像纹理结构信息及空间上下文奇异性,进而预测显著性区域.从技术上讲,(1)网络的小波纹理结构分析单元通用性良好,可规避样本训练过程,降低训练样本依赖性;(2)网络的稀疏编码单元可实现特征向量的低熵编码,有助于提升特征的鲁棒性;(3)网络的邻域关联单元基于条件随机场模型,可利用空间上下文间的关联性来挖掘图像奇异性信息,从而联合判断显著性区域.实验表明,与基于手工特征提取的显著性区域提取方法相比,所提方法具有相当甚至更优的提取准确性;与传统的深度学习网络相比,所提方法具有良好的训练与推理计算效率.

摘要： 在一个实施方案中，一种智能系统包括电子电路，所述电子电路被配置为执行神经网络，以在执行所述神经网络的同时检测身体部位的图像中的至少一个特征，以及在执行所述神经网络的同时确定检测到的每个所述至少一个特征的相应位置和类别。例如，这种系统可以执行神经网络以检测肺的图像中的至少一个特征，确定每个检测到的特征在所述图像内的相应位置，以及将检测到的每个所述特征分类为以下项之一：A线、B线、胸膜线、实变和胸腔积液。

摘要： 本发明公开了一种卷积神经网络加速引擎、卷积神经网络加速系统及方法，属于异构计算加速领域，引擎包括：全局缓存和物理PE矩阵；物理PE矩阵包括多个物理PE单元，物理PE单元用于执行行卷积操作以及相关的部分和累加操作；XY互联总线用于将输入特征图像数据、输出特征图像数据和卷积核参数从全局缓存传输到物理PE矩阵上，或者将物理PE矩阵产生的操作结果传输到全局缓存中；邻接互联总线用于在同一列物理PE单元之间传输中间结果；系统包括：3D‑Memory，其中每个Vault单元的内存控制器中集成了卷积神经网络加速引擎，用于完成卷积神经网络计算任务的一个子集；方法在系统的基础上进行逐层优化。本发明能够提高卷积神经网络的性能和能耗。

摘要： 本发明实施例提供了一种卷积神经网络系统、忆阻器阵列和卷积神经网络，所述系统通过忆阻器阵列中多列位线和多行字线，采用大小为N*N的卷积核对待处理图像中的当前图像块进行卷积运算，包括：根据卷积核的步长在待处理图像上先后选取重叠相邻的两个图像块，确定两个图像块之间复用的多个像素点的特征值；根据复用的多个像素点的特征值，确定前N列位线中复用的多个权值；根据所述多个权值设置忆阻器单元的工作状态和电导；获得前N列位线各自在当前卷积运算周期内输出的电流值，作为卷积结果。本发明实施例提供的卷积神经网络系统，利用图像块之间复用的多个像素点的特征值进行卷积运算，增加了忆阻器阵列在每个周期内的计算量，提高了计算效率。

摘要： 本发明公开了一种卷积神经网络芯片以及卷积神经网络芯片操作方法。本发明的卷积神经网络芯片包括：预定数量的存储阵列，用于存储一层卷积神经网络的输入数据阵列，其中所述预定数量大于等于卷积神经网络的内核尺寸；而且其中，输入数据阵列的每一行依次存在一个存储阵列的各行内。相对于传统的内存架构，本发明获得了几倍内存读取速度的提升，从而可以获得相同的总体速度提升。因此，本发明提供了一种能够提高内存读出速度新的神经网络芯片内存架构。

摘要： 本发明属于神经网络深度学习领域，具体涉及一种卷积神经网络‑图卷积神经网络可重构硬件加速架构。本发明利用可配置寄存器对卷积神经网络‑图卷积神经网络两种神经网络的运算进行配置重构；针对卷积神经网络数据使用重排图像块为矩阵列方法，将三维卷积转换为二维矩阵运算，使得不同的神经网络运算可以复用处理元件阵列单元，以及数据静态存储控制单元、权重静态存储控制单元，达到资源复用。本发明实现了两种神经网络在同一硬件架构进行加速，大大节约了硬件开销，通过一个架构可以跑多种算法，这将节省资源，大大提高通用性，极大程度上促进整个产业的发展。

摘要： 本申请实施例公开了一种基于卷积神经网络的图像分类方法、装置、卷积神经网络、电子设备及计算机可读存储介质，所述方法包括：获取第一数据，所述第一数据表征为多个图像和与每个图像对应的类别信息；基于所述第一数据对所述卷积神经网络进行训练；利用基于所述第一数据训练得到的所述卷积神经网络，对待识别图像进行识别，得到与所述待识别图像对应的类别信息；卷积神经网络包括依次连接的第一处理层、两个以上并行的子卷积神经网络层及第二处理层；本申请提出了全新的卷积神经网络，通过两个以上并行的子卷积神经网络层能够提高特征值的提取数量，并降低数据处理过程中的运算量，提高数据处理的效率。

摘要： 公开了一种卷积神经网络的量化感知训练方法，包括，对第一卷积神经网络进行样本训练，其中，第一卷积神经网络中至少一个卷积层包括有可合并分支结构和至少一个第一直连分支，将训练后的第一卷积神经网络至少一个卷积层中的至少一个第一直连分支予以保留，将卷积层中除第一直连分支之外的可合并分支结构进行合并，得到具有第一直连分支结构的第二卷积神经网络，基于第二卷积神经网络进行量化感知训练，以提高卷积神经网络模型的量化精度。

摘要： 本发明公开了一种卷积神经网络的加速方法及卷积神经网络加速器，包括：获取当前卷积层量化后的输入特征图数据；对所述输入特征图数据进行分割处理，得到第一输入特征图数据和第二输入特征图数据；将位于同一通道的第一输入特征图数据和第二输入特征图数据交替拼接，得到拼接输入特征图数据；利用预先读取到的权重数据，对所述拼接输入特征图数据进行乘累加运算，得到所述当前卷积层的卷积计算结果。采用本发明实施例能够提高PE运算阵列进行乘累加运算的资源利用率，进而缩短卷积神经网络的运算时间。

摘要： 本发明公开了一种卷积神经网络的加速方法及卷积神经网络加速器，包括根据输入特征图数据的地址信息，将从片外存储器中读取到的输入特征图数据暂存至片上存储器的缓存区；在将读取到的输入特征图数据暂存至缓存区的过程中，获取当前暂存的输入特征图数据位于缓存区内的位置；当判断到位置位于预先确定的规定位置，对缓存区进行滑窗处理；在进行滑窗处理时，将滑窗内的所有输入特征图数据拼接成一个待填充输入数据，并将待填充输入数据的剩余通道进行填充处理，得到一个输入数据；利用预先读取到的权重数据，对输入数据进行乘累加运算，得到卷积计算结果。本发明实施例能够提高PE运算阵列进行乘累加运算的资源利用率，进而缩短运算时间。

摘要： 本申请涉及一种卷积神经网络的注意力模块、注意力机制及卷积神经网络，注意力模块首先利用可形变卷积分别在水平方向与竖直方向进行特征提取，以方便后续编码时更能捕捉到物体的位置信息；其次，注意力模块沿一个空间方向捕获远程依赖关系，同时沿另一空间方向保留精确的位置信息，使得竖直方向和水平方向的信息均得以保留；然后经系列变换后得到注意力向量，并作为权重因子点乘回原特征向量，如此，可以融合空间的注意力和通道的注意力，解决了现有注意力机制在空间和通道上运算统一的问题，且可以提高卷积神经网络的精度。