视觉注意机制

摘要： 针对复杂纹理瓷砖表面缺陷检测困难的问题,提出一种基于人眼视觉注意机制的显著性目标检测方法并用于瓷砖表面缺陷检测。利用单尺度SSR光照校正方法和双边滤波方法对图像进行预处理;根据视觉注意机制中的对比度原理及高频抑制原理,针对复杂背景纹理的“成像性”与“聚集性”特征,建立基于视觉注意机制的检测模型,根据视觉注意机制中的对比性原理和高频抑制原理对瓷砖表面进行特征提取,再依据图像的显著性准则得到图像颜色斑块权重显著图和图像特征融合显著图并将两者融合,进行缺陷的判定和标记,最终得到已标记的瓷砖缺陷。将此缺陷检测算法和另外2种算法应用于随机选取的3类复杂纹理瓷砖并进行对比实验,结果表明,相比较于其他算法,此算法对复杂纹理瓷砖的缺陷检测达到96%以上的综合检测率,可以获得良好的瓷砖缺陷检测效果。

摘要： 通过分析界面布局样式设计的合理性及评价结果的客观性,探究符合用户的视觉注意规律和偏好的界面布局设计样式为目的。以五个热门短视频类APP主界面为实验材料,使用SMI眼动仪获取被试在卡片式、分割式和通栏式这三种界面布局样式中的眼动数据,并构建基于熵权法与灰度关联法的数据指标评价模型。得到被试在通栏式界面布局样式中注意更集中,对此界面设计的评价最高。因此得出个体更偏好简洁直接的通栏式布局样式。

摘要： 为了提升基于人类视觉系统检测方法的检测率、检测速度和场景适应能力,构建了一个多场景红外弱小目标数据集,提出了一种基于视觉注意机制的红外弱小目标检测算法。从自底向上的机制出发,提出多尺度灰度-方差估计,快速计算显著图并估计出最优目标尺寸,使用基于加速分割测试特征的角点检测算法快速提取候选目标,并引入非极大值抑制去除冗余。从自顶向下的机制出发,结合生物侧抑制理论与余弦相似度,提出了软竞争模糊自适应共振网络,并设计一个特征集对目标进行描述。最后,使用网络训练所得模型完成对候选目标的识别。实验结果表明:与5种代表性基于人类视觉系统的方法相比,本文方法具有更高的检测概率和更快的检测速度,且在不同场景的性能更具稳定性。

摘要： 果实表型数据高通量、自动获取是果树新品种育种研究的基础,实现幼果精准检测是获取生长数据的关键.幼果期果实微小且与叶片颜色相近,检测难度大.为了实现自然环境下苹果幼果的高效检测,采用融合挤压激发块(Squeeze-and-Excitation block,SE block)和非局部块(Non-Local block,NL block)两种视觉注意机制,提出了一种改进的YOLOv4网络模型(YOLOv4-SENL).YOLOv4模型的骨干网络提取高级视觉特征后,利用SE block在通道维度整合高级特征,实现通道信息的加强.在模型改进路径聚合网络(Path Aggregation Network,PAN)的3个路径中加入NL block,结合非局部信息与局部信息增强特征.SE block和NL block两种视觉注意机制从通道和非局部两个方面重新整合高级特征,强调特征中的通道信息和长程依赖,提高网络对背景与果实的特征捕捉能力.最后由不同尺寸的特征图实现不同大小幼果的坐标和类别计算.经过1920幅训练集图像训练,网络在600幅测试集上的平均精度为96.9％,分别比SSD、Faster R-CNN和YOLOv4模型的平均精度提高了6.9百分点、1.5百分点和0.2百分点,表明该算法可准确地实现幼果期苹果目标检测.模型在480幅验证集的消融试验结果表明,仅保留YOLOv4-SENL中的SE block比YOLOv4模型精度提高了3.8百分点;仅保留YOLOv4-SENL中3个NL block视觉注意模块比YOLOv4模型的精度提高了2.7百分点;将YOLOv4-SENL中SE block与NL blocks相换,比YOLOv4模型的精度提高了4.1百分点,表明两种视觉注意机制可在增加少量参数的基础上显著提升网络对苹果幼果的感知能力.该研究结果可为果树育种研究获取果实信息提供参考.

摘要： 现有的超声影像存在大量相干斑噪声与高密度影的白色强回声,导致显示质量不佳.为了有效地提升超声检查影像的显示质量与清晰度,本文在视觉注意机制下提出了一种边缘激励的超声影像质量提升方法,该方法设计的加权自适应尺度局部边缘定位算法,能够在有效定位边界的同时,抑制相干斑杂波.临床效果分析结果表明,本文提出的算法具有良好的质量提升性能,能够针对不同角度不同场景下实现稳定而快速清晰显示,适合各种低成本超声影像设备.

摘要： 当今图像数据呈爆炸式增长,如何利用计算机高效地获取、处理图片信息成为领域内重要的研究课题.在人类视觉注意机制的启发下,研究人员发现将这种机制引入机器图像处理任务中可以大大提高信息提取的效率,从而更好地节省有限的计算资源.视觉图像显著性检测即利用计算机模拟人类的视觉注意机制,对图片中各部分信息的重要程度进行计算.其在图像分割、视频压缩、目标检测、图像索引等领域得到了广泛的应用,有着重要的研究价值.文中介绍了图像显著性检测算法的研究现状,首先以信息驱动来源为切入点,对显著性检测模型进行概述,之后分析了现有几种典型的显著性检测算法,并根据是否基于学习的模型将其分为基于非学习模型、基于传统机器学习模型以及基于深度学习模型3类.针对第一类,文中较为详细地对基于局部对比度和基于全局对比度的显著性检测算法进行了分类比较,指出了各自的优势与不足;针对后两类,分析了机器学习算法及深度学习在显著性检测中的应用.最后对现有的显著性检测算法进行了总结比较,对该领域研究的下一步发展方向进行了展望.

摘要： 提出了一种基于视觉注意机制的红外小目标检测算法.通过形态学Top-hat算子对图像背景进行抑制,并根据目标与周围背景的对比度不同生成显著图后分割出目标感兴趣区,在感兴趣区域内对每帧图片在尺度空间采用Dog算子处理提高图像信杂比,获得具有较大信杂比的点.为避免目标在帧中消失,采用PID算法跟踪目标点,在可疑目标点周围小区域内采用视网膜皮层理论(Retinex)算法对图像局部区域增强再重新分割出目标.实验证明:该算法能有效对红外小目标进行检测,算法在不同背景的图像检测性能都趋于稳定,当目标融于背景时,能很好地将红外目标检测出来.

摘要： 提出了一种基于视觉注意机制的分层阈值化红外小目标检测算法.在采用形态学处理和Gamma校正对图像进行预处理的基础上,通过分层阈值化和连通域分析提取感兴趣区域(ROI),利用高斯滤波提高ROI的信杂比并确定候选目标,最后通过移动式管道滤波剔除伪目标,实现运动小目标的准确定位.实验表明该算法能有效地检测出小目标,且对于低信噪比的图片具有良好的适应性.

摘要： 讨论了基于视觉注意机制的图像感兴趣区域(ROI)提取算法,提出了ROI提取算法要点,实例表明该算法在迷彩设计中具有应用价值.

摘要： 本文针对SURF算法用于遥感图像配准时因提取特征点较多而导致的存储空间大和计算效率不高的问题,提出基于视觉注意机制的图像配准方法.首先,分别在基准图与待配准图上利用Itti模型生成显著图并提取显著区域;然后,对显著区域采用SURF算法提取特征点并进行匹配;最后,在显著区域配准的基础上实现遥感图像的精确配准.实验结果表明了此方法的可行性和有效性.

摘要： 针对itti模型只提取颜色、方向和亮度3种特征进行显著性区域提取,造成错检,对itti模型进行改进,考虑了纹理特征,针对小目标考虑了频域中的显著性.对改进的算法进行仿真,与传统itti模型相比,改进算法检测精度高,实时性好,显著区域与目标基本一致,适合应用于海洋监视卫星图像船只目标的检测.

摘要： 一种基于卷积神经网络、注意力机制及自注意力变换器的视觉描述方法。涉及图像处理、计算机视觉及自然语言处理等领域，本方法研究基于跨场景的图像描述方法中文本语意连续性交较差，场景描述精度较低的问题以及该方法在视觉描述中的应用。本方法提出了一个高效的图像特征注意力网络，即AMNet，直接使用ResNet作为骨干网，使用其全连接层特征。对于图像特征应用了我们的图像特征注意力结构，通过将图像特征拆分为16个子特征，使用改进的循环神经网络在提高精度的同时保留有效前序特征，以解决语意连续性交较差，场景描述精度较低的问题。

摘要： 一种基于卷积神经网络、注意力机制及自注意力变换器的视觉描述方法。涉及图像处理、计算机视觉及自然语言处理等领域，本方法研究基于跨场景的图像描述方法中文本语意连续性交较差，场景描述精度较低的问题以及该方法在视觉描述中的应用。本方法提出了一个高效的图像特征注意力网络，即AMNet，直接使用ResNet作为骨干网，使用其全连接层特征。对于图像特征应用了我们的图像特征注意力结构，通过将图像特征拆分为16个子特征，使用改进的循环神经网络在提高精度的同时保留有效前序特征，以解决语意连续性交较差，场景描述精度较低的问题。

摘要： 本发明提供了一种基于注意力机制的自然语言视觉推理方法。主要包括一个语言解析处理和三个视觉处理模块，首先，输入语言表达式，利用one‑hot编码、BiLSTM编码等进行处理，并据此计算三个视觉处理模块用的短语嵌入表示和权重；然后，利用Mask R‑CNN检测器对输入图像进行目标检测，并将其检测结果分别输入到主语模块、位置模块和关系模块，每个模块分别计算其匹配得分；最后，计算三个模块匹配得分的加权和作为总体匹配得分，以总体匹配得分最高的候选对象作为语言表达式描述的对象，输出其位置框，完成图像的视觉推理。本发明具有更好的上下文信息理解力，且能够处理多种结构的表达式。

摘要： 本发明公开了一种基于视觉显著性和通道注意力机制的色彩传递方法，属于数字图像处理技术领域。本发明基于参考图像的视觉显著性特征提取，并基于结合了通道注意力机制的生成对抗网络模型，提出了针对参考图像颜色特征进行着色的色彩传递方法，提高了颜色特征提取的准确性和最终色彩传递的效果，能够获得色彩更加真实、自然的着色结果，并且该结果能够学习到更符合人眼视觉系统认知的参考图像颜色风格。

摘要： 一种非线性残差自注意力机制的卫星姿态视觉测量算法。所述测量方法流程包括：构建卫星姿态旋转数据集，获取图像单通道矩阵，通过卷积神经网络提取局部特征，位置编码器对局部特征进行位置编码，非线性残差自注意力机制对位置编码后的图像特征进行学习，通过全连接层输出姿态测量信息。使用单通道图像匹配自注意力机制只能处理二维矩阵的特点，可以保留图像位置信息和压缩模型大小。针对自注意力机制的缺陷，引入非线性激活函数和残差网络，提出了一种非线性残差自注意力机制，可以提升模型表达能力和训练效率。本发明实施例基于视觉和深度学习算法，观测手段方便，解算卫星姿态信息快捷，为推动我国空间非合作目标探测发展提供了理论和技术基础。

摘要： 基于动态路由注意力机制的视觉问答方法、存储介质及设备，属于自然语言处理技术领域。为了解决现有的引入了多层注意力的问答模型由于参数量过多，从而导致了训练时长，甚至梯度消失的问题。本发明将图像I和文本问题Q输入视觉问答模型以获得问答答案；视觉问答模型包括：对图像和文本问题进行特征提取的特征提取单元、使用动态路由的方式分别以文本问题特征、视觉特征作为参考向量和特征矩阵在图像中进行注意力权重的更新，根据注意力权重分布获取到图像中的输出向量的动态路由注意力网络单元，以及将获取到的输出向量输入到两层全连接层进行特征转换，然后通过预测层对问题的答案进行预测的答案预测单元。本发明主要用于视觉问答。

摘要： 本发明提供一种基于深层推理注意力机制的视觉问答方法，其特征是：包括以下步骤：步骤一：获取文本特征和图像特征编码向量；步骤二：将文本特征和图像特征映射到同一个空间进行交互推理学习；步骤三：答案预测。本发明的主要目的是解决如何高效的提取视觉特征和文本特征，同时对其实现更细粒度的推理。本发明引入记忆网络模型去存储关键信息，进而提升模型的推理能力。通过在基准数据集VQAv2数据集测试，该模型取得了有竞争力的结果。

摘要： 本发明提供了一种基于注意力跟踪机制的视觉云台控制方法及系统，包括：获取跟踪目标的中心点坐标和注视点坐标；依据所述中心点坐标，以及第一目标跟踪模型，得到预测中心点坐标；依据所述注视点坐标，以及第二目标跟踪模型，得到注意力跟踪预测坐标；根据所述预测中心点坐标和所述注意力跟踪预测坐标，确定最终预测坐标；利用所述最终预测坐标以及比例控制调整云台；本发明在实现调整云台时，考虑了目标注视点坐标的因素，通过根据目标中心点坐标和和注视点坐标分别得到预测点坐标，再综合考虑两个预测的坐标确定最终预测坐标，从而实现对云台角度的调节控制，考虑了目标注视点因素，提高了控制精度。

摘要： 本申请提供一种基于时空注意力机制的视觉语言识别方法和相关设备。所述方法包括：获取待识别视频；根据所述待识别视频，得到唇部图像序列；计算所述唇部图像序列的时空注意力，根据所述时空注意力，得到特征向量；对所述特征向量进行序列建模，得到解空间；对所述解空间进行搜索，最终得到所述待识别视频对应的语言文字。

摘要： 本发明公开了一种基于视觉注意机制的图像目标区域检测方法。包括：计算参考图像的底层视觉特征描述子；接着利用SLIC方法对实时图像进行超像素分割，再对当前实时图像信息进行区域化描述，然后利用自底向上的数据驱动方法计算各个超像素的显著值，由各个超像素的显著值构成实时图像的显著图；再利用模糊匹配方法计算实时图像的各个超像素与参考图像之间的相似度；然后利用基于相似度和显著值的区域融合扩展方法对实时图像的显著图进行区域拓展后，获得实时图像的可能目标区域；对实时图像的可能目标区域进行筛选后得到当前实时图像的最终目标区域。本发明提高了在复杂环境中目标区域检测的准确性，同时保证在低算力设备上运行的实时性。