视觉注意模型

摘要： On the basis of studying the theories of classical ITTI visual attention models, the defects of traditional visual models applied to sea-surface SAR images are summarized according to the characteristics of the background and the target of sea-surface SAR images. A visual attention model design algorithm for sea-surface SAR images is proposed. Firstly, the model uses the basic framework of the classical ITTI model, selects and extracts the texture and shape features that can describe the SAR image well. Then the corresponding saliency map of features is obtained. Secondly, the new integration mechanism of the saliency map of features is adopted to replace the linear-adding mechanism of the classical model for fusing the saliency maps and obtaining the overall saliency map. Finally, the gray features of the attention focus of all the saliency maps are integrated to select the optimal significance characterization. By using the multi-scale competitive strategy, the filtering and threshold segmentation are completed to realize the accurate screening of significant areas. Therefore, the detection of the significant areas of SAR images is completed. Experiments were carried out by using Terra-SAR-X and other satellite data, and their results verified the good significance-detection effects of the model. The model can better meet the demands of the detection of high-resolution image targets. By carrying out further comparative analysis with the classical visual model, it is discovered that the proposed algorithm can not only reduce the impact of the false alarm caused by speckle noise and uneven sea-clutter background on the detection result, but also greatly improve the detection speed by 25％ to 45％.%在研究了经典ITTI等视觉注意模型的理论基础上,结合海面SAR图像背景及目标特点,对传统视觉模型应用于海面SAR图像的缺陷进行分析总结,提出一种适用于海面SAR图像视觉注意模型设计算法.首先,模型借鉴经典IT-TI模型的基本框架,选择并提取了能够较好描述SAR图像的纹理和形状特征,求取相应的特征显著图;其次,采用新的特征显著图整合机制替代经典模型的线性相加机制进行显著图融合得到总显著图;最后,综合各特征显著图下注意焦点的灰度特征,选择最佳的显著性表征,完成通过多尺度竞争策略对显著图的滤波及阈值分割实现显著区域的精确筛选,从而完成SAR图像的显著区域检测.实验采用TerraSAR-X等多幅卫星数据进行仿真实验,结果验证了模型良好的显著性检测效果,更符合实际高分辨率图像目标检测的应用需求.通过进一步与经典视觉模型对比分析,模型在改善了由斑点噪声和不均匀的海杂波背景对检测结果产生的虚警影响的同时,检测速度也较之提高了25％～45％.

摘要： 本研究站在视觉注意模型的基础上,制定出了一种输电线路违规检测方法,分析了违规线路和其他环境的图像差异,分类计算线路边缘直方图特征,与其他线路环境的图像梯度分布相比,违规线路差异明显.对其展开修补,并采取一定的手段来划分违规线路,使其成为不同的阶段.全面分析整合机器人自身传感器的特点,将其与违规线路检测结果相结合,对现阶段机器人的运行情况进行判定,此外根据当前补修作业流程运作模型,对状态转移函数进行补充完善,形成规划的完成需要借助状态转移等手段开展起来.此外违规线路检测实验、行为规划实验等均离不开实验室模拟线路环境的支撑,实验表明该方法的有效性.

摘要： First,the saliency is extracted from the original image based on visual attention model.Then,the image is decomposed by Non-negative Matrix Factorization (NMF) to reduce the dimension and scrambled by chaotic encryption.The decomposed saliency map is embedded into the frequency component of the original image by DCT-SVD transform.At the receiving terminal,the watermarking is extracted from the received image,and the saliency map of the received image is also extracted.Finally,comparison of the difference between the received image's saliency map and watermarking,the Lorenz curve and the reasonable threshold are used to determine whether the received image is changed by noise or artificial tampering.Compared with other similar algorithms,the proposed algorithm has good discrimination against noise interference and artificial tampering.%首先提取原图像基于视觉注意模型的显著图,然后通过NMF分解得到降维显著图作为灰度水印图像,之后通过混沌加密算法对水印图像进行置乱,将置乱后的水印信息通过DCT-SVD变换嵌入原图像的低频分量中.在接收端,对接收到的图像进行水印提取和解密操作得到原始灰度水印图像,即原图像的显著图,同时提取接收图像的显著图,通过对比原图像显著图与接收图像显著图的差异性,利用基于Lorenz曲线的差异算法与合理阈值判断接收图像是否受到噪声干扰或人为篡改.与其他类似算法的对比结果表明,该算法针对噪声干扰与人为篡改有着很好的区分性.

摘要： 为了解决SAR图像基于人类视觉注意模型舰船检测算法中需要人工确定经验阈值的问题,提出一种自适应阈值的视觉注意模型SAR舰船检测算法.引入最大类间方差(OTSU)法确定自适应阈值进行图像初分割,再应用视觉注意模型得到视觉显著图,最终根据显著图的统计特性进行自适应阈值分割检测出舰船目标.该算法相对于已有的视觉注意模型舰船检测算法自动化程度更高,与视觉注意模型舰船检测算法以及目前普遍使用的双参数CFAR、K CFAR、KSW双阈值算法同时处理3种星载SAR数据——ENVISAT ASAR(25m)、Sentinel-1(10m)和Cosmo-SkyMed(3 m),进行对比分析实验,实验结果证明该算法简单、准确、高效.%In the SAR image,ship detection algorithm based on the human visual attention model needs to manually determine the experience threshold.In order to solve this problem,ship detection algorithm in synthetic aperture radar imagery based on adaptive threshold of visual attention model is proposed.Firstly,the maximum between class variance method,i.e.OTSU method,is introduced to determine the adaptive threshold for image segmentation.Then,a visual saliency map is obtained by using the visual attention model.Finally,according to the statistical characteristics of the saliency map,the adaptive threshold segmentation method is used to detect the ship targets.Compared with the existing visual attention model,the proposed ship detection algorithm has higher automation degree.The proposed algorithm,the visual attention model of ship detection algorithm,and the commonly used algorithm of two parameters CFAR,K-CFAR and KSW double threshold algorithm are used to deal with three kinds of spaceborne SAR data,which are ENVISAT ASAR (25 m),Sentinel-1 (10 m)and Cosmo-SkyMed (3 m)simultaneously.The comparative analysis experiment is then carried out.The experimental results show that the proposed algorithm is simple,accurate and efficient.

摘要： 目的 为研究多场景下的行人检测,提出一种视觉注意机制下基于语义特征的行人检测方法.方法 首先,在初级视觉特征基础上,结合行人肤色的语义特征,通过将自下而上的数据驱动型视觉注意与自上而下的任务驱动型视觉注意有机结合,建立空域静态视觉注意模型;然后,结合运动信息的语义特征,采用运动矢量熵值计算运动显著性,建立时域动态视觉注意模型;在此基础上,以特征权重融合的方式,构建时空域融合的视觉注意模型,由此得到视觉显著图,并通过视觉注意焦点的选择完成行人检测.结果 选用标准库和实拍视频,在Matlab R2012a平台上,进行实验验证.与其他视觉注意模型进行对比仿真,本文方法具有良好的行人检测效果,在实验视频上的行人检测正确率达93％.结论 本文方法在不同的场景下具有良好的鲁棒性能,能够用于提高现有视频监控系统的智能化性能.

摘要： 多数图像目标识别过程只对主要目标物进行提取,再分类识别,造成图像背景信息丢失,为此提出一种背景约束机制(background restraint mechanism)下的目标识别方法.通过视觉注意模型分别提取图像的前景目标物和背景信息,实现图像的前景目标物与背景分离,通过对背景图像信息的提取识别形成对前景目标物的概率约束.将此约束机制引入分类器中形成一种BRM_GAM(background-restraint-mechanism_ Gaussian ARTMAP)分类模型,对前景目标物进行分类识别.实验结果表明,该方法有较好识别效率和时效性,符合人类认知.此外,提出一种利用GAM模型提取图像语义字典直方图,进行图像语义抽取的方法.

摘要： 为快速准确地获取图像感兴趣区域，有必要从宏观视觉通道到微观视觉神经细胞全程模拟生物视觉机制。首先，在模拟宏观视觉 where 通道的超复数傅里叶变换 HFT（Hypercomplex Fourier Transform）模型中，为突显图像中的显著目标，增加背景通道，抑制背景信息；其次，用模拟生物视觉神经元的脉冲耦合神经网络 PCNN（Pulse Coupled Neural Network）来扩展 HFT 模型：将改进HFT 模型的显著图作为简化 PCNN 的输入图像，并利用最小交叉熵分割出感兴趣区域。实验结果表明，该感兴趣区域提取算法的准确性达到98．1％，提取时间为5．732 s，能够快速准确地检测出图像的感兴趣区域。%In order to acquire image’s region of interest quickly and accurately,it is necessary to simulate the whole process of biological vision mechanism from macroscopic visual channel to micro visual nerve cells.First,in hypercomplex Fourier transform (HFT)model which simulates the macroscopic visual “where”channel,in order to highlight the salient objects in images,we add background channel to inhibit the background information;Secondly,we expand HFT model by pulse coupled neural network (PCNN)which simulates the biological visual neurons:taking the salient map obtained by the improved HFT as the input image of simplified PCNN and taking the advantage of minimum cross entropy to segment the region of interest.Experimental results show that the accuracy of the proposed region of interest acquisition algo-rithm achieves 98.1%,and the extraction time is 5.732 s,so it can acquire the region of interest quickly and accurately.

摘要： 计算机视觉领域内，为了模拟人类视觉系统，越来越多的视觉注意模型不断涌现，但缺乏对其进行客观、公正、合理的评价方法体系。针对此问题，首先，对现有模型广泛使用的测试图像集和评价模型的性能指标进行梳理和总结；其次，将统计学中的均方差指标和双侧T－test假设检验方法引到选择性视觉注意模型的显著性评价上；最后，提出一个综合评价视觉注意模型的方法体系准则，经实验验证与文献分析其评价结果较为客观、公正、可信。

摘要： 影像检索需提取大量的局部特征,本文提出运用视觉注意模型,以目标显著性提取显著目标区域,采用改进的SIFT算法提取关键点局部特征,得到特征向量,再对局部特征进行聚类.实验证明,此方法在图像检索精度和检索速度上有明显优势.

摘要： 针对人在回路模式中回传图像高压缩比与高保真度之间的矛盾,提出一种基于视觉注意模型的分级图像压缩方法.在采用视觉注意模型提取得到图像显著区域的基础上,按照显著区域、背景区域、过渡区域的三级划分对图像采取不同的压缩方式,实现对图像的压缩.实验结果表明,该方法在保留目标重要信息的同时,大大减少了图像传输的数据量.

摘要： 基于显著性视觉注意模型以颜色、方向和亮度为基本特征,但在提取图像高层语义研究中,视觉特征的贡献尚未明确.本文用Itti等提出的显著图模型,对图像数据库中的255类图像,通过分析不同特征通道相结合得到的显著位置,提出了衡量不同组间的差异指标,对每组得到的显著位置之间的差异进行分析,得到了各特征在模型中贡献的一种量化评价方法.结果表明,在基于显著性的视觉注意模型中,颜色是最为重要的特征.

摘要： 图像拷贝检测是数字图像检索和版权保护领域中的一个研究热点.近几年，基于Bottom-Up视觉注意模型的显著区域特征提取在图像检索中得到了广泛的研究.本文对经典的Stentiford视觉注意模型进行了改进，利用基于HSV颜色空间的颜色相似性度量进行匹配比较，采用线性累积递增的方式进行显著度计算.仿真实验表明改进后的视觉注意模型所生成的视觉注意图中的显著区域更加符合人眼视觉特性.同时，本文利用改进后的注意模型对各种拷贝处理后的图像进行显著区域提取，其提取的显著区域具有较好的稳定性.这些都表明此改进后的视觉注意模型可以为图像拷贝检测提供有价值的参考特征.

摘要： 视觉选择性注意机制是人类视觉系统的重要组成部分.近年来的研究表明,自下而上的视觉选择性注意模型在物体识别等方面得到了良好的应用.但是,视觉选择性注意模型在描述图像内容时存在着明显的不足,一个显著的特征在某些情况下可能不会得到注意,人眼更可能会注意到一幅图像里比较稀少的特征.针对上述情况,本文提出了一种基于视觉选择性注意模型和全局稀少性相结合的视觉注意模型进行图像分类.实验结果表明,该方法在多类物体分类中达到97.74%的总准确率,取到了非常好的效果.

摘要： HMM模型具有良好的适应性,可以自动学习,对预测随机时序数据性能良好.场景是足球视频的基本特征,场景的转换体现了足球视频的摄制、编辑模式,表现了足球视频的语义.提出了一种基于场景分析和HMM的视频语义分析框架,用于识别足球视频中的一些语义事件.为了克服以往基于主颜色和其他底层特征的视频场景分析中存在的较大误差,又提出基于视觉注意模型对足球视频中的场景进行分析.实验结果表明,基于场景分析和HMM的事件识别方法对足球视频中的任意球事件有良好的识别效果.

摘要： 针对可见光和红外图像中的各类团块目标,提出一种基于视觉注意模型的团块目标检测方法.该方法根据团块目标与背景在多种特征、多个尺度上的差异性,利用视觉注意模型确定目标位置,并根据尺度显著性准则提取目标区域.改进了视觉注意模型中显著图的计算过程,提高了视觉显著图的计算速度和分辨率,使之更适于团块目标的检测需要.实验结果表明,本文提出的算法对图像畸变和目标变化具有较好的适应性,对各种背景中出现的团块目标均取得了较好的检测效果.

摘要： 为实现射线图像复杂大背景下微小目标检测,研究在强噪声、大灰度梯度下微小缺陷的分割方法.在提出模拟人眼视觉的视觉扫描和中央周边差运算的基础上,提出了面向射线图像的视觉注意模型及其实现方法,以从射线图像复杂背景中分割出可疑缺陷区域,缩小图像数据处理量、排出射线图像其他部分的干扰.进一步提出基于视觉显著度和区域生长的微小目标分割方法,实现了微小缺陷的准确提取.在对复杂大背景X射线图像的实验中,准确提取出各含有未知缺陷目标的区域,对微小目标的分割取得了较好的效果,证明了本文方法的有效性和适应性.

摘要： 虚拟战场环境视景仿真属于感知仿真,其逼真度主要依据人的主观感受来判断,目前对于仿真的逼真性理论和视景仿真的评估方法的研究处于起步阶段,人工合成虚拟场景的逼真度还只是一个抽象的概念,缺乏理论依据和量化准则,其应用还停留在指导虚拟场景的构建和绘制的一个粗略的概念和原则的水平.对此,在对当前研究现状总结和分析的基础上,从人类视觉系统对信息感知和认知的角度出发,以视觉注意模型为基础,分析了影响视景仿真逼真度要素组成及相互关系,提出了主客观相结合的视景仿真逼真度综合评估框架,为视景仿真的逼真度评估提供了一种全新的视角.

摘要： 视觉注意能够反映用户对图像场景中主要目标的理解,在此基础上提出一种基于视觉注意和模糊区域生长的图像检索算法.首先,由改进的视觉注意模型得到显著图;然后,根据分割的结果,提出一种根据显著区域隶属度进行模糊区域生长的算法,合并相似区域以获得查询目标,并提取颜色和纹理特征;最后设计结合隶属度和区域邻接图的相似性度量准则.实验结果表明,该算法能够有效表达用户查询的语义,具有较好的检索性能.

摘要： 针对可见光与红外图像的融合,提出一种基于视觉显著性的可控权值融合算法.对于给定的同一场景的可见光和红外图像,首先计算多尺度高斯金字塔特征显著图,构成度量显著性的特征空间,然后提取图像中的注意焦点,把注意焦点等效为显著区域的种子点,用最大化熵的方法得到显著区域.在图像融合过程中,根据区域显著性的不同,采用不同的加权值,最终通过不同显著区域的加权和得到融合图像.实验结果表明:该算法既可保持可见光图像的显著信息,又可有效获取红外图像的显著热目标信息.

摘要： 本发明公开了一种基于注意力模型的RGB‑D图像视觉显著性检测方法，其构建的卷积神经网络的隐层包括RGB特征提取框架、深度特征提取框架和特征融合框架，RGB特征提取框架由第1个至第5个神经网络块、第1个至第3个上采样层组成，深度特征提取框架由第6个至第10个神经网络块、第4个至第6个上采样层组成，特征融合框架由第1个至第3个注意力模型、第11个神经网络块、第7个上采样层组成；优点是特征融合框架融合了RGB图和深度图相关的特征，使得训练过程中包含了从局部到全局，从低级到高级的RGB图像和深度图像这两种特征，且充分利用了RGB与深度模态之间的互补关系，并在融合的RGB‑D高阶表示的基础上进行最终显著性预测，使得预测结果更加接近人眼注视图。

摘要： 本发明涉及一种基于多注意力机制的机器人视觉示教学习模型及方法，该模型包括：图像特征预处理模块：包括若干级联的卷积层，用于提取图像的底层特征；卷积头模块：包括多个级联的卷积头，用于提取得到不同层次的特征图；域自适应模块：对不同层次的特征图进行计算构造多注意力内部损失，所述的多注意力内部损失用于自适应更新模型的策略参数；机器人动作预测模块：对不同层次的特征图进行残差连接后预测输出机器人动作。与现有技术相比，本发明通过提取不同层次的神经网络信息来学习机器人视觉任务，可以有效地增强模型的认知识别能力和任务适应能力。

摘要： 本发明公开了一种基于注意力图的视觉Transformer模型剪枝方法，应用于机器视觉推理系统，包括如下步骤：在机器视觉推理系统中，通过数据训练网络对ViT模型执行若干轮初始训练，以生成完整的注意力图；计算注意力图的信息熵，根据计算的信息熵大小对注意力头进行剪枝操作；移除被剪枝注意力头关联的各权重参数，以获得新ViT模型；重新微调新ViT模型的参数；通过对多头注意力模块进行剪枝，删除具有高不确定性的特征图和相应的注意力头，以减少ViT模型的参数和复杂性，降低ViT模型的计算复杂度和参数量，能够缩减ViT模型大小，最终达到在ViT模型性能有限损失的情况下实现ViT模型的轻量化。

摘要： 本发明基于多重注意力机制的动态记忆网络模型的视觉问答方法，包括以下步骤：步骤1，对输入的图像与文本进行预处理；步骤2，将步骤1输入的问题进行特征提取，根据其标点符号和空格，划分成独立的单词；步骤3，将步骤1输入的图片送入特征提取网络，得到由K个置信度最高的区域的特征组成的区域目标特征；步骤4，对步骤2与步骤3得到的问题特征与图片特征使用多重注意机制迭代更新记忆，来产生回答问题所需的上下文向量；步骤5，将步骤2中的问题特征与步骤4中产生的新图特征送入特征融合器联合推断出答案，其中答案从分类器给出概率最高的候选答案中选出。该方法提高了视觉问答模型的准确率。

摘要： 本发明涉及一种基于视觉注意机制和模型拟合的白细胞分割方法。本发明首先提出了一个基于视觉注意机制的颜色空间体积，以突出显示细胞核区域，然后使用自适应阈值方法分割细胞核。然后，提出了一个基于边界先验知识并移除背景区域，将得到的中心区域作为初始白细胞区域，进一步通过边缘检测获取白细胞轮廓，将得到的白细胞轮廓减去细胞核得到细胞质分割结果。最后，本发明提出了一个基于模型拟合策略的方法来解决白细胞粘连的问题，有效地将白细胞（包括细胞核、细胞质）从外周血涂片图像中分割出来，并对分割得到的白细胞进行计数和分类，有效地降低人为误差的影响。

摘要： 本发明提出了一种基于任务驱动的视觉注意模型提取激光条纹的方法，前期处理中通过Gabor滤波产生方向特征图，然后通过Otsu阈值分割并利用最近邻算法对数据进行聚类；后期处理中先根据激光条纹的厚度及空间跨度信息设计了三种度量方法：聚类结果中类的空间跨度度量、类的厚度度量和类的厚度均匀性度量，并提取在三种度量方法中显著性都得到增强的类从而提取激光条纹的主体轮廓；然后以主体轮廓为框架，选取各主体轮廓之间一定数目的属于激光条纹细节的类作为候选类，设计局部竞争算法提取激光条纹的细节部分，最终获取完整的激光条纹。该方法对焊缝图像包含和不包含电弧区域的两种情况都适用，且对不同接头轮廓的提取均有效，有利于降低焊接成本。

摘要： 本发明公布了一种视觉注意模型驱动的稀土矿开采区遥感信息智能提取方法。本发明所属技术领域为遥感数据智能挖掘方向，具体涉及稀土矿开采区遥感信息智能提取。本发明综合分析南方离子型稀土矿在高分辨率遥感影像上的特点，利用Itti视觉注意模型所生成的显著图作为GrabCut模型的初始输入，替代常规以人工选框的方式来得到GrabCut模型的初始输入，实现GrabCut模型自动分割图像；并将NDVI信息加入到GrabCut模型的能量函数中作为约束项，来减少植被等信息对目标信息提取的干扰，从而提高矿区目标提取的精度。该方法能自动地进行稀土矿开采区信息提取，且具有较高的提取精度，是一种实用性强的稀土矿开采区遥感信息智能提取方法。

摘要： 本发明提供了一种基于视觉注意模型的红外图像和可见光图像的融合检测方法。该方法包括：对采集到的红外图像和可见光图像分别进行预处理；基于人眼的视觉注意模型，从预处理后的红外图像和可见光图像中提取出兴趣目标；以预处理后的可见光图像为背景，将对应的预处理后的红外图像与作为背景的可见光图像进行灰度图像融合，得到灰度融合图像；对灰度融合图像进行所述兴趣目标的伪彩色映射标注，得到并输出目标伪彩色融合图像。应用本发明可以解决现有技术中的感兴趣的目标在融合图像中被弱化的问题，大大提高对兴趣目标的检测与识别的准确性和可靠性，降低目标识别的难度。

摘要： 本发明公开了一种应用于海难搜救机器视觉系统中，结合运动信息的视觉注意模型，在实施时，主要利用图像序列中的亮度、颜色和运动信息三个方面的特征，利用线性合并策略形成视觉显著图，并通过竞争机制获得当前视觉注意焦点，以此进行海难搜救的目标检测。此处的运动信息来源于图像序列的当前帧与滑动平均后背景图像之间差分的结果。本发明的使用，可以实现在海难搜救动态背景条件下生成搜救目标显著图，从而得到视觉注意焦点。本发明使用的运动信息计算量小、实现方便，同时该方法不必计算传统视觉注意模型中的方向特征，这样可以有效去除水天线带来的干扰，使视觉注意模型更适用于海难搜救特定环境中。

摘要： 本发明公开了一种基于视觉注意模型的表面缺陷检测方法，包括如下步骤：S1、将有缺陷图像和无缺陷图像成对输入构建的视觉注意模型中进行模型训练，训练的目标是训练样本的缺陷位置的权重向量低于其他位置的权重向量，转至S2；S2、将待检测图像输入训练好的视觉注意模型中，训练好的视觉注意模型输出待检测图像的视觉显著图，视觉显著图中高注意力部分即为存在缺陷部分。本发明公开的基于视觉注意模型的表面缺陷检测方法，对训练样本的缺陷位置进行弱化，注意力越高的地方，其权重越低，最终输出的视觉显著图的高注意力部分即为有缺陷位置。