高维索引

摘要： 违规音视频节目的自动识别,主要通过内容分析系统来实现.首先需要将音视频节目的基本信息提取出来,包括音视频节目的底层特征和音视频节目的相关文本摘要信息;之后再把提取出来的基本信息集合在一起,形成一个高维索引,系统再以这个索引为基础,对违规音视频节目进行自动识别.本文详细介绍了违规音视频节目的自动识别过程.

摘要： 违规音视频节目的自动识别,主要通过内容分析系统来实现。首先需要将音视频节目的基本信息提取出来,包括音视频节目的底层特征和音视频节目的相关文本摘要信息;之后再把提取出来的基本信息集合在一起,形成一个高维索引,系统再以这个索引为基础,对违规音视频节目进行自动识别。本文详细介绍了违规音视频节目的自动识别过程。

摘要： 在大规模视频、图像、文本检索等许多实际应用中,高维空间内海量数据的索引及近邻检索一直是难点和关键问题之一.传统的K-D树等树形索引方法在高维空间中容易陷入"维度灾难",而主流的哈希散列方法(如局部敏感哈希)空间复杂度较高,在大规模数据下难以应用.本文总结了近年来基于向量量化的检索算法的相关研究,提出了一种基于GPU优化的高维数据近似近邻检索算法,在组合量化算法的基础上融合双层索引树结构与局部子空间最优化思想,在提高算法准确率的同时针对GPU模型优化算法,极大改善了检索性能,在单张GPU上实现了十亿量级高维数据的高效近似近邻检索.%ANN (Approximate Nearest Neighbor) search for large-scale data in high-dimensional space have been one of the most difficult and key issues in many multimedia applications. Tradition methods based on tree partition, like K-D tree, falls into "the curse of dimensionality"while hashing techniques such as LSH comes with high spatial complexity and requires unacceptable RAMusage. In this paper, we propose a GPU-based ANN search algorithm for billion-scale high-dimensional data based on composite quantization.We first combines the multi-layer inverted index structure with local subspace optimization in composite quantization to achieve high accuracy, then adjust the calculate process constrained with the GPU model to reduce GRAMusage and enhance retrieval performance.Finally, our methods successfully implement efficient ANN searching for billion scale high-dimensional data on one single GPU.

摘要： 目前PGC/UGC视频面临着重复推广、重复付费等问题,需要向PGC/UGC的制作人提供版权保护的服务.我们通过基于特征的视频、音频匹配技术提供了视频匹配的工具,并通过基于哈希化的算法提供了索引,使在海量数据中快速查到匹配视频成为可能.

摘要： 随着移动互联网、智能移动终端和云计算的高速发展,移动视觉搜索在移动电子商务和网络信息安全等方面具有重要的研究价值和应用前景.文中针对当前移动视觉搜索的国内外研究现状,探讨和分析了移动视觉搜索的系统框架及其关键方法,重点介绍其中的特征提取与表示、高维索引与匹配、几何一致性校验等方面的基本内容.最后对现有研究中存在的难点问题及其未来的发展趋势进行了展望.%With the fast development of mobile internet, smart mobile terminals, and cloud computing, mo-bile visual search is of great research value and application prospect in the field of mobile e-commerce and network information security, etc. In this paper, based on a comprehensive survey of the progress of foreign and domestic research on mobile visual search, we introduce the system framework and key technologies of mobile visual search, and focus on detailed analysis of its main contents of feature extraction and represen-tation, high dimensional indexing, and geometrical consistency verification, etc. Finally, we present some challenges, together with the future directions of the research on mobile visual search.

摘要： 在医学影像信息学中,基于内容的图像检索(CBIR)技术被用来帮助放射科医师检索具有相似图像容的图像.CBIR通过图像的量化特征来检索高维特征数据库中与查询图像类似的影像.然而,当前大部分CBIR系统都会受特征维数影响,系统检索的响应时间随着特征向量维数及检索图像数量的增加而增长.对此提出了一种新的框架,使用VA-Trie结构来对图像特征建立高维数据库索引,以提高集成RIS/PACS中的CBIR的准确性和检索速度.%In medical imaging informatics,content-based image retrieval (CBIR) techniques are employed to aid radiologists in the retrieval of images with similar image contents.CBIR uses the quantization feature of the image to search for images similar to the query image in the high dimensional feature database.However,most of the current CBIR systems are affected by the feature dimension,and the response time of the system search increases with the increase of the feature vector dimension.In this presentation,we propose a novel framework to use the VA-Trie structure to establish high-dimensional database indexes for image features to improve the accuracy and retrieval speed of CBIR in integrated RIS / PACS.

摘要： 近似近邻查询是信息检索领域中的一项重要技术.随着文本、图像、视频等非结构化数据规模的迅速增长,如何对海量高维数据进行快速、准确的查询是处理大规模数据所必须面对的问题.哈希作为近似近邻查询的关键方法之一,能够在保持数据相似性的条件下对高维数据进行大比例压缩.以往所提出的哈希方法往往都是应对集中式存储的数据,因而难以处理分布式存储的数据.该文提出了一种基于乘积量化的分布式哈希学习方法SparkPQ,并在Spark分布式计算框架下实现算法.在传统的乘积量化方法的基础上,该文首先给出了分布式乘积量化模型的形式化定义.然后,作者设计了一种按行列划分的分布式矩阵,采用分布式K-Means算法实现模型求解和码本训练,利用训练出的码本模型对分布式数据进行编码和索引.最终,该文构建了一套完整的近似近邻查询系统,不仅可以大幅降低存储和计算开销,而且在保证高检索准确率的条件下加速查询效率.在较大规模的图像检索数据集上进行的实验验证了方法的正确性和可扩展性.

摘要： 针对大规模高维数据近似查询效率低下的问题，利用MapReduce编程模型在大规模集群上的数据与任务的并行计算与处理优势，提出MapReduce 框架下大规模高维数据索引及KNN 查询方法（iPBM），重点突破Ma-pReduce数据块（block）的优化划分与各数据块对计算的共同贡献两大难题，利用两阶段数据划分策略并依据相关性与并行性原则将数据均匀分配到各数据块中，设计分布式的双层空间索引结构与并行KN N查询算法，检索时利用全局索引、局部索引与二维位码索引实现三层数据过滤，大幅缩小搜索范围并降低高维向量计算代价，实验表明iPBM对大规模高维数据的近似查询具有准确性、高效性和扩展性。%To address the low efficiency problem caused by the approximate large-scale high-dimensional data query, we propose a novel high-dimensional index and KNN query method,called iPBM,which exploits two main problems,inclu-ding the optimal division on the MapReduce’s data block and their contributions to the computing.Specifically,based on the principles of relativity and parallelity,iPBM employs a two-phase partitioning scheme of clustering and zoning to equally split the data to the available blocks,then we design a distributed two-layer index structure and parallel KNN query algo-rithm.With fully considering the global index,local index and two-dimensional bitcode property,iPBM achieves triple-layers filtering,and thus the number of queried area and the computing cost on the high-dimensional data is minimized.The accura-cy,efficiency and scalability of the proposed iPBM are thoroughly evaluated via detailed simulations.

摘要： "Adaptive Cluster Distance Bounding"could obtain tighter distance bounds between the query and clusters, but this method suffers large amount of distance bound computations, can't take both filtration capacity and CPU performance when the number of clusters increases, and doesn't provide effective pruning mechanisms inside the candidate clusters yet. In this paper, a new indexing method called TreeHB is provided to improve the performance of nearest-neighbor search, which is based on two improvements of existing hyperplane method. Firstly, this paper divides clusters with hierarchic methods, and manages the clustering results with a tree structure to ensure the premise filtering capabilities and reduce the amount of computation and the CPU cost. Secondly, a new pruning algorithm is designed to reject the irrelevant points in the candidate clusters further and reduce the IO cost. It turns out that the new approach outperforms the original hyperplane method and other popular high-dimensional indexing methods.%"自适应集群距离边界"高维索引方法虽可得到查询点与聚类之间更紧致的距离边界,但该方法需要大量的边界距离计算,当集群个数增加时无法兼顾过滤能力和CPU性能,且没有在候选集群内部提供高效的剪除机制.本文提出一种新的以超平面聚类为基础的索引结构TreeHB来提升最近邻查询性能.首先,用层次化聚类方法聚类,将聚类结果用树形结构进行管理,在保证过滤能力的前提下,可降低距离下界计算量,减少CPU开销.其次,在候选集群内部设计一种新的剪除机制,进一步过滤无关数据元,降低I/O开销.结果证明,这种新方法性能优于原有的超平面索引方法及其他著名的高维索引方法.

摘要： 本文给出了一种利用高维索引优化向量连接实现的方法.该算法通过限制一个元组只和那些可能与之满足连接条件的元组进行比较，大大减少了连接过程中的比较次数。本文算法对高维索引并没有严格的要求，因此它能利用多种索引算法完成连接优化。同时由于辅助结构的粒度参数可调，它还可以适应不同的可用资源环境.实验数据表明本文算法能显著提高连接运算的执行效率。

摘要： 认知科学表明基于流形学习的人脸图像检索能准确反映人脸图片的内在相似性和人类的视觉感知本质。提出一种基于相关反馈的人脸高维索引方法--NDL,以提高人脸图像检索的性能。同时在该索引基础上提出一种流形空间下的相似查询--虚拟k近邻查询(Vk-NN), 该查询方法特别为基于NDL的人脸检索而设计。首先通过在一定阈值约束下计算任何两个人脸图片的相似度,建立一个称为邻接距离表(NDL)的二维距离图。同时将距离值用B+-树建立索引。最后, 高维流形空间的Vk-NN查询转化为一维空间的基于B+树的查询。实验表明:NDL索引在流形空间的检索效率明显优于顺序检索,特别适合海量人脸图片的检索。

摘要： 随着信息网络技术的发展,互联网中出现越来越多形式各异的数据资源.从海量异构的网络数据中准确高效地发现并获取用户所需的数据信息,需要对网络数据进行有效地组织管理并进行基于信息内容语义的相似搜索.为了实现基于语义的相似搜索,需要从网络数据中抽取其特征/属性构造语义空间,网络数据及查询信息抽象为高维特征/属性空间中的特征向量或高维点,通过高维点之间的距离/特征向量间夹角余弦值来衡量相似性.高维数据索引及降维技术是有效组织高维数据信息,实现快速相似性搜索的两种方法.本文对现有的高维数据索引结构及降维技术进行了系统地综述,然后介绍了现有基于P2P技术实现高维数据语义相似性查询的研究工作并展望了未来工作.

摘要： 随着信息网络技术的发展,互联网中出现越来越多形式各异的数据资源.从海量异构的网络数据中准确高效地发现并获取用户所需的数据信息,需要对网络数据进行有效地组织管理并进行基于信息内容语义的相似搜索.为了实现基于语义的相似搜索,需要从网络数据中抽取其特征/属性构造语义空间,网络数据及查询信息抽象为高维特征/属性空间中的特征向量或高维点,通过高维点之间的距离/特征向量间夹角余弦值来衡量相似性.高维数据索引及降维技术是有效组织高维数据信息,实现快速相似性搜索的两种方法.本文对现有的高维数据索引结构及降维技术进行了系统地综述,然后介绍了现有基于P2P技术实现高维数据语义相似性查询的研究工作并展望了未来工作.

摘要： 随着信息网络技术的发展,互联网中出现越来越多形式各异的数据资源.从海量异构的网络数据中准确高效地发现并获取用户所需的数据信息,需要对网络数据进行有效地组织管理并进行基于信息内容语义的相似搜索.为了实现基于语义的相似搜索,需要从网络数据中抽取其特征/属性构造语义空间,网络数据及查询信息抽象为高维特征/属性空间中的特征向量或高维点,通过高维点之间的距离/特征向量间夹角余弦值来衡量相似性.高维数据索引及降维技术是有效组织高维数据信息,实现快速相似性搜索的两种方法.本文对现有的高维数据索引结构及降维技术进行了系统地综述,然后介绍了现有基于P2P技术实现高维数据语义相似性查询的研究工作并展望了未来工作.

摘要： 随着信息网络技术的发展,互联网中出现越来越多形式各异的数据资源.从海量异构的网络数据中准确高效地发现并获取用户所需的数据信息,需要对网络数据进行有效地组织管理并进行基于信息内容语义的相似搜索.为了实现基于语义的相似搜索,需要从网络数据中抽取其特征/属性构造语义空间,网络数据及查询信息抽象为高维特征/属性空间中的特征向量或高维点,通过高维点之间的距离/特征向量间夹角余弦值来衡量相似性.高维数据索引及降维技术是有效组织高维数据信息,实现快速相似性搜索的两种方法.本文对现有的高维数据索引结构及降维技术进行了系统地综述,然后介绍了现有基于P2P技术实现高维数据语义相似性查询的研究工作并展望了未来工作.

摘要： 随着信息网络技术的发展,互联网中出现越来越多形式各异的数据资源.从海量异构的网络数据中准确高效地发现并获取用户所需的数据信息,需要对网络数据进行有效地组织管理并进行基于信息内容语义的相似搜索.为了实现基于语义的相似搜索,需要从网络数据中抽取其特征/属性构造语义空间,网络数据及查询信息抽象为高维特征/属性空间中的特征向量或高维点,通过高维点之间的距离/特征向量间夹角余弦值来衡量相似性.高维数据索引及降维技术是有效组织高维数据信息,实现快速相似性搜索的两种方法.本文对现有的高维数据索引结构及降维技术进行了系统地综述,然后介绍了现有基于P2P技术实现高维数据语义相似性查询的研究工作并展望了未来工作.

摘要： 高效的数据过滤是减少距离函数计算次数的捷径。提出了一种高效处理高维数据的索引算法一在主成分分析的基础上，利用第一主成份的组合方差最大的特点，选取第一主成分为主维，结合三角不等式完成数据过滤。实现分级索引，构成一种基于主维过滤的索引结构-PK-Tree。用方差覆盖权对第一主成分的信息保持量做了定量分析，并与已有算法进行了实验比较，得出了M+-Tree的距离比较次数近于PK-Tree的二倍等结论，验证了PK-Tree在降低CPU开销、提高检索速度方面的实效性。

摘要： 高效的数据过滤是减少距离函数计算次数的捷径。提出了一种高效处理高维数据的索引算法一在主成分分析的基础上，利用第一主成份的组合方差最大的特点，选取第一主成分为主维，结合三角不等式完成数据过滤。实现分级索引，构成一种基于主维过滤的索引结构-PK-Tree。用方差覆盖权对第一主成分的信息保持量做了定量分析，并与已有算法进行了实验比较，得出了M+-Tree的距离比较次数近于PK-Tree的二倍等结论，验证了PK-Tree在降低CPU开销、提高检索速度方面的实效性。

摘要： 高效的数据过滤是减少距离函数计算次数的捷径。提出了一种高效处理高维数据的索引算法一在主成分分析的基础上，利用第一主成份的组合方差最大的特点，选取第一主成分为主维，结合三角不等式完成数据过滤。实现分级索引，构成一种基于主维过滤的索引结构-PK-Tree。用方差覆盖权对第一主成分的信息保持量做了定量分析，并与已有算法进行了实验比较，得出了M+-Tree的距离比较次数近于PK-Tree的二倍等结论，验证了PK-Tree在降低CPU开销、提高检索速度方面的实效性。

摘要： 本发明涉及一种基于局部敏感哈希的大规模多媒体数据的高维索引方法，包括以下步骤：离线索引阶段，对多媒体数据提取高维特征；建立内存索引，包括特征存储区和哈希表存储区，将多媒体高维特征存储到特征存储区中，计算高维特征的局部敏感哈希向量，并将特征对应的特征编号和局部敏感哈希向量存储在哈希表存储区中；建立一级磁盘索引，包括特征存储区、索引存储区和多个哈希表存储区；建立二级磁盘索引，包括哈希桶存储区；重复上述步骤直到所有多媒体输入全部被索引为止。在线查询阶段，对用于查询的多媒体数据提取特征，在建立的索引基础上进行查询，返回相似的查询结果。本发明提高了内存和磁盘的调度性能，以及多媒体数据索引和检索的速度。

摘要： 本发明公开了一种采用双key值的高维索引结构构建方法和检索方法。在本发明中，提出了一种采用双key值的高维到一维转换索引结构DKB‑tree，它在高维空间中选取两个参考点将高维空间中的各高维向量映射为双一维key值，统一选取采用相同参考点得到的某一key值作为主key，另一key值作为辅key，每个主key都绑定一个指向其对应辅key的指针，每个辅key都绑定一个指向其对应高维向量的指针。进行检索时，通过主key实现第一层过滤，通过辅key实现再一次过滤。本发明提出的DKB‑tree通过简单的双key值大小比较，大大地减少了相似度匹配的运算量，加快检索速度。

摘要： 本发明提供一种多媒体数据高维索引及kNN检索方法，包括：构建多个多媒体数据的高维索引，高维索引包括多个节点和多个多媒体数据的数据对象，每个节点包括节点的节点中心到节点对应的子节点的节点中心或数据对象的距离；根据kNN检索算法，在高维索引中确定出待检索数据的检索范围及候选索引节点集合；根据检索范围及候选索引节点集合内各节点包括的距离，对候选索引节点集合进行剪枝处理得出待检索数据的检索结果。本发明通过在构建多媒体数据的高维索引时存入每个节点的节点中心到节点对应的子节点的节点中心或数据对象的距离，并依据该存储的距离，对得到的候选索引节点集合进行剪枝处理，有效地降低检索过程中剪枝处理的计算开销。

摘要： 本发明提供了基于分布熵的局部敏感哈希高维索引方法。该方法首先生成局部敏感哈希函数候选集合。接着，根据训练数据集，计算局部敏感哈希函数候选集合中每个哈希函数的分布熵值，并从中选取分布熵值最高的L个哈希函数作为局部敏感哈希函数集合。然后，基于该局部敏感哈希函数集合，将待索引数据集存储到哈希表中。还可以采用基于三角不等式过滤和欧氏距离排序的查询算法查询上述哈希表，得到与查询数据相似的结果集。该方法通过选择分布熵值高的哈希函数，更好地适应了数据的分布，从而优化了哈希表索引结构，减小了索引的内存消耗，同时使得查询更加准确和高效。

摘要： 本发明提出一种基于对等结构的分布式高维索引并行查询框架，包括索引创建模块、监视器模块、对等站点集群以及负载软均衡模块，索引创建模块用于创建索引并对索引块文件进行存储，监视器模块用于检测所述对等站点集群中的工作站点的可用内存信息以及每个工作站点对应的索引块信息以根据检测结果对每个工作站点进行协调，负载软均衡模块用于对当前工作站点进行负载均衡控制，且定时由监视器模块进行同步以便负载软均衡模块能对当前可用的工作站点列表进行及时的调整和更新。本发明的实施例具有实时的、可靠的、支持动态增减的海量候选对象检索的优点，且查询速度快。

摘要： 本发明属于人脸图像检索领域，具体地讲涉及一种人脸特征向量的高维索引的构建方法，包括以下步骤：选取一个人脸特征数据存放到根结点中；新插入的对象存放到根结点中，如果根结点不满,则直接插入,如果根结点中对象数量已达到最大值M,则进行一分为三操作；新插入的对象存放到子结点中，如果子结点不满,则直接插入,如果子结点中的对象数量已达到最大值M，则进行重插入操作；新插入的对象继续存放到子结点中，直至子结点中的对象数量再次达到最大值M，进行分裂操作；进行新插入的对象的存放，所有对象均存放结束后即完成了索引的建立。本发明提高了检索效率，满足了千万级别人脸特征数据检索的需要。

摘要： 本发明涉及一种基于局部敏感哈希的大规模多媒体数据的高维索引方法，包括以下步骤：离线索引阶段，对多媒体数据提取高维特征；建立内存索引，包括特征存储区和哈希表存储区，将多媒体高维特征存储到特征存储区中，计算高维特征的局部敏感哈希向量，并将特征对应的特征编号和局部敏感哈希向量存储在哈希表存储区中；建立一级磁盘索引，包括特征存储区、索引存储区和多个哈希表存储区；建立二级磁盘索引，包括哈希桶存储区；重复上述步骤直到所有多媒体输入全部被索引为止。在线查询阶段，对用于查询的多媒体数据提取特征，在建立的索引基础上进行查询，返回相似的查询结果。本发明提高了内存和磁盘的调度性能，以及多媒体数据索引和检索的速度。

摘要： 本发明公开了一种采用双key值的高维索引结构构建方法和检索方法。在本发明中，提出了一种采用双key值的高维到一维转换索引结构DKB-tree，它在高维空间中选取两个参考点将高维空间中的各高维向量映射为双一维key值，统一选取采用相同参考点得到的某一key值作为主key，另一key值作为辅key，每个主key都绑定一个指向其对应辅key的指针，每个辅key都绑定一个指向其对应高维向量的指针。进行检索时，通过主key实现第一层过滤，通过辅key实现再一次过滤。本发明提出的DKB-tree通过简单的双key值大小比较，大大地减少了相似度匹配的运算量，加快检索速度。

摘要： 本发明公开了一种基于高维索引的图像快速超分辨率增强方法，步骤包括有：图像降质处理、提取特征向量、建立先验知识库和高维索引库、图像优化和检索、图像叠加融合。本发明能够改进现有技术的不足，提高了超分辨率图像增强的重建效率。

摘要： 本发明提供一种多媒体数据高维索引及kNN检索方法，包括：构建多个多媒体数据的高维索引，高维索引包括多个节点和多个多媒体数据的数据对象，每个节点包括节点的节点中心到节点对应的子节点的节点中心或数据对象的距离；根据kNN检索算法，在高维索引中确定出待检索数据的检索范围及候选索引节点集合；根据检索范围及候选索引节点集合内各节点包括的距离，对候选索引节点集合进行剪枝处理得出待检索数据的检索结果。本发明通过在构建多媒体数据的高维索引时存入每个节点的节点中心到节点对应的子节点的节点中心或数据对象的距离，并依据该存储的距离，对得到的候选索引节点集合进行剪枝处理，有效地降低检索过程中剪枝处理的计算开销。