数据稀疏

摘要： 传统推荐模型存在数据稀疏、鲁棒性较低问题,且未能有效挖掘异构特征间的深层语义。为解决以上问题,提出相关性视觉对抗贝叶斯个性化排序(correlation visual adversarial Bayesian personalized ranking,CVABPR)推荐模型。首先,基于MovieLens数据集中的电影标题,在互联网电影资料库(Internet movie database,IMDB)爬取对应电影海报图像,构建全新多模态数据集MovieLens–100k–WMI和MovieLens–1M–WMI。其次,基于SENet模型提取一组具有互补性的异构特征,准确描述电影海报图像。然后,改进聚类典型相关性分析模型,深入挖掘异构SENet特征间的聚类典型相关性特征;基于该相关性特征优化视觉贝叶斯个性化排序模型,精准刻画待推荐电影。最后,在推荐模型中加入扰动因子,通过对抗学习来增强推荐模型鲁棒性,使推荐更稳定,生成高质量推荐结果。为验证CVABPR模型,在多模态数据集上完成实验,结果表明:CVABPR模型在这两个数据集上都有效,在MovieLens–100k–WMI数据集上,其推荐的平均精度均值(mean average precision,MAP)较最强基线提升3.802%;在MovieLens–1M–WMI数据集上,其推荐的MAP指标较最强基线提升4.609%。CVABPR模型优于主流基线。消融分析实验表明:相比聚类典型相关性,对抗学习在推荐中发挥更重要的作用。此外,在数据稀疏度更高的MovieLens–1M–WMI数据集上,CVABPR模型能获得更大幅度性能提升,数据稀疏问题得到有效缓解且异构特征间的深层语义也得以充分利用,CVABPR模型已具备较强鲁棒性。

摘要： 针对Web服务质量预测精度受数据稀疏与噪声数据的影响问题,提出了一种基于随机森林与用户兴趣概念格的Web服务质量预测方法。首先利用历史数据的均值、方差以及用户与服务的经纬度特征构建随机森林分类模型;其次基于同一分类结果构造用户兴趣概念格划分相似邻居,并采用一种改进的相似度计算方法分别计算直接相似邻居和间接相似邻居的相似度;最后采用改进的协同过滤算法进行服务质量预测。在真实的数据集上进行实验,实验证明该方法有效缓解了噪声数据对预测结果的影响,并在较高的数据稀疏度下具有更好的预测准确度。

摘要： 随着基于位置的社交网络(Location-Based Social Networks,LBSNs)与兴趣点(Point of Interest,POI)推荐的有效组合,近年来已涌现出大量的相关研究,这些方法主要可分为将地理、社会、类别、文本以及时间等上下文信息进行建模并融合,进而克服数据稀疏问题并提升兴趣点推荐的性能.但已有的兴趣点推荐方法认为不同上下文间相互独立,在对不同上下文建模并融合的过程中忽略了其内在联系,导致上下文信息未得到充分利用.另外,在将上下文模型融合到用户自身偏好模型时,未考虑上下文信息对用户历史签到记录的不同影响.为应对上述挑战,本文合理地重构了上下文信息模型并有效地融合到用户偏好模型中,且提出了一种基于用户活动轨迹和个性化区域划分的兴趣点推荐方法.该方法根据用户的活动轨迹刻画出其日常活动区域,并探索了不同用户间的地理距离分布以及活动轨迹的相似度以建模社会关系对用户签到的影响.进一步地,结合用户活动轨迹区域内的POI的地理信息,使用带有自适应带宽的核密度估计方法评估POI间的地理相关性,以建模POI地理信息对用户签到的影响.最后,将用户社会关系模型和POI地理信息模型与用户自身偏好模型融合,使用改进的加权矩阵分解技术求解用户的个性化POI推荐.本文分别采用经典的和当前流行的相关研究作为基准,在Gowalla和Foursquare数据集上进行对比,实验结果表明本文方法具有更好的POI推荐效果,说明了本文提出的模型在融合策略和克服数据稀疏性方面更具优势.

摘要： 由于大数据的数据量大和数据价值密度低的特性,用于解决信息过载的协同过滤推荐算法存在数据稀疏性问题,进而引发推荐效果不佳的结果,基于该问题提出了一种面向用户及评分信息的混合数据聚类推荐算法HDCRA(hybrid data clustering recommendation algorithm).针对既有评分数据和属性数据的用户混合数据,对用户进行相似度的计算并对用户进行聚类,使得在各个聚类簇中用户在各个维度上都比较相似,最后在聚类簇中为目标用户找到邻居,并对目标用户进行协同过滤推荐.实验结果证明,该算法有效缓解了数据稀疏的问题,而且在推荐质量的提高上有一定效果.

摘要： 针对目前跨域协同过滤算法仅通过评分矩阵相似性进行信息提取推荐,并未利用数据中含有的更多信息,从而导致推荐结果不理想的情况。提出一种融合多信息的改进跨域协同过滤算法。算法通过改进传统跨域协同过滤中的信息提取方式,融入了数据源中的时间与类型信息,提高了信息提取的精度与推荐的准确性。通过在MovieLens数据集与豆瓣数据集上进行对比实验,结果表明,跨域推荐算法能够在多域间进行信息传递,融入了多信息的跨域推荐算法能更为有效地提升推荐的准确性。

摘要： 推荐算法通过历史数据发现用户的兴趣偏好,在数据资源中寻找用户的偏好信息,并对用户进行推荐。目前,推荐系统中的协同过滤算法在各领域应用广泛,由于数据稀疏性和冷启动,使得推荐质量有所下降,为提升推荐精度,有学者从相似度方向进行研究。总结了推荐系统中最广泛使用的协同过滤算法,以及推荐系统中常用的传统相似度算法;对比分析了基于Pearson相关系数的相似度、余弦相似度、修正的余弦相似度等的适用场景;从冷启动和数据稀疏等方面分析了相似度的研究现状,研究表明通过混合相似度计算用户相似性,提高了推荐质量。最后,总结了相关文献在改进后存在推荐效率低、复杂度增高的问题,在提高推荐精度和推荐效率方面对相似度改进进行了展望。

摘要： 目前协同过滤算法在推荐系统中的应用比较广泛,但由于数据的稀疏性,传统的协同过滤算法往往存在推荐准确性不高的问题。本文通过引入用户的社交信任网络挖掘用户的信任信息来缓解此问题。此外,考虑到热门项目在评分相似度计算时的贡献权重,在传统的评分相似计算公式中考虑了用户共同评分项占比带来的影响。在此基础上,提出了一种融合商品流行度与信任度的混合推荐算法(TPRA)。在Epinions数据集上的实验结果表明:该算法相较于对照算法在平均绝对误差(MAE)、均方根误差(RMSE)两个指标上至少降低了约3%。

摘要： 针对微博推荐系统中存在的新用户冷启动和数据稀疏性问题,提出一种微博推荐模型.该模型通过重要用户聚类和普通用户分类构建完整用户类,基于类兴趣表征普通用户兴趣,利用Bandits算法为完整用户类中的普通用户产生微博推荐列表,根据普通用户对推荐列表的反馈更新其所属完整用户类的历史数据,合理应对新用户冷启动,降低了数据稀疏度,实现了较为准确的微博推荐,为微博推荐模型的构建提供了新的思路.实验结果表明,该模型能够推荐给用户感兴趣的博文,推荐效果较现有随机探索类算法、置信区间类算法和概率匹配类算法分别最低提高5.62%、5.43%和33.37%.

摘要： 兴趣点推荐是基于位置社交网络中的研究热点之一。首先对从Web of Science收集的兴趣点推荐研究文献进行了分析;然后分析了影响兴趣点推荐的多种因素,并在分析传统兴趣点推荐方法基础上重点从用户历史签到信息建模和用户社交生成信息提取两个方面对基于深度学习的兴趣点推荐方法进行了分析;最后,对未来可能提高兴趣点推荐效果的研究方向进行了展望。

摘要： 近年来,基于神经网络的机器翻译成为机器翻译领域的主流方法,但是在低资源翻译领域中仍存在平行语料不足和数据稀疏的挑战.针对维-汉平行语料不足和维吾尔语形态复杂所导致的数据稀疏问题,从维吾尔语的音节特点出发,将单词切分成音节,同时融入BME(Begin,Middle,End)标记思想,提出一种基于带标记音节的神经网络机器翻译方法.与使用单词粒度和BPE粒度的两类神经网络机器翻译方法对比,该方法在维-汉机器翻译任务中分别提升7.39与3.04个BLEU值,在汉-维机器翻译任务中分别提升5.82与3.09个BLEU值,可见在平行语料不足的条件下,该方法有效地提升了维-汉机器翻译的质量.

摘要： 针对移动服务推荐中用户上下文环境复杂多变和数据稀疏性问题,提出一种基于移动用户上下文相似度的张量分解推荐算法——UCS-TF.该算法组合用户间的多维上下文相似度和上下文相似可信度,建立用户上下文相似度模型,再对目标用户的K个邻居用户建立移动用户-上下文-移动服务三维张量分解模型,获得目标用户的移动服务预测值,生成移动推荐.实验结果显示,与余弦相似性方法、Pearson相关系数方法和Cosine1改进相似度模型相比,所提UCS-TF算法表现最优时的平均绝对误差(MAE)分别减少了11.1％、10.1％和3.2％;其P@N指标大幅提升,均优于上述方法.另外,对比Cosine1算法、CARS2算法和TF算法,UCS-TF算法在数据稀疏密度为5％、20％、50％、80％上的预测误差最小.实验结果表明UCS-TF算法具有更好的推荐效果,同时将用户上下文相似度与张量分解模型结合,能有效缓解评分稀疏性的影响.

摘要： 面向信息检索的语言模型存在较严重的数据稀疏问题，由于近邻信息能够较好地反映词的分布，因此将文档的近邻信息加入语言模型的平滑中，新方法称为近邻语言模型。实验结果表明，近邻语言模型对检索性能有一定的提升。

摘要： 基于邻居(neighborhood-based)的协同过滤是一项很受欢迎的用于推荐系统的技术。它可以分为基于用户(user-based)和基于项目(item-based)协同过滤，它通过用户或项目之间的相似性预测用户对于未评分项目的偏好。然而,传统的相似度方法易受数据稀疏影响。为了解决这个问题,提出了基于心理测量学(psychometrics-based)的相似度方法。实验结果表明,提出的相似方法更适合基于邻居协同过滤,它们可以提高推荐准确性和覆盖度(coverage)。

摘要： 如何计算用户之间的相似度是协同推荐算法中最关键的技术，而现有算法在数据稀疏 或小邻居集的环境下性能严重下降。本文提出了一种基于用户行为相似度的协同推荐算法（UBS），它充分考虑数据稀疏环境的特点，从评分矩阵中挖掘用户的网络行为特征，得到用户 之间更真实的用户行为相似度，最终有效地解决了传统方案在稀疏数据和小邻居集下的相似度 不准确问题。实验结果表明该算法在稀疏数据和小邻居集环境下，推荐质量都取得了明显的改进效果。

摘要： 统计语言模型在实际应用中显示出了不俗的效果，近年来使用得越来越广泛。但由于语言的灵活性，模型的数据稀疏问题始终不能避免，现有的平滑方法只考虑了模型中元素出现的频数，没有考虑到语言的使用是随着时间变化的。本文分析了模型中词语随着时间的变化而出现的频数变化情况，利用时间序列模型分析中的预测方法获得下一个阶段的数据来估计模型的参数，提出了一种对在时间线上频教增加的词语增加概率值，对频数减少的则降低概率值的动态分布平滑方法。实验数据显示，本平滑方法具有一定的优越性。

摘要： 在实验中发现,某些带调三音子的训练数据稀疏会引起识别错误率的上升,为了在一定程度上减少这种影响,提出了使用其无调三音子的模型参数对有调三音子进行初始化.此外还调整了决策树状态捆绑的停止门限,并且采用了混合度分量的自适应增长训练.在863语音库上的实验结果表明,所有这些获得了一定的音子识别性能提高,同时也一定程度上压缩了声学模型大小.

摘要： 统计方法在自然语言处理的多种应用中取得了令人瞩目的成果,但数据稀疏问题限制了应用系统性能的提高.把统计单位由词提升到词类有助于缓解数据稀疏问题,但是传统的词类体系并不能反映词语在线性邻接(ngram)特征上的相似关系,而且这种相似关系不能用作分类原则,因为它不满足传递性.为此,我们提出了一种解决方案:对于每个词,根据其在大规模语料库中的上下文分布特征,建立以该词为核心的相似词集合,用相似词的ngram估计核心词的ngram.本文介绍了相似词集合的确定方法,并介绍了这一方法在计算机辅助校对中的应用.

摘要： 汉语多音词自动标音的研究可以为语音合成及汉语教学等领域服务.本文采用N元模型的统计方法对现代汉语中的多音词进行自动标音,通过引入相似词,采取"词形-相似词-词性"三步回退的策略,缓解了数据稀疏问题,实验结果说明这个方法是有意义的.

摘要： 基于类的统计语言模型是解决统计模型数据稀疏问题的重要方法.传统的统计方法基于贪婪原则,常以语料的似然函数或困惑度(perplexity)作为评价标准.这种传统的聚类方法的主要缺点是聚类速度慢,初值对结果影响大,易陷入局部最优.本文提出了一种新颖的词相似度定义,在词相似度的基础上,还首次给出了词集合相似度的定义.基于相似度,提出了一种自下而上的分层聚类算法,这种方法不但能改善聚类效果,而且可根据不同的模型选择不同的相似度定义,因而提高聚类的使用效果.实验证明,该算法在计算复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进.

摘要： 本文利用概率潜在语义分析，给出了两种用于判别词汇的情感倾向的方法。一种是使用概率潜在语义分析获得每个目标词和基准词之间的相似度矩阵，再利用投票法决定每个目标词的情感倾向;二是利用概率潜在语义分析对目标词进行语义聚类和扩展，自动找到每个目标词的同义词，然后采用基于同义词的词汇情感倾向判别方法对目标词的情感倾向做出判别。这两种方法的优点均在没有外部资源的条件下，可以实现情感倾向的判别。

摘要： 本发明属于集成电路设计技术领域，具体为支持稀疏神经网络计算加速器的稀疏数据选择逻辑模块。对应于稀疏度最大为r的神经网络加速器，本发明的稀疏数据选择逻辑模块由r组选择模块组成，每个选择模块包括一个FIFO、一个N输入MUX及一个缓存REG；其计算过程为：分r个时钟节拍读入r×N个数据至FIFO，同时每个节拍从FIFO输出的N个数中选出对应非零权重的有效数N/r个至输出REG中；r个时钟节拍共生成N个有效数据完成选择计算。本发明设计简单、速度快，在保证计算效率与传统方案同等的前提下降低数据带宽与逻辑资源需求r倍，也即数据带宽与逻辑资源与稀疏率无关。从而可以有效的应用在高稀疏度的神经网络计算上。

摘要： 本公开涉及用于稀疏数据的基于瓦片的稀疏度感知数据流优化。系统、装置和方法提供了用于优化诸如3D点云数据集之类的稀疏数据的处理的技术。该技术可包括基于输入非结构化稀疏数据集(例如3D点云数据集)来生成地点感知规则书，地点感知规则书存储输入非结构化稀疏数据集中的活跃体素的空间邻域信息，基于地点感知规则书计算平均接受场(ARF)值，以及基于计算出的ARF值从多个瓦片大小和循环顺序组合中确定用于处理非结构化稀疏数据集的瓦片大小和循环顺序组合。该技术还可包括将地点感知规则书和瓦片大小和循环顺序组合提供给诸如神经网络之类的计算引擎，计算引擎利用地点感知规则书和瓦片大小和循环顺序组合来处理非结构化稀疏数据集。

摘要： 本发明属于集成电路设计技术领域，具体为支持稀疏神经网络计算加速器的稀疏数据选择逻辑模块。对应于稀疏度最大为r的神经网络加速器，本发明的稀疏数据选择逻辑模块由r组选择模块组成，每个选择模块包括一个FIFO、一个N输入MUX及一个缓存REG；其计算过程为：分r个时钟节拍读入r×N个数据至FIFO，同时每个节拍从FIFO输出的N个数中选出对应非零权重的有效数N/r个至输出REG中；r个时钟节拍共生成N个有效数据完成选择计算。本发明设计简单、速度快，在保证计算效率与传统方案同等的前提下降低数据带宽与逻辑资源需求r倍，也即数据带宽与逻辑资源与稀疏率无关。从而可以有效的应用在高稀疏度的神经网络计算上。

摘要： 在一个实施例中，一种方法包括：访问多个内容对象；分别为多个内容对象生成多个体素化表示；基于一个或更多个稀疏卷积生成一个或更多个构建块，生成构建块包括基于多个内容对象中每一个的体素化表示来确定关于多个内容对象中的每一个的一个或更多个激活位点，并将一个或更多个稀疏卷积应用于该一个或更多个激活位点；以及基于包括该一个或更多个构建块的卷积网络来训练机器学习模型。

摘要： 公开一种用于处理非常稀疏和超稀疏矩阵数据的加速器架构。硬件加速器包括一个或多个片，各包含多个处理元件(PE)和数据管理单元(DMU)。PE要执行涉及由存储器所存储的非常或超稀疏矩阵的矩阵运算。DMU要经由接口(其被优化以提供对存储器的低等待时间、并行随机访问)来提供对存储器的多个PE访问。通过发出对一个或多个矩阵的值的随机访问读请求、发出对用作第二操作数的一个或多个向量的值的随机访问读请求，并且发出对用作结果的一个或多个向量的值的随机访问写请求，PE经由DMU执行矩阵运算。

摘要： 公开了用于对稀疏和弱标记数据集的匿名数据整合和测量进行概率建模的示例性方法、装置、系统和制品(如物理存储介质)。装置包括：训练控制器，用于训练神经网络以产生用于输出概率模型的模型参数的经训练的神经网络；模型评估器，用于在指定一天中的时间、媒体源、以及与所述一天中的时间和所述媒体源不同的至少一个特征的输入数据上运行所述经训练的神经网络，以确定所述概率模型的一个或多个第一模型参数；以及收视率度量生成器，用于基于输入的普查数据评估所述概率模型，以确定与所述一天中的时间、所述媒体源和所述至少一个特征相对应的收视率度量，所述概率模型配置有所述一个或多个第一模型参数。

摘要： 本发明公开了一种基于稀疏实采数据的分拣场景平行数据集构建方法，包括以下步骤：第一步，生成真实数据集；第二步，将真实数据集导入3D处理工具，构建人工分拣堆放场景；第三步，图形渲染生成人工数据集；第四步，将真实数据集和人工数据集按照场景和影响因素进行混合，类别相同的放在同一个文件夹中，形成虚实结合的平行数据集。本发明公开的平行数据集的构建方法解决了真实数据集采集效率低下，耗时耗力，内容单一的问题，又使得数据集多样可靠、适用性好，也更适合神经网络的训练。同时，使用自动标注技术能有效减少数据集标注的时间和花费的成本，提高数据标注的准确率。

摘要： 一种基于正则化与数据增广的稀疏数据处理方法，针对不同特征的数据进行处理，对待处理的稀疏数据依据属性信息进行分类，分类后再采用正则化以及数据增广的不同方法进行处理。依据数据集中的属性是否可删减将待处理数据分为两类。对于属性不可删减的一类采用正则化算法对其进行处理，向目标函数增加一个正则化项，以防止最终的结果陷入过拟合的状态。对于属性可删减的一类采用数据增广的算法对其进行处理，首先找到关键位置，以关键位置为基础进行轨迹的翻转、裁剪、局部放大等手段进行数据扩充，这样的手段可以保证数据的可用性不会下降。使数据满足服务需求，拥有良好的泛化性能，为进一步的工作提供数据支持。

摘要： 本发明请求保护一种针对数据不均匀及数据稀疏的topN推荐系统及方法，属于数据挖掘和信息检索领域。基于用户以及社交网络信息好友关系，考虑评分与用户个人活跃度、物品流行度以及用户对物品感兴趣程度的隐性关系，通过时间离散化及时间切片的方法，加入三方面时间效应影响，同时针对用户评分数据分布不均匀以及数据稀疏性问题，构建基于灰色理论改进GM(1,N)预测模型，挖掘评分与三方面的显性动态关系。输入数据到预测模型即可预测用户对物品的评分，根据用户评分情况，将用户感兴趣的物品推荐给用户，实现topN推荐。

摘要： 本发明请求保护一种针对数据不均匀及数据稀疏的topN推荐系统及方法，属于数据挖掘和信息检索领域。基于用户以及社交网络信息好友关系，考虑评分与用户个人活跃度、物品流行度以及用户对物品感兴趣程度的隐性关系，通过时间离散化及时间切片的方法，加入三方面时间效应影响，同时针对用户评分数据分布不均匀以及数据稀疏性问题，构建基于灰色理论改进GM(1,N)预测模型，挖掘评分与三方面的显性动态关系。输入数据到预测模型即可预测用户对物品的评分，根据用户评分情况，将用户感兴趣的物品推荐给用户，实现topN推荐。