首页> 中国专利> 基于无线泛在网的用户体验质量指标系统和测量方法

基于无线泛在网的用户体验质量指标系统和测量方法

摘要

本发明公开了一种基于无线泛在网的用户体验质量指标系统和测量方法,该系统不仅解决了网络性能、终端性能以及多媒体业务的性能的问题,而且还解决了用户主观因素问题。首先,根据影响QoE的主要因素提出一个指标系统,然后根据所提出的指标系统,建立一个评估模型,最终得出一个综合评价。本发明提出的用户体验质量指标系统不仅考虑客观因素,而且考虑用户的主观因素,同时参考上次体验对本次体验的影响,充分完善地反应用户对业务体验的感受。

著录项

  • 公开/公告号CN104618924A

    专利类型发明专利

  • 公开/公告日2015-05-13

    原文格式PDF

  • 申请/专利权人 南京邮电大学;

    申请/专利号CN201510049919.4

  • 发明设计人 张晖;张乘铭;

    申请日2015-01-30

  • 分类号H04W24/00(20090101);

  • 代理机构32207 南京知识律师事务所;

  • 代理人汪旭东

  • 地址 210003 江苏省南京市鼓楼区新模范马路66号

  • 入库时间 2023-12-18 08:40:01

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-08-10

    授权

    授权

  • 2015-06-10

    实质审查的生效 IPC(主分类):H04W24/00 申请日:20150130

    实质审查的生效

  • 2015-05-13

    公开

    公开

说明书

技术领域

本发明涉及一种基于无线泛在网的用户体验质量指标系统和测量方法,属于无线通信技 术领域。

背景技术

近年来,移动通信技术飞速发展,为了适应不同的需求,出现不同的无线接入网络技术, 同时,无线移动通信技术正在经历着异构融合和泛在化的演进。无线泛在网络(Wireless  Ubiquitous Network),即广泛存在的无线网络,它以无所不在,无所不包,无所不能为基本 特征,以实现任何时间,任何地点,任何人,任何物都能顺畅的通信为目标。无线泛在网络 包含两个层面的含义,一是泛在的服务,二是通过无线接入为用户提供服务。泛在网络的最 终目的是为用户提供泛在融合性服务。泛在网络并不需要重新构建新的网络,它实际是在原 有网络的基础上,根据人类社会发展的需求,增加相应的网络能力,服务和新的应用,以便 使各种资源能够充分的协同和共享。

无线网络的演进为了是提供用户更完善,更优质的服务,那么,用户对业务服务质量的 体验将逐渐成为评价无线网络优劣的核心指标,在此背景下一种新颖的概念应运而生——用 户体验质量(Quality of Experience,QoE)。QoE是一种以用户认可程度为标准的服务的评价 方法,它结合了服务层面、用户层面、环境层面的影响因素,直接反映了用户对服务的认可 程度。国际电信联盟对QoE的定义为:终端用户对应用或者服务整体的主观可接受程度。

移动互联网集合了移动和网络的特点,给用户提供更多的联网便捷,并产生了各式各样 的数据业务。传统的语言业务已经饱和,移动数据业务将是新的利润增长点。随着数据业务 的不断涌现,网络服务不断向用户定制方向发展,用户对业务的质量以及个性化要求在不断 提高。在无线泛在环境下,多模终端可以接入不同无线网络,因此,如何实现不同无线接入 网间的网络资源与终端能力的有效利用,改善信息传输服务质量,从不同角度、不同层次满 足用户需求,从而提高用户体验质量QoE显得十分重要。而本发明能够很好地解决上面的问 题。

发明内容

本发明目的在于提出了一种基于无线泛在网的用户体验质量指标系统和测量方法,该系 统和测量方法都是基于无线网络,结合模糊数学和层次分析法对移动数据业务进行评价。本 发明解决了影响用户体验质量的主观因素和客观因素的问题,建立一个分层的指标系统和评 估模型,以很好地呈现用户对业务的综合评价。应用模糊层次分析法计算指标系统中各因素 的权重,并最后得出一个综合的评价分数,较为直观和真实地反应用户的感受。同时,该方 法操作简单而易于实现,具有很好的应用前景。

本发明解决其技术问题所采取的技术方案是:本发明提供了一种基于无线泛在网的用户 体验质量指标系统和测量方法,该方法不仅解决了网络性能、终端性能以及多媒体业务的性 能的问题,而且还解决了用户主观因素问题。首先,根据影响QoE的主要因素提出一个指标 系统,然后根据所提出的指标系统,建立一个评估模型,最终得出一个综合评价。

本发明的用户体验质量(即:QoE)是一种以用户认可程度为标准的服务的评价方法, 它综合了客观因素和主观因素,直接反映了用户对服务的认可程度。其中客观因素包含终端 性能、网络性能以及业务本身的性能,主观因素包含用户的情绪、用户期望,自身背景以及 环境因素。

本发明的系统包括两个主要模块组成,即:客观因素模块和主观因素模块。

客观因素模块的主要功能是把客观因素对QoE的影响通过计算量化来评价用户对业务的 体验感受,其中又包含三个子模块:(1)终端性能模块QoT(Quality of Terminal),计算移动 终端的CPU、运存RAM和屏幕分辨率对用户体验质量的影响,并得到评价值;(2)网络性 能模块QoN(Quality of Network),计算无线网络的丢包率、抖动,延时和带宽对用户体验质 量的影响,并得到评价值;(3)业务性能模块QoA(Quality of Application),计算移动数据 业务的即时性、可接入性、内容质量、操作性和安全性对用户体验质量的影响,并得到评价 值。最后将三个子模块所得到的量化值通过加权计算得到一个综合的客观因素评价值。

主观因素模块的主要功能是把用户自身的主观因素通过计算得到一个评价值反映当前用 户对业务的感受,用IoS(Indicator of Subjectivity)表示,其影响因素有用户期望、情绪, 自身背景,环境。

通过加权计算两个主要功能模块的评价值即可综合反映用户对业务的体验感受。

方法流程:

步骤1:搭建网络环境,在真实的无线泛在网络环境下,进行测试,调整性能指标层中 的参数,获取实验数据并进行整理,根据KQIs层与KPIs层的映射关系选择对应的数据模型 进行评价。

步骤2;应用统计回归模型评价网络性能和终端性能,根据实验数据进行分析,运用回 归分析法,得到拟合度极高的回归方程用于量化终端性能和网络性能对用户体验的影响,若 回归方程进行校验拟合度高则回归方程为,否则重复步骤2直到回归方程的拟合度符合要求, 回归方程如下:

MOSQoT=a*CPUb+c*RAMd+e*SRf+g

MOSQoN=a+b*In(BW)c+(d*Delay+e*Jitter)*ePKL

其中MOSQoT,MOSQoN分别是终端性能QoT和网络性能QoN的评价值;

步骤3:应用模糊数学模型评价业务性能和用户影响指标。对不同年龄、性别、学历的 人进行问卷调查,让用户对业务性能QoA中的五个影响因素进行比较两两因素之间的重要程 度,最后分析数据,得到业务性能QoA五个因素的模糊判断矩阵,用同样的方式,得到用户 主观影响的四个因素的模糊判断矩阵,应用模糊层次分析法,获得影响因素的权重向量并获 得量化方程:

MOSQoA=w1*mos1+w2*mos2+…+w5*mos5

MOSIoS=w1*mos1+w2*mos2+...+w4*mos4

步骤4::在得到质量指标层KPIs中四个因素网络性能QoN、终端性能QoT、业务性能 QoA和用户主观因素的评价值MOSQoN,MOSQoT,MOSQoA,MOSIoS的基础上,通过计算获得本次 用户对业务体验质量的评价值MOSQoEN,公式如下:

MOSQoEN=WQoT*MOSQoT+WQoN*MOSQoN+WQoA*MOSQoA+WIoS*MOSIoS

步骤5:根据本次体验的评价值MOSQoEN和上次体验的评价值MOSQoEP之间的关系,根据 心理学的模糊规则进行计算,最终得到一个合理、准确地反映用户对业务的真实感受的综合 评价值:

MOSQoE=(1-pij)*MOSQoEP+pij*MOSQoEN

有益效果:

1、本发明提出的用户体验质量指标系统不仅考虑客观因素,而且考虑用户的主观因素, 同时参考上次体验对本次体验的影响,充分完善地反应用户对业务体验的感受。

2、本发明应用回归分析和模糊层次分析法,通过建立数学模型将用户体验质量量化获得 综合评价值。

3、本发明提出的指标系统和评价方法简单、易于实现,具有很好的应用前景。

附图说明

图1为本发明的QoE指标系统结构图。

图2为本发明的方法流程图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

如图1所示,本发明得到一个树形的分层结构的QoE指标系统,整个指标系统是一个倒 立的树形结构,具有一个唯一的根节点即用户体验质量,按照一定的层次性扩展树枝和树叶 节点,整个指标系统有严格的层次结构,一共包含三层:体验层,质量指标层(即:KQIs) 以及性能指标层(即:KPIs)。分层的指标系统能反映层与层之间的映射关系,并且把人的主 观性和客观性指标进行了分离,能更好地应用定量和定性相结合的方法对用户的体验质量进 行评价。

层次分析法(即:AHP)在构造判断矩阵时没有考虑到人的判断模糊性,同时在一致性 检验时过于复杂,实用程度不高。回归分析(regression analysis)是确定两种或两种以上变量间 相互依赖的定量关系的一种统计分析方法,运用十分广泛,通常用于数据分析。基于上述提 出的QoE树形分层结构的指标系统,运用模糊层次分析法(Fuzzy Analytical Hierarchy  Process,FAHP)和回归分析法将QoE量化。

目前比较广泛使用的QoE量化方法是国家电信联盟(ITU)建议的“平均评估分值”(Mean  Opinion Score,MOS),该方法将人的主观感受分为5个层次,如表1所示,此量化方法细致 地描述了用户的体验感受。

MOS QoE 损害程度 5 不能察觉 4 可察觉但不严重 3 轻微 2 严重 1 非常严重

表1.平均评估分值(MOS)

质量指标层的终端性能(QoT)由三个因素影响,应用多元非线性回归分析,得到QoT 的量化值,确定因变量为QoT的量化值,自变量为CPU处理性能、内存性能和屏幕分辨率 的值,得到回归方程:

MOSQoT=a*CPUb+c*RAMd+e*SRf+g   (1)

其中MOSQoT表示终端性能的量化值,值范围为1到5;CPU表示终端CPU的主频大小 (GHz)反映了CPU的处理性能;RAM表示终端运存的大小(G)反映了运存的处理性能; SR表示终端屏幕分辨率大小(千万像素)反映了终端屏幕的清晰度。

为保证回归方程的准确性,需要对其进行校验,主要采用标准偏差(σ),拟合优度校验 (判定系数R2的校验)和回归方程的显著性校验(F校验)。其中标准偏差(σ)反映了用户 体验值和实验数据的偏离程度,值越小,偏离程度越小,公式如下:

σ=1nΣi=1n(y^i-yi)2---(2)

其中,表示回归拟合得到的MOS值,yi表示实验数据中的值。

拟合优度校验(判定系数R2的校验)反映回归方程的拟合程度,R2越接近1,回归方程 的拟合度越好,公式如下:

R2=1-Σi=1n(y^i-yi)2Σi=1n(yi-yi)2---(3)

其中,表示实验数据中MOS的平均值。

F分布的定义如下:

F=Σi=1n(y^i-yi)2Σi=1n(y^i-yi)2*n-m-1m~F(m,n-m-1)---(4)

x={F>Fα(m,n-m-1)},F的值越大于拒绝域则回归效果越好。其中m为自变量个数, n为观察组数,α为给定的置信度拒绝域。

通过校验后得到a,b,c,d,e,f,g的参数值得到一个拟合度好的回归方程,用于量化终端性能。

网络性能(QoN)由4个因素影响,同样应用多元非线性回归分析,得到QoN的量化值, 确定因变量为QoN的量化值,自变量为丢包率、抖动、时延和带宽的值,得到回归方程:

MOSQoN=a+b*In(BW)c+(d*Delay+e*Jitter)*ePKL---(5)

其中MOSQoN表示网络性能QoN的量化值,范围为0到5;BW表示带宽(M);Delay 表示延时(ms);Jitter表示抖动(ms);PKL表示丢包率(%)。同样通过相关的校验得到一 个拟合度很好的回归方程来量化网络性能。

客观因素中质量指标层中第三个因素业务性能(QoA)反映了业务的相关性能,移动数 据业务总类繁多,有通信类的即时通信、邮件等;有信息内容类的新闻类信息、天气类、位 置类信息等;有交易类的移动支付,电子钱包等。提炼出五个主要的性能指标作为参考来量 化业务性能(QoA),由于指标之间的模糊性,运用模糊层次分析法(FAHP)来量化业务性 能。

矩阵R=(rij)n*n满足0≤rij≤1;i=1,2,…,n;j=1,2,…,n则称R为模糊矩阵;若满足 rij+rji=1,则称R为模糊互补矩阵;若满足rij=rik-rjk+0.5(k=1,2,…,n),则称R为模糊一 致矩阵。

评价集元素a1,a2,…,an两两比较重要程度得到模糊矩阵R为

R=r11r12...r1nr21r22...r2n............rn1rn2...rnn---(6)

评价元素a1,a2,…,an的权重分别为w1,w2,…,wn,其中rij表示ai比aj重要的隶属度,rij越 大表示ai比aj越重要;rij越小表示两个元素重要程度一样。此外,权重值wi表示对评价元素 ai重要程度的一种度量,wi越大则ai越重要。评价元素ai和aj的隶属度rij可由wi-wj的函数 来表示,定义函数f如下:

rij=f(wi-wj),-1≤wi-wj≤1   (7)

由维尔斯特拉斯(Weirst rass)定理对函数f进行多项式计算,并根据模糊一致矩阵的相关 性质,最终得到函数的具体形式如下:

rij=0.5+a*(wi-wj),0≤a≤0.5;i=1,2,…,n;j=1,2,…,n   (8)

其中a表示对所考察对象的主观差异度的一种度量,可以通过调整a来选择一个比较满 意的权重向量。当模糊矩阵R不一致的时候,采用最小二乘法求解约束规划问题得到权重向 量W=(w1,w2,…,wn)T

minz=Σi=1nΣj=1n[0.5+a*(wi-wj)-rij]2s.t.Σi=1nwi=1,wi>0,(iin)---(9)

通过拉格朗日乘子法,引入Laggrange乘子λ将公式(9)等价为如下公式:

minL(w,λ)=Σi=1nΣj=1n[0.5+a*(wi-wj)-rij]2+2λ*(Σi=1nwi-1)---(10)

将L(w,λ)求关于wi(i=1,2,…,n)的偏导数并令式子为零得到n个方程组,加上约束条件 w1+w2+…+wn=1,即可求解得到权重向量W=(w1,w2,…,wn)T

业务性能(QoA)有五个影响因素,则建立评价因素集(a1,a2,…,a5),a1表示即时性;表 示可接入性;表示内容质量;表示操作性;表示安全性,评价因素集中的值的取值范围为1到5,表示各 个影响因素的量化值,同时构造模糊模糊判断矩阵A为:

A=r11r12...r15r21r22...r25............r51r52...r55---(11)

为了让隶属度rij得到量化,采用普遍使用的0.1-0.9数量标度法对隶属度进行量化。该 标度法的介绍如下:

表2表示:0.1-0.9数量标度

由上述标度法即可得多模糊判断矩阵A,可通过公式(9)和公式(10)用最小二乘法求 解得到业务性能(QoA)的权重向量WQoA=(w1,w2,…,w5)T,亦可先将模糊判断矩阵A根据模 糊一致矩阵的性质通过一定的计算得到模糊一致判断矩阵B为:

A=r11r12...r15r21r22...r25............r51r52...r55---(12)

再通过公式(8)计算出权重向量,通过对a的调整,最终得出一个满意的权重向量 WQoA=(w1,w2,…,w5)T,然后根据评价因素对应的量化值,即可得到业务性能(QoA)的最终 量化值:

MOSQoA=w1*mos1+w2*mos2+…+w5*mos5   (13)

其中mos1表示即时性的量化值;mos2表示可接入性的量化值;mos3表示内容质量的量化 值;mos4表示操作性的量化值;mos5表示安全性的量化值,w1,w2,…,w5依次表示对应因素 的权重值。

质量指标层中主观因素(IOS)的4个影响因素从用户的角度出发直接影响用户的对业务 的感知,然后这4个影响因素之间又存在着模糊关系,同样使用模糊层次分析(FAHP)法将 主观因素的影响进行量化。通过上述方法构造主观因素(IOS)的评价因素的模糊矩阵:

RIoS=r11r12...r14r21r22...r24............r41r42...r44---(14)

然后根据公式(8)或者公式(10)最后得到主观因素(IoS)的4个评价因素的权重向 量值将主观因素(IoS)进行量化,公式如下:

MOSIoS=w1*mos1+w2*mos2+...+w4*mos4---(15)

其中表示用户期望的量化值;表示情绪的量化值;表示自身背景的量化 值;表示环境因素的量化值,量化值的取值范围都是0到5,分别表示以上 4个评价因素的权重值。这样就可得到主观因素的量化值MOSIoS,取值范围为0到5的数。

至此,已经得到质量指标层和性能指标层之间的映射关系并将质量指标层的四个因素进 行量化,接下来需要确定体验层的本次体验和质量指标层的4个因素的映射关系,并把本次 体验的体验在进行量化。一个完整的用户体验质量不仅要考虑客观评价,也要考虑用户的主 观感受,只有结合两者才能更准确的反映用户对业务的体验感受。同时,结合了主观和客观 因素后,质量指标层的4个影响因素之间又存在模糊性,模糊层次分析法(FAHP)结合了定 性和定量的方法,能够确保模型的合理性。同样应用上述FAHP方法将本次体验量化,最后 得到量化公式:

MOSQoEN=WQoT*MOSQoT+WQoN*MOSQoN+WQoA*MOSQoA+WIoS*MOSIoS   (16)

其中MOSQoEN表示本次用户体验的量化值,取值范围为0到5,4个评价因素的权重向量 WQoEN=(WQoT,WQoN,WQoA,WIoS)T表示对应影响因素的权重值,这样就能得到本次用户对业务体 验感受的量化值。

从心理学的角度出发,用户先前的体验经历也将会影响到用户本次的体验感受,应用模 糊理论,建立一种模糊关系矩阵来反映先前体验和本次体验直接的模糊关系。用户体验的量 化取值的范围是0到5,分层五个等级分别为1,2,3,4,5,取值范围分别为(0,1],(1,2], (2,3],(3,4],(4,5],MOSQoEP表示上次体验的量化值,MOSQoEP表示本次体验的量化值,两个值一定 会在五个等级中的某一等级的范围内,同时,MOSQoEP和MOSQoEN所处于的等级不同,它们之间的模糊 关系也将不同,首先从心里学角度构建一个模糊关系矩阵:

P=p11p12...p15p21p22...p25............p51p52...p55---(17)

其中,pij表示上次体验的等级为i和本次体验的等级为j直接的模糊关系,取值范围为0≤pij≤1, 将这种模糊关系量化,得到一个基于心理学的模糊规则,如下:

表3.模糊规则

基于上述模糊关系,最终可获得用户对业务体验质量的综合评价值,公式如下:

MOSQoT=a*CPUb+c*RAMd+e*SRf+gMOSQoN=a+b*In(BW)c+(d*Delay+e*Jitter)*ePKLMOSQoA=w1*mos1+w2*mos2+...+w5*mos5MOSIoS=w1*mos1+w2*mos2+...+w4*mos4MOSQoEN=WQoT*MOSQoT+WQoN*MOSQoN+WQoA*MOSQoA+WIoS*MOSIoSMOSQoE=(1-pij)*MOSQoEP+pij*MOSQoEN

根据上述方法,通过非线性多元回归分析法和模糊层次分析法,结合主观和客观因素, 得出一个业务的综合评价值MOSQoE,更合理、更完善、更能体现用户对业务的体验感受。

本发明提出的树形分层结构的用户体验质量指标系统,结合了用户层面、技术层面和业 务层面,充分考虑用户的主观因素,更合理、更真实的反映出用户对业务的真实评价。

本发明在指标系统中客观因素部分应用拟合回归分析的方法,在真实的场景下测试,获 得拟合度极高的回归方程,作为性能指标映射为质量指标的函数模型,从而获得一个合理正 确的评价值。

本发明用户的主观因素对QoE的影响难以量化,主观因素的影响指标之间关系难以确定, 应用模糊层次分析法(FAHP)克服了人类思维主观性的局限,有效地处理难于用定量方法分 析的复杂问题,将主观因素对QoE的影响量化,并结合客观因素的评价值,最终获得用户对 业务体验感受的综合评价值。

如图2所示,本发明基于无线泛在网的用户体验质量指标系统的测量方法包括如下步骤:

第一步:搭建无线网络环境,调整性能指标层的影响因素的值,让多位测试人员进行主 观评价,获得完整的实验数据。

第二步:对于得到多组实验数据,应用回归分析法,获得拟合度极高的回归方程,确定 公式(1)和公式(5)的参数。

第三步:对于主观因素的影响,采用问卷调查的形式,最后进行分析获得模糊层次分析 法中的模糊判断矩阵R用来确定相关因素的权重值。

第四步:将构建的函数模型进行整合,最后得到一个用户体验质量的综合评价值MOSQoE的方程式,即可应用于实际场合进行QoE的评价。

以上对本发明实施里所提供的一种QoE评价方法进行了详细介绍,对于本领域的一般技术 人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述, 本发明实施例不应理解为对本发明的限制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号