首页> 中国专利> 用于观看环境中视觉信息的自适应递送的观看条件估计

用于观看环境中视觉信息的自适应递送的观看条件估计

摘要

视觉信息可以被递送到观看环境中的具有流能力的设备,该观看环境例如是家庭环境或商业环境。视觉信息能够适应用户行为和/或观看条件由此递送满意的用户体验同时保存网络资源,例如带宽和/或容量。观看距离和/或环境光可以被估计,其可以影响观看环境中的观看条件。通过消除估计的观看条件中可能不被用户察觉到的细节来降低带宽(例如通过确定在观看条件下可察觉的空间分辨率(例如最大空间分辨率)并不超过该空间分辨率)。

著录项

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-12-18

    授权

    授权

  • 2016-08-03

    著录事项变更 IPC(主分类):H04N21/2343 变更前: 变更后: 申请日:20140904

    著录事项变更

  • 2016-07-13

    实质审查的生效 IPC(主分类):H04N21/2343 申请日:20140904

    实质审查的生效

  • 2016-06-15

    公开

    公开

说明书

相关申请的交叉引用

本申请要求2013年9月4日申请的美国临时专利申请No.61/873,756 的权益和2014年6月20日提交的美国临时专利申请No.62/026,688的权益, 其内容通过引用的方式结合于此。

背景技术

观看环境(例如,家庭环境)中多媒体流由于越来越多的设备功能、更 好的网络基础设施以及大量的源的可用性而变得普遍。可支持多媒体流的设 备包括,例如电视机、机顶盒、游戏机、移动电话、平板电脑和笔记本电脑。 一些专门的产品,如谷歌公司提供的多媒体流播放器,苹 果公司提供的APPLE多媒体流播放器和Roku公司提供的多媒 体流播放器是可由观看者在观看环境(例如,家庭观看环境)中使用的流设 备的示例。

具有流功能的设备可以使用外部显示器(例如电视)来显示内容给用户。 多媒体递送系统中的观看环境的特性可能由于不同的设置而变化很大,这可 能导致不同的观看距离,不同的环境光的量,以及其它不同的环境条件。

发明内容

公开了用于在观看环境中递送视觉信息给具有流能力的设备的系统、方 法和设施,该观看环境例如是家庭环境或商业环境。视觉信息能够适用于用 户行为和/或观看条件,由此递送满意的用户体验同时节省网络资源,例如带 宽和/或容量。观看距离和/或环境光可以被估计。这些因素可能影响观看环 境中观看条件。

递送多媒体内容的方法可以包括估计用户的观看条件和根据估计的观 看条件调整多媒体内容的流。观看条件可包括观看距离或环境光水平中的至 少一者。可以例如使用照相机和/或远程控制来估计观看距离,可以例如使用 环境光传感器和/或地理位置信息来估计环境光水平。

附图说明

图1A是可以在其中实施一个或多个公开的实施方式的示例通信系统的 系统图;

图1B是可以在图1A中示出的通信系统中使用的示例无线发射/接收单 元(WTRU)的系统图;

图1C是可以在图1A中示出的通信系统中使用的示例无线电接入网和 示例核心网的系统图;

图1D是可以在图1A中示出的通信系统中使用的另一示例无线电接入 网和另一示例核心网的系统图;

图1E是可以在图1A中示出的通信系统中使用的另一示例无线电接入 网和另一示例核心网的系统图;

图2是示出设备与典型的观看位置之间的不同的观看距离的示例的图;

图3是示出用于儿童和成人的典型观看距离的示例分布的曲线图;

图4示出自然光对观看环境中可用环境光量的贡献示例;

图5示出针对房间照明水平针对一天看电视的时间的研究结果;

图6示出示例带宽自适应流系统;

图7是示出带宽自适应流的示例的图;

图8是示出示例多媒体流系统的图;

图9示出用于估计观看距离的示例校准过程;

图10示出在观看环境中的三个观看位置;

图11是示出示例流客户端的图;

图12示出估计观看距离的示例;

图13是关于观看位置的统计收集的示例;

图14是示出观看区域中的一组可能观看位置的统计收集的示例;

图15是汇聚典型观看位置的示例;

图16是聚合观看位置和外围的观看位置的示例;

图17是观看位置与用户位置的关联的示例。

具体实施方式

现在参考附图描述示例实施方式的详细描述。虽然本说明书提供了可能 实现的详细示例,但是应该指出的是,细节旨在是示例性的,决不限制本申 请的范围。

图1A是可以在其中实施一个或更多个实施方式的示例通信系统的图。 通信系统100可以是向多个用户提供内容,例如语音、数据、视频、消息发 送、广播等的多接入系统。通信系统100可以使多个无线用户通过系统资源 共享(包括无线带宽)访问这些内容。例如,通信系统可以使用一种或多种 信道接入方法,例如码分多址(CDMA),时分多址(TDMA),频分多址 (FDMA),正交FDMA(OFDMA),单载波FMDA(SC-FDMA)等。

如图1A所示,通信系统100可以包括无线发射/接收单元(WTRU)102a、 102b、102c、和/或102d(其通常或整体上被称为WTRU102),无线电接入 网(RAN)103、104、105,核心网106、107、109,公共交换电话网(PSTN) 108、因特网110和其他网络112。不过应该理解的是,公开的实施方式考虑 到了任何数量的WTRU、基站、网络和/或网络元件。WTRU102a、102b、 102c、102d的每一个可以是配置为在无线环境中进行操作和/或通信的任何 类型的设备。作为示例,可以将WTRU102a、102b、102c、102d配置为发 送和/或接收无线信号,并可以包括用户设备(UE)、基站、固定或者移动用 户单元、寻呼器、蜂窝电话、个人数字助理(PDA)、智能电话、笔记本电 脑、上网本、个人计算机、无线传感器、消费电子产品等等。

通信系统100还可以包括基站114a和基站114b。基站114a、114b的每 一个都可以是配置为与WTRU102a、102b、102c、102d中的至少一个无线 对接以便于接入一个或者更多个通信网络,例如核心网106、107、109、因 特网110和/或网络112的任何设备类型。作为示例,基站114a、114b可以 是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、 站点控制器、接入点(AP)、无线路由器等等。虽然基站114a、114b的每一 个被描述为单独的元件,但是应该理解的是,基站114a、114b可以包括任 何数量互连的基站和/或网络元件。

基站114a可以是RAN103、104、105的一部分,RAN还可以包括其他 基站和/或网络元件(未显示),例如基站控制器(BSC)、无线电网络控制器 (RNC)、中继节点等。可以将基站114a和/或基站114b配置为在特定地理 区域之内发送和/或接收无线信号,该区域可以被称为小区(未显示)。小区 还可以被划分为小区扇区。例如,与基站114a关联的小区可以划分为三个 扇区。因此,在一种实施方式中,基站114a可以包括三个收发信机,即每 一个用于小区的一个扇区。在另一种实施方式中,基站114a可以使用多输 入多输出(MIMO)技术,因此可以将多个收发信机用于小区的每一个扇区。

基站114a、114b可以通过空中接口115、116、117与WTRU102a、102b、 102c、102d中的一个或者更多个通信,该空中接口115、116、117可以是任 何合适的无线通信链路(例如,射频(RF)、微波、红外(IR)、紫外线(UV)、 可见光等)。可以使用任何合适的无线电接入技术(RAT)来建立空中接口 116。

更具体地,如上所述,通信系统100可以是多接入系统,并可以使用一 种或者多种信道接入方案,例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA 等等。例如,RAN103、104、105中的基站114a和WTRU102a、102b、102c 可以使用例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无 线电技术,其可以使用宽带CDMA(WCDMA)来建立空中接口115、116、 117。WCDMA可以包括例如高速分组接入(HSPA)和/或演进的HSPA (HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA) 和/或高速上行链路分组接入(HSUPA)。

在另一种实施方式中,基站114a和WTRU102a、102b、102c可以使用 例如演进的UMTS陆地无线电接入(E-UTRA)的无线电技术,其可以使用 长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115、116、117。

在其他实施方式中,基站114a和WTRU102a、102b、102c可以使用例 如IEEE802.16(即,全球微波接入互操作性(WiMAX))、CDMA2000、 CDMA20001X、CDMA2000EV-DO、暂行标准2000(IS-2000)、暂行标准 95(IS-95)、暂行标准856(IS-856)、全球移动通信系统(GSM)、GSM演 进的增强型数据速率(EDGE)、GSMEDGE(GERAN)等等的无线电技术。

图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或 者接入点,例如,并且可以使用任何适当的RAT以方便局部区域中的无线 连接,例如商业场所、住宅、车辆、校园等等。在一种实施方式中,基站114b 和WTRU102c、102d可以实施例如IEEE802.11的无线电技术来建立无线局 域网(WLAN)。在另一种实施方式中,基站114b和WTRU102c、102d可 以使用例如IEEE802.15的无线电技术来建立无线个域网(WPAN)。在另一 种实施方式中,基站114b和WTRU102c、102d可以使用基于蜂窝的RAT (例如,WCDMA,CDMA2000,GSM,LTE,LTE-A等)来建立微微小区 或毫微微小区。如图1A所示,基站114b可以具有到因特网110的直接连接。 因此,基站114b可以不需要经由核心网106、107、109而接入到因特网110。

RAN103、104、105可以与核心网106、107、109通信,所述核心网 106、107、109可以是被配置为向WTRU102a、102b、102c、102d中的一 个或更多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务等 的任何类型的网络。例如,核心网106、107、109可以提供呼叫控制、计费 服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分配等和/或执 行高级安全功能,例如用户认证。虽然图1A中未示出,应该理解的是,RAN 103、104、105和/或核心网106、107、109可以与使用和RAN103、104、 105相同的RAT或不同RAT的其他RAN进行直接或间接的通信。例如,除 了连接到正在使用E-UTRA无线电技术的RAN103、104、105之外,核心 网106、107、109还可以与使用GSM无线电技术的另一个RAN(未示出) 通信。

核心网106、107、109还可以充当WTRU102a、102b、102c、102d接 入到PSTN108、因特网110和/或其他网络112的网关。PSTN108可以包括 提供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包 括使用公共通信协议的互联计算机网络和设备的全球系统,所述协议例如有 TCP/IP网际协议组中的传输控制协议(TCP)、用户数据报协议(UDP)和 网际协议(IP)。网络112可以包括被其他服务提供商拥有和/或运营的有线 或无线的通信网络。例如,网络112可以包括连接到一个或更多个RAN的 另一个核心网,该RAN可以使用和RAN103、104、105相同的RAT或不 同的RAT。

通信系统100中的WTRU102a、102b、102c、102d的某些或全部可以 包括多模式能力,即WTRU102a、102b、102c、102d可以包括用于在不同 无线链路上与不同无线网络进行通信的多个收发信机。例如,图1A中示出 的WTRU102c可被配置为与基站114a通信,所述基站114a可以使用基于 蜂窝的无线电技术,以及与基站114b通信,所述基站114b可以使用IEEE802 无线电技术。

图1B是WTRU102示例的系统图。如图1B所示,WTRU102可以包 括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键 盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源 134、全球定位系统(GPS)芯片组136和其他外围设备138。应该理解的是, WTRU102可以在保持与实施方式一致时,包括前述元件的任何子组合。而 且,实施方式考虑了基站114a和114b和/或基站114a和114b可以表示的节 点(诸如但不局限于收发信台(BTS)、节点B、站点控制器、接入点(AP)、 家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点B(HeNB)、 家庭演进型节点B网关和代理节点等)可以包括图1B所描绘和这里描述的 一些或所有元件。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处 理器(DSP)、多个微处理器、与DSP核相关联的一个或更多个微处理器、 控制器、微控制器、专用集成电路(ASIC)、场可编程门阵列(FPGA)电 路、任何其他类型的集成电路(IC)、状态机等等。处理器118可执行信号 编码、数据处理、功率控制、输入/输出处理和/或使WTRU102运行于无线 环境中的任何其他功能。处理器118可以耦合到收发信机120,所述收发信 机120可耦合到发射/接收元件122。虽然图1B描述了处理器118和收发信 机120是单独的部件,但是应该理解的是,处理器118和收发信机120可以 一起集成在电子封装或芯片中。

发射/接收元件122可以被配置为通过空中接口115、116、117将信号发 送到基站(例如,基站114a),或从基站(例如,基站114a)接收信号。例 如,在一种实施方式中,发射/接收元件122可以是被配置为发射和/或接收 RF信号的天线。在另一种实施方式中,发射/接收元件122可以是被配置为 发送和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一种实施 方式中,发射/接收元件122可以被配置为发射和接收RF和光信号两者。应 当理解,发射/接收元件122可以被配置为发射和/或接收无线信号的任何组 合。

另外,虽然发射/接收元件122在图1B中描述为单独的元件,但是WTRU 102可以包括任意数量的发射/接收元件122。更具体的,WTRU102可以使 用例如MIMO技术。因此,在一种实施方式中,WTRU102可以包括用于通 过空中接口115、116、117发送和接收无线信号的两个或更多个发射/接收元 件122(例如,多个天线)。

收发信机120可以被配置为调制要由发射/接收元件122发射的信号和/ 或解调由发射/接收元件122接收的信号。如上面提到的,WTRU102可以具 有多模式能力。因此收发信机120可以包括使WTRU102经由多个例如 UTRA和IEEE802.11的RAT通信的多个收发信机。

WTRU102的处理器118可以耦合到下述设备,并且可以从下述设备中 接收用户输入数据:扬声器/麦克风124、键盘126和/或显示器/触摸板128 (例如,液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单 元)。处理器118还可以输出用户数据到扬声器/麦克风124、键盘126和/或 显示/触摸板128。另外,处理器118可以从任何类型的适当的存储器访问信 息,并且可以存储数据到任何类型的适当的存储器中,例如不可移动存储器 130和/或可移动存储器132。不可移动存储器130可以包括随机存取存储器 (RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器设备。可移 动存储器132可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD) 存储卡等等。在其他实施方式中,处理器118可以从在物理位置上没有位于 WTRU102上,例如位于服务器或家用计算机(未示出)上的存储器访问信 息,并且可以将数据存储在该存储器中。

处理器118可以从电源134接收电能,并且可以被配置为分配和/或控制 到WTRU102中的其他部件的电能。电源134可以是给WTRU102供电的 任何适当的设备。例如,电源134可以包括一个或更多个干电池(例如,镍 镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、锂离子(Li-ion)等等),太阳 能电池,燃料电池等等。

处理器118还可以耦合到GPS芯片组136,所述GPS芯片组136可以 被配置为提供关于WTRU102当前位置的位置信息(例如,经度和纬度)。 另外,除来自GPS芯片组136的信息或作为其替代,WTRU102可以通过空 中接口115、116、117从基站(例如,基站114a、114b)接收位置信息和/ 或基于从两个或更多个邻近基站接收的信号的定时来确定其位置。应当理解, WTRU102在保持实施方式的一致性时,可以通过任何适当的位置确定方法 获得位置信息。

处理器118还可以耦合到其他外围设备138,所述外围设备138可以包 括一个或更多个提供附加特性、功能和/或有线或无线连接的软件和/或硬件 模块。例如,外围设备138可以包括加速计、电子罗盘、卫星收发信机、数 字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视 收发信机、免提耳机、蓝牙模块、调频(FM)无线电单元、 数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

图1C是根据实施方式的RAN103和核心网106的系统图。如上面提到 的,RAN103可使用UTRA无线电技术通过空中接口115与WTRU102a、 102b、102c通信。RAN103还可以与核心网106通信。如图1C所示,RAN 103可以包括节点B140a、140b、140c,节点B140a、140b、140c的每一个 包括一个或更多个用于通过空中接口115与WTRU102a、102b、102c通信 的收发信机。节点B140a、140b、140c的每一个可以与RAN103内的特定 小区(未显示)关联。RAN103还可以包括RNC142a、142b。应当理解的 是,RAN103在保持实施方式的一致性时,可以包括任意数量的节点B和 RNC。

如图1C所示,节点B140a、140b可以与RNC142a通信。此外,节点 B140c可以与RNC142b通信。节点B140a、140b、140c可以通过Iub接口 分别与RNC142a、142b通信。RNC142a、142b可以通过Iur接口相互通信。 RNC142a、142b的每一个可以被配置以控制其连接的各个节点B140a、140b、 140c。另外,RNC142a、142b的每一个可以被配置以执行或支持其他功能, 例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、 安全功能、数据加密等等。

图1C中所示的核心网106可以包括媒体网关(MGW)144、移动交换 中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS支 持节点(GGSN)。尽管前述元件的每一个被描述为核心网106的部分,应当 理解的是,这些元件中的任何一个可以被不是核心网运营商的实体拥有或运 营。

RAN103中的RNC142a可以通过IuCS接口连接至核心网106中的MSC 146。MSC146可以连接至MGW144。MSC146和MGW144可以向WTRU 102a、102b、102c提供到电路交换网络(例如PSTN108)的接入,以便于 WTRU102a、102b、102c和传统陆地线路通信设备之间的通信。

RAN103中RNC142a还可以通过IuPS接口连接至核心网106中的 SGSN148。SGSN148可以连接至GGSN150。SGSN148和GGSN150可以 向WTRU102a、102b、102c提供到分组交换网络(例如因特网110)的接入, 以便于WTRU102a、102b、102c和IP使能设备之间的通信。

如上所述,核心网106还可以连接至网络112,网络112可以包括由其 他服务提供商拥有或运营的其他有线或无线网络。

图1D是根据实施方式的RAN104和核心网107的系统图。如上面提到 的,RAN104可使用E-UTRA无线电技术通过空中接口116与WTRU102a、 102b、102c通信。RAN104还可以与核心网107通信。

RAN104可包括e节点B160a、160b、160c,但可以理解的是,RAN104 可以包括任意数量的e节点B而保持与各种实施方式的一致性。eNB160a、 160b、160c的每一个可包括一个或更多个用于通过空中接口116与WTRU 102a、102b、102c通信的收发信机。在一种实施方式中,e节点B160a、160b、 160c可以使用MIMO技术。因此,e节点B160a例如可以使用多个天线来 向WTRU102a发送无线信号和/或从其接收无线信号。

e节点B160a、160b、160c的每一个可以与特定小区相关联(未显示), 并可以被配置为处理无线资源管理决策、切换决策、在上行链路和/或下行链 路中的用户调度等等。如图1D所示,e节点B160a、160b、160c可以通过 X2接口相互通信。

图1D中所示的核心网107可以包括移动性管理实体(MME)162、服 务网关164和/或分组数据网络(PDN)网关166。虽然前述单元的每一个被 描述为核心网107的一部分,应当理解的是,这些单元中的任意一个可以由 除了核心网运营商之外的实体拥有和/或运营。

MME162可以经由S1接口连接到RAN104中的e节点B160a、160b、 160c的每一个,并可以作为控制节点。例如,MME162可以负责WTRU102a、 102b、102c的用户认证、承载激活/去激活、在WTRU102a、102b、102c的 初始附着期间选择特定服务网关等等。MME162还可以提供控制平面功能, 用于在RAN104和使用例如GSM或者WCDMA的其他无线电技术的其他 RAN(未显示)之间切换。

服务网关164可以经由S1接口连接到RAN104中的eNB160a、160b、 160c的每一个。服务网关164通常可以向/从WTRU102a、102b、102c路由 和转发用户数据分组。服务网关164还可以执行其他功能,例如在eNB间 切换期间锚定用户平面、当下行链路数据对于WTRU102a、102b、102c可 用时触发寻呼、管理和存储WTRU102a、102b、102c的上下文(context) 等等。

服务网关164还可以连接到PDN网关166,PDN网关166可以向WTRU 102a、102b、102c提供到分组交换网络(例如因特网110)的接入,以便于 WTRU102a、102b、102c与IP使能设备之间的通信。

核心网107可以便于与其他网络的通信。例如,核心网107可以向WTRU 102a、102b、102c提供到电路交换网络(例如PSTN108)的接入,以便于 WTRU102a、102b、102c与传统陆地线路通信设备之间的通信。例如,核 心网107可以包括IP网关(例如IP多媒体子系统(IMS)服务器),或者与 之通信,该IP网关作为核心网107与PSTN108之间的接口。另外,核心网 107可以向WTRU102a、102b、102c提供到网络112的接入,该网络112 可以包括被其他服务提供商拥有和/或运营的其他有线或无线网络。

图1E是根据实施方式的RAN105和核心网109的系统图。RAN105可 以是使用IEEE802.16无线电技术通过空中接口117与WTRU102a、102b、 102c进行通信的接入服务网络(ASN)。如下面进一步讨论的,WTRU102a、 102b、102c,RAN105和核心网109的不同功能实体之间的链路可以被定义 为参考点。

如图1E所示,RAN105可以包括基站180a、180b、180c和ASN网关 182,但应当理解的是,RAN105可以包括任意数量的基站和ASN网关而与 实施方式保持一致。基站180a、180b、180c的每一个可以与RAN105中特 定小区(未示出)关联并可以包括一个或更多个通过空中接口117与WTRU 102a、102b、102c通信的收发信机。在一个实施方式中,基站180a、180b、 180c可以使用MIMO技术。因此,基站180a例如使用多个天线来向WTRU 102a发送无线信号,或从其接收无线信号。基站180a、180b、180c可以提 供移动性管理功能,例如呼叫切换(handoff)触发、隧道建立、无线电资源 管理,业务分类、服务质量策略执行等等。ASN网关182可以充当业务聚集 点,并且负责寻呼、缓存用户简档(profile)、路由到核心网109等等。

WTRU102a、102b、102c和RAN105之间的空中接口117可以被定义 为使用802.16规范的R1参考点。另外,WTRU102a、102b、102c的每一个 可以与核心网109建立逻辑接口(未显示)。WTRU102a、102b、102c和核 心网109之间的逻辑接口可以定义为R2参考点,其可以用于认证、授权、 IP主机(host)配置管理和/或移动性管理。

基站180a、180b、180c的每一个之间的通信链路可以定义为包括便于 WTRU切换和基站间转移数据的协议的R8参考点。基站180a、180b、180c 和ASN网关182之间的通信链路可以定义为R6参考点。R6参考点可以包 括用于促进基于与WTRU102a、102b、102c的每一个关联的移动性事件的 移动性管理的协议。

如图1E所示,RAN105可以连接至核心网109。RAN105和核心网109 之间的通信链路可以定义为包括例如便于数据转移和移动性管理能力的协 议的R3参考点。核心网109可以包括移动IP本地代理(MIP-HA)184,认 证、授权、计费(AAA)服务器186和网关188。尽管前述的每个元件被描 述为核心网109的部分,应当理解的是,这些元件中的任意一个可以由不是 核心网运营商的实体拥有或运营。

MIP-HA可以负责IP地址管理,并可以使WTRU102a、102b、102c在 不同ASN和/或不同核心网之间漫游。MIP-HA184可以向WTRU102a、102b、 102c提供分组交换网络(例如因特网110)的接入,以促进WTRU102a、102b、 102c和IP使能设备之间的通信。AAA服务器186可以负责用户认证和支持 用户服务。网关188可促进与其他网络互通。例如,网关可以向WTRU102a、 102b、102c提供电路交换网络(例如PSTN108)的接入,以促进WTRU102a、 102b、102c和传统陆地线路通信设备之间的通信。此外,网关188可以向 WTRU102a、102b、102c提供网络112,其可以包括由其他服务提供商拥有 或运营的其他有线或无线网络。

尽管未在图1E中显示,应当理解的是,RAN105可以连接至其他ASN, 并且核心网109可以连接至其他核心网。RAN105和其他ASN之间的通信 链路可以定义为R4参考点,其可以包括协调RAN105和其他ASN之间的 WTRU102a、102b、102c的移动性的协议。核心网109和其他核心网之间 的通信链路可以定义为R5参考点,其可以包括促进本地核心网和被访问核 心网之间的互通的协议。

用于例如在诸如家庭环境或商业环境的观看环境中递送视觉信息给流 能力设备的系统可以适应用户的行为和观看条件,由此递送满意的用户体验 同时节省无线网络资源,例如带宽和/或容量。这里可以公开了用于估计观看 距离和环境光的技术,该观看距离和环境光可以是可以影响诸如家庭环境或 商业环境的观看环境中的观看条件的两个因素。基于观看条件,带宽速率可 被调整以例如节省带宽或其他系统资源,同时提供满意的用户体验。

本文公开的主题可以应用于在各种环境中,包括但不限于例如,多媒体 流客户端机顶盒、流设备(例如,谷歌公司提供的多媒体 流播放器、苹果公司提供的多媒体流播放器、和Roku公司提 供的多媒体流播放器),能够进行视频流的娱乐或游戏机(例如, 微软公司提供的娱乐系统和索尼电脑娱乐公司提供的 PLAYSTATION娱乐系统)、平板电脑、笔记本电脑、智能电话、消费 或商业电视、和/或智能电视。本文所公开的主题也可以与其它的流技术使用, 该流技术例如但不限于苹果公司提供的HTTP实时流或通过HTTP的动态自 适应流(DASH)流标准。

多媒体流系统可以使用关于用户观看条件的信息,来适应编码过程和/ 或递送过程,以减少或最小化的网络带宽、功率和/或其它系统资源的使用。 该系统可以使用传感器,例如,设备的环境光传感器和/或前置摄像头(该设 备例如是,机顶盒、遥控装置、或无线发射/接收单元(WTRU),例如移动 电话)来检测观看者的存在、其相对于所述观看屏的距离、和/或周围照明水 平,这可能会影响观看屏上的信息可见性。自适应系统可以使用该信息来确 定最大空间分辨率和/或用于可以能够察觉的视觉内容的其他参数。自适应系 统可调整编码和/或递送选项,以匹配用户的感觉。自适应系统可允许递送系 统实现满意的用户体验,同时节约网络带宽和/或其它系统资源。

人眼看到细节的能力可以受到用于显示视频的屏幕的空间密度的限制。 在观看条件自适应环境中,空间密度可以是每观看角度的的像素数。空间密 度可以是观看距离和观看屏幕的像素密度(例如,每英寸的像素数(ppi)) 的函数。对于给定的观看屏幕,较大的观看距离对应于较高空间密度。如果 空间密度超出人类视觉系统的自然限制,人的视觉系统可能无法察觉细节。

天然和人工照明可能会降低对比度和色域,并且在其投影到观看屏幕上 可能会产生在视频色彩平衡的变化。例如由于在光线充足的房间里或室外看 视频的时候的观看屏幕反射导致的减少的对比度可能会导致在人类观察者 能够感知的空间频率范围减小。更高的对比度,例如,在黑暗的房间观看视 频,可以使观看者能够感知更多的细节。

在给定观看条件下消除可能不可见的细节可能会导致节省带宽和/或改 进用户体验(例如,通过减少重新缓冲)。

观看环境(诸如家庭环境或商业环境)中的多媒体流已由于增加的设备 性能、更好的网络基础设施、以及大量的来源的可用性而变得普遍。可以支 持这样的流的设备包括,例如机顶盒、平板电脑、游戏机和笔记本电脑。一 些专门的产品,如谷歌公司提供的多媒体流播放器、苹果 公司提供的APPLE多媒体流播放器、以及Roku公司提供的多 媒体流播放器,可给观看者提供灵活性和选择。

流能力设备可以使用外部显示器或电视机显示内容给用户。观看环境中 的多媒体递送系统中的视觉链路的特性(例如,通过显示器和观看者所形成 的链路)可能相差很大。因素可能包括不同的设置,其可确定观看距离和环 境条件,包括环境光量。

通过估计观看环境中的观看条件(如观看距离和环境光),多媒体递送 系统能够确定用户能够感知视觉信息的程度。利用这种估计,多媒体递送系 统能够提供与其基于的内容(例如原始内容)类似(例如感觉上无法区分) 的多媒体内容,同时减少了整个流系统的带宽和容量需求,有助于通过降低 不利因素(如重新缓冲)的数量而提升用户体验。距离和像素密度,如可以 通过观看屏幕(例如,电视屏幕)分辨率和尺寸来确定,可能会影响到观看 者能够察觉到的视觉信息量。

在家庭环境或商业环境中,与在移动设备上观看视频内容相比,人们可 以从通常在较长的时间段保持恒定不同的距离观看流内容。对于成年人来说, 观看距离的预测符是在家庭或商业环境中的优选的观看位置的位置(例如, 家具的位置)。根据一天中的时间,很多成年人看电视,日复一日地坐在他 们的偏爱位置,且家具通常摆设得其可以提供一个或多个舒适的观看位置。 图2示出不同的观看距离的示例,包括但不限于坐在电视前的沙发上,从餐 厅的桌子,和/或从厨房。

图3示出典型的儿童和成人的观看距离的示例累积百分比分布。儿童的 示例分布被示为曲线302,而成人的示例分布被示为曲线304。成人的平均 观看距离被发现是8.6个屏幕宽度,标准偏差为3.0屏幕宽度。儿童往往从 较短的距离观看。

自然光可能影响观看环境中的环境光的量。在白天的自然光的量是观看 设置中的因素,因为这会导致对比度比数量级下降,如图4所示。在夜间, 人工照明是环境光的主要来源,但量一般比在白天的低,且对比度比可以比 在白天高。

在白天,平均照明可能会超过在夜间的照明的两倍。例如,白天的照明 水平的范围可以是150-1800lux,平均585lux。夜间照明水平的范围可以是 例如,130-340lux,平均237lux。这些水平是在多云的天气的一天进行的研 究中观察到的;然而,所观察到的水平确认观察到环境光在夜间比在白天低。

在房间的照明可以是白天高。图5示出了看电视的房间的照明水平的研 究的结果。在这项研究中,五个照明测量是在看电视的房间进行的:房间的 中间、观看位置、电视柜的顶部、电视屏幕的中心、以及电视中的自动亮度 控制(ABC)传感器的位置。如图5所示,平均照明水平在白天(例如在上 午5点与下午5点之间)比夜间(例如,下午6点与凌晨4点之间)明显更 高。

在有线和无线网络(诸如电缆调制解调器、DSL、3G和/或WiFi等)中 的流可能涉及由于在网络中的可变带宽的自适应。带宽自适应流(其中在该 媒体流传输到客户端的速率可适应变化的网络条件)可以使客户端以更好地 将接收该媒体的速率匹配到自己的变化的可用带宽。此外,流客户端还可以 使用有关观看条件的信息来选择可从服务器请求的速率。

图6示出示例带宽自适应流系统600。在带宽自适应流系统中,内容提 供方可以提供在不同的比特率的相同的内容。编码器602可以在多个目标比 特率(例如,r1,r2,…,rM)编码多媒体内容604。此外,每个编码可以被划分 成短持续时间(例如2-10秒)的片段。描述文件606或清单(manifest)可 提供与该内容和其多个表述(representation)相关联的技术信息和元数据, 使得能够选择不同的可用速率。

多媒体流系统可以支持带宽自适应。流播放器(例如,流客户端)可从 媒体内容说明(例如,描述文件606)了解可用比特率。流客户端可估计可 用带宽或观看条件,并且可以通过请求不同比特率的内容的分段来控制流会 话,允许流客户端适应在多媒体内容回放期间的带宽波动或改变的观看条件。 图7示出示例的使用用于在带宽节省下流传输的带宽自适应702和观看条件 自适应704的系统700。

图8示出示例多媒体流系统800,其可递送多媒体内容例如到家庭环境 或商业环境。用户802可以具有与显示设备806(例如电视机)的视觉链路 804。电视机可以与流设备808通信。流设备808可以经由网关(GW)812 (诸如电缆调制解调器或DSL调制解调器)以及有线链路(例如,以太网) 814和无线链路816(例如,经由WiFi路由器818)中的一个或多个与网络 (诸如因特网810)通信。

内容提供方可以通过因特网810经由视频源820向用户802提供多媒体 内容。多媒体内容可以由编码器822编码并通过内容递送网络(CDN)824 经由流或HTTP服务器826递送给因特网810。

传感器或相机可以由用户针对房间的观看条件被校准。从电视或屏幕到 家庭娱乐环境或房间的一个或多个观看者的距离可以被估计。促进这个或这 些距离的估计的方法可以促进观看条件自适应多媒体流的使用。

在观看环境(例如家庭环境或商业环境)中的距离估计可以与使用移动 设备的情况不同。在移动设备的情况中,假定可以由有单一的用户且他或她 可以具有握持移动设备的特定的偏好。在观看环境中,例如家庭环境或商业 环境中,可以存在多个用户,并且在房间可以有多个观看位置和/或点。例如, 在起居室,可以家庭成员在看电视时能够使用的一个或多个沙发或椅子。距 离估计的任务可以是学习过程,其中可以收集并聚类例如使用相机、IR传感 器读数和/或其他方法得到的多个估计。聚类可以导致在房间中的典型的观看 位置的列表。关联过程可被用于确定在哪些时间点可以使用哪些观看位置。 如果多个观看者可以存在或可以预期存在,离屏幕最近的观看点可用于基于 距离的自适应的目的。

对于距离估计,特定的距离测量可能不准确和/或无关(例如,当人走 近电视机关电视时)。本文公开的该统计收集、聚类和/或关联过程可以解释 (例如,不管)这样的距离测量。

人脸检测技术可用于估计观看距离。电视、显示器、或机顶盒可包括可 被用于监视观看者的传感器或相机。传感器或相机可以位于用户的视场内。

一些电视机、显示器和机顶盒可包括可包括可以用于估计到观看的一个 或多个观看者的观看距离的一个或多个相机。为便于使用一个或多个相机, 可以针对后续使用由一个或多个算法校准一个或多个相机以测量到用户的 距离。

图9示出用于使用相机估计观看距离的示例校准过程900。在902-904, 可确定可用相机的数量。如果一个或多个相机可用,用于估计观看距离的过 程可在906被启动,在908,用户的简档,例如,基本用户简档,可以被收 集。基本用户简档可以被用来确定用户的统计校正。例如用户许可,可以拍 照片。在910,用户可被请求从其偏好的一个或多个观看位置的距离估计, 用于完善距离估计的目的。例如,用户可以提供用户的当前位置和相机和/ 或显示设备之间的距离的估计。基本用户简档可以用于确定用户的统计校正。 在912,面部检测可以用于估计用户与相机之间的距离。此估计可以考虑到 用户自己的距离估计和/或用户的简档信息。如果多台相机可用,多个相机(例 如立体相机)的估计可以用于完善距离测量(在914)。在916,可以完善 距离估计。

如果相机不可用,例如在电视或监视器处,可使用其他方法来估计观看 距离。遥控装置,如红外(IR)遥控装置可用于距离估计。遥控装置可以是 但不限于可以由用户或观看者控制、穿戴或存在的任意设备。遥控装置可以 包括远程手持设备、手持机、可佩戴电子设备、智能电话、视频游戏控制器 和/或用于控制娱乐系统的类似设备。

衰减是通过介质(例如空气)的信号强度的损耗,例如,逐渐丧失。校 准过的参考可被用于估计观看距离。电视、监视器或机顶盒可以使用遥控装 置来控制系统。遥控装置可以包含用于系统确定从电视到一个或多个用户的 距离的校准的参考。参考可以包括,例如可见光或红外光源。本文可以公开 用于校准参考光源的过程。

用于距离测量的参考源可以基于任何类型的光、红外信号、声波等。

多个参考源可以被用于改进距离测量。例如,多个用户可以持有各自的 遥控装置,对此能够计算和/或改善距离测量。

由于衰减,或自由空间路径损耗(FSPL),当遥控装置是从观看环境 内不同的区域被操作时信号强度可能会有所不同。自由空间路径损耗可以计 算为:

FSPL=(4π·d·fc)2

其中,d是离发射机的距离(例如,单位米),f是信号频率(例如, 单位赫兹),c是光在真空中的速度(例如,2.99×108米/秒)。这FSPL等 式可包含可能导致信号衰减两个效果。电磁能在自由空间中独立于频率伸展。 该FSPL等式也可以包含接收天线的口径,例如,天线如何能够很好从进来 的电磁波接收功率。该孔可以取决于信号的频率。

对于无线电应用,FSPL可以以分贝表示(dB)。FSPL可以表示为:

FSPL(dB)=20log10(d)+20log10(f)-147.55

对于消费者的IR遥控装置,可使用940纳米(320赫兹)的波长。表1 示出在不同距离的IR信号的衰减。对于恒定的频率,发射机和接收机之间 倍增的距离可以降低所接收的信号6分贝。接收机能够基于IR信号的强度 确定相对小的距离差异,例如在观看环境不同的观看距离。表1列出了在不 同距离的IR信号的衰减。

表1

一旦距离被估计,它能够被用来请求在足以产生类似于原始数据(例如 感觉上无法区分)的数据的分辨率和过滤水平编码的节目。

红外遥控装置可以被校准以提高观看距离的估计的准确性。用户可被要 求执行一个功能,例如,在位于距离屏幕的已知一个或多个距离(例如,8 英尺,16英尺等)时按下远程控制上的键。来自遥控装置的IR信号强度可 以在已知的一个或多个距离或距离被记录。所记录的IR信号强度可以用于 与在用户正从其他位置看电视时接收的信号强度相关并推断他或她的距离, 如图10所示。

图10描绘了观看环境1000中三个位置1002、1004、1006,在离用户可 以观看的电视1008的各自距离d1、d2和d3。距离d1、d2和d3能够根据在 已知距离(例如,8英尺,16英尺等)记录的IR遥控装置的信号强度和在 位置1002、1004、1006的信号强度来确定。

当使用遥控装置估计观看距离时,所发射的IR功率可能不是已知的, 且每次使用遥控装置时可能是不同的。这可能会产生不准确的距离估计。用 户可被要求定期执行校准,其中信号强度从已知的距离测量。该参考水平可 以用于未来的测距。遥控装置可以通过IR信号发送发射功率。遥控装置可 以使用一个或多个稳压器来保持稳定发射功率。

除了FSPL,信号传播的其他特性,例如,多径散射和/或反射,可能扭 曲距离估计。考虑到这些额外的特性,可以使用在电视机上的更灵敏和昂贵 的IR接收器。

离轴指向(例如,其中遥控装置可能无法直接指向IR接收器)可以被 误解为较大的距离。用户可能会被要求将遥控装置直接指向IR接收点。

可以使用测距仪。电视、监视器或机顶盒可包括测距仪,例如超声波、 IR或激光测距仪。如果此能力被支持,信号可被发送。接收反射之前的延迟 可被测量。这个时间延迟可以用于估计到用户的距离,其是该延迟和通过介 质(例如空气)的声波、IR束或激光束的速度的函数。由于测距仪可能不会 产生清晰的图像,因此可以保留观看者的隐私。

校准可以用来帮助测距仪区分观看者与家具。例如,作为初始设置,用 户可能会被要求让电视、机顶盒或游戏机扫描有和没有观看者的观看房间。 多普勒技术可用于在用户之间进行区分。当测距仪的一个或多个信号探测时 各个远程控制可以返回唯一编码的波形。

可以使用遥控装置中的测距仪。遥控装置可以包括激光、超声波、IR 测距仪。遥控装置中的测距仪可以对着电视或显示器。测距仪可检测反射并 可以计算举例估计,其可经由遥控装置的IR信号或通过使用遥控装置使用 与电视或显示器通信的其他手段被传送到电视。

用户姿态可用于系统控制。游戏或娱乐控制台,例如可以使用IR激光 器和传感器来获取图像,例如,房间的深度图像。这个图像可以与常规相机 输入耦合并用于姿态识别。姿态可以与或不与遥控装置同时使用。用户的姿 态可被用于估计或改善到用户的距离的估计。用户可以被要求在校准过程期 间,输入他们的身体类型的基本轮廓。用户的身体类型可以用于根据他们的 身体动作(例如他们手臂的运动)的分析来估计到用户的距离。

多个用户可以同时看视频,导致多个距离估计。在这种情况下,离显示 器较近或最近的观看者的距离估计可以被使用,因为这是察觉最多细节的观 看者。例如如果知道最近的观察者是漫不经心的,则不同的观看者的距离估 计可被使用。

多个用户的距离的估计可以通过使用耳机或三维(3D)眼镜被支持。眼 镜可以使用户使用各种技术来观看3D视频。此类技术的示例可以包括偏振 光和电子快门。这些方法之一可被扩展,以支持用于测量目的在此描述的解 决方案。耳机或眼镜可以传送信息到流客户端(例如,电视、机顶盒或游戏 机),以实现距离估计。

在有源快门眼镜中的一些硬件可以用于距离计算。例如,从电视接收红 外定时信号的有源快门眼镜可使用红外线功率计算反向计算离电视的距离。 这可以比IR远程信号更可靠,在于因为电视中的IR源被连接到AC电源, 它不具有一个电池退化问题。距离计算信息可以被传送到流客户端(例如, 电视、机顶盒或游戏机)。

可以存在快门眼镜和时间复用的其他用途。例如,多个观看者可以在同 一电视上观看多个不同的节目。此情形的眼镜可以有回到电视的通信信道。 距离计算信息可以被传送到流客户端(例如,电视、机顶盒或游戏机)。

一组眼镜可以用作可以执行各种功能的智能WiFi连接设备。这种设备 可以例如操作为流客户端,并且可以将输出重定向到在客厅的电视。眼镜可 以具有可用于实现深度估计到电视并执行基于距离的自适应的所有传感器 和工具。

相似的功能也能够使用手持机型设备或位于人的别处的设备(例如,流 设备不必须是头戴式)来实现。

麦克风和/或声音可以被用来估计观看距离。一些电视和游戏机可以配 备有外部或内置麦克风。一些电视和游戏机可以使用附件,如相机,其可配 备有麦克风阵列。麦克风可被用于捕获观看者的语音,其可以用于标识相对 于电视观看者的方向。语音的信噪比(SNR)可用于得到距离的估算。某些 电视机可以执行语音识别,其可以涉及用户对着遥控装置讲话。语音识别可 以在电视机本身上进行。这将进一步简化我们的用于估计观看者的距离的方 法。这种技术可补充用于在本公开中描述的其他技术,以进一步改进估计观 看者的距离和位置的精确度。

在观看房间中环境光的量可以被估计。虽然移动设备可配备有可用于得 到可用的环境光的精确估计的传感器或相机,在观看环境中流设备可能缺乏 这些传感器或相机。其它技术可用于估计可用环境光。

可用的环境光水平可被估计,例如使用传感器。传感器可以在一些电视 机中找到,其中它们可被用于调暗屏幕亮度以节省能量。利用这样的传感器 可以产生正观看视频所在的房间中的光量的相对准确的测量。传感器可以组 合其它技术使用来估计环境光。

如果该电视基于它自己的光传感器来调节亮度,则该自适应可以考虑调 节的亮度(例如,作为环境光的函数的亮度)。如果电视是自适应流设备, 则流自适应算法可以被设计与显示器亮度自适应一致。如果电视不是自适应 流设备,则机顶盒或用作自适应流客户端的其他设备可以例如基于环境光信 息推断电视亮度。HDMI接口的某些特征,如设备菜单控制和系统信息,也 可用于获得电视的亮度相关的设置。

此外,或者如果传感器是不可用的,则间接测量可以被用来估计可用环 境光的量。多种方法可以单独或以任何组合被用来估计环境光。

一天中的时间可用于推断在典型的观看房间(例如起居室)的环境照明 的水平。一天中的时间可以从服务器获得,例如,通过检查在由服务器发送 作为流会话的一部分的响应的HTTP头中找到的时间戳。时间戳可以按GMT 给出,并一旦得到地理信息可以被调整到合适的时区。

观看内容所在的地理位置可以例如从服务提供方(例如Google)在有用 户的同意或没有用户的同意的情况下使用流设备的IP地址来得到。地理位 置信息(例如,纬度和经度、邮政编码和/或时区)可被用来确定日出和日落 信息,由此在观看内容时给出白天量的估计。天气信息可以用来增强估计。

一旦获得照明水平估计,它可被用于请求在足够产生与原始数据相似 (例如感觉上无法区分)的数据的分辨率和过滤水平编码的多媒体内容。

在存在于观看环境中的其他设备中的传感器可以被用于获得环境光的 估计。例如,用于智能手机或平板电脑的应用可以允许用户使用该设备作为 用于电视、机顶盒或其他流设备的遥控装置(例如,智能电话可以控制流设 备;智能电话应用可以被用于控制电视或DVR等)。智能电话或平板电脑 可以有可用的环境光传感器(ALS)。用于远程控制的应用可被扩展到从 ALS获得读数并将此信息传递到流客户端。

如果移动设备缺少合适的ALS传感器,它的相机(例如,后置相机、 前置相机,或两者)能够用来测量光。

电视以外的流客户端可以结合ALS传感器。例如,ALS传感器可以被 结合在机顶盒、游戏或娱乐控制台、网络蓝光播放器、专用流媒体播放器盒 子等等。ALS传感器的加入可能会给设备增加少量成本,并且能够给相关联 的后端媒体服务节省显著的带宽。例如,机顶盒可以使用内置ALS传感器 来确定机顶盒正在显示流视频给连接的电视所在的房间中的环境照明。所述 机顶盒可以使用环境照明读数基于知道更高的环境光水平导致观看屏幕上 更低的可感知细节水平来适应视频流的比特率。

当ALS传感器存在时,它可以通过由操作系统标准传感器的API被暴 露。例如,在操作系统中,能够创建一个类传感器事件听者 (SensorEventListener),且再看看回叫是否有TYPE_LIGHT传感器信息。 在操作系统中,例如从具有额外SDK的Windows操作系统开 始,它可能会暴露为一类CAmbientLightAwareSensorEvents。这两个API可 以从ALS报告值,例如,用lux表示。

仅基于一天的事件和地理位置的环境光估计可能不会考虑房间的物理 布局,例如观看房间是否有窗,百叶窗或窗帘是打开还是关闭,和/或进来了 多少户外光。如果用户使用移动设备作为用于流设备的遥控装置,绝对环境 光读数能够从移动设备接收。流设备能够记录和存储这些环境光读数作为观 察值,与进行每次读数的时间一起。流设备可以使用这些环境光读数作为在 一天中的特定时间的环境光水平的校准读数。例如,流设备可以根据所记录 的环境光读数确定在一天中的特定时间的平均或期望的环境光读数。流设备 可插值来确定不足的记录的环境光读数可用的时间之间的期望的环境光读 数。在用户没有使用移动设备作为遥控装置或在来自移动设备的ALS读数 被确定不可用或不可靠的时候,校准的一天的时间的读数(例如预测的、平 均的和/或插值的环境光读数)可以被使用。

流客户端可以估计在观看环境中的观看距离。如本文中所描述的技术的 技术可被用于估计观看距离。可用于估计观看距离的技术可以取决于用于距 离估计的模块的可用性。估计观看环境中的观看距离的该过程可以包括本文 中所描述的算法和算法的组合。

观察距离和/或环境光可以在观看环境中被估计,例如家庭环境或商业 环境中。一旦这两个参数被估计,客户端能够使用它们,还有可用带宽的客 户端的视图,来确定在客户端能够从服务器请求多媒体内容的最佳分辨率和 其他编码参数,如图11所示。

图11示出了示例流客户端1100。流客户端1100可以包括观看距离估计 模块1102和/或环境光估计模块1104。观看距离估计模块1102可从IR接收 器接收信号强度和/或从一个或多个相机接收信息,并且可以估计观看距离。 环境光估计模块1104可以从服务器接收时间和/或地理位置信息,并且可以 估计环境光水平。

流客户端1100可以使用观看条件信息,例如观看距离和/或环境光,还 可以使用可用带宽信息。观看距离、环境光和/或可用带宽信息可以同时被使 用。例如,如果流客户端检测到没有观看视频内容的观看者,它可以切换到 最低可用比特率或停止流传输,即使足够的带宽可用于在更高的比特率进行 流传输。类似地,如果没有足够的带宽可用,客户端可以选择比在给定一组 已有观看条件情况下可接受水平流传输视频所需的更低的比特率。

图12示出估计观看距离的示例。用于估计观看距离的过程1200可以由 设备使用来确定一组典型的观看点,例如,用于基于距离的自适应。估计观 看距离1202可包括统计收集、聚类和/或关联。统计收集1204可以包括用于 确定一组一个或多个候选观看点的技术,如本文中所描述的技术。聚类1206 可以包括可以在统计收集中被收集成观看区域(例如房间)中的一组典型观 看点的该组候选观看点的分析和/或组织。聚类1206可以例如将候选观看点 (例如,在一段时间段的统计收集过程期间观察到的一组可能的观看位置) 分类成一个或多个群集,其中每个群集包括具有观看区域内相似的空间位置 的候选观看点。群集组然后可以被用于定义典型的观看点。观看位置可在时 间点改变,例如,统计收集过程1204可以被重复,或者可以连续地运行, 以产生或维持更新的组的候选观看点,并且聚类1206可以被重复,或者可 以连续地运行,以产生或维持更新的典型的观看点。关联1208可被用于确 定一种或多种活跃的观看点。活跃的观看点可以是该组典型观看点中的在聚 类中确定的可以是当前活跃的或可以在时间点被使用的典型的观看点。例如, 关联1208可确定用户正在从活跃观看点观看所显示的视频。

房间内的观看位置可以被确定。流客户端可确定可以用于收集统计的技 术。流客户端可以确定可用于基于预先确定的设置(例如,供应商可以部署 标准设备配置)收集统计的技术。流客户端可以确定可以基于动态设备检测 收集统计的技术。

图13是统计收集的示例,例如设备可以如何执行统计收集。例如在确 定要使用的技术之后,用于统计收集的技术可用于收集候选观看点的集合。 本文所描述的技术可以被使用一次或多次,以收集数据和/或候选观看点。统 计收集1300可在发生一次或多次。可以在校准步骤出现一次统计收集。统 计收集可以在新的流会话开始时发生。统计收集可以在流会话期间定期发生。 统计收集可以在流会话期间连续发生。统计收集可以按需发生(例如,基于 用户请求和/或当可以使用在初始确定观看位置时不可用的技术确定新观看 位置时)。在一个流会话之前和/或期间收集的统计可以用于确定在流会话中 使用的候选观看点。在多个流会话收集的统计可以被组合,例如,以确定候 选观看点。可以在1302选择技术(或一系列的技术)用来确定候选观看点。 统计收集开始于步骤1304。一个或多个(例如,每个)在1302选择的技术 可以用于在1306确定候选观看点。候选观看点的集合被收集。

图14是示出观看区域1400中一组候选观看点的统计收集的示例,用于 观看设备(例如,电视)1420。在图14中,候选观看点1401-1414可以通 过统计收集被收集。

图15是聚类过程1500的示例。统计收集中收集的该组候选观看点可以 是一个或多个。候选观看点可例如由于噪声被误算。可能的观看位置可能是 无关的,例如,如果一个人走向电视机去关电视。误算的位置可以通过聚类 和/或分组被标识和/或消除。多个候选观看点可被聚类和/或分组成一组典型 的观看点。

统计数据分析技术1502可用于标识点和/或外围位置的群集(例如,异 常值)。可用于聚类的统计数据分析技术包括分级聚类,基于质心的聚类, 和/或基于密度的群集。可基于数据分析的结果来确定的群集的数目。群集的 数量可以用作到数据分析算法的输入。数据分析算法可以基于可与观看距离 适应使用的可用比特流的数量。统计数据分析技术可以产生典型的观看点的 列表。

图16是候选观看点(包括外围观看位置)聚类的示例,以产生观察区 域1600中的一组典型的观看点,用于观看设备(例如,电视)1650。在图 16中,候选观看点1601-1605在一个群集中,1610-1613在另一个群集中, 以及1620-1624在又另一个群集中。候选观看点1630和1640被确定为异常 值。与群集相关联的该组候选的观看点可被标识,例如,当聚类完成时候。 例如,对于一个或多个群集(例如,每个群集),在群集中的点的平均观看 距离可以被计算。平均观看距离可以代表一个或多个(例如,所有)群集中 的点。群集可以是在观看环境中的典型的观看点。异常值可以被丢弃。

可通过聚类产生观看环境中典型的观看点的列表。最靠近屏幕的典型的 观看点可用于基于距离的自适应。不同的观看位置(例如,不同的典型的观 看点)在不同的时间可以是活跃的(例如可被用作观看显示的视频的有利位 置)。例如,观看者可以在早晨坐在一张桌子一边吃早餐一边看电视,而观 看者可以在晚上坐在在沙发上看电影。观看者最初可以是在一个典型的观看 点,但后来观看者可能移动到另一个典型的观看点。最靠近屏幕的观看点可 以在流会话期间在不同的时间点改变。

图17是典型的观看点与用户位置的关联1700的示例。可以在某个时间 点活跃的典型的观看点的关联可以被执行,以确定一个或多个活跃的观看点。 可以确定1702用户存在在典型的观看点处或附近。可以在流会话期间确定 用户是否从一个典型的观看点移动到另一个典型的观看点。用户可以存在于 一个或多个典型的观看点,这可能导致确定一个或多个活跃的观看点。如果 用户存在于多个活跃的观看点,则最靠近屏幕的活跃的观看点可以用于基于 距离的自适应。

候选观看点(例如可能的用户位置的观察)和/或活跃的观看点的历史 记录可被记录,并且可以被用作到关联过程的附加输入。历史记录可以将每 个候选观看点与记录或观察该候选观看点的时间相关联。历史记录可以将每 个活跃的观看点与确定活跃观看点为活跃的时间或时间范围相关联。当确定 哪些典型的观看点可以是当前活跃的时,该关联过程可以考虑该历史纪录。 例如,如果历史记录显示特定的典型的观看点通常在一天特定的时间是活跃 的,则该关联过程可偏向将该典型的观看点选为在该一天的特定时间的活跃 的观看点。作为另一个示例,如果该关联过程不能基于传感器输入确定当前 用户位置,因为这样的传感器输入是目前无法使用,或者因为从这样的传感 器读数被确定为目前不可靠的,则该关联过程可根据基于历史记录和一天的 当前时间的最可能的活跃观看点来确定活跃的观看点。

本文所述的过程和手段可以以任何组合来应用,可以适用于其它无线技 术,以及其他服务。WTRU可以涉及物理设备的标识,或者用户的标识,如 订阅相关的标识,例如,MSISDN、SIPURI等。WTRU可以涉及基于应用 的标识,例如,每个应用可以使用的用户名。

这里描述的方法可以用计算机程序、软件或固件实现,其可包含到由计 算机或处理器执行的计算机可读介质中。计算机可读介质的示例包括但不限 于电子信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可 读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器 (RAM)、寄存器、缓冲存储器、半导体存储器设备、磁性介质(例如但不 限于内部硬盘和可移动磁盘)、磁光介质和光介质(例如CD-ROM盘和数字 通用盘(DVD))。与软件关联的处理器用于实现射频收发信机,用于WTRU、 UE、终端、基站、RNC或任何主计算机。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号