用于基于外部电子装置的位置和移动来显示与外部电子装置相关联的对象的电子装置和方法

摘要

根据本公开的各种实施例的电子装置包括具有指定视场的一个或更多个相机、显示器、通信电路和处理器。所述处理器可被配置为：通过相机来确认所述指定视场中包括的一个或更多个外部对象中的外部电子装置，根据至少基于通过相机获得的图像信息确认的外部电子装置的第一位置信息，通过显示器显示与外部电子装置对应的图形对象，并且如果外部电子装置在所述指定视场之外，基于在外部电子装置移动到所述指定视场之外之前通过相机确认的外部电子装置的第二位置信息以及在外部电子装置移动到所述指定视场之外之后经由通信电路从外部电子装置接收到的与外部电子装置的移动相关的信息，通过显示器显示所述图形对象。

说明书

技术领域

各种实施例涉及一种用于使用关于外部电子装置的信息来显示与外部电子装置相关的对象的电子装置和方法。

背景技术

由于技术的发展，已经提供了用于提供与虚拟现实(VR)相关的服务的各种电子装置。各种电子装置包括用于显示与虚拟现实相关的多媒体内容的电子装置以及用于在与虚拟现实相关的多媒体内容中进行用户输入的外部电子装置。

发明内容

技术问题

经由电子装置接收与虚拟现实相关的服务的用户具有有限的视场(或查看范围)。由于视场的限制，提供了用于在与VR相关的服务中显示用户输入的单独的外部电子装置。在电子装置中，需要一种用于自然地显示外部电子装置的方法。

将在本文件中实现的技术问题不限于上述技术问题，并且本领域技术人员从以下描述清楚地理解未提及的其他技术问题。

问题的解决方案

根据本公开的各种实施例的电子装置包括具有指定视场的一个或更多个相机、显示器、通信电路和处理器，其中，处理器使用相机来识别所述指定视场中所包括的一个或更多个外部对象中的外部电子装置，根据至少基于通过相机获得的图像信息识别出的外部电子装置的第一位置信息在显示器上显示与外部电子装置对应的图形(视觉)对象，并且当外部电子装置偏离所述指定视场时，基于在外部电子装置偏离所述指定视场之前通过相机识别出的外部电子装置的第二位置信息以及在外部电子装置偏离所述指定视场之后通过通信电路从外部电子装置接收到的与外部电子装置的移动相关的信息，在显示器上显示所述图形对象。

根据本公开的各种实施例的方法包括以下操作：使用具有指定视场的一个或更多个相机来识别所述指定视场中所包括的一个或更多个外部对象中的外部电子装置，根据至少基于通过相机获得的图像信息识别出的外部电子装置的第一位置信息，通过显示器显示与外部电子装置对应的图形对象，并且当外部电子装置偏离所述指定视场时，基于在外部电子装置偏离所述指定视场之前通过相机识别出的外部电子装置的第二位置信息以及在外部电子装置偏离所述指定视场之后通过通信电路从外部电子装置接收到的与外部电子装置的移动相关的信息，在显示器上显示所述图形对象。

发明的有益效果

根据本公开的各种实施例的电子装置和方法通过使用电子装置中所包括的至少一个传感器和与电子装置联锁的外部电子装置的至少一个传感器之中的至少一个传感器显示表示外部电子装置的图形对象和用于提供虚拟现实(VR)的多媒体内容来提供增强的用户体验(UX)。

在本公开中可获得的效果不限于上述效果，并且本领域技术人员从以下描述清楚地理解未提及的其他效果。

附图说明

图1是根据各种实施例的网络环境中的基于外部电子装置的位置和移动来显示与外部电子装置相关的对象的电子装置的框图。

图2示出根据各种实施例的电子装置和外部电子装置的功能配置的示例。

图3示出根据各种实施例的电子装置、第一外部电子装置和第二外部电子装置的功能配置的示例。

图4a示出根据各种实施例的外部电子装置偏离电子装置的相机的视场的情况的示例。

图4b示出根据各种实施例的用于对相机的视场和用户的视场进行比较的示例。

图5a示出根据各种实施例的电子装置的操作的示例。

图5b示出根据各种实施例的电子装置的操作的示例。

图6示出根据各种实施例的外部电子装置和与外部电子装置对应地显示的图形对象的示例。

图7示出根据各种实施例的根据电子装置的操作显示的显示器的时间流。

图8示出根据各种实施例的用于对使用传感器数据进行校正的效果进行比较的示例。

图9a示出根据各种实施例的电子装置的操作的示例。

图9b示出根据各种实施例的电子装置的操作的示例。

图10示出根据各种实施例的在电子装置的显示器上显示的用于指引外部电子装置的位置的图形对象的示例。

具体实施方式

图1是示出根据各种实施例的网络环境100中的电子装置101的框图。

参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101省略所述组件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它组件添加到电子装置101中。在一些实施例中，可将所述组件中的一些组件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。

处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120耦接的至少一个其他组件(例如，硬件组件或软件组件)，并且可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少一部分，处理器120可将从另一组件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及能够与主处理器121独立地或者相结合地操作的辅助处理器123(例如，图形处理器(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的一部分。

在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的组件之中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的组件之中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的部分。

存储器130可存储由电子装置101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的另一组件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。

声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可被用于诸如播放多媒体或播放唱片的通用目的，并且接收器可被用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或者可将接收器实现为扬声器的一部分。

显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的对应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。

音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。

传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后生成与检测到的状态对应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可管理对电子装置101的供电。根据一个实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少一部分。

电池189可对电子装置101的至少一个组件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的对应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙

天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，其中，所述天线包括由在基板(例如，印刷电路板(PCB))中或基板(例如，PCB)上形成的导电材料或导电图案组成的辐射元件。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。信号或电力随后可经由所选择的至少一个天线在通信模块190与外部电子装置之间被发送或被接收。根据实施例，除了辐射元件之外的另一组件(例如，射频集成电路(RFIC))可被另外形成为天线模块197的一部分。

上述组件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如，命令或数据)。

根据实施例，可经由与第二网络199连接的服务器108在电子装置101与外部电子装置104之间发送或接收命令或数据。电子装置102和104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、104或108中的一个或更多个处运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少一部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少一部分。接收到请求的一个或更多个外部电子装置可执行所述功能或服务中的所请求的至少一部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少一部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。

图2示出根据各种实施例的电子装置和外部电子装置的功能配置的示例。图2中的电子装置201和外部电子装置202的功能配置的至少一部分被包括在图1中所示的电子装置101和图1中所示的电子装置102的功能配置中。

参照图2，环境200包括电子装置201和外部电子装置202。

电子装置201与外部电子装置202联锁，并且被配置为向用户提供与虚拟现实(VR)相关的内容。电子装置201包括存储器210、通信模块220、显示器230、相机240或处理器250。

在各种实施例中，存储器210包括图1中所示的存储器130，并且通信模块220包括图1中所示的通信模块190，并且显示器230包括图1中所示的显示装置160，相机240包括图1中所示的相机180，并且处理器250包括图1中所示的处理器120。

在各种实施例中，处理器250(例如，处理器120)可操作地或可操纵地与存储器210、通信模块220和显示器230中的至少一个耦接。

在各种实施例中，处理器250使用相机240来获取关于与电子装置201联锁的外部电子装置202的位置的信息。

在一个实施例中，处理器250使用相机240来获取电子装置201的外部环境的图像。外部环境的图像包括与包括外部电子装置202的多个外部对象相关的图像。在一个实施例中，相机240透过用于安装电子装置201的组件(例如，存储器210、通信模块220、显示器230或处理器250)的壳体的第一表面(第一侧)的至少一部分而在视觉上被暴露。壳体包括第一表面的对侧上的第二表面，并且显示器230透过第二表面的至少一部分而在视觉上被暴露。

在一个实施例中，相机240具有指定的视场。视场被称为各种术语，诸如视界、观看角、视角、FOV(视场)、水平FOV(hFOV)和垂直FOV(vFOV)。例如，相机240获取与预定尺寸的区域对应的图像。所述预定尺寸的区域包括相对于上侧、下侧、左侧和右侧以预定角度形成的区域。例如，参照图6，所述预定尺寸的区域与图像610中包括的区域对应。用户的视场401与显示在显示器上的视场(FOV)的区域对应。基于包括在相机240中的镜头的能力来确定相机视场403。例如，相机240包括广角镜头，并且相机视场403具有与广角镜头对应的大值角度。参照图4b，相机视场403与由虚线指示的区域412、414和416对应。

在另一实施例中，相机240获取针对预定义尺寸的区域的图像。基于相机240的视场，所述区域的尺寸不同。例如，如果相机240对应于广角镜头相机，则所述区域的尺寸增大。例如，参照图4b，相机视场(FOV)对应于用户视场401并且对应于比显示器上显示的图像区域410大的视场403。

在下文中，在显示器230中显示的图像410包括与用户的视场对应的图像。在各种实施例中，相机240的视场与显示器230上显示的图像410的显示区域的视场相同。然而，相机240的视场不限于此，并且如图4b中所示，它小于或大于用户的视场。

在另一实施例中，处理器250与外部电子装置202链接或联锁。例如，联锁包括通过有线方式或无线方式创建的连接。联锁由包括在电子装置201中的通信模块220来执行。

在另一实施例中，处理器250通过检测从外部电子装置202输出的信号来检测外部电子装置202。例如，外部电子装置202还包括发光部。发光部包括至少一个发光二极管(LED)。例如，外部电子装置202通过LED输出与超过或等于阈值范围(例如，阈值)的照度对应的光。电子装置201的处理器250通过接收与超过或等于阈值的照度对应的光来识别外部电子装置202。在一个实施例中，当处理器250在由相机240获取的图像中检测到从外部电子装置的LED输出的信号时，确定外部电子装置202位于相机240的视场内。对于另一示例，如果处理器250在由相机240获取的图像中未检测到从外部电子装置的LED输出的信号，则确定外部电子装置202不位于相机240的视场内。也就是说，当在所获取的图像中未检测到与超过阈值的照度对应的区域时，处理器250确定外部电子装置202偏离相机240的视场。

根据实施例，包括在外部电子装置202中的LED以预定时间间隔打开或关闭。电子装置201通过识别外部电子装置202以预定时间间隔被打开或关闭来识别关于打开或关闭包括在外部电子装置202中的LED的预定时间间隔的信息，以检测外部电子装置202。例如，外部电子装置202控制LED每0.1秒重复打开或关闭。当外部电子装置201控制LED以预定时间间隔被打开或关闭时，外部电子装置202向电子装置201发送用于提供所述预定时间间隔的周期信息。电子装置201接收周期信息并且获得关于打开或关闭包括在外部电子装置202中的LED的预定时间间隔的信息。电子装置201通过基于周期信息识别以与预定时间间隔相同的方式打开或关闭的LED来检测外部电子装置202。在一个实施例中，所述预定时间间隔是随机确定的。例如，所述预定时间间隔是基于外部电子装置202的唯一ID而确定的。由于基于与电子装置201联锁的外部电子装置202的唯一ID来确定打开或关闭时间间隔，因此即使电子装置201通过相机240识别出从与另一电子装置联锁的另一外部电子装置(例如，另一用户的VR控制器)输出的LED，电子装置201也准确地识别出从与电子装置201联锁的外部装置202输出的LED。

根据实施例，外部电子装置202通过包括在外部电子装置202中的照度传感器(未示出)来测量外部环境的亮度。当外部环境的亮度大于或等于预定值时，外部电子装置202改变LED输出强度。例如，外部电子装置202响应于检测到测量出的外部环境的亮度大于预定阈值来增加LED输出强度。外部电子装置202通过增加LED输出强度而更容易被电子装置201识别。外部电子装置202基于增加的LED输出强度根据预定时间间隔打开或关闭LED。

在另一实施例中，电子装置201获取关于外部电子装置202的位置的信息。位置信息包括基于从外部电子装置202的相机240获得的图像而确定的信息。例如，位置信息包括关于外部电子装置202在所获取的图像中所在的坐标的信息。位置信息包括x坐标值、y坐标值或z坐标值。关于坐标的信息由包括在处理器250中的位置跟踪模块252来获得。

在另一实施例中，处理器250包括位置跟踪模块252。位置跟踪模块252获取关于由相机240获取的图像中包括的外部电子装置202的位置的信息。例如，位置跟踪模块252将所获取的图像划分至在x轴和y轴上等间隔的坐标，并且获得与检测到外部电子装置202的区域对应的x坐标或y坐标。然而，在各种实施例中，x轴坐标和y轴坐标不限于基于相同间隔的划分来获得，还基于用于获得关于多个位置的信息的技术来获得。对于另一示例，位置跟踪模块252基于所获取的图像来获取深度信息。基于用于从二维图像计算深度信息的图像运算来获得深度信息。根据另一实施例，位置跟踪模块252基于针对两个图像的差值获取深度信息。例如，电子装置201包括两个相机，并且所述两个相机分别获取外部电子装置202的图像。所述两个相机以特定距离被独立地并排布置。位置跟踪模块252基于从所述两个相机获得的各自的图像之间的差来获取深度信息。位置跟踪模块252根据所获得的深度信息获得z坐标值。

在各种实施例中，处理器250从外部电子装置202接收关于外部电子装置202的倾斜的信息。处理器250经由通信模块220接收关于倾斜的信息。

根据实施例，倾斜信息包括由包括在外部电子装置202中的至少一个传感器获得的信息。例如，所述至少一个传感器包括陀螺仪传感器。陀螺仪传感器获取针对外部电子装置202的倾斜的传感器数据(在下文中，第一传感器数据)。第一传感器数据包括与俯仰、滚转或偏航中的至少一个相关的传感器数据。

根据实施例，倾斜信息从外部电子装置202被发送到电子装置201。例如，基于外部电子装置202的状态改变将倾斜信息发送到电子装置201。外部电子装置202响应于外部电子装置202的电源开启、接通状态、通电或激活状态将倾斜信息发送到电子装置201。将倾斜信息从外部电子装置202周期性地发送到电子装置201。在一个实施例中，外部电子装置202还包括握持传感器(未示出)。握持传感器被配置为检测外部电子装置202已被用户握持。处理器295(例如，处理器250)从握持传感器接收指示外部电子装置202已被用户握持的信号，并且响应于接收到指示信号，处理器295激活陀螺仪传感器。处理器295经由激活的陀螺仪传感器获取关于倾斜的信息，并将其发送到电子装置201。

对于另一示例，外部电子装置202响应于从电子装置201接收到控制信号来将关于倾斜的信息发送到电子装置201。电子装置201检测与外部电子装置202的联锁完成，并且响应于检测操作，发送请求外部电子装置202发送关于倾斜的信息的控制信号。控制信号包括指示激活陀螺仪传感器和/或加速度传感器的信号。外部电子装置202响应于所述控制信号激活陀螺仪传感器并获取第一传感器数据。外部电子装置202响应于所述控制信号激活加速度传感器并获取第二传感器数据。

在各种实施例中，处理器250提供用于表示外部电子装置202的图形对象(视觉对象)以及与虚拟现实(VR)相关的多媒体内容。图形对象是指显示在显示器230上以指示与虚拟现实相关的多媒体内容中的用户输入的对象。用户输入包括关于外部电子装置202的移动的信息。图形对象被称为各种术语，诸如视觉对象、图形对象和控制器对象。根据实施例，图形对象包括各种形状的图像。例如，图形对象包括与外部电子装置202的形状相同或相似的图像。对于另一示例，外部电子装置202包括基于多媒体内容的类型确定的图像。基于内容的类型确定的图像包括针对各种对象(包括网球拍、方向盘、刀或剑等的)的图像。

在一个实施例中，处理器250显示与虚拟现实相关的多媒体内容。多媒体内容包括用于向用户提供虚拟现实服务的三维图像或全景图像中的至少一个。

在另一实施例中，处理器250在显示器230上显示用于表示外部电子装置202的图形对象。例如，图形对象被显示为与和VR相关的多媒体内容重叠。处理器250在第一时间点渲染与VR相关的多媒体内容并渲染图形对象。图形对象被重叠显示在多媒体内容上。

在另一实施例中，基于关于外部电子装置250的位置的信息或关于外部电子装置202的倾斜的信息来识别图形对象。例如，处理器250获得关于外部电子装置202的位置的信息，并且识别用于显示图形对象的位置。例如，处理器250基于关于倾斜的信息确定在识别出的显示位置处以三维形式显示图形对象。由于处理器250基于经由相机240获取的图像中的照度值仅识别出外部电子装置202的位置，因此需要倾斜信息作为用于以三维形式进行渲染的信息。对于另一示例，处理器250基于经由相机240获取的图像中包括的外部电子装置202的图案或标记来获取关于倾斜的信息。在一个实施例中，外部电子装置202包括至少一个标记。由于所述至少一个标记位于外部电子装置202的固定区域中，因此当外部电子装置202被倾斜时，所述至少一个标记也以相同的方式倾斜。处理器250获取经由相机240获取的图像中的至少一个倾斜的标记的图像。在另一实施例中，外部电子装置202通过LED输出预定样式的光。例如，当外部电子装置202被倾斜至与地面形成垂直角度时，外部电子装置202以0.1秒的间隔打开或关闭LED。对于另一示例，当外部电子装置202被倾斜至与地面并排时，外部电子装置202以0.5秒的间隔打开或关闭LED。外部电子装置202通过将关于预定样式的信息发送到电子装置201来间接地提供关于外部电子装置202的倾斜的信息。

在又一实施例中，基于与VR相关的多媒体内容来确定图形对象。与VR相关的多媒体内容包括网球比赛、战争游戏、车类游戏等。例如，当多媒体内容对应于网球比赛时，图形对象对应于包括网球拍的形状的图像。对于另一示例，当多媒体内容对应于战争游戏时，图形对象对应于包括剑或刀的形状的图像。作为另一示例，当多媒体内容对应于车类游戏时，图形对象对应于包括方向盘的形状的图像。

处理器250通过参考关于位置的信息中的x坐标和/或y坐标的值来确定显示器230上的与所述x坐标和/或y坐标的值对应的点。处理器250通过参考关于位置的信息中的z坐标的值来确定所确定的点的大小。例如，当z坐标的值较大(例如，外部电子装置202远离用户)时，所确定的用于透视效果的点被显示得较小。对于另一示例，当z坐标的值较小时(例如，外部电子装置202位置接近用户)，所确定的用于透视效果的点被较大地显示。处理器250基于倾斜信息确定图形对象的三维显示。例如，处理器250通过参考关于倾斜的信息中的指示俯仰、滚转或偏航中的至少一个的陀螺仪传感器数据来确定三维形式的倾斜方向或角度。处理器250在根据x坐标、y坐标或z坐标确定的位置处显示根据3D形式的倾斜方向或角度而倾斜的图形对象。例如，参照图6，处理器250经由显示器230来显示显示图像620。显示图像620包括背景图像或与多媒体内容相关的图形对象602。处理器250在与基于相机图像610识别出的外部电子装置102的位置对应的区域上显示图形对象602。处理器250基于从外部电子装置202接收到的关于外部电子装置202的倾斜的信息将图形对象602显示为具有相同的倾斜度。经由显示器230显示的图像620包括与用户的视场对应的图像。在各种实施例中，相机240的视场与经由显示器230显示的图像620的显示区域的视场相同。

在各种实施例中，处理器250识别外部电子装置202偏离相机240的视场。例如，处理器250基于由相机240获取的图像来识别外部电子装置202是否偏离相机240的视场。当在所获取的图像中未检测到与阈值照度或更高的照度对应的区域时，处理器250确定外部电子装置202已偏离相机240的视场。作为另一示例，如果处理器250在由相机240获取的图像中检测到与阈值照度或更高的照度对应的区域，则处理器250确定外部电子装置202在相机240的视场内。对于另一示例，参照图4a，用户在穿戴电子装置201时用双手握持外部电子装置202-1和202-2中的每一个。外部电子装置202-1和202-2中的每一个对应于图2中所示的外部电子装置202。参照图4a，当电子装置201的用户正面面向手臂(例如，由实线指示)时，外部电子装置202-1和202-2在电子装置201的视角(401)内，并且电子装置201获取包括外部电子装置202-1和202-2的图像。由于处理器250检测到与从外部电子装置202-1和202-2发射的阈值照度或更高的照度对应的区域，因此处理器250识别出外部电子装置202-1和202-2位于电子装置201的视场内。参照图4a，当电子装置201的用户将手臂指向侧面(例如，如在由虚线指示的手臂的示例中)时，外部电子装置202-1和202-2偏离电子装置201的视角401，并且电子装置201没有获取包括外部电子装置202-1和202-2的图像。电子装置201未检测到与从外部电子装置202-1和202-2发射的高于阈值照度或更高的照度对应的区域。电子装置201识别出外部电子装置202-1和202-2偏离相机240的视场或者在相机240的视场之外。

根据实施例，处理器250存储关于外部电子装置202的与偏离时间点对应的位置的信息。例如，处理器250响应于识别出偏离来识别外部电子装置202的位置。识别出的位置位于由相机240获取的图像的边界面之一。处理器250将关于识别出的位置的信息存储为第二位置信息。通过由相机240获取的多个图像中的包括外部电子装置202的最新图像来获得第二位置信息。当由相机240获得的图像被划分至沿着水平轴的x轴和沿着垂直轴的y轴时，第二位置信息包括关于仅具有x坐标值或y坐标值中的一个的点中的一个点的信息。

在各种实施例中，响应于以上识别操作，处理器250向外部电子装置202发送请求，以发送关于外部电子装置202的位置的变化的信息。当外部电子装置202偏离相机240的视场时，相机240未获取包括外部电子装置202的图像，并且因此，处理器250未获取关于外部电子装置202的位置的信息。因此，当处理器250检测到外部电子装置202的偏离时，处理器250向外部电子装置202发送对关于外部电子装置202的位置的变化的信息的请求。

在一个实施例中，关于位置的变化的信息包括由外部电子装置202的至少一个传感器获得的信息。例如，包括在外部电子装置202中的至少一个传感器包括第一传感器292或第二传感器294。第一传感器292对应于陀螺仪传感器，并且第二传感器294对应于加速度传感器。第一传感器292获取关于外部电子装置202的倾斜的信息，并且第二传感器294获取关于外部电子装置202的速度的改变的信息。外部电子装置202响应于对关于位置改变的信息的请求将从第一传感器292或第二传感器294获得的信息发送到电子装置201。也就是说，外部电子装置202仅将通过第一传感器292的关于倾斜的信息发送到电子装置201，并且响应于该请求，一起发送通过第一传感器292的关于倾斜的信息和通过第二传感器294的关于速度改变的信息。电子装置201的处理器250使用发送到的倾斜信息或关于速度改变的信息来对外部电子装置202的在外部电子装置202偏离之后的时间点处的位置进行预测。

在另一实施例中，关于位置改变的信息包括指示外部电子装置202的位置改变量的数据。例如，指示位置改变量的数据包括矢量信息。指示位置改变量的数据由外部电子装置202来获得。外部电子装置202基于由第一传感器292或第二传感器294获得的信息来获取矢量信息。外部电子装置202发送基于传感器数据而获得的矢量信息，而不是发送由第一传感器292或第二传感器294获取的传感器数据。

在一个实施例中，处理器295基于关于倾斜的信息来对外部电子装置202的移动方向进行预测。例如，处理器295在与旋转方向对应的方向上预测外部电子装置202的移动。这是因为，在用户用手握住外部电子装置202时，当通过陀螺仪传感器检测到数据时，针对通过原位置处的旋转移动检测到数据的情况的期望值非常低。因此，当处理器295获取指示外部电子装置202已沿x+方向旋转的数据时，处理器295预测外部电子装置202已在x+方向上移动。对于另一示例，处理器295为重复操作存储关于位置改变的信息。在另一实施例中，处理器295将从第一传感器292或第二传感器294获得的数据与所存储的信息进行比较。当所获得的数据和所存储的信息匹配时，处理器295确定握持外部电子装置202的用户正在执行重复操作。处理器250基于所确定的重复操作在显示器230上显示图形对象。

在另一实施例中，请求发送关于位置改变的信息的请求信号包括指示激活外部电子装置202的第二传感器294的控制信号。外部电子装置202响应于接收到包括在请求信号中的控制信号来激活第二传感器294，并且获得关于速度改变的信息。根据实施例，当处理器250基于由相机240获取的图像识别出外部电子装置202(例如，外部电子装置202在相机视场403内)时，指示激活第一传感器292(例如，陀螺仪传感器)的控制信号被发送到外部电子装置202。处理器250从第一传感器292接收关于外部电子装置202被倾斜的方向和/或角度的信息。处理器250根据在由相机240获取的图像中的外部电子装置202的位置上倾斜的方向和/或角度来渲染外部电子装置202。根据另一实施例，当处理器250基于由相机240获取的图像未识别出外部电子装置202(例如，检测到外部电子装置202偏离相机视场403)时，指示激活第一传感器292(例如，陀螺仪传感器)和/或第二传感器294(例如，加速度传感器)两者的控制信号被发送到外部电子装置202。处理器250从第二传感器294接收关于相机视场403之外的外部电子装置202的速度改变的信息。处理器250基于关于速度改变的信息获取外部电子装置202被预测出已移动到的位置。处理器250从陀螺仪传感器接收关于外部电子装置202的倾斜方向和/或倾斜角度的信息。处理器250在外部电子装置202被预测出已移动到的位置上渲染与外部电子装置202对应的图形对象。处理器250基于倾斜方向和/或倾斜角度来显示图形对象。

根据各种实施例，处理器250至少基于使用相机240获得的关于外部电子装置202在偏离时间的位置的信息、从外部电子装置202接收到的关于外部电子装置202的倾斜的信息或者关于外部电子装置202的位置改变的信息来改变图形对象的显示。

根据实施例，处理器250对外部电子装置202的与当前时间点对应的位置进行预测。例如，处理器250基于从外部电子装置202接收到的关于外部电子装置202的倾斜或速度改变的信息来生成关于外部电子装置202的位置改变的信息。关于所生成的位置改变的信息包括矢量信息。矢量信息包括关于外部电子装置202的位移的信息。对于另一示例，处理器250从外部电子装置202接收关于位置改变的信息。从外部电子装置202接收到的关于位置改变的信息对应于由外部电子装置202的处理器295基于关于倾斜或速度改变的信息而获得的信息。处理器250基于关于位置改变的信息和/或关于外部电子装置202在偏离时间点的位置的信息来对外部电子装置202的当前位置进行预测。例如，处理器250将外部电子装置202偏离的区域确定为起点，并且基于起点和/或矢量信息，根据外部电子装置202在偏离相机的视场之后的移动来识别位置的改变。处理器250显示视觉效果和/或与视觉效果分开的用于基于预测出的外部电子装置202的位置指示外部电子装置所在的方向的图形对象(例如，箭头)。

在各种实施例中，起点和/或矢量信息基于电子装置201的移动而改变。在外部电子装置202在相机视场403之外之后，处理器250获取关于电子装置201的移动的信息。通过配备在电子装置201中的传感器模块(例如，图1中的传感器模块176)获得关于电子装置201的移动的信息。在一个实施例中，在外部电子装置202偏离相机视场403之后，当电子装置201沿左侧方向旋转(例如，佩戴VR装置并将头向左侧旋转)时，起点基于电子装置201的移动而改变。例如，通过反映电子装置201的向左旋转，起点从外部电子装置202偏离时的区域向左侧方向移动。在另一实施例中，如果在外部电子装置202偏离相机视场403之后电子装置201沿左侧方向旋转，则矢量信息基于电子装置201的运动而改变。例如，通过反映电子装置201沿左侧方向旋转，矢量信息还包括用于将另外的位置改变指示为右侧方向的信息。

根据实施例，处理器250显示第一图形对象的一部分。第一图形对象是指基于多媒体内容确定的图形对象。例如，当第一图形对象对应于剑时，处理器250参考剑的长度显示第一图形对象的一部分。也就是说，当外部电子装置202偏离相机240的视场但是没有移动超过剑的长度时，处理器250显示第一图形对象的一部分。处理器250使用针对外部电子装置202的位置改变和偏离位置的矢量信息来预测当前位置，并且当预测出的当前位置与相机240之间的距离小于剑的长度时，显示剑的一部分(例如，剑锋)。

根据实施例，处理器250通过省略对第一图形对象的显示来显示与第一图形对象不同的第二图形对象。第二图形对象与用于向用户指示外部电子装置202位于显示器230上显示的图像的外部区域的对象对应。第二图形对象是与第一图形对象不同的对象。第二图形对象包括与外部电子装置202的形状相同或相似的图像。对于另一示例，第二图形对象包括用于指示外部电子装置202位于相机240的视场之外的箭头形状的图像。处理器250进一步与第二图形对象一起显示指示外部电子装置202位于相机240的视场之外的指引语。例如，当外部电子装置202的预测位置与相机240之间的距离超过第一图形对象的长度时，处理器250不显示第一图形对象。因为第一图形对象未被显示，所以处理器250显示用于指示外部电子装置202的当前位置的第二图形对象。

外部电子装置202被配置为与电子装置201联锁并且提供与虚拟现实相关的内容中的用户输入。外部电子装置202包括存储器260、通信模块270、用户输入模块280、传感器模块290或处理器295。

在各种实施例中，存储器260包括图1中所示的存储器130，并且通信模块220包括图1中所示的通信模块190，并且用户输入模块280包括图1中所示的输入装置150，并且传感器模块290包括图1中所示的传感器模块176。

在各种实施例中，用户输入模块280接收用于控制与外部电子装置202联锁的电子装置201的用户输入。用户输入模块280透过外部电子装置202的壳体(未示出)的一部分而在视觉上被暴露。在各种实施例中，用户输入模块280包括用于接收用户的触摸输入的触摸板、能够接收物理压力的物理按钮或物理键。

在各种实施例中，处理器295可操作地或可操纵地与存储器260、通信模块270、用户输入模块280或传感器模块290中的至少一个耦接。

在各种实施例中，传感器模块290包括第一传感器292或第二传感器294。第一传感器292对应于陀螺仪传感器，并且第二传感器294对应于加速度传感器。

在各种实施例中，处理器295将关于外部电子装置202的倾斜的信息发送到电子装置201。例如，处理器295经由至少一个传感器获取关于倾斜的信息。所述至少一个传感器包括陀螺仪传感器。倾斜信息包括用于指示外部电子装置202的3D角度改变的信息。倾斜信息包括关于俯仰、滚转和偏航的改变量的数据。

在各种实施例中，处理器295将关于外部电子装置202的位置改变的信息发送到电子装置201。关于位置改变的信息包括由外部电子装置202的第一传感器292或第二传感器294获得的关于倾斜的信息或关于速度改变的信息。对于另一示例，关于位置改变的信息包括指示基于关于倾斜或速度改变的信息获得的位置改变量的信息。指示位置改变量的信息对应于矢量信息。

在一个实施例中，处理器295自适应地将关于位置改变的信息发送到电子装置201。例如，处理器295以预定义的时间间隔将关于位置改变的信息发送到电子装置201。至少基于外部电子装置202的剩余电池电力以及外部电子装置202与电子装置201之间的无线通信的质量来改变预定义的时间间隔。例如，当外部电子装置202的电池的充电电平高时，减小预定义的时间间隔以实时反映外部电子装置202的移动。对于另一示例，当外部电子装置202的电池的充电电平低时，为了增加外部电子装置202的驱动时间并降低功耗，增加预定义的时间间隔。例如，当无线通信的质量差时，处理器295减小预定义的时间间隔以确保数据传输的可靠性。对于另一示例，当无线通信的质量好时，处理器295增加预定义的时间间隔。

在另一实施例中，处理器295将关于位置改变的信息连同发送到电子装置201的不同信息一起发送。例如，处理器295接收用户的物理键输入，并将关于位置改变的信息连同接收到的输入一起发送。

尽管未示出，但是外部电子装置202还包括发光部。例如，发光部响应于检测到外部电子装置202的开启状态来激活发光部。对于另一示例，外部电子装置202响应于从电子装置201接收到指示发光的信号来生成光。电子装置201被配置为通过经由相机240捕获从发光部发射的光来获取关于外部电子装置202的位置的信息。在各种实施例中，发光部包括发光二极管(LED)的光源。

图3示出根据各种实施例的电子装置、第一外部电子装置和第二外部电子装置的功能配置的示例。图3中所示的第二外部电子装置303的功能配置被包括在图2中所示的外部电子装置202的功能配置中。图3中所示的电子装置301的功能配置被包括在图2中所示的电子装置201的功能配置中。

参照图3，第一外部电子装置302包括存储器321、通信模块322、显示器323、相机324或处理器325。

在各种实施例中，存储器321包括图2中所示的存储器210，并且通信模块322包括图2中所示的通信模块220，显示器323包括图2中所示的显示器230，相机324包括图2中所示的相机240，并且处理器325包括图2中所示的处理器250。

在各种实施例中，处理器325可操作地与存储器321、通信模块322、显示器323和相机324中的至少一个耦接。

在各种实施例中，处理器325获取关于第二外部电子装置303的位置的信息。例如，当第二外部电子装置303位于相机324的视场内时，处理器325经由相机324获取包括第二外部电子装置303的图像。根据一个实施例，处理器325还包括位置跟踪模块。位置跟踪模块获取关于第二外部电子装置303在所获取的图像内的位置的信息。位置跟踪模块对应于图2中所示的处理器250的位置跟踪模块252。在另一实施例中，通过电子装置301获得关于第二外部电子装置303的位置的信息。处理器325通过相机324获取包括第二外部电子装置303的图像，并将所获取的图像发送到电子装置301。电子装置301获得关于第二外部电子装置303在从第一外部电子装置302接收到的包括第二外部电子装置303的图像内的位置的信息。

在各种实施例中，处理器325将关于与第二外部电子装置303的偏离时间点对应的位置的信息发送到电子装置301。例如，处理器325基于由相机324获取的图像来确定第二外部电子装置303是否已偏离相机324的视场。当在所获取的图像中检测到与阈值照度或更大的照度对应的区域时，处理器325确定第二外部电子装置303位于检测到的区域中。对于另一示例，当在所获取的图像中未检测到与阈值照度或更大的照度对应的区域时，处理器325确定第二外部电子装置303偏离相机324的视场。处理器325在缓冲器等中临时存储紧接在未检测到与大于阈值照度或更大的照度对应的区域时的时间点之前的时间点处的图像。因此，当识别出偏离时，处理器325识别存储在缓冲器等中的多个图像中的包括第二外部电子装置303的图像。处理器325使用位置跟踪模块从识别出的图像获取第二外部电子装置303在偏离时间的位置信息。

在各种实施例中，处理器325向电子装置301发送指示偏离的信号。例如，处理器325响应于识别出偏离来将指示偏离的信号发送到电子装置301。由于电子装置301不具有相机，因此它不识别第二外部电子装置303的偏离。因此，处理器325将指示偏离的信号发送到电子装置301。在各种实施例中，处理器325将关于第二外部电子装置303的与偏离时间点对应的位置的信息连同以上信号一起发送到电子装置301。

在各种实施例中，处理器325在显示器323上显示与多媒体内容相关的图像或与第二外部电子装置303对应的图形对象。例如，处理器325从电子装置301接收用于显示的数据。处理器325从电子装置301接收预测第二外部电子装置303的位置的位置信息，并且基于预测出的位置信息显示图形对象。由电子装置301获得预测出的位置信息。基于从第二外部电子装置303发送到电子装置301的关于位置改变的信息或从第一外部电子装置302发送到电子装置301的关于第二外部电子装置303在偏离时间点的位置的信息来获得预测出的位置信息。

在各种实施例中，电子装置301生成将在第一外部电子装置302的显示器323上输出的图形对象。图形对象包括与VR(例如，VR操作)相关的多媒体内容和/或与外部电子装置303对应的图形对象。例如，电子装置301的处理器313接收从第一外部电子装置302获得的关于第二外部电子装置303的位置的信息和/或从第二外部电子装置303获得的关于第二外部电子装置303的位置的信息，并且基于接收到的第二外部电子装置303的位置信息生成图形对象。图形对象被发送到第一外部电子装置302并经由显示器323被输出。

图4a示出根据各种实施例的外部电子装置偏离相机的视场的情况的示例。图4a中所示的电子装置201对应于图2中所示的电子装置201。图4a中所示的外部电子装置202-1和202-2对应于图2中所示的外部电子装置202。

参照图4a，电子装置201对应于电子装置201被穿戴在用户的身体上的状态。电子装置201包括壳体(未示出)的一个表面上的显示器230。显示器230被布置为在电子装置201的穿戴状态下面向用户的眼睛。电子装置201包括与壳体的一个表面相对的表面上的相机240。相机240被设置在所述相对的表面上以在与用户的注视对应的方向上获取外部环境的图像。

根据各种实施例，外部电子装置202对应于由用户的手握持的状态。外部电子装置202包括两个装置202-1和202-2(例如，控制器)，使得它们分别被用户的左手和右手握持。

根据各种实施例，电子装置201中包括的相机240获取与特定角度401(例如，相机240的视角)对应的视场的图像。例如，当外部电子装置202位于角度401内时(例如，当用户将手臂伸展在前面时)，相机240获得外部电子装置202的图像。在一个实施例中，外部电子装置202的图像包括外部电子装置202的外部图像或壳体的图像。根据另一实施例，外部电子装置202的图像包括LED、图案或标记。例如，外部电子装置202另外包括与外部电子装置的壳体分开的LED，以便容易被处理器250识别。作为通过对外部电子装置202的壳体的图像进行处理来识别外部电子装置202的替代，处理器250通过识别发射大于或等于阈值照度值的亮度的LED来识别由相机240获得的图像内的外部电子装置202的图像。对于另一示例，外部电子装置202包括至少一个标记。所述至少一个标记中的每个标记包括以可区分的图案的形式的标记。处理器250从由相机240获取的图像识别所述至少一个标记，并且识别所获取的图像内的外部电子装置202。对于另一示例，当外部电子装置202偏离角度401时(例如，当用户将他或她的手臂向两侧伸开时)，外部电子装置202偏离相机240的视场，并且相机240未获取针对外部电子装置202的图像413。

图4b示出根据各种实施例的用于对与电子装置的相机对应的视场和与用户的注视对应的视场进行比较的示例。参照图4b，在显示器230上显示的区域的大小和通过相机240获取的图像的区域不同。根据实施例，相机240的视场包括比用户的视场大的区域(例如，在显示器230上显示的区域)。例如，参照图4b中所示的图像(a)，由实线指示的区域410对应于在显示器230上显示的区域。由虚线指示的区域412指示相机240获取的区域的大小。因此，当外部电子装置202位于相机240的视场内时，即使外部电子装置202在用户的视场之外，处理器250也获取包括外部电子装置202的图像。处理器250基于包括外部电子装置202的图像获得关于外部电子装置202的位置的信息。因此，处理器250基于所获得的位置信息显示与外部电子装置202对应的图形对象411。

根据另一实施例，相机240的视场与用户的视场相同。例如，参照图4b中所示的图像(b)，由实线指示的区域410的大小与由虚线指示的区域414的大小相同或相似。因此，当外部电子装置202在用户的视场之外时，因为它在相机240的视场之外，所以处理器250未获取外部电子装置202的图像。当外部电子装置202位于用户的视场内时，因为它位于相机240的视场内，所以处理器250获取外部电子装置202的图像。因此，处理器250基于所述图像获得关于外部电子装置202的位置的信息，并且显示与外部电子装置202对应的图形对象411。

根据另一实施例，相机240的视场包括小于用户的视场的区域。例如，参照图4b中所示的图像(c)，由虚线指示的区域416的大小小于由实线指示的区域410的大小。因此，当外部电子装置202位于相机240的视场之外时，即使外部电子装置202位于用户的视场之内，处理器250也不获取包括外部电子装置202的图像。处理器250将请求信号发送到外部电子装置202，以发送关于外部电子装置202的位置改变的信息。处理器250基于关于位置改变的信息获取外部电子装置202的位置，并且在所获取的位置上显示与外部电子装置202对应的图形对象411。

图5a示出根据各种实施例的电子装置的操作。这样的操作由图2中所示的电子装置201或电子装置201中包括的处理器250来执行。

参照图5a，在操作501，处理器250使用相机来识别指定视场中包括的一个或更多个外部对象中的外部电子装置。处理器250通过相机获取电子装置201的周围环境的图像。图像包括位于电子装置201周围的多个对象。处理器250识别多个对象中的外部电子装置202。例如，外部电子装置202还包括发光部。处理器250通过识别通过相机获取的图像中的超过预定照度的光源来识别外部电子装置202。

根据实施例，外部电子装置202基于环境亮度来调节LED的亮度。外部电子装置202还包括照度传感器(未示出)，并且使用照度传感器(未示出)来获取外部电子装置202的环境亮度的勒克斯(照度)的值。外部电子装置202基于环境亮度的勒克斯的值来调节光源的亮度。例如，外部电子装置202响应于识别出环境亮度的勒克斯的值被包括在第一区间中来输出具有与第一区间对应的第一亮度的光。对于另一示例，响应于识别出环境亮度的勒克斯的值被包括在第二区间中，输出与第二区间对应的第二亮度的光。第一亮度对应于需要与第一区间的环境亮度分开识别的照度值。第二亮度对应于需要与第二区间的环境亮度分开识别的照度值。

在操作503，处理器250基于外部电子装置202的第一位置信息在显示器上显示与外部电子装置对应的图形对象。处理器250在识别出的外部电子装置202的位置上显示图形对象。图形对象基于多媒体内容而被确定。例如，图形对象包括各种形状的图像，诸如刀、网球拍或汽车方向盘。

在操作505，如果外部电子装置202在指定视场之外，则处理器250基于在外部电子装置202在指定视场之外之前通过相机确认的第二位置信息以及在外部电子装置202在指定视场之外之后通过通信电路从外部电子装置接收到的与外部电子装置的移动相关的信息，在显示器上显示图形对象。根据实施例，处理器250存储外部电子装置202偏离指定视场时的时间点处的第二位置信息。第二位置信息位于显示在显示器210上的图像的边界面的一个点处。根据实施例，处理器250从外部电子装置202在指定视场之外的时间点开始从外部电子装置202接收与外部电子装置202的移动相关的信息。移动相关信息包括由陀螺仪传感器获得的数据和/或由加速度传感器获得的数据。处理器250基于与移动相关的信息生成针对外部电子装置的移动的矢量值。以外部电子装置202偏离的区域作为起点，通过根据与移动相关的信息确定矢量的大小和/或方向来获得矢量值。

图5b示出根据各种实施例的电子装置的操作。这样的操作由图2中所示的电子装置201或电子装置201中包括的处理器250来执行。

在操作511，处理器250获得关于与电子装置201联锁的外部电子装置202的位置的信息。关于外部电子装置202的位置的信息是指关于由外部电子装置202在由相机240获取的图像中识别出的坐标值的信息。在一个实施例中，处理器250经由相机240获取图像。处理器250基于所述图像获得x坐标值和/或y坐标值。例如，通过分析所述图像，处理器250识别与外部电子装置202在所述图像中所位于的区域对应的坐标值。在另一实施例中，处理器250基于对所述图像的图像分析获得深度信息。处理器250基于所获得的深度信息以及/或者所获得的x坐标值和y坐标值来获得z坐标值。

在操作513，处理器250接收关于外部电子装置202的倾斜的倾斜信息。倾斜信息包括由外部电子装置202中所包括的第一传感器292获得的传感器数据。例如，倾斜信息包括关于俯仰、滚转或偏航中的至少一个改变量的信息。根据本公开的实施例，倾斜信息被配置为响应于外部电子装置202的开启状态或激活状态而从外部电子装置202被自动发送到电子装置201。根据另一实施例，倾斜信息被配置为响应于来自电子装置201的请求而被发送到电子装置201。

在操作515，处理器250提供用于表示外部电子装置202的图形对象以及多媒体内容。处理器250使用由相机240获得的关于外部电子装置202的倾斜和/或外部电子装置202的位置的所获得的信息，从而允许图形对象被显示。例如，处理器250从相机240获得针对x、y和z的坐标值，并且从外部电子装置202接收关于倾斜的信息，并且确定外部电子装置202在三维空间中的形状。处理器250显示图形对象以对应于所确定的外部电子装置202的形状。例如，在与外部电子装置202相同的坐标上以相同的倾斜度显示图形对象。根据各种实施例，图形对象基于多媒体内容而被确定。例如，当多媒体内容是网球相关内容时，图形对象包括网球拍的形状。对于另一示例，当多媒体内容是与战斗游戏相关的内容时，图形对象包括刀或剑的形状。

在操作517，处理器250识别外部电子装置202在相机的视场之外。处理器250基于由相机240获取的图像来确定外部电子装置202不存在。例如，当由相机240获取的图像不包括从外部电子装置202的发光部(未示出)发射的光的图像时，处理器250识别出电子装置202的偏离。对于另一示例，当在所获取的图像中未检测到比预定照度亮的区域时，处理器250确定外部电子装置202已偏离。根据实施例，处理器250存储关于外部电子装置202在偏离时间点的位置的信息。例如，处理器250响应于检测到偏离而存储关于外部电子装置202偏离的位置的信息。

在操作519，处理器250请求发送关于外部电子装置202的位置改变的信息。当外部电子装置202偏离相机240的视场时，处理器250未获取关于外部电子装置202的位置的信息。处理器250发送请求外部电子装置202发送关于外部电子装置202的位置改变的信息的信号。根据各种实施例，请求信号包括指示激活外部电子装置202的第二传感器294的控制信号。例如，当外部电子装置202被包括在相机240的视场中时，外部电子装置202仅激活第一传感器292，并且从第一传感器292获得的关于倾斜的信息被发送到电子装置201。对于另一示例，当外部电子装置202偏离相机240的视场时，外部电子装置202从电子装置201接收控制信号，并激活第二传感器294。外部电子装置202将由第一传感器292获得的关于倾斜的信息以及/或者由第二传感器294获得的关于外部电子装置202的速度改变的信息发送到电子装置201。对于另一示例，无论是否从电子装置201接收到指示激活第二传感器294的控制信号，第二传感器294都将关于速度改变的信息发送到电子装置201。外部电子装置202的处理器295确认(例如，检测)与驱动外部电子装置202(例如，通电)相关的信息，并且响应于确认操作，激活第二传感器294。此外，处理器295还包括握持传感器(未示出)，并且握持传感器(未示出)检测外部电子装置202被用户握持。处理器295从握持传感器(未示出)接收传感器值，并且响应于接收到传感器值而激活第二传感器294。当第二传感器294响应于通电或从外部电子装置202的握持传感器(未示出)接收到传感器值而被激活时，由第一传感器292获取的关于外部电子装置202的倾斜的信息以及由第二传感器294获得的关于外部电子装置202的速度改变的信息被一起发送到电子装置201。根据各种实施例，处理器250获得针对外部电子装置202的位置改变的矢量值。处理器250从外部电子装置202接收关于位置改变的信息，并且接收到的信息包括由第一传感器292和/或第二传感器294获取的数据。处理器250基于由第一传感器292获得的关于外部电子装置202的倾斜的数据和/或由第二传感器294获得的关于外部电子装置202的速度改变的数据来获得矢量值。矢量值包括指示外部电子装置202相对于相机290的视场已从与偏离时间点对应的位置信息移动了多远和移动的方向的信息。

在各种实施例中，处理器250基于关于电子装置201的位置改变的信息来确定关于外部电子装置202的位置改变的信息。例如，电子装置201包括传感器模块(未示出)。传感器模块(未示出)包括加速度传感器和/或陀螺仪传感器。陀螺仪传感器获取关于电子装置201的倾斜的信息，并且加速度传感器获取关于电子装置201的速度改变的信息。当电子装置201在预定时间内未从第一传感器292或第二传感器294接收到关于外部电子装置202的倾斜或速度改变的信息或者接收到指示空的信息时，电子装置201获得关于电子装置201的位置改变的信息。当从外部电子装置202接收到指示空的信息时，或者如果在预定时间内未接收到信息，则处理器250确定电子装置201在外部电子装置202未移动的情况下由于电子装置201的移动而偏离相机240的视场。因此，电子装置201获取关于电子装置201的位置改变的信息，并且基于关于电子装置201的位置改变的信息生成关于外部电子装置202的位置改变的信息。例如，在电子装置201在相机240的视场中沿右上方向移动的情况下，确定外部电子装置202沿相反方向(例如，左下方向)移动。这是因为基于用户的视场(例如，显示器230)，外部电子装置202的位置改变呈现出与电子装置201的移动方向相反的方向。

在操作521，处理器250改变图形对象的显示。处理器250基于接收到的关于外部电子装置202的位置改变的信息来确定预测外部电子装置202移动的位置。处理器250将图形对象的显示改变为对应于预测出的位置。根据实施例，处理器250改变图形对象的显示，使得图形对象的一部分被显示而其余部分不被显示。例如，参照图7的图像720，仅显示图形对象的包括刀的形状的部分。根据另一实施例，处理器250不显示图形对象。例如，参照图7的图像740，处理器250不显示包括刀的形状的图形对象，而仅显示与多媒体内容相关的图像。当基于关于外部电子装置202的倾斜信息的信息和/或关于外部电子装置202的速度改变的信息，预测出的外部电子装置202的位置在预定义距离之外时，处理器250停止显示图形对象。例如，当图形对象包括具有较长长度的形状时，处理器250设置较大尺寸的预定义距离。对于另一示例，当图形对象包括具有较短长度的形状时，处理器250设置较小尺寸的预定义距离。

图6示出根据各种实施例的外部电子装置以及被显示为与外部电子装置对应的图形对象的示例。

参照图6的(a)和(b)，处理器250使用相机240来获取相机图像610。例如，相机图像610包括外部电子装置202、用于握持外部电子装置202的用户的手以及用户所在的外部环境的图像。

在各种实施例中，处理器250将显示图像620显示在显示器230上。例如，显示图像620包括多媒体内容和/或与外部电子装置202对应的图形对象602。例如，图形对象602包括与刀或剑的形状对应的图像。

根据各种实施例，处理器250以重叠的图案显示图形对象602和多媒体内容。处理器250渲染或显示与多媒体内容相关的背景图像。例如，当内容与网球相关时，背景图像对应于与网球场或网球场馆相关的图像。例如，处理器250在与网球场或网球场馆相关联的背景图像中的与外部电子装置202对应的位置上显示网球拍，使得背景图像和/或图形对象被重叠。电子装置201通过在显示器230上显示多媒体内容和/或重叠在多媒体内容上的图形对象602来提供与VR相关的沉浸式服务。

图7示出根据各种实施例的随时间改变的显示。在下文中，显示在显示器230上的图像710至图像760包括与用户的视场对应的图像。在各种实施例中，相机240的视场与显示器上显示的图像710至图像760的显示区域的视场相同。然而，相机240的视场不限于此，并且如图4b中所示，它小于或大于用户的视场。

参照图7的(a)至(f)，根据各种实施例，处理器250显示图像710。当外部电子装置202位于相机240的视场之内时，处理器250基于由相机240获取的图像获得关于外部电子装置202的位置的信息。处理器250基于从外部电子装置202接收到的关于外部电子装置202的倾斜的信息和/或位置信息来显示图像710。处理器250识别位于相机240的视场内的电子装置201的位置，并以三维对象(例如，刀或剑)显示图形对象。例如，参照图像710，图形对象被显示为包括刀的形状的图像。基于使用相机240识别出的关于电子装置的位置的信息以及从外部电子装置202接收到的关于倾斜的信息来显示包括刀的形状的图像，并且如图像710中所示，包括刀的形状的图像在三维空间中被显示为以与外部电子装置202相同的方式倾斜。根据一个实施例，处理器250识别由相机240获得的图像内的外部电子装置202，并且在与识别出的外部电子装置202对应的位置上显示刀。处理器250从外部电子装置202接收关于外部电子装置202的倾斜的信息，并且基于接收到的关于倾斜的信息，显示刀的手柄的倾斜和刀刃的倾斜。例如，处理器250识别由相机240获取的图像中的由LED明亮地指示的区域，并且基于关于外部电子装置202的倾斜的信息，处理器250标记向左倾斜45度的刀的手柄部分和刀的刀刃部分。刀的手柄部分在识别出的区域上被标记。

根据各种实施例，处理器250显示图像720。当外部电子装置202偏离相机240的视场时，电子装置201存储偏离时间点处的位置信息。例如，当处理器250在由相机240获取的图像中未能检测到阈值照度值的亮度或更高的亮度时，处理器250检测到偏差。对于另一示例，处理器250基于对由相机240获取的图像的图像处理，识别所获取的图像内的外部电子装置202的外部图像或附属于外部电子装置202的标记的图像。当处理器250未能检测到外部图像或针对标记的图像时，处理器250确定外部电子装置202在相机240的视场之外。处理器250响应于检测到偏离而请求外部电子装置202发送关于外部电子装置202的位置改变的信息。例如，参照图像720，用户的手偏离相机的视场。根据实施例，处理器250显示图形对象的一部分。例如，如果外部电子装置202在偏离时间之后未移开预定距离，则处理器250仅显示图形对象的一部分。参照图像720，外部电子装置202在偏离相机240的视场之后没有移动超过刀的长度的距离。因此，处理器250不显示与外部电子装置202对应的刀的手柄部分，而显示图形对象的与刀的刀刃部分对应的一部分。

根据各种实施例，处理器250显示图像730。处理器250从外部电子装置202接收关于位置改变的信息。处理器250基于接收到的关于外部电子装置202的速度改变的信息和/或关于外部电子装置202的倾斜的信息来预测外部电子装置202已沿右上方向移动了特定距离。处理器250通过反映倾斜信息来改变如图像730中所示的图形对象的倾斜角的显示。处理器250在不显示与外部电子装置202对应的刀的手柄部分的同时接收外部电子装置202的倾斜的信息，并且显示与刀的刀刃部分对应的图形对象。例如，处理器250接收关于倾斜的信息，其中，所述信息指示在外部电子装置202在相机240的视场之外之后外部电子装置202进一步向左倾斜。尽管外部电子装置202未被包括在由相机240获取的图像中，但是处理器250基于倾斜信息改变所显示的刀刃部分的角度。处理器250基于接收到的倾斜信息显示与将向左倾斜的刀的刀刃对应的图形对象。

根据各种实施例，处理器250显示图像740。处理器250接收关于外部电子装置202的位置改变的信息，并且不在显示器230上显示与外部电子装置202对应的图形对象。例如，处理器250基于关于外部电子装置202的速度改变的数据和/或关于倾斜的数据来获取预测出的外部电子装置202已移动到的位置。当预测出的位置位于比预定距离远时，处理器250不显示包括刀的形状的图形对象。所述预定距离是例如等于包括刀的形状的图形对象的长度的距离。

根据各种实施例，处理器250显示图像750和/或图像760。处理器250检测外部电子装置202已移动到相机240的视场中。因此，处理器250通过相机240获取关于外部电子装置202的位置的信息，并显示图形对象。根据实施例，处理器250在外部电子装置202进入相机240的视场时的时间点显示与外部电子装置202对应的图像750。处理器250基于关于外部电子装置202的倾斜的信息在重新进入时显示图形对象。例如，处理器250基于在进入时间点获取的图像来识别外部电子装置202的进入位置。处理器250基于接收到的关于位置改变的信息中的关于外部电子装置202的倾斜的信息来确定将在该进入位置上显示的图形对象的倾斜度。处理器250基于所确定的倾斜度和/或进入位置来显示图形对象。

图8示出根据各种实施例的用于基于关于外部电子装置的位置改变的信息来对校正的效果进行比较的示例。

在下文中，在显示器230上显示的图像810和图像820包括与用户的视场对应的图像。在各种实施例中，相机240的视场与显示器230上显示的图像810和图像820的显示区域的视场相同。然而，相机240的视场不限于此，并且如图4b中所示，它小于或大于用户的视场。

参照图8的(a)的图像，图像810对应于未通过使用关于位置改变的信息来对图形对象的显示进行校正的图像。例如，处理器250存储与外部电子装置202的偏离时间点对应的信息。处理器250存储外部电子装置相对于偏离时间点的位置(在下文中，第一位置信息)815和/或斜率(第一传感器信息)。此后，当外部电子装置202移动到相机240的视场中时，处理器250检测到外部电子装置202。处理器250显示针对外部电子装置202的进入时间点的图形对象813。例如，处理器250在偏离时间点之后不从外部电子装置202接收关于倾斜的信息。处理器250根据外部电子装置202相对于外部电子装置202的进入时间点的位置(在下文中，第二位置信息)817来显示图形对象813。由于处理器250在进入时间点尚未接收到关于外部电子装置202的倾斜的信息，因此处理器250基于第一传感器信息和/或第二位置信息显示图形对象813。因此，当现实的外部电子装置102朝向右上侧倾斜时，处理器250根据与外部电子装置202的偏离时间点对应的斜率来显示图形对象813。

参照图8的(b)的图像，图像820对应于通过使用关于位置改变的信息来对图形对象的显示进行校正的图像。例如，处理器250在从偏离时间点到进入时间点的时间范围期间从外部电子装置202接收关于外部电子装置202的位置改变的信息。处理器250基于接收到的关于位置改变的信息来识别关于外部电子装置202的与进入时间点对应的倾斜的信息。因此，处理器250基于与外部电子装置202的进入时间点对应的第二位置信息827和/或关于外部电子装置202的与进入时间点对应的倾斜的信息来显示图形对象823。例如，参照图8的(a)和(b)，与外部电子装置202的偏离时间点对应的图形对象811和821在偏离时间点朝向左上方倾斜。然后，参照图8的(b)，在外部电子装置202的进入时间点显示的图形对象823不面向左上方，而是被显示为向右上方倾斜以与外部电子装置202的倾斜匹配。在上述实施例中，处理器250通过在从外部电子装置202偏离相机240的视场然后再进入相机240的视场的时间期间从外部电子装置202接收关于外部电子装置202的位置改变的信息，在进入时间点自然地显示图形对象。

图9a示出根据各种实施例的电子装置的操作的示例。这样的操作由图2中所示的电子装置201来执行。

在操作901，处理器250使用相机240来识别外部电子装置202。根据实施例，处理器250通过相机240获取外部环境的图像。外部环境的图像包括多个外部对象。处理器250识别多个外部对象中的外部电子装置202。例如，外部电子装置202还包括用于在壳体外部生成光的发光部。处理器250通过识别通过相机获取的图像中的比预定照度更亮的区域来识别外部电子装置202。

在操作903，当外部电子装置202在相机的视场之外时，处理器250从外部电子装置202接收在外部电子装置202进入低功率模式之前的指定时间范围期间获取的一个或更多个位置信息。根据实施例，低功率模式对应于用于降低外部电子装置202的功耗的模式。外部电子装置202确定进入低功率模式并控制提供给多个组件的功率量。例如，外部电子装置202将传感器模块290的操作周期改变为长周期以降低功耗，并减少传感器模块290的操作次数。根据各种实施例，低功率模式被称为包括休眠模式、睡眠模式、非激活模式、非激活状态、去激活状态等的各种术语。根据实施例，外部电子装置202执行低功率模式，其中，在所述低功率模式下外部电子装置202在指定时间范围期间不执行由传感器模块290进行的数据获取操作。当外部电子装置202获取由第一传感器292获得的关于倾斜的信息和/或由第二传感器294获得的关于速度改变的信息中的至少一个信息时，外部电子装置202不进入低功率模式。当外部电子装置202不进入低功率模式时，外部电子装置202在从与所述至少一个信息的获取对应的时间点起的上述指定时间范围期间监视上述至少一个信息的获取。根据各种实施例，外部电子装置202在指定时间范围期间获取一个或更多个位置信息。传感器模块290从指定时间范围(即，从上次接收到用户输入的时间)到执行低功率模式的时间被激活。传感器模块290接收关于外部电子装置202的与从接收到用户输入的时间到执行低功率模式的时间的时间范围对应的倾斜的信息。

在操作905，处理器250接收显示与外部电子装置202相关联的图形对象的显示请求。显示请求基于外部电子装置202的操作模式的改变。例如，处理器250检测操作模式从非激活模式改变为激活模式，并且响应于检测操作，接收请求显示图形对象的请求信号。请求信号对应于从另一电子装置(例如，第二外部电子装置202)接收到的信号。根据另一实施例，请求信号包括从外部电子装置202的元件接收到的控制信号。对于另一示例，通过检测到由第一传感器292获取的外部电子装置202的数据值超过阈值来生成对图形对象的显示请求。例如，当外部电子装置202检测到超过预定阈值的运动时，将对图形对象的显示请求发送到电子装置201。对于另一示例，当检测到的运动的改变量未超过预定阈值时(例如，由于用户粗心而引起的振动是一种情况)，外部电子装置202不生成显示请求。对于另一示例，外部电子装置202还包括握持传感器(未示出)。当握持传感器检测到用户的握持时，外部电子装置202生成显示请求。

在操作907，处理器250基于一个或更多个位置信息确定用于显示图形对象的位置。所述一个或更多个位置信息包括关于外部电子装置202偏离相机240的视场的位置的信息、与进入低功率模式时的时间点对应的第一传感器信息以及与解除低功率模式时的时间点对应的第二传感器信息。

图9b示出根据各种实施例的电子装置的操作的示例。这样的操作由图2中所示的电子装置201来执行。

在操作911，处理器250获得关于与电子装置201联锁的外部电子装置202的位置的信息。在操作913，处理器250接收关于外部电子装置202的倾斜的信息。在操作915，处理器250提供用于表示外部电子装置202的图形对象(视觉对象)以及多媒体内容。操作911至操作915分别对应于图5b中所示的操作511至操作515。

在操作917，处理器250确定已进入睡眠模式。睡眠模式对应于用于降低外部电子装置202的功耗的模式。根据实施例，当在预定长度的时间内未接收到用户输入时，处理器250确定已执行进入睡眠模式。

在操作919，处理器250接收外部电子装置202的与进入睡眠模式的时间点对应的位置信息和/或倾斜信息。例如，当处理器250在预定长度的时间内没有接收到用户输入时，处理器250确定已进入低功率模式，并且控制接收关于外部电子装置202的与针对低功率模式的进入时间点对应的信息。

在操作921，处理器250识别睡眠模式被解除。通过从外部电子装置202接收唤醒信号来解除睡眠模式。唤醒信号在各种术语中被称为诸如寻呼信号、激活信号等。例如，当检测到外部电子装置202的运动超过外部电子装置202的预定阈值时，生成唤醒信号。对于另一示例，外部电子装置202还包括握持传感器(未示出)。外部电子装置202基于从握持传感器获得指示用户已握持外部电子装置202的数据来生成唤醒信号。

在操作923，处理器250基于关于外部电子装置202的与睡眠模式的解除时间点对应的倾斜的信息、关于外部电子装置202的与进入睡眠模式的时间点对应的倾斜的信息和/或关于外部电子装置202的与进入睡眠模式时的时间点对应的位置的信息来预测外部电子装置202的位置。根据实施例，处理器250通过对关于外部电子装置202的倾斜的信息之中的与睡眠模式的进入时间对应的信息和/或与解除时间对应的信息之间的差进行比较来预测外部电子装置202的位置的改变。处理器250通过将关于预测出的位置的改变的信息应用于睡眠模式的进入时间的位置信息来获得在解除睡眠模式时预测出所处的位置。

根据各种实施例，处理器250基于关于电子装置201的倾斜的信息来对位置进行预测。例如，电子装置201在进入睡眠模式的时间点与解除睡眠模式的时间点之间移动。为了反映电子装置201的移动，处理器250对关于电子装置201在外部电子装置202进入睡眠模式时的倾斜的信息和/或关于电子装置201在外部电子装置202解除睡眠模式时的倾斜的信息进行比较，从而处理器250获得关于电子装置201的移动(运动)的信息。

在操作925，处理器250确定预测出的外部电子装置的位置是否被包括在相机的视场中。当预测出的外部电子装置250的位置在相机240的视场的区域内时，在操作929，处理器250在预测出的外部电子装置202的位置处显示图形对象。当预测出的外部电子装置的位置在相机240的视场的区域之外时，在操作927，处理器250显示用于指引预测出的位置的图形对象。图形对象不是与外部电子装置202对应的图形对象。例如，图形对象包括箭头形状的图像。对于另一示例，图形对象包括与外部电子装置202的形状相同或相似的图像。

图10示出根据各种实施例的指引外部电子装置的位置的图形对象的示例。在下文中，在显示器230上显示的图像1010和图像1020包括与用户的视场对应的图像。在各种实施例中，相机240的视场与显示在显示器230上的图像1010和图像1020的视场相同。然而，相机240的视场不限于此，并且如图4b中所示，它小于或大于用户的视场。

参照图10，处理器250在显示器230上显示与多媒体内容相关的图像1010。与多媒体内容相关的图像1010包括全景图像或3D图像中的至少一个。在各种实施例中，处理器250显示用于指引外部电子装置202的位置的图形对象。例如，处理器250以箭头的形状显示图形对象1012。箭头形状的图形对象1012被显示为被重叠在与所显示的多媒体内容相关的图像上。根据实施例，处理器250改变箭头形状的图形对象1012的显示。例如，当外部电子装置202远离电子装置201时，处理器250减小以箭头的形状的图形对象1012的厚度。对于另一示例，当外部电子装置202与电子装置201之间的距离减小时，处理器250增加以箭头的形式的图形对象1012的厚度。在另一实施例中，处理器250改变图形对象的颜色。处理器250基于显示器230上显示的多媒体内容的颜色来改变图形对象的颜色。例如，处理器250确定以箭头的形状的图形对象1012的显示区域，并且识别与和所确定的区域对应的多媒体内容相关的图像的一些区域。为了提高对图形对象1012的辨别能力，处理器250识别所识别出的区域的颜色，并以识别出的颜色的补色显示以箭头的形状的图形对象1012。

在各种实施例中，处理器250显示视觉效果1022。处理器250显示与重叠有视觉效果1022的多媒体内容相关联的图像1020。例如，处理器250在形成显示器230的边界的四个边界面之中的预测出外部电子装置202所位于的方向的边界面中显示视觉效果1022。视觉效果1022包括突出显示边界面的效果。尽管未示出，但是处理器250包括与用于使边界面模糊的模糊相关的视觉效果。在上述实施例中，图形对象1012已被描述为包括箭头形状的图像，但不限于此。例如，图形对象1012包括与外部电子装置202相同形状或相似形状的图像。

根据各种实施例的电子装置可以是各种类型的电子装置中的一个。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。

应理解的是，本公开的各种实施例和其中使用的术语并不旨在将在此阐述的技术特征限制于特定实施例，而是包括针对对应实施例的各种改变、等同或替换。对于附图的描述，相似的附图标号可被用于指代相似或相关的元件。将理解的是，与术语对应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括所述多个短语中的对应一个短语中一起列举出的项中的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可被用于将对应组件与另一组件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述组件。将理解的是，在使用了术语“可操作地”或“可通信地”的情况下或者在不使用术语“可操作地”或“可通信地”的情况下，如果元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则这表示所述元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。

如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并且可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成组件或者是该单个集成组件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或不使用一个或更多个其它组件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器被操作以根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器生成的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅表示所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者与购买者之间进行交易。可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间发布(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少一部分可以是临时生成的，或者可将计算机程序产品中的至少一部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。

根据各种实施例，上述组件中的每个组件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述组件中的一个或更多个组件，或者可添加一个或更多个其它组件。可选地或者另外地，可将多个组件(例如，模块或程序)集成为单个组件。在这种情况下，根据各种实施例，集成的组件可仍旧以与所述多个组件中的对应一个组件在集成之前执行一个或更多个功能相同或相似的方式来执行所述多个组件中的每个组件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一组件执行的操作可顺序地、并行地、重复地或启发式地被执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。