适用于超密集网络的小区间下行链路干扰控制方法、装置和系统

摘要

本发明提供一种适用于超密集网络的小区间下行链路干扰控制方法、装置和系统，方法包括：获取基站所处网络小区所在的超密集网络参数数据，以及基站所服务用户的当前下行链路信号与干扰加噪声比数据r；基于获取到的数据，得到超密集网络的平均用户密度ρ、基站的当前各用户信道状态h，以及基站所处网络小区的网络吞吐量f；将得到的r、ρ、h和f作为当前节点状态参量，输入至预先训练的强化学习网络，得到强化学习网络输出的基站对所服务用户的下行链路发射功率数据，进而对基站所服务的各用户实施相应的下行链路发射功率。本发明能够实现在超密集网络部署下，优化基站对所服务用户的下行发射功率以及下行链路小区间干扰，提升用户接入服务质量。

说明书

技术领域

本发明涉及通信技术中的基站发射功率控制领域，特别是一种适用于超密集网络的小区间下行链路干扰控制方法、装置和系统。

背景技术

随着智能终端数和通信业务的爆发式增长，4G已经不足以满足日益增长的多设备连接和高数据速率，更大带宽，更低延迟和低干扰的需求。为了应对这些挑战，5G被认为是最有前途的技术，5G也迎来了商用元年。5G是移动通信系统的稳定、高速、可靠的演进，是4G的延续和增强，它旨在互连数十亿个对象，为多媒体应用程序提供极高的数据传输率，并处理随之而来激增的移动网络流量。

各种形式的数据的指数增长和可用性是通信行业持续发展的主要推动力，故而无线基站越来越超密集且呈现大规模交叠覆盖趋势，未来移动通信网络将进一步向基站小型化与小区超密集化方向发展，超密集网络(Ultra-Dense Network，UDN)应运而生。超密集网络通过宏基站小区和大量微小区共同组成多层异构网络，基本思想是使访问节点尽可能靠近最终用户，通过在产生大量流量的热点区域密集部署小型小区来简单实现的，而这些小型小区作为接入节点，传输功率较小，覆盖范围也较小。超密集网络部署通过使用低成本和低功率的小型蜂窝基站来增强空间复用并显着提高5G移动网络的用户容量，并让任何一个用户在任何时间、任何地点都能非常靠近某个蜂窝小区，提高用户接入服务质量。

由于频谱稀缺和网络基础设施不协调，5G蜂窝网络中小型小区的超密集部署不可避免带来了在时变信道状态下如何控制下行链路小区间干扰的问题。因此，如何在超密集网络部署下提出一种实用的干扰控制方案，兼顾减少BS的信令和计算开销，是至关重要的。

发明内容

本发明的目的是提供一种适用于超密集网络的小区间下行链路干扰控制方法、装置和系统，利用强化学习网络，使得基站能够在超密集网络部署下，优化向所服务用户分配的下行发射功率，实现对下行链路小区间干扰的控制和优化，提升用户接入服务质量。本发明采用的技术方案如下。

一方面，本发明提供一种适用于超密集网络基站的小区间下行链路干扰控制方法，包括：

获取基站所处网络小区所在的超密集网络参数数据，以及基站所服务用户的当前下行链路信号与干扰加噪声比数据r；

基于获取到的数据，得到超密集网络的平均用户密度ρ、基站的当前各用户信道状态h，以及基站所处网络小区的网络吞吐量f；

将得到的r、ρ、h和f作为当前节点状态参量，输入至预先训练的强化学习网络，得到强化学习网络输出的基站对所服务用户的下行链路发射功率数据；

按照得到的下行链路发射功率数据，对基站所服务的各用户实施相应的下行链路发射功率。

可选的，所述超密集网络参数数据包括基站所处网络小区的当前活动用户数量，所述平均用户密度根据以下公式计算：

式中，

以上方案，小区i中面积区域Φ

本发明中，基站的当前各用户信道状态h，可利用信道估计函数估计得到，超密集网络参数数据还包括基站导频序列，信道估计函数的计算基于导频序列进行。

可选的，所述基站所处网络小区的网络吞吐量f根据以下公式计算：

式中，

可选的，所述强化学习网络的训练过程包括：

S1，初始化强化学习网络参数，其中：所述强化学习网络参数包括学习率、折扣因子、V值和Q值；

S2，对于已知目标状态的超密集网络中的基站干扰控制样本，确定基站的发射功率集Ω、在当前时刻k对应的平均用户密度ρ

S3，基于时刻k的节点状态s

S4，获取基站仿真实施X

S5，计算基站所在网络小区的能量消耗和小区间干扰，确定基站在节点k上实施行为X

S6，用Q函数Q(s，X)表示在状态s采取行为X的BS的长期折扣奖励，基于时刻k的节点状态s

S7，判断基站在当前节点上是否达到所述目标状态：若是则停止迭代，结束强化学习网络的训练；若未达到目标状态，则转至步骤S2-S7，基于更新后的Q值和实施X

可选的，所述目标状态包括预先确定的基站所服务用户信道状态以及用户下行链路信号与干扰加噪声比。达到目标状态，即训练过程中某次迭代的结果数据符合该目标状态中的各参量数据或在设置的合理范围内。

以上方案中，初始化的Q值序列可采用利用迁移学习方法得到的相似应用场景下的干扰控制经验序列，减少初始时强化学习网络对随机干扰控制的探索过程。强化学习网络的V值初始化为0。

若给定基站的最大发射功率P，BS对用户n的发射功率将被量化为L+1个数量级，也即，本发明中，基站对所服务用户n的下行链路发射功率集为：

Ω＝{jP/L}

式中，Ω代表发射功率集，P代表给定的基站最大发射功率，L代表可行的发射功率级。

基站的最大发射功率应随网络小区的类型变化而变化，以满足覆盖范围和服务要求，网络小区的类型有毫微微小区、微小区和微微小区等。

可选的，所述为基站所服务的用户选择下行链路发射功率按照下式进行选择：

式中，ε为随机的任意小的正数，且有ε＜1，Θ代表最优发射功率，

可选的，所述基站在节点k上实施行为X

式中，第一项表示各用户下行信号与干扰加噪声比的和，第二项表示基站能耗，第三项表示总体小区间干扰；B为系统带宽，σ为接收机的噪音功率，C

式中，

步骤S6中，利用下式，即Sarsa方法更新Q值：

Q值更新完毕，若此时节点状态达到目标状态，则迭代停止，停止训练，否则基于更新后的Q值以及最后得到的信干噪比进行下一轮迭代训练。

第二方面，本发明提供一种适用于超密集网络基站的小区间下行链路干扰控制装置，包括：

数据获取模块，被配置用于获取基站所处网络小区所在的超密集网络参数数据，以及基站所服务用户的当前下行链路信号与干扰加噪声比数据r；

网络分析模块，被配置用于基于获取到的数据，得到超密集网络的平均用户密度ρ、基站的当前各用户信道状态h，以及基站所处网络小区的网络吞吐量f；

控制策略计算模块，被配置用于将得到的r、ρ、h和f作为k时刻的节点状态参量，输入至预先训练的强化学习网络，得到强化学习网络输出的基站对所服务用户的下行链路发射功率数据；

以及，控制输出模块，被配置用于按照得到的下行链路发射功率数据，对基站所服务的各用户实施相应的下行链路发射功率。

上述各功能模块的具体功能实现参照第一方面方法的相关内容。

第三方面，本发明提供一种适用于超密集网络的小区间下行链路干扰控制系统，所述超密集网络包括多个网络小区，各网络小区分别设有基站，各基站所服务的用户包括基站所处小区内的用户以及相邻小区内的用户；

各基站分别执行第一方面所述的小区间下行链路干扰控制方法，得到对所服务用户的下行发射功率并实施。

有益效果

本发明适用于超密集网络基站的小区间下行链路干扰控制方法，通过引入强化学习算法，使得各小区的基站在进行下行发射功率分配时，无需了解相邻小区的信道状态及其小区间干扰分布，仅根据用户反馈的下行链路信号与干扰加噪声比以及下行链路信道状态，即可利用预先训练的强化学习网络得到下一时隙对用户的下行链路发射功率，达到优化基站发射功率并抑制小区间干扰的效果。

此外，参考强化学习网络的训练过程，在计算基站在节点k上实施行为X

附图说明

图1所示为本发明适用于超密集网络基站的小区间下行链路干扰控制方法的实施例流程示意图；

图2所示为适用本发明小区间下行链路干扰控制方法的超密集网络架构示意图，其中：BS代表基站，User代表用户，cell代表蜂窝小区；

图3所示为强化学习网络迭代训练流程示意图。

具体实施方式

以下结合附图和具体实施例进一步描述。

实施例1

本实施例介绍一种适用于超密集网络基站的小区间下行链路干扰控制方法，如图1所示，方法包括：

获取基站所处网络小区所在的超密集网络参数数据，以及基站所服务用户的当前下行链路信号与干扰加噪声比数据r；

基于获取到的数据，得到超密集网络的平均用户密度ρ、基站的当前各用户信道状态h，以及基站所处网络小区的网络吞吐量f；

将得到的r、ρ、h和f作为当前节点状态参量，输入至预先训练的强化学习网络，得到强化学习网络输出的基站对所服务用户的下行链路发射功率数据；

按照强化学习网络的输出，对基站所服务的各用户实施相应的下行链路发射功率。

在应用时，超密集网络中各小区配置的基站分别执行上述方法，对所服务用户分配下行链路发射功率，即可实现超密集网络中小区间的下行链路干扰控制优化。

本实施例的方法中，输入至预先训练的强化学习网络的节点状态参量的确定具体如下。

基站所处网络小区所在的超密集网络参数数据包括基站所处网络小区的当前活动用户数量

假设在k时刻小区i有

式中，

因此，平均用户密度ρ

基站的当前各用户信道状态h，可利用信道估计函数估计得到，超密集网络参数数据还包括基站导频序列，信道估计函数的计算基于导频序列进行。

基站可实时从反馈信道获取用户下行链路的信号与干扰加噪声信噪比

式中，

本实施例各基站在进行干扰优化控制时所采用的强化学习网络的训练过程包括：

S1，初始化强化学习网络参数，其中：所述强化学习网络参数包括学习率、折扣因子、V值和Q值；

S2，对于已知目标状态的超密集网络中的基站干扰控制样本，确定基站的发射功率集Ω、在当前时刻k对应的平均用户密度ρ

S3，基于时刻k的节点状态s

S4，获取基站仿真实施X

S5，计算基站所在网络小区的能量消耗和小区间干扰，确定基站在节点k上实施行为X

S6，用Q函数Q(s，X)表示在状态s采取行为X的BS的长期折扣奖励，基于时刻k的节点状态s

S7，判断基站在当前节点上是否达到预定的目标状态：若是则停止迭代，结束强化学习网络的训练；若未达到目标状态，则转至步骤S2-S7，基于更新后的Q值和实施X

为了减少初始时强化学习网络对随机干扰控制的探索过程所耗费的时间，初始化的Q值序列可采用利用迁移学习方法得到的相似应用场景下的干扰控制经验序列。

用于训练的干扰控制样本，其超密集网络参数以及控制目标状态为历史已知数据，或者包括预先标定的信干噪比数据和信道状态数据范围。

给定基站BS最大发射功率P，BS对用户n的发射功率

基站的最大发射功率应随网络小区的类型变化而变化，以满足覆盖范围和服务要求，网络小区的类型有毫微微小区、微小区和微微小区等。

步骤S3中，根据ε贪婪算法计算下行发射功率，具体的：基站按照下式为所服务的用户选择下行链路发射功率：

式中，ε为随机的任意小的正数，且有ε＜1，Θ代表最优发射功率，

式(4)中，用1-ε的概率来选取最优发射功率，用ε的概率来选择次优发射功率，可避免网络计算停留在局部最优解。

计算基站所在网络小区的能量消耗E和小区间干扰I，可按照下式进行：

将基站所在网络小区的能量消耗和小区间干扰带入基站在节点k上实施行为X

式(7)中，第一项表示各用户下行信号与干扰加噪声比的和，第二项表示基站能耗，第三项表示总体小区间干扰；式(5)-(7)中，B为系统带宽，σ为接收机的噪音功率，C

式中，

步骤S6中，由Q(s，X)表示的Q函数对应于在状态s采取行为X的基站的长期折扣奖励，其中s∈S，S表示状态空间，并且X＝[x

Q值更新完毕，若此时节点状态达到目标状态，则迭代停止，停止训练，否则基于更新后的Q值以及最后得到的信干噪比进行下一轮迭代训练。

实施例2

与实施例基于相同的发明构思，本实施例介绍一种适用于超密集网络基站的小区间下行链路干扰控制装置，包括：

数据获取模块，被配置用于获取基站所处网络小区所在的超密集网络参数数据，以及基站所服务用户的当前下行链路信号与干扰加噪声比数据r；

网络分析模块，被配置用于基于获取到的数据，得到超密集网络的平均用户密度ρ、基站的当前各用户信道状态h，以及基站所处网络小区的网络吞吐量f；

控制策略计算模块，被配置用于将得到的r、ρ、h和f作为k时刻的节点状态参量，输入至预先训练的强化学习网络，得到强化学习网络输出的基站对所服务用户的下行链路发射功率数据；

以及，控制输出模块，被配置用于按照强化学习网络的输出，对基站所服务的各用户实施相应的下行链路发射功率。

上述各功能模块的具体功能实现参照实施例1方法中的相关内容。

实施例3

本实施例介绍一种适用于超密集网络的小区间下行链路干扰控制系统，超密集网络如图3所示的架构，其中包括多个网络小区cell，各网络小区分别设有基站BS，每个基站BS都配备有多个各向同性天线，各基站所服务的用户User包括基站所处小区内的用户以及相邻小区内的用户。

本实施例中，各蜂窝小区内的基站分别实时的执行实施例1中的小区间下行链路干扰控制方法，得到对所服务用户的下行发射功率并实施，从而能够在超密集网络部署下，优化对所服务用户的发射功率，减少系统中下行链路小区间干扰，同时优化基站的效益，减少超密集网络整体能耗以及成本。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。