用户中心式的虚拟小区 (VC, virtual cell) 中,考虑V2I通信,在保证可靠性、数据速率、用户公平性的前提下,通过资源分配最大化能效 (EE, energy-efficient) 。
使用分布式多主体强化学习加以解决。
用U表示VU (vehicle user, 车辆用户) 的集合,用A表示AP的集合,用B表示边缘服务器的集合。边缘服务器与云端相连,其无线资源有限,用W_l Hz表示。在云端服务器可获得完整的CSI信息,其可以调度AP的波束赋形的权重。
为每个用户规划单独的VC提供服务,VU-AP的连接关系用下式表示
考虑多入单出的通信模型,车辆单天线,AP有个天线。
一个time slot内,信道服从 quasi-static flat fading 。
VU 和AP之间的信道表示为:
VU 和 AP (多天线) 的信道响应:
大尺度衰落、log-Normal 阴影衰落、快衰落:
AP 到 VU 的波束赋形权重:
AP a_j传输的信号:,x为单位能量信号。
下行接收信号:
VU的可达速率:
其中为SINR。
到VU 的下行链路损耗:
EE计算:
构建联合优化问题:
寻找VU-AP连接关系、波束赋形权重
约束于:7b:确保每个VC内的AP数大于一; 7c:确保SINR大于阈值;7d:总功率有限; 7e:用户连接是bool量。
为便于求解,将AP的传输功率分成 K 个离散数值。
波束赋形向量表示为:
动作空间大小为:
我们使用QL来解决上述优化问题。
状态空间为,分别表示VU的位置,AP的位置,链路的CSI。
动作空间:VU-AP链接,波束赋形向量。
奖励函数:
为确保公平性,设置如下限制,由此可保证agent不会选择使任何用户的SINR小于SINR阈值的动作:
QL公式如下所示:
在状态和动作空间过大时,SARL很难处理。此外,当环境的状态有限时,通常用某种方法进行近似,但对于每个近似状态,agent仍需要从动作空间中选取合适的动作。为此,使用D-MARL算法改进
通常来讲,MARL通过控制每个agent对于各自的状态选择动作,进而缩小每个agent的动作空间。
对于场景中的N个agent,Q-table的维度变为,动作空间大小变为
此外,使用集中式向量Q存储每个状态的宏观最佳动作:
总体算法如下:
如下所示:
文献[14]:“3rd Generation Partnership Project; Technical Specification Group Radio Access Network; Study on LTE-based V2X Services,” 3GPP TR 36.885 V14.0.0, Release 14, Jun. 2016.
场景如下,设置VU并排行驶
对照组设置为:1.遍历所有可能的动作以获取最大reward;2.SARL;3.MARL(作为state of art);4.功率平均分配;5.随机功率分配。
性能表现如下:
结论: