虚拟网络功能调度　

　　 在即将到来的后5G和6G时代，网络功能虚拟化(NFV) 可以为所有用户提供更灵活的资源管理和共享。传统网络中，由于不同网络业务的具体需求，许多网络功能需要在专用硬件上实现。 然而，用户的需求更加多样化，新兴的网络业务需要大量的专用设备来支持多样化的网络功能，这导致了较高的资本和运营支出。 另一方面，业务创新不断加速，但专用硬件无法简单更新，导致新部署设备的生命周期很短。

　　 随着网络功能虚拟化（NFV）技术的不断发展，许多专用硬件实现的网络功能设备逐渐由软件化的虚拟网络功能（VNF）替代，网络服务则由VNF组成的服务链路实现。 在NFV系统中提供网络服务，需要将的所有业务的VNF部署在网络中，并对每个服务链路的VNF进行调度来提升网络资源的利用率，由于VNF部署和卸载会产生大量时延， 因此可以以较低的频率实施，而VNF调度则需要依据到达网络中的服务请求完成服务链路，因此需要实时进行。

　　 在后5G和6G网络中，新型的网络服务，如自动驾驶，无人机，虚拟现实等，则对VNF进行实时调度提出了更高的要求，网络资源有限使提升用户体验成为了巨大的挑战。 服务提供商更加重视服务定制，满足用户QoS需求，还需要保证服务间的公平性，因此如何通过VNF调度的方式完成该目标是一个十分重要的问题。

　　 VNF调度问题是一个强NP-hard问题，求解的复杂度很高，但是生成可行解的复杂度很低，因为可以采用优先分配规则的方式对每一个VNF进行调度，得到所有服务链路的调度表， 并且在生成可行解后可以观察到最终调度结果。于是可以通过深度强化学习方法，来学习如何调度可用的网络资源和不同服务的执行顺序，既满足所有服务的时延要求，又能提升服务间的公平性。 数值实验结果如上图所示，图一体现了不同方法的CPU时间。图二体现了对于不同的服务数量时相应的服务接收率和服务间公平性。可以看出， 我们提出的深度强化学习训练方法得到调度策略在保持较低的计算复杂度的同时，在服务接收率和不同服务间的公平性上优于其他方法，并且可以扩展到不同问题规模。

　　 在不同的网络业务之间，不仅针对同种QoS有不同的指标，也会有不同类型的QoS需求，且业务分布会动态变化。未来的移动通信网络要实现服务定制，则需要对不同的网络资源状态进行识别， 并达成对网络资源调度的自适应调整，因此未来我们希望能够通过深度强化学习或元学习手段，在网络业务需求发生变化时，使系统能对不同的网络状态进行快速响应与调整。

　 参考文献