面向5G的通信云部署方案

引  言  

5G SA组网架构标准的冻结和工业和信息化部向中国联通、中国电信、中国移动、中国广电发放5G商用牌照，标志着我国5G移动通信网络的商用正式拉开序幕。5G核心网采用服务化架构（SBA）设计，以软件服务重构核心网，实现了核心网的软件化、灵活化、开放化和智能化，同时有助于网络服务和网络架构向云化演进。

与此同时，中共中央政治局常务委员会在2020年3月4日召开会议中，明确指出要加快5G网络、数据中心等新型基础设施建设进度，发力于科技端的基础设施建设。通信云是数据中心在通信行业的具体应用，对通信技术的发展发挥着至关重要的作用。随着互联网新业务的不断涌现，SDN、NFV等技术的不断发展，欧美电信运营商和中国三大运营商都先后提出了网络云化的计划，运营商的网络转型势在必行。

作为全面支撑4G/5G核心网、城域网等网络云化部署，满足创新型业务平台、管理平台部署需求的基础设施，通信云的快速灵活部署对运营商尤为重要。鉴于业务种类多样、虚拟化的通信网元部署复杂，可靠性要求高，通信云依然是当前建设的难点所在。本文将从运营商的业务分类入手，对通信云的部署方案和网络架构进行分析。

01 通信云的分类

传统的电信设备以专用的硬件为主，在专有平台架构下，各硬件设备彼此独立，导致网络扩展性较差，难以满足业务快速发展的需求。近年来，软件化、云化部署的产品逐步商用，国内运营商分别进行了业务系统的云化，并将云化范围从平台类应用扩展到通信网元，如虚拟客户端设备（vCPE）、虚拟IP多媒体系统（vIMS）、虚拟演进分组核心（vEPC）。通信云根据应用场景和承载业务不同可以划分为CT云和网络IT云。

a）CT云侧重于网络功能的虚拟化，旨在建设云化的新型电信网络服务环境，为打造高效、弹性、按需服务的业务网络夯实基础。

b)IT云是针对运营商内部的应用系统的云化，如创新平台、管理平台等系统的云化，支撑内部应用的快速部署及灵活扩展。

CT云与上层应用结合紧密，对时延、I/O及可靠性等要求极高，主要使用各通信设备厂商基于ETSI标准架构进行定制化开发的云平台。IT云承载主机型业务，目前已基本实现与上层应用的解构，基于开源技术，可以使用自主研发的或者第三方的云平台。此外，由于承载业务的类型不同，CT云和IT云在流量模型、兼容性、故障收敛、可靠性等方面需求不同，如表1所示。特别是CT云承载了路由型VNF，需要对外建立路由邻居、BFD会话，收发路由等，因此其对组网提出了更高的要求。

表1 通信云的组网需求

02 通信云的网络架构2.1 通信云资源池的建设原则

通信云遵循 “区域+本地”2级架构布局，全面支撑核心网、城域网等网络云化部署，满足OSS、创新型业务平台集约化部署资源需求，推进网络云化转型和能力开放，实现网络敏捷部署和弹性扩缩容，加快业务上线速度，降低TCO。具体建设原则如下：

a）统筹规划：中国联通集团对通信云资源池进行整体规划，统一布局、统一组网方案、统一云平台技术架构、统一云资源管理及调度。

b）集约化生产：控制类、用户数据类、管理类和业务类网元集中部署，集中维护，发挥资源池的规模效应，降低云化网络的运营成本。

c）确保业务体验：针对数据转发类网元，根据业务对于时延、带宽的不同要求分层进行部署，确保用户体验，实现数据流量的本地分流。

d）资源统一管理：通过统一云管平台建设实现全网资源、告警、性能的集中监控，构建服务化能力，实现资源申请、配置、发放的自动化。

针对区域级通信云，根据不同的解耦策略和云平台部署要求，采用不同方式部署CT资源池和网络IT资源池。

a）CT资源池：考虑到CT业务的复杂性和高可靠性要求，初期为保障网络快速开通和降低业务部署风险，云平台由主要VNF厂家提供，运营商提供硬件资源池，支撑CT网元部署。

b） 网络IT资源池：云平台和上层业务系统独立，统一部署云平台，主要以虚拟机的形式提供云资源，满足云化系统的部署要求。

通信云采用软硬解耦(CT云)/三层解耦(IT云)的部署方案，由于硬件设备和软件分开招标，存在云平台VIM与网络设备的SDN控制器异厂家对接的场景，目前仍处于开发测试阶段。因此在初期资源池建设时，建议采用传统二层VLAN组网方案。对于云平台与硬件设备同厂家的场景，可根据业务和运维的需求启用SDN控制器。

此外，目前承载以5GC、vIMS业务为主的CT云对外连接IP B网，没有连接互联网的需求，因此建议部署以防火墙为主的安全设备，其他设备按需部署。对于IT资源池，建议将有连接互联网需求的平台类业务集中部署在全国两个DC，根据安全等级保护要求，部署防火墙、入侵防御、WAF、防病毒网关、SSL VPN等安全设备；其他IT资源池部署以防火墙为主的安全设备，以提升投资效益。

2.2 CT资源池组网方案

按照层次和架构设计，CT资源池自下而上分为接入层、核心层、出口层3层，各层部署以下设备：

a） 接入层：部署Leaf交换机，负责接入各类服务器和存储设备。

b） 核心层：部署Spine核心交换机，负责汇聚网络内的所有业务接入层交换设备，保证业务网络内接入层交换设备之间的高速交换，向上与出口路由设备进行互联。

c） 出口层：部署高性能路由器作为DC出口网关，负责与外部网络的连通，保证DC内部网络高速访问外部网络，并对DC内网和外网的路由信息进行转换和维护。

从逻辑上，根据业务类型，CT资源池又可以划分成不同的平面：

a） 管理平面：包含资源管理、网络管理、业务管理、运营管理等管理功能，在管理节点部署MANO、VNFM、VIM和EMS等组件通过管理平面的网络实现对云平台的管理。

b） 业务平面：在计算节点部署各类VNF，并通过业务平面的网络实现流量的互通，根据业务需求可以进行HA资源的划分。

c）存储平面：存储类型的服务器/磁阵接收VNF请求，按需提供存储资源。

d） 硬件管理平面：也称带外管理平面，PIM通过设备的带外管理网口实现对资源池内所有设备的性能、告警等信息的监控。

图1 CT资源池组网方案

如图1所示，CT资源池采用Leaf-Spine-DCGW三层组网架构，不同平面间流量在服务器侧采用物理端口/逻辑接口隔离，保证互不干扰。由于存储平面、管理平面流量较小，建议端口合设，并与业务平面、硬件管理平面的端口分开单独部署。设备间的组网细节如下：

a）计算节点以10GE口分别连接业务和存管leaf；管理节点以10GE口连接存管leaf；磁阵以10GE口连接专用的存储leaf。

b）存储/存管/业务leaf交换机：下行10GE口连接服务器或磁阵，上行40GE口连业务或存管Spine，成对leaf之间采用40GE口互联。

c）存管/业务Spine：下行40GE口连接leaf交换机，上行10/100GE口连接DCGW，成对Spine之间采用100GE口互联。

d）DCGW：下行10/100GE口连接Spine交换机和防火墙，上行按需使用10/100GE与外网互联，成对DCGW之间采用100GE口互联。

e）防火墙：使用100GE口连接DCGW，成对防火墙之间采用10GE口互联。

f）硬管Leaf：使用GE电口连所有设备，包括服务器/磁阵/Leaf/Spine/DCGW/防火墙，上行10GE口连接存管Spine。

CT资源池由于上层业务与云平台未解耦，同一局址存在多种类型或多厂商的业务，需要部署多个云平台，根据业务需求和服务器规模，可以选择共用Spine/DCGW、单独部署设备两种组网方式，如图2和图3所示。

图2 CT资源池共用Spine/DCGW的部署方案

图3 CT资源池单独组网的部署方案

对于共用Spine/DCGW网络设备，不同云平台需要进行业务隔离：

a)Spine：南向单板级隔离，北向接口级隔离，避免流量拥塞丢包。

b) DCGW：南向接口级隔离，北向共物理口，逻辑子接口隔离，通过HQOS保证带宽，避免流量拥塞丢包。

此外，多云平台使用的VLAN/VRF/IP等网络资源需要提前规划分配，避免冲突；路由策略/ACL等配置基于接口/子接口/IP网段等最小级配置，不做全局配置，避免多平台间相互影响；并且考虑安全问题，通过防火墙对云平台间的流量进行隔离。2.3 网络IT资源池组网方案

网络IT资源池主要承载主机型VNF的业务，不需要与其他设备建立路由邻居动态学习路由，对DC出口网关的路由性能要求不高，因此建议DCGW与业务Spine合设，简化网络层次，提升投资效益。如图4所示，网络IT资源池采用Leaf-Spine 四层组网架构，业务Spine设备兼做DCGW，既作为三层网关负责DC内东西向流量的转发，又负责与外网的互联互通。存管Spine作为存储、管理平面的三层网关，负责内部的流量转发，上行使用10/40GE网口连接业务Spine，实现管理平面与外部的互通，保证对资源池的远程监管。其他组网细节与CT资源池基本一致，不再赘述。

图4 网络IT资源池组网方案

由于网络IT资源池使用统一云平台承载多种类型的业务，内部使用二层VLAN的组网方案，需要对VLAN、私网地址和业务地址进行精细化管理，对业务进行隔离，避免冲突，具体措施如下：

a） VLAN：对VLAN进行统一规划，1~1999作为公共预留，当VLAN资源不足时，再根据现网实际情况进行划分；2000~3999作为业务VLAN，按需分配给各个业务；4000为探测VLAN；4001~4063由I层（含VIM、PIM、BMC、SDN控制器等）和PaaS使用。

b） 私网IP地址：对DC内私网IP地址进行统一规划，172.16.0.0—172.31.255.255划分给存储平面（存储前端数据和存储后端数据通信以及计算节点访问存储面数据网络）和NFVI层（NFVI各组件之间的通信地址）使用；173.0.0.0/8划分给VNF网元内部地址使用，各部分地址按需申请。

c）业务IP地址：为公网地址实现VNF与外网的互通，由各业务部门向承载网申请。

此外，为保证业务的安全，不同的业务需要VLAN/IP进行隔离，原则上不允许流量互通，如果有业务诉求，需要通过防火墙对流量进行严格的检测和控制。

03 总结

通信云目前已在中国联通各大区实际部署，支撑5GC、VoLTE炫铃等业务的顺利开通，并具备敏捷部署和灵活扩展的能力。未来将通过统一云管平台纳管全网资源，实现全网资源集中监控，自动发放，加快业务上线速度，节省投资成本，提升运营效率。

此外，通信云的主要问题集中在网络设备SDN控制器与云平台VIM异厂商对接，以及云平台与上层CT业务的解耦，目前没有统一的接口标准，这也是后续研究的重点工作。

（来源于公众号-邮电设计技术）