1 概述
在长期的业务网络发展演进过程中，联通构建了多张不同定位的IP 承载网络，主要分为IP 城域网和UTN城域承载传送网。其中，IP 城域网是互联网业务的承载网络，主要承载的有家庭固定宽带、固网语音、IPTV、政企专线等业务；UTN城域承载传送网络则主要用于IP/MPLS技术的无线接入网（IP RAN）、政企专线等业务。不同城域网络的管理相对独立，并且在设备容量、协议使用、自治域划分以及业务功能支持上都各不相同，随着IP业务融合演进发展的趋势，上述网络之间形成了复杂的业务联系，多张网络互联带来了背靠背资源浪费以及网络管理的高复杂度，同时导致业务承载的一致性差、业务转发效率低、网络扩展不灵活、创新业务支撑不足等一系列问题。
鉴于现有网络的复杂性以及5G承载、通信云化、城域网网络功能虚拟化等业务承载的迫切要求，中国联通城域网络重构势在必行。随着5G时代的到来，5G基站建站速度及建站密度都远超4G基站，4G承载网的接入汇聚核心设备无论从容量还是功能性能等方面都无法满足5G 业务的发展，因此，以5G建设及5G承载网络构建为契机，打破烟囱式的组网架构，构建一张融合承载的智能城域网实现通信云、移动业务、政企客户接入以及固网宽带等业务的综合承载成为必要[1]。
2 联通智能城域网组网方案
智能城域网采用核心（MCR）+ 汇聚（MER）+ 接入（MAR）的简化架构实现5G 业务、专线业务、家客业务以及4G、5G 基站互操作等业务的综合承载目标。联通智能城域网总体架构如图1 所示。
图1 联通智能城域网总体架构
其中，核心设备（MCR）用于网内不同汇聚设备间流量转发以及与其他网络间流量转发；汇聚设备（MER）用于多业务综合承载接入，包括基站回传业务、大客户业务、通信云业务以及vBRAS业务等，与MER同局址的BBU或少量周边基站直接接入MER；接入设备（MAR）用于基站接入以及部分节点的综合业务接入。MCR和169网CR对接，疏导vBRAS家宽业务流量以及互联网专线类流量；MCR 和CUII/B对接，疏导访问大区5GC流量；MCR和UPF对接，疏导访问UPF流量。MCR和IPRAN对接，疏导互通流量和访问4G 核心网流量；MCR 和电信网络对接，疏导共建共享流量。
2.1 智能城域网IGP协议部署
2.1.1 IGP协议层次化部署
智能城域网IGP 协议层次化部署，MCR 与MER 之间、MER 与MAR 之间均部署ISIS 协议，都采用Level2层级，MCR 与MER 设备共进程ISIS n。接入环采用ISIS 多进程，接入MAR 设备按环分进程，每个接入环（或接入链）部署1 个ISIS 进程，与核心汇聚层实现路由隔离，同一对汇聚设备下不同接入环分属不同进程，进程间的路由相互隔离[2]。如存在多级接入环，二级接入环/ 接入链与一级接入环采用同一进程。
MAR 将MAR-MAR 互联、MAR-MER 互联接口和自身环回口宣告进ISIS，ISIS 进程号与本设备所在的环号对应。MER-MER 互联接口开启N+1个子接口，面向接入侧的N个子接口运行接入环ISIS进程，第N+1个子接口运行MER-MCR之间的ISIS进程。
图2 智能城域网IGP协议部署
2.1.2 IGP COST值设置原则
接入环MAR-MER或MAR之间的COST设置为100，MER-MER之间用于接入环ISIS 进程的互联子接口COST值大于接入环所有链路COST 值之和设置为2 000，为接入环闭环，确保MAR 之间的互通不经过MER 绕行。
MCR根据双平面设计原则，汇聚环MER之间以及MER-MCR之间COST 设置一致均为100。同时为保证横穿流量尽量靠近接入层，相同层级节点之间互联电路COST值逐级减小，MCR-MCR之间COST设置为150大于MER-MER的COST值100。
2.1.3 IGP路由重分布
核心汇聚ISIS 进程和接入ISIS 进程进行按需路由引入。接入环汇聚设备将其loopback 路由引入接入环ISIS进程。对于业务IP，按照业务分层部署方案，接入设备的路由没有必要引入到汇聚环中。
当汇聚MER上进行接入环ISIS进程和汇聚环ISIS进程的双点双向路由重分布时，为了防环，在相互重分布路由时需要注意在将汇聚ISIS进程的路由发布给接入ISIS进程之后不能再被重分布进汇聚ISIS进程，同理，在将接入ISIS进程的路由发布给汇聚ISIS 进程之后不能再被重分布进接入ISIS 进程。
路由引入可能引起环路问题，如图3 所示，接入进程为ISIS 2，汇聚进程为1000，汇聚环MER 间的COST值为100，对于A2 设备的环回地址在2 台MER上查看COST值均为200，在2 台MER 的ISIS 1000进程分别引入ISIS 2，此时在MER1 上再次查看A2的环回地址COST值为100，下一跳为MER2，同理在MER2上查看A2的环回地址COST值为100，下一跳为MER1，此时环路产生。为解决上述问题，在进行路由引入时需要打上更大的cost值（现网配置为10000）。
2.1.4 智能城域网Segment Routing配置
智能城域网开启SR 功能，将loopback 环回地址作前缀通告Node-SID，在ISIS 协议下使能ISIS SegmentRouting功能，使能ISIS的BFD，以及ISIS TI-LFA，触发故障快速感知和重路由。
2.2.3 智能城域网MCR/MER优选同平面路由
智能城域网网络目前为口字型结构，BGP选路遵循同侧优先的原则，将MCR和MER分为2个平面，其中MCR1和MER1在同一平面A，MCR2和MER2在同一平面B。
MCR将下联所有MER放至1个bgp组中，MCR1发出的所有路由打上团体属性A，MCR2 发出的所有路由打上团体属性B。A 平面MER 收到属性A 的路由配置local-preference 100，属性B 的路由配置local-preference50；B 平面MER 收到属性A 的路由配置local-preference50，属性B 的路由配置local-preference 100。
A平面MER1发路由给MCR时，打上团体属性A，B 平面MER2发路由给MCR时，打上团体属性B。A平面MCR1收到属性A的路由配置local-preference 100， 属性B的路由配置local-preference 50；B平面MCR2类似。
通过上述配置实现MCR/MER 流量优选同平面路由。
2.3 SDN控制器与业务系统建设方案
智能城域网SDN控制器和业务系统实现智能城域网的协同控制及配置自动下发等，满足云网一体及5G、大客户、家宽等业务综合承载、自动开通、弹性调整和线上控制目标[4]。网络架构如图5 示意。
图5 智能城域SDN控制器及业务系统架构示意图
1）业务系统分为统一业务系统和省内业务系统。统一业务系统和省内业务系统分别负责全国统一业务及省内特色业务的自动开通、弹性调整和线上控制，同时北向开放网络能力和业务能力，供其他系统调用。
2）智能城域网能力平台实现不同省智能城域网的编排协同以及分发，统一对外提供接口，开放网络能力；
3）SDN 控制器具备对所管辖的省内智能城域网接入（MAR）、汇聚（MER）及核心设备（MCR）的集中控制能力，并控制网络完成必要的业务以及智能运维相关的配置，实现配置的自动下发。
4）智能城域网SDN 控制器和能力平台之间间采用统一的YANG 模型对接。
5）智能城域网SDN 控制器采用南向配置模板与南向网络设备对接。
6）智能城域网SDN 控制器与业务系统和跨网协同层、通信云之间接口采用标准接口对接。
7）智能城域网统一业务系统，能力平台及SDN 控制器采用全国集中的方式进行部署，省内定制业务系统根据省内需求进行部署。
3 智能城域网跨网对接实现
智能城域网涉及与多个系统及网络进行对接，目前省内智能城域网与异网互通现状如图6 所示。
图6 智能城域网与异网省内互通现状组网
5GC控制面全国大区集中设置，通过接入骨干IP承载B网实现与各本地智能城域网联通，5GC 用户面分重点城市部署。郑州、洛阳大区MCR 通过n×100G链路和郑州、洛阳大区5GC-U 出口设备对接为大区地市提供5GC 用户面出口。地市MCR 通过100G链路上联郑州、洛阳大区MCR 疏导地市5G 用户面出口，目前与电信共建共享流量也是通过大区MCR 疏导的。智能城域网MCR 与B 网对接用于疏导本地市C 面到大区C 面流量以及基站管理流量；与A 网对接用于实现SDN 自动下发以及MAR 自动上线等功能。智能城域网MCR 与联通IPRAN 对接用于疏导4G、5G 基站互通流量。
3.1 地市MCR与大区MCR互通
目前地市MCR 与郑州、洛阳大区MCR 互通的VPN 有5G_RAN、5G_RAN_VIP 和4G_RAN 的VPN，地市MCR 与大区MCR 建立eBGP 邻居，采用Option A 方式进行跨域VPN 业务互通。目前河南省内仅郑州和洛阳大区MCR 与电信网络互通，其他地市的MCR 还未与电信网络互通。
地市MCR 与大区MCR 间5G_RAN VPN 的互通实现为：地市MCR 发送本地市联通和电信5G 基站地址段给大区MCR，大区MCR 发送全省联通、电信5G 基站地址段以及联通电信UPF 地址段给地市MCR 实现业务互通。
地市MCR 与大区MCR 间5G_RAN_VIP VPN 的互通实现为：地市MCR 发送本地市VIP 地址段给大区MCR，大区MCR 发送本大区VIP 地址段以及大区C 面网段给地市MCR 实现业务互通。
地市MCR 与大区MCR 间4G_RAN VPN 的互通实现为：地市MCR 发送本地市4G 基站地址段以及智能城域网新开4G 基站地址段、NSA 基站地址段给大区MCR，大区MCR发送UPF 地址段给地市MCR实现互通。
3.2 MCR与承载B网互通
目前智能城域网MCR 与承载B 网AR 互通承载的业务VPN 有5G_RAN、5G_RAN_VIP、5G_OAM 和设备管理public VPN（对应B 网IPRAN VPN），采用BGP MPLS VPN 跨域Option A 方式进行对接，实现跨域VPN 业务互通，主要用于疏通5G 相关控制面信令流量以及少量跨本地回传流量等。
MCR 与B 网AR 间5G_RAN VPN/5G_RAN_VIP的互通实现为：MCR发布本地市5G基站业务地址段给B网，B网发布5GC 业务地址段给MCR，实现基站到5GC的互通。
MCR 与B 网AR 间5G_OAM 的互通实现为：MCR 发布本地市5G 基站管理地址段给B 网，B 网发布省中心5G 网管服务器地址段给MCR，实现基站到基站网管的互通。
MCR 与B 网AR 间设备管理public VPN 的互通实现为：MCR发布本地市智能城域网网元管理地址段给B网的IPRAN VPN，B 网通过IPRAN_JT VPN接收集团网管服务器地址段发布给IPRAN VPN，实现MCR/MER/MAR 网元到集团网管服务器的互通。
3.3 MCR与CUII网互通
目前智能城域网MCR与CUII网（承载A 网）AR互通承载的业务VPN有设备管理public VPN（对应CUII 网SMAN_NMS_JT VPN）、SmartMAN_AUTO_ONLINE（对应CUII 网SMAN_NMS_CJ VPN），采用BGP MPLS VPN 跨域Option A 方式进行对接，实现跨域VPN业务互通。主要用于疏通SDN 控制器、业务平台以及其他智能城域网相关的物理位置集中部署的系统与智能城域网设备间的流量等。
MCR与CUII网AR间设备管理public VPN的互通实现为：MCR 发布本地市智能城域网网元管理地址段给CUII网的SMAN_NMS_JT VPN，CUII 网将集团SDN 控制器地址段发布给MCR，实现SDN控制器对网元的数据自动下发[5]。
MCR 与CUII 网AR 间SmartMAN_AUTO_
ONLINE 的互通实现为：MCR 发布本地市新增MAR网元的DCN 地址段、现网MAR 网元的管理地址段给CUII 网的SMAN_NMS_CJ VPN，CUII 网将集团部署的自动下发网管的地址段发布给MCR，实现自动下发网管对新增MAR 网元进行设备上线数据下发、对现网MAR网元进行数据下发。
3.4 MCR与UPF网络互通
目前省内UPF 分为人网UPF 和物网UPF，仅在郑州、洛阳重点城市部署，分为郑州大区和洛阳大区，郑州、洛阳两地市MCR 对接UPF 网络EOR 设备，对接业务VPN 主要有5G_RAN、5GC_WAP、4G_RAN、VoLTE_SGi、GPRS_Gn_C、5GC_MGMN、5G_MEC，采用BGP MPLS VPN 跨域Option A 方式进行对接，实现跨域VPN 业务互通。
MCR与UPF网络各业务互通实现为：MCR向UPF EOR下发各业务的缺省路由，UPF EOR向MCR发送人网UPF业务地址、物网UPF 业务地址、UPF管理地址、MEC业务地址以及相关C面信令地址等，实现用户访问UPF、网管管理UPF 以及相关信令交互业务的互通。
3.5 MCR与联通IPRAN互通
目前MCR与IPRAN互通的VPN有4G_RAN和4G_OAM的VPN， 采用fake-as号进行BGP MPLSVPN跨域Option A方式对接。主要解决智能城域网新开SA基站，回落到IPRAN 上的4G 基站时的语音和数据业务问题，实现IPRAN 上的4G基站与5G 的UPF互通问题，智能城域网新开4G 基站与原4G 的EPC 互通问题。
MCR 与IPRAN 间4G_RAN 的互通实现为：MCR发送本地市智能城域网下挂的联通/ 电信4G 基站业务地址段、智能城域网下挂的联通/ 电信5G NSA 基站业务地址段和5G UPF 业务地址段给IPRAN，IPRAN 发送本地市IPRAN 下挂的联通/ 电信4G 基站业务地址段、IPRAN 下挂的联通/ 电信5G NSA 基站业务地址段和4G EPC 业务地址段给地市MCR 实现业务互通。MCR 与IPRAN 间4G_OAM 的互通实现为：MCR发布本地市智能城域网下挂的4G 基站管理地址段、智能城域网下挂的5G NSA 基站管理地址段给IPRAN，IPRAN 发送省中心4G 网管服务器地址段给MCR，实现基站到网管的互通。
3.6 MCR与电信承载网互通
智能城域网MCR 与电信承载网互通的业务VPN 有5G_RAN，采用BGP MPLS VPN 跨域Option A 方式进行对接，实现跨域VPN业务互通。目前河南省内仅郑州、洛阳与电信网络进行互通。
MCR 与电信承载网间5G_RAN 的互通实现为：MCR 发送联通5GC 地址段，UPF 地址段以及电信分配给联通地市的地址段给电信承载网，电信承载网发送电信5GC 地址段，UPF 地址段以及联通分配给电信地市的地址段给MCR 实现共建共享基站到对应核心网的业务互通。
4 智能城域网倒换方案
4.1 正常流量转发及倒换检测机制
当网络无故障时，正常流量转发场景如图7 所示。MAR 的S1 业务，上行选择就近MER 转发，下行方向MER1 和MER2 均可转发，实现单发双收功能，见红色曲线；
图7 正常流量转发
Xn 业务，同环直接转发，同汇聚跨环时，两台MAR 选择就近的MER 中转，跨MER 场景，与S1 业务类似，可以参考上面的S1 转发过程。
为保证网络故障时业务的快速切换，现网针对不同故障场景部署了相应的快速检测机制[6]。可能发生的主要典型故障点如图8 所示：
图8 典型故障点
当前网络部署了多种检测机制适应不同故障场景[7]。
注：设备间过传输链路时，bfd 参数须大于30 ms×3。
4.2 场景1：中间链路故障
当汇聚接入链路故障时，流量转发如图9所示。
图9 中间链路故障
A2设备TI-LFA 生效，A2 设备业务路由下一跳仍然是MER1，因为启用防微环功能，防微环时间5s，A2 到MER1 的SR LSP 将是节点标签和邻接标签组合；
一段时间后，IGP 路由完成收敛，业务路由下一跳变为MER2；
MER 上联方向网络无变化，MER1和MER2 均能收到回程报文，MER1 需要绕行MER2 到A2；
整个过程中，从链路down 开始到防微环生效才有丢包。
4.3 场景2：MER/MCR横连链路故障
当6/7 节点故障，即MER/MCR 横连链路故障时，流量转发如图10 所示。
图10 MER/MCR横连链路故障
MER 之间链路正常情况下，没有业务流量，链路down 对业务流量转发不影响；
MCR 之间链路正常情况下，没有业务流量，链路down 对业务流量转发不影响。
4.4 场景3：MER整机故障
当MER 设备整机故障时，流量转发如图11 所示。
图11 MER整机故障
A2 设备bfd for srtunnel 会检测到失效，启用vpnfrr 切换路由，缺省路由下一跳切换为MER2；
MCR 设备bfd for srtunnel 也会检测到失效，启用vpnfrr 切换路由，弃用MER1 发的路由，启用MER2 发的路由。
4.5 场景4：MCR整机故障
当MCR 设备整机故障时，流量转发如图12 所示。
图12 MCR整机故障
MER1 设备bfd for srtunnel 会检测到失效，启用vpnfrr 切换路由，弃用MCR1 发的路由，启用MCR2 发的路由；
AR 设备BGP 邻居因为bfd for bgp会down，路由会收敛，收敛完成前，AR 发给MCR1 的数据包会被丢弃。
4.6 场景5：网间链路故障
当网间链路故障时，流量转发如图13 所示。
图13 网间链路故障
MCR1 的bfd for bgp 生效，ebgp 邻居断开，撤销AR1 发送的路由，启用MCR2 转发的ebgp 路由；
MAR、MER1 设备转发路径不变。
4.7 场景6：MER上连和横连同时故障
当MER 上连和横连同时故障时，流量转发如图14 所示。
图14 MER上连和横连同时故障
MER1 检测到MCR 虚拟下一跳不可达，撤销发给MAR 的缺省路由，MAR 切换路由下一跳为MER2；
MCR1 设备bfd for srtunnel 生效， 弃用MER1 发来的路由，启用MER2 发来的路由，回程报文转发给MER2。
图15 MCR下连和横连同时故障
过程一：MER1 和MCR1 之间的主备SR LSP 均失效；
1）MER1 设备bfd for srtunnel 生效，启用vpnfrr，原先下一跳为MCR1 的路由都切换为MCR2；
2）MCR1 设备bfd for srtunnel 生效， 下一跳为MER1 和MER2 路由均失效，因为MCR 向AR 设备发送的是聚合路由，若非按成对MER 做汇聚，发给AR的路由就无法失效，在AR向MCR1转发流量时，会丢包；
过程二：IGP 路由收敛，MER1 和MCR1 之间的SR LSP 可正常建立，由于LP 设置同侧优选的原因，MER1 和MCR1 会优选对方成为转发下一跳，转发路径需要从其他MER 绕行，见红色实体曲线；丢包包含两部分，一个是MER1 设备从bfd 检测到vpnfrr 切换过程，一个是由于IGP 收敛MCR1 到MER1的SR LSP 形成之前。
4.9 场景8：MER下连和横连同时故障
当MER 下连和横连同时故障时，流量转发如图16所示。
图16 MER下连和横连同时故障
对于S1 业务，A2 设备上bfd for srtunnel 生效，启用vpnfrr，缺省路由切换下一跳为MER2；
对于X2 业务，同环无影响，跨汇聚场景跟S1 类似，同汇聚跨环部分场景需要绕行MCR 转发，见实体红色曲线流量；
MER 向MCR 发路由撤销，撤销本环的业务路由，MCR 业务路由收敛之前，MCR1 转发给MER1 的数据包会被丢弃。
5 结束语
智能城域网的建设部署实现了多业务的1 张本地网统一承载，解决了现有城域网网络复杂、跨网互通成本高、业务转发效率偏低、业务承载一致性差、网络扩展不够灵活、创新业务支撑不足等一系列问题。
结合SDN 以及智能化应用的部署，更好地实现了云网协同、业务自动开通，促进了通信DC 的云化演进，同时构建智能化、自动化、开放化的网络管控系统，开创了全新的业务开通模式，提升了网络配置的规范性、准确性、可靠性，支撑智能化运维和互联网化运营，大大降低了运维成本，迎接5G 时代的挑战。
参考文献：
[1] 杨烨.面向5G业务承载的新型智能城域网重构与思考[J].智能建筑,2022(2):55-58.
[2] 刘涛,陈欧伟.5G承载网的关键技术[J].数字技术与应用,2021,39(11):46-48.
[3] 陈劭.面向5G承载的IP RAN网络技术演进[J].长江信息通信,2021,34(11):196-198.
[4] 方妍,李文华,鲍彦泽.面向5G业务承载的新型智能城域网重构[J].计算机与网络,2021,47(20):43.
[5] 李芳,赵文玉,张海懿.面向云网融合的5G承载网络技术发展趋势探讨[J].通信世界,2021(09):25-26.
[6] 武斌,陈永.基于4G传输网的5G SPN承载网快速部署研究[J].山东通信技术,2020,40(2):1-4.
[7] 王文宣.关于5G SPN承载网保护技术研究[J].长江信息通信,2022,35(1):149-151.
（本文来源于《电子产品世界》杂志2023年3月期）