交流架构是网络装备的焦点，就像人的心脏一样主要
。数据中心作为面向应用的综合营业平台和未来云盘算的焦点基础架构，对网络装备的交流架构提出了更周全、更苛刻的要求
。让以太网从古板的“起劲而为”酿成更为成熟的“无损网络”，交流架构该怎样演进？

一、         小序

网络的高速生长特殊是新一代数据中心及未来的云盘算，对构建互联网基础架构的交流机和路由器的交流架构提出了更高要求，使其向着统一交流架构和营业融合、更大容量和带宽、更细腻的QoS包管、更高的可靠性和容错性能等偏向生长，以知足一直涌现的种种新型营业和应用
。网络装备的前进反过来进一步增进互联网的普及和良性生长
。

绝不夸张地说，交流架构是网络装备的焦点，就像人的心脏一样主要
。交流架构决议了一台装备的容量、性能、扩展性以及QoS等诸多要害属性
。在其短短二十几年的历史中，先后泛起了MESH构架交流、Crossbar矩阵交流和基于动态路由的CLOS交流架构等差别形态
。关于代表业界生长水平的大容量或超大容量的机架式网络装备而言，通常接纳Crossbar矩阵交流或CLOS交流架构，MESH构架交流主要用于槽位数较少的框式交流机
。

二、         数据中心对新一代交流架构的要求

交流架构的一样平常模子如图1所示，在逻辑上由数据通道资源、控制通道资源这两个相辅相成的部分组成
。数据通道资源详细包括交流网及其端口带宽、交流网适配器（FA：Fabric Adaptor）、流量治理器（TM：Traffic Manager）、缓存（Buffering）以及用于互联的高速总线
？刂仆ǖ雷试丛虬ㄓ糜谧试捶峙伞⒂档骼怼⒂等卫淼牧骺氐ノ弧⒌骼砥鳎⊿cheduler），调理器有时也叫仲裁器（Arbiter）
。完整意义上的交流架构还包括报文处置惩罚器（PP：Packet Processor）或网络处置惩罚器（NP：Network Processor）
。

图1  交流架构一样平常模子

数据中心作为面向应用的综合营业平台和未来云盘算的焦点基础架构，对网络装备的交流架构提出了更周全、更苛刻的要求，主要包括：支持统一交流架构，大容量及高扩展性，转发性能，营业调理和细腻化QoS，弹性
。

1、支持统一交流架构（Unified Switch Fabric）

数据中心现在保存相对自力的三张网：数据网（Data）、存储网（SAN）和高性能盘算网（HPC）
。为了便于未来的营业整合和效劳提供、简化治理、降低建设本钱和运营维护本钱，三网将逐步走向融合
。要求网络装备的交流架构能利便地扩展和支持FCoE、FC等接口及其转发，从而与存储网络无缝融合
；支持CEE（Convergence Enhanced Ethernet）增强型以太网等新型接口，使以太网从古板的“起劲而为（Best-effort）”酿成更为成熟的“无损网络（Lossless）”
。

2、大容量及高扩展性（Capacity & Scalability）

超宽带时代正在来临，以Youtube、iTunes、Facebook、GoogleEarth、网真系统、移动视频等为代表的视频流、音频流、社交网络、P2P、多媒体等营业正以约70%的年增添速率生长，对未来网络提出了近乎无止境的带宽需求
。要求交流机具有大容量和优异的可扩展性，即随着营业拓展而逐步扩展端口数、端口速率，从而提高端口容量
。扩展性还包括能凭证营业需要扩展新的端口类型，支持网络资源虚拟化，支持集群系统等
。

作为权衡系统交流能力和未来可扩展能力要害指标，交流机的交流容量相当于汽车的排量指标
。新一代机架式数据中心交流机交流容量在1～10Tbps级别，集群系统更高达几十Tbps
。端口容量则指产品目今版本所能提供的最大网络端口容量，由网络端口速率乘以响应的线速端口数得出，表征了产品目今现实所能支持的线速转发能力
。同样交流容量的产品，在差别版本和阶段，可能有差别的端口容量
；同样交流容量的产品，由于交流架构总开销差别，所能支持的端口容量也会差别
。

端口速率：新一代架构要求除支持千兆、万兆以太网端口之外，还要求每槽位能平滑支持一到多个40Gbps和100Gbps端口，这是带宽生长历程中一个质的奔腾
。

3、转发性能

线速转发性能：通常是指64字节小包的线速转发能力，表征了系统处置惩罚报文头的能力，在相同的端口流量下，64字节小包要求系统在单位时间内处置惩罚更多的报文数
。转发性能还要关注线速一致性，即大包小包都能线速，都不丢包
；Pair模式、Full Mesh模式都能线速转发
。

转发时延实时延颤抖：现在存储转发手艺的端口到端口时延在几微秒到几十微秒，可知足绝大大都应用场合
。Cut-through转发时延可抵达1微秒以下，主要用于少数对时延很是敏感的紧耦合高性能盘算
。时延颤抖则指时延的一致性、时延可展望性，VoIP、视频等实时营业通常要求低时延和时延一致性
。

4、营业调理和细腻化QoS

近年来带宽需求的年增添抵达50～70%，而带宽供应年增添通常在30%
。资源总是有限的，不可能给所有用户、所有营业提供足够的带宽，从而导致现实的网络是一个保存拥塞的网络
。网络装备需要提供更完善和细腻的QoS支持，即凭证差别用户差别营业的SLA要求，提供响应有包管或可展望的带宽、丢包率、突发缓存能力、时延、时延颤抖等指标允许
。

营业调理和行列（Scheduling & Queuing）：没有营业调理的交流架构就像没有红绿灯的十字路口，容易爆发碰撞和事故，谈不上QoS
。粗放式调理就像每个偏向有一个车道，有简单圆形红绿灯的十字路口，比没有红绿灯有大幅改善，但容易壅闭
。而细腻化调理则好比每个偏向有三个车道（左转、直行、右转），红绿灯由三个对应的偏向指示箭头组成（左转、直行、右转箭头），这种调理显然效率更高、越发有序了
。

在交流机里，车道就好比行列，红绿灯就好比调理器
。行列越多，就可以对流量举行更细腻化的治理和调理，使到差别出口、差别优先级的营业转发互不影响，消除头壅闭
。行列越多，调理器也越重大，设计重漂后也高，有的装备还支持条理化调理（H-QoS）
。所能支持行列数目也是网络装备的要害指标之一，一样平常装备支持十几、几十到几百条行列不等，少数高端产品可以支持1K、十几K或几十K
。

流分类缓和存（Classification & Buffering）：与营业调理细密相关的就是流分类缓和存
。流分类是对差别用户和营业举行识别然后映射到差别的优先级和行列
。而没有缓存或缓存太小，再好的调理也形同虚设或大打折扣
。随着应用越来越重大，流量突发越来越大，越来越频仍（好比搜索营业），足够大的缓存对新一代数据中心至关主要
。

5、交流架构的弹性（Resiliency）

弹性是指部件泛起故障、某人为操作失误时，能够自动检测到，并对故障举行隔离，从而让系统功效性能不受损失或尽可能少受损失（Graceful Degradation）
。包括冗余性（Redundancy）和容错性（Fault Tolerance）
。接纳与主控板物理上自力的N+1交流网板，即转发平面和控制平面物理上疏散有利于进一步提高系统的弹性
。

三、         古板的基于CIOQ的Crossbar交流架构

基于CIOQ（Combined Input Output Queuing：组合输入输出行列）的Crossbar交流架构在上世纪90年月泛起
。如图2所示，该架构包括一到多个并行事情的无缓存Crossbar芯片，每个Crossbar芯片通过交流网端口FP（Fabric Port）毗连到所有输入端口对应的FA端口和所有输出端口对应的交FA端口
；营业调理通常接纳集中仲裁器，连到所有的输入输出FA芯片和Crossbar芯片
；出口FA准时或实时地向仲裁器报告出口拥塞情形
。一次典范的交流历程包括三个办法：（1）输入端口发送营业前，入口FA先要向仲裁器请求发送（Request to transmit）;（2）仲裁器凭证输出端口行列拥塞情形，给入口FA发送允许发送（Request granted）
；（3）营业通过交流网转发到输出端口
。

在入口偏向，缓存接纳VoQ（Virtual output Queuing：虚拟输出行列）方法给到差别目的输出端口、差别优先级的营业流分派响应的行列，对入口流量举行缓冲
。在出口偏向，也有一个缓存，用以吸收交流网过来的突发流量
。因此称之为CIOQ
。

图2   基于CIOQ的Crossbar交流架构

由于是集中调理，以是仲裁器的调理算法重漂后很高，性能扩展性较差，系统容量大时调理器容易形成瓶颈，难以做到准确调理
。

由于是粗放型调理，以是在出口偏向需要放一个较量大的缓存，并做进一程序度，以支持粒度更细的系统级QoS
。为了充分使用出口缓存，需要提高系统加速比，加速比通常抵达1.6～2，提高加速比意味着系统能支持的有用端口容量下降（加速比是指交流网端口速率与现实的网络端口速率的比值）
。

有些产品交流架构在几何拓扑上将多个Crossbar连成与下文形貌的CLOS架构相类似的形式，并接纳静态路由方法，即营业流进入交流网前，凭证源端口指定或基于Hash算法选择一条路径
。以是，属于统一条流的所有报文将选择统一条路径进入交流网
。显然，当系统中营业流较为简单时，被Hash算法选中的路径容易形成壅闭，而其它路径则较为空闲
。类似原理，营业流从第二级交流到第三级时，也容易形成壅闭
。这种架构不是严酷意义上的无壅闭CLOS交流架构，其交流性能与基于CIOQ的Crossbar相当
。

基于CIOQ的Crossbar同时知足了较大容量交流和较好的营业调理的需求，是一种较量完善的交流架构，交流容量可以从几百G到几T，通常支持10G接口但无法支持40G和100G接口
。由于交流容量不是很大，交流网通常集成在主控板上，接纳1+1主备或负荷分担事情方法
。

四、         新一代基于动态路由的CLOS交流架构

CLOS交流架构由贝尔实验室Charles Clos博士在1953年的《无壅闭交流网络研究》论文中首次提出，后被普遍应用于TDM网络，为纪念这一重大效果，便以他的名字CLOS命名这一架构
。近二十年来包交流网络的高速生长，迫切需要超大容量和具备优异可扩展性的交流架构，CLOS这个古老而新颖的手艺再一次焕发出兴旺的生命力
。

CLOS交流架构是一个多级架构
；在每一级，每个交流单位都和下一级的所有交流单位相毗连
。一个典范的CLOS交流三级架构由（k，n）两个参数界说，如图3所示，参数k是中心级交流单位的数目，n体现的是第一级（第三级）交流单位的数目
。第一级和第三级由n个k×k的交流单位组成，中心级由k个n×n的交流单位组成
。整个组成了k×n的交流网络，即该网络有k×n个输入和输出端口
。
关于需要更高容量的交流网，中心级也可以是一个3级的CLOS网络（即CLOS网络可以递归构建），好比4个第一（三）级n×n芯片加上2个n×n的第二级芯片可组成一个2n×2n的交流网
。由于CLOS网络的递归特征，它理论上具有可扩展性，支持交流机端口数目、端口速率、系统容量的平滑扩展
。

CLOS交流架构可以做到严酷的无壅闭（Non-blocking）、可重构（Re-arrangeable）、可扩展（Scalable）
。

图3  CLOS交流架构

CLOS架构界说了一种几何拓扑结构，在早期TDM及语音应用中，其可重构特征通常由软件盘算和设置完成
。关于高速包交流系统，大宗营业流的目的端口在频仍而快速地转变（如ns级），通过软件来对转发路径举行选择和重设置变得不现实
。因此，需要接纳近些年专门针对用于包交流系统的CLOS架构而设计的动态路由方法
。

动态路由要害点在于能负荷分担地平衡使用所有可达路径
。关于第一级，每个营业流可通过Round-robin或随机方法匀称发送到k条连到第二级的路径上（通
；谛旁姆⑺停
；抵达第二级的营业流将基于信元自路由手艺（Cell-based Self-routing），凭证交流网路由选择响应路径交流到第三级目的端口
。第三级收到所有来自第二级的信元时，把信元重组成报文，并包管报文顺序准确
。动态路由方法由此实现了严酷的无壅闭交流，并有利于减小加速比从而提高有用端口容量
。

动态路由方法有一个突出优点，即平滑支持更高速率的网络端口，好比40GE/100GE
。这是由于它可以充分使用所有可用路径形成一个大的数据流通道，好比24条3.125Gbps通道可以支持100GE数据流
。相反，静态路由方法则受限于单条路径的带宽，好比基于XAUI接口的Crossbar交流，网络端口速率最高只能抵达10Gbps，无法支持40GE和100GE
。

基于动态路由的CLOS架构，再团结合适的营业调理机制，就可以支持完善的QoS
。接纳CLOS交流架构的典范装备有：55世纪N18000统一交流架构焦点交流机，Juniper T1600焦点路由器
。在2009年2月初，Juniper刚刚宣布了TX-Matrix Plus，通过多框互联手艺支持把16台T1600构建成一个25Tbps的无壅闭交流系统，显示了CLOS架构的可扩展性
。2004年，Cisco宣布了其路由器旗舰产品CRS-1，接纳了三级动态自路由的Benes交流架构，支持72个机架的互联，抵达46T/92T的系统容量
。Benes交流实质上是CLOS交流架构的一个特例
。

由于CLOS交流系统容量很大，物理实现上，通常接纳N+1个自力的交流网槽位，与主控板控制平面彻底疏散，一方面提高了系统容量可扩展性，另一方面极洪流平上提高了转发平面的可靠性，阻止了控制平面泛起故障或举行倒换时对转发平面的影响
。

五、总结

关于高端机架式交流机和路由器，以基于CIOQ的Crossbar交流架构和CLOS交流架构为主
。其中基于动态路由的CLOS交流架构团结信元自路由手艺、漫衍式调理手艺是现在面向新一代数据中心和云盘算等多营业重大应用、适用于大容量焦点交流机和焦点路由器的先进、完善、理想的一种交流架构
。