SAS环境中的SATA设备

keaide

该用户使用三个SilkWorm多协议路由器将一个GbE的交换机以及三个SAN环境联接起来。

用户采取了iSCSI、FCIP以及IFL (Inter-Fabric Links)组合的连接方式。IFL是最基本的FC连接方式，与ISL的概念类似。一般地，在连接一个SAN时，你需要建立两个或多个IFL链路，以保证系统的稳定性和性能。首先，在SAN-1内的一个主机设备与SAN-2内的一个磁盘阵列建立一个连接，通过这种方式在SAN之间建立的连接称为逻辑SAN（LSAN)。

创建一个LSAN非常容易。在一个单一SAN环境下，可以创建包含一组存储或主机设备在内的特别分区，以实现在SAN内的跨设备间的更好的访问和管理。LSAN分区在概念上类似于通常意义上的分区，并且可以用同样的工具创建。为了避免SAN网络地址的冲突，SilkWorm路由器使用FC-NAT方式，如同相应的IP地址，来掩盖相邻SAN网络的地址冲突。

LSAN和FC-NAT实现了在多个SAN之间保持其各自独立的SAN网络管理的同时，在不破坏以前的配置的情况下，建立LSAN分区。用户可以在不同的SAN网络之间有选择地将部分主机及存储设备连接起来。对于SAN集中的需求来说，这是最能够被接受并减少潜在危险的一种方式。

为了检验网络中断的效应，工程师将其中一个IFL的端口拔掉。几秒钟内，另一个没有被拔掉的IFL端口开始承担原来两个IFL的工作，并且吸收来自主机端的全部传输量。

编看编想逐步发展的第二网

存储区域网原本是一个既封闭又独立的子网，它使用的光纤通道协议对于大多数IT技术人员来讲都十分陌生。由于各种原因，在长期的运行过程中，SAN经常出现各类问题，比如管理复杂、随着系统规模增大存储整合难度加大等。

SAN路由技术是一个比较好的进步，它不仅解决了一些SAN孤岛互联问题，更重要的是为存储区域网的应用开辟了一条崭新的道路。大家知道，IP存储技术已经发展了几年时间，而直到SAN路由器的产生才使得IP存储技术得到实际应用，除此之外，多协议的转换技术还为更多IP存储技术的集成预留了足够的发展空间，比如iSCSI。

但是路由并没有解决所有问题，比如从它的应用领域来讲，目前主要应用在中低端的存储区域网中，大型存储区域网的整合目前还主要通过导向器级光纤通道交换机来实现。另外，与以太网路由器技术相比，SAN路由器还相对简单，它并没有完全设计出一套全新的体系，有分析人士指出，SAN路由器大概类似一个SAN孤岛互联的“补救设备”，它并没有从根本上改变原来SAN孤岛的设计。

由此看来，对于SAN路由器来讲，“革命尚未成功，厂商仍需努力”。在这方面，以太网是一个很好的榜样，存储区域网可以从中学习借鉴许多经验。而笔者认为，最值得借鉴的便是标准化与多厂商参与，然而，从近两年的发展情况来看，存储区域网领域大有“逆其道而行之”的趋势，随着一些并购案的发生，该领域厂商没有增加反而减少了，再加上该领域的进入门槛相当高，因此，在可预见的将来，用户仍然不会获得更多的选择。

keaide

FC和iSCSI协议的分析比较

摘要  FC和iSCSI是目前存储区域网络SAN(Storage Area Network)的两个主流协议。该文介绍FC(Fibre Channel:光纤通道)和iSCSI（Internet SCSI）协议的协议结构以及流量控制和发现机制，在零复制和流量控制等方面对FC 和iSCSI的协议功能进行了分析比较。
关键词 存储区域网络; FC;iSCSI;零复制。

1 引言

SAN是一种专用网络，是网络服务器群的后端，可采用光纤通道或iSCSI等存储专用协议连接成高速专用网络，使网络服务器与多种存储设备直接连接。SAN的最大特点就是可以实现网络服务器与存储设备之间的多对多连接，而且，这种连接是本地的高速连接。SAN架构的优势在于，强大的扩展性、多种存储设备的集中和新架构支撑下的新型数据应用方式，在安全意义下负责可持续的存储和数据传输。目前，FC和iSCSI是应用于存储区域网吉比特速率的两种主要技术。

2  FC协议分析
2。1 FC协议结构
光纤通道按协议层进行分层，各层之间技术相互独立，留有增长空间，并且由被认可的标准化机构进行开发，分层结构共分5层,如图1所示。

keaide

⑴     C-0(物理层底层):
FC-0层定义了连接的物理端口特性，包括介质和连接器(驱动器、接收机、发送机等)的物理特性、电气特性和光特性、传输速率以及其它的一些连接端口特性。
⑵ FC-1(传输协议)：
规定了8B／10B编码方式和传输协议．包括串行编码、解码规则、特殊字符和错误控制。
⑶     C-2（帧协议）：
规定了具体的传输机制，包括帧格式，节点间的信息交换。
⑷     C-3（公共服务）：
提供高级特性的公共服务，即端口间的结构协议和流动控制，它定义了三种服务：条块化(Striping)、搜索组(Hunt Group)和多路播放(Broadcast Multicast)。
⑸ FC-4(ULP映射)：
定义了Fibre Channel和IP，SCSI-3以及其他的上层协议（ULP）之间的接口。

2.2 FC流量控制
FC中的流量控制机制是在信用度系统上的基础上。所谓的信用度(Credit)是指设备接受额外帧的能力。信用度的多少决定了设备接收额外帧能力的大小。如果接受方没有向发送方发出任何的信用度,那么发送方就不能发送任何帧,在信用度的基础上协调帧传送,可以避免帧的丢失,同时减少了对整个帧序列进行重传的频率。实际上,这种基于信用度的机制建立在终端节点能够提供的缓冲区(TX-Buffer和RX-Buffer)的数目上,这些缓冲区用于存储到来的数据流。例如，拥有板上存储器的主机总线适配器，可能被分派作为接受缓冲区，成为FC-1解串和译码功能，以及FC-2的帧重新装配功能之间的接口。当FC-1来提交帧的时候，这种接受缓冲区被充满；当FC-2的装配线取出各个帧进行数据块的重建时，这种接受缓冲区被清空。为了充分的利用FC的传输能力，最好能够连续的多发出多个帧。这一点在事务开始前由授权充分信用度来实现，同时利用FC的全双工能力在帧还未接受时就发出附加的信用度。
FC中常用的两种是端到端(EE-Credit)和缓冲区到缓冲区(BB-Credit)的流量控制。

端到端的流量控制机制(EE-Credit)是在两个终端节点之间使用的流量控制。在两个通信节点登录并交换通信参数时候，建立起传输信用度，并且由节点本身来监测。中间的交换机不参与端到端流量控制。如图2所示

keaide

图2 FC基于信用的流量控制
一旦一个初始的信用度等级授权后，如果要补充信用度的话，要由接受方向发送出应答（ACK）来实现。每发出一个帧发送方就消耗了一个端到端的信用度（EE-Credit），只有当其接收到一个ACK后才能增加信用度。
光纤通道中还定义使用BB-Credit的流量控制机制(缓冲区到缓冲区的信用度)，并且依靠receive-ready(R-RDY)有序集补充信用度，如图2所示。某个附接到交换机的终端接点将在登录到交换机的过程中建立它的BB-Credit。在交换机远端参与通信的一方将在登录时建立其自身交换机的BB-Credit。BB-Credit没有端到端的成分。发送方在发出一个帧时将BB-Credit减1，直到BB-Credit的数量为零的时候.此时不能再进行帧发送。在接收到R-RDY时将BB-Credit加1。BB-Credit的初始值必须是非零的。如果为零的话,说明不能再接收或者发送帧。

2.3 FC发现机制
    在FC中，当一个新的设备加入到网络中时，它要与它的网络的管理者（一般是交换机）取得联系，网络管理者便会依次告知所有那些已经注册过的和那些需要被通知这一事件的设备。此外，在FC中，由于为了增强网络的灵活性和安全性，有时可能需要进行分区。当一个新的设备加入到网络中的时候，该设备首先与它同在一个分区的其它现有设备完成注册，然后连接这个设备的交换机会把这一事件告知其他的分区的设备和其它的交换机。

keaide

如图3所示，如果当A区的节点A加入网络时，它先与FC交换机取得联系，那么FC交换机将把A节点加入网络的这一信息先后分别告知节点B和节点C以及B区的节点D和节点E。至此，A节点就加入到网络中，可以与A区与B区中的设备进行通信。

3 iSCSI协议分析
3.1 iSCSI协议结构
如同任何一个协议一样，iSCSI也有一个清晰的层次结构，根据OSI模型，iSCSI的协议栈自顶向下一共可以分为五层，如图4所示：

keaide

图4  iSCSI协议分层模型
.SCSI层：根据应用发出的请求建立SCSI CDB(命令描述块)，并传给iSCSI层；同时接受来自iSCSI层的CDB，并向应用返回数据。
.iSCSI层：对SCSI CDB进行封装，以便能够在基于TCP／IP协议的网络上进行传输，完成SCSI到TCP／IP的协议映射。这一层是iSCSI协议的核心层。   
.TCP层：提供端到端的透明可靠传输。
.IP层：对IP报文进行路由和转发。   
.Link层：提供点到点的无差错传输

3.2 iSCSI 流量控制与超时重发
流量控制是指发送方控制发送数据帧到网络的速率。发送方发送的速率—般是传送路径上的交换机、路由器或接收方可用的缓冲区大小的函数。iSCSI则采用TCP／lP协议的端到端的流量控制机制，以可变发送窗口的方式进行流量控制。发送窗口在连接建立时由双方面定，但在通信过程中，接收方可根据自己的资源使用情况，随时动态地调整自已的接收窗口(可增大或减小)，然后告诉对方，使发送方的发送窗口和自己的接收窗口一致。
iSCSI采用的是TCP的自适应超时重发算法，可根据网络的情况动态调整。这种算法记录每一个报文段发出的时间以及收到相应的确认报文段的时间，这两个时间之差就是报文段的往返时延RTT，当发送—个数据段时，启动相应的定时器，如果定时器超时确认报文段还没有到达，就触发数据配发机制。如果超时之前得到确认，就记录新的往返时延，将各个报文段的往返时延样本进行加权平均得到新的报文段的平均往返时延RTT，显然定时器设置的重发时间应大于平均的往返时延RTT。在实际应用中，RTT的算法还很复杂，目前一般采用的是Karm算法。

3.3 iSCSI发现机制
iSCSI发起端为了和iSCSI目标端建立iSCSI会话，iSCSI需要知道ISCSI目标端的IP地址，TCP端口号和名字三个信息。iSCSI发现的目的是为了让iSCSI发起端获取一条到iSCSI目标端的通路。iSCSI有三种发现机制：
⑴ 静态配置：在iSCSI发起端已经知道iSCSI目标端的IP地址TCP端口号和名字信息时，iSCSI发起端不需要执行发现。iSCSI发起端直接通过IP地址和TCP端口来建立TCP连接，使用iSCSI目标端的名字来建立iSCSI会话。这种发现机制比较适合比较小的iSCSI体系结构
⑵ SendTarget发现：在iSCSI发起端知道iSCSI目标端的IP地址和TCP端口的情况下，iSCSI使用IP地址和TCP端口号建立TCP连接后建立发现对话。iSCSI发起端发送SendTarget命令查询网络中的存在的iSCSI信息。这种方法主要用于网关设备，iSCSI发起端被静态配置连接到指定的iSCSI设备。iSCSI发起端和iSCSI网关设备建立对话并发送SendTarget请求给iSCSI网关设备。iSCSI网关设备返回一系列和它相连的ISCSI目标端的信息。iSCSI发起端选择一个目标端来建立对话。
⑶ 零配置发现：这种机制用于iSCSI发送设备完全不知道ISCSI目标端的信息的情况下。iSCSI发起端利用现有的IP网络协议SLP（Service Location Protocol for Discovery,服务定位协议）。iSCSI目标端使用SLP来注册，iSCSI发起端可以通过查询SLP代理来获得注册的iSCSI目标端的信息。当iSCSI目标端加入到网络中的时候，拓扑结构也随之改变。虽然这种方法增加了实现的复杂性，但它不需要重新配置发起端即可找到新的目标端。

keaide

4 FC 与iSCSI协议的比较
本文主要从下面几个方面对两个协议进行比较:

4.1 流量控制机制对网络的适应性
FC采用基于信用的流量控制机制，当接受者有足够的缓存接受发信者的数据时，接受者把Credit（信用度）分配给发信者。它根据发送者的请求分配Credit，仅当发送者没有用完它的Credit时，它才可以发送数据。在MAN/WAN中，发送者必须要等待很长时间来获得接受者的确认消息（以向网络发送新的数据）。这种基于信任的流量控制机制降低了网络的利用率。
iSCSI是基于窗口的发送机制，由于发送方可以根据网络的拥塞情况动态地调整发送速率，因此iSCSI的流量控制机制对网络的适应性更好，尤其在网络传输延迟较大的网络中。

4.2 超时重发机制的灵活性
在TCP／IP协议中，TCP使用自适应重传算法以适应互连网络时延的变化。它的要点是：TCP监视每一条连接的性能，并计算出报文的往返时间RTT(Round Trip Time)。当连接的性能变化时，TCP随即修改RTT(也就是说它能自动适应时延的变化)。RTT(Round Trip Time)被发送方用来决定是否重传报文。而Fibre Channe]使用的是静态的超时重发机制，不会根据网络的情况动态地加以改变，因此发送方可能过早或过迟地出现超时，这对改善网络的综合性能不利。相对而言，iSCSI可以动态地自适应于网络的当的情况，可以改善网络的综合性能，从这个角度看，iSCSI应该优于Fibre Channel，更加适合目前的网络情况

4.3 CPU对数据封装的负担大小
在存储环境中，发出的块I／0请求的大小一般介于4K到64K之间。以8K的块I／0请求为例，已经知道在iSCSI中以太网帧的大小是1.5K，在FC中，FC的帧大小是2K。因此8K的块I/O请求必须被分成多个小的段，以适应不同的传输帧大小。在FC中，分段和重组操作是在网卡中实现的，因此减轻了主机CPU的负担。对于iSCSI协议，由于分段与重装是有CPU来完成的，因此增加了CPU的负担。

4.4 是否能保证数据安全传送
在安全性方面，因为iSCSI的一个设计标准是它在不受信任的广域环境中的使用，iSCSI规范允许使用多种安全方法。位于iSCSI层下的加密方案（例如，IPsec），不需要在iSCSI端设备之间进行协商，它们对于高层应用程序来说是透明的。对于其他的认证实现（如，KERBEROS或者公钥/私钥的交换），iSCSI登录过程为两个端设备协商两者都支持的安全类型提供了文本字段。如果协商成功，iSCSI设备之间的PDU交换将由所使用的安全程序根据适当的安全确认需求而被格式化。iSNS（Internet Storage Name Server）服务器也可以协助此过程（如作为公钥的仓库）。
光纤通道是工作在第二层的协议，原本并没有建立相应的安全机制以及安全通用协议，只不过是基于逻辑上的数据通道绑定。

5 结束语
对于传统的基于LAN的SAN来说，FC是比iSCSI更好的网络互连协议，因为FC的零复制和分段组装机制大大地减轻了CPU的负担，加快了数据的处理。但是，随着存储应用的增长，存储网络往往需要跨越很远的距离，由于在流量拥塞控制机制、发现和地址机制、超时重发机制、安全机制等方面的优势，iSCSI比FC更适合这种情况。
参考文献:
[1] iSCSI Protocol Concepts and Implementation。Cisio Systems Inc。,2001。
[2] 罗金平，汪东，方兴 等译TOM Clark。IP SAN权威指南：存储区域网络中的iSCSI，iFCP和FCIP协议[M]。北京:中国电力出版社,2003
[3] iSCSI Review[EB／OL ]．http:／／www．digit—life．com／artieles2／iSCSI／．
[4] 朱立古，赵青梅，梁哲伟，等．iSCSI协议的研究[J]．计算机工程与应用，2002，(15)：44。
[5] 马米．IP存储展望 计算机世界[EB／OL]．http：／／www．csec。com。cn／ittouch／020716／9．htm，2002-04-08．

keaide

SAS：复杂奠定优势

如果把SATA的Port Multiplier比做Hub，那么将SAS的扩展器形容为交换机（Edge Expander，边沿扩展器）和路由器（Fanout Expander，扇出扩展器）就再合适不过了。

扩展器利用可多达128个的Phy（发送器和接收器各一、能够接受1个物理链接的最小单元，譬如1个4宽度端口即由4个Phy组成）连接发起者/目标设备或其他扩展器，组成星形拓扑架构。扇出扩展器是SAS域的核心，一个SAS域只能有一个扇出扩展器，它可以随意连接边沿扩展器（只要不超过Phy数目上限）；一个边沿扩展器只能连接到一个扇出扩展器上，而在没有扇出扩展器的情况下最多仅允许两个边沿扩展器互连；在不超过Phy数目上限的前提下，扩展器可以随意连接发起者/目标设备。也就是说，在一个SAS域中，任意两个设备（发起者或目标）之间最多可以有3个扩展器（边沿－扇出－边沿，下图）。此外，一个具有多个端口的设备还能跨越不同的SAS域。

keaide

SAS制订初期的目标是每个扩展器可连接64个设备，一个SAS域最多4096个（64×64）设备；后来规范制订者们意识到没有必要把扩展器的端口数目限制在64个，于是便改为每个扩展器能够寻址128个Phy，整个SAS域形成一个物理连接数目可达16k（128×128＝16384）的点对点交换式拓扑架构。这种从基于路径向基于寻址的转变允许在不使用扇出扩展器的情况下获得更大规模的配置——通过多个边沿扩展器组成“边沿扩展器集”的方法，将能够以Phy数目较少但却廉价的芯片构建起一个大型的逻辑扩展器。

SAS连接器类型对比表

keaide

扩展器强大的连接能力不仅是为设备数量服务的，它还可以用多达4个的物理链接（消耗的Phy数目也随之上升）组成宽链接来获得成倍的带宽（见上表）。以4宽度内部串行附属连接器（下图）为例，SATA只能通过4根相互间没有逻辑联系的线缆获得4个独立的SATA链接，SAS却可以得到一个4宽度链接（在一个扩展器上）、两个2宽度链接（在两个扩展器上）、四个1宽度链接（在四个独立的扩展器或设备上），甚至还能够是一个3宽度链接和一个1宽度链接……性能与灵活度都远胜于SATA。