分类 默认分类 下的文章

转载:https://blog.csdn.net/weixin_44626569/article/details/89842319
CentOS7 搭建vsftp详细教程
FTP 介绍
FTP传输模式
VSFTP 服务器简介
Vsftpd 安装
Vsftpd 配置详解
Vsftpd 的主配置文件 /etc/vsftpd/vsftpd.conf说明(修改前先备份)
限制最大连接数 和传输速率
指定用户的权限设置
修改默认端口
设置用户组
连接超时
日志
常见FTP命令及其功能
FTP 介绍
文件传输协议(File Transfer Protocol,FTP),基于该协议 FTP 客户端与服务端可以实现共享文件、上传文件、下载文件。FTP 基于 TCP 协议生成一个虚拟的连接,主要用于控制 FTP 连接信息,同时再生成一个单独的TCP 连接用于 FTP 数据传输。用户可以通过客户端向 FTP服务器 上传、下载、删除文件,FTP 服务器端可以同时提供给多人共享使用。

FTP 服务是 Client/Server(简称 C/S)模式,基于FTP协议实现 FTp 文件对外共享及传输的软件称之为 FTP 服务器源端,客户端的程序基于 FTP 协议,则称之为 FTP 客户端,FTP 客户端可以向 FTP 服务器上传、下载文件。

FTP传输模式
FTP 基于 C/S 模式,FTP 客户端与服务器端有两种传输模式,分别是 FTP 主动模式、FTP 被动模式,主被动模式均是 以 FTP服务器端为参照。

主被动模式详细区别如下:

FTP 主动模式:客户端从一个任意的端口 N(N>1024)连接到FTP 服务器的 port 21 命令端口,客户端开始监听端口 N + 1,并发送 FTP 命令 “port N+1”到FTP服务器,FTP 服务器以数据端口 (20)连接到客户端指定的数据端口 (N+1)。
FTP 被动模式:客户端从一个任意的端口 N (N>1024)连接到 FTP 服务器的 port 21 命令端口,客户端开始监听端口 N+1,客户端提交 PASV 命令,服务器会开启一个任意的端口 (P>1024),并发送 PORT P 命令客户端,客户端发起从本地端口 N + 1到服务器的端口 P 的连接用来传送数据。
在企业实际环境中,如果 FTP 客户端与 FTP 服务端 均 开启防火墙,FTP需以 主动模式工作,这样只需要在 FTP 服务器端防火墙规则中开放 20、21端口即可。

VSFTP 服务器简介
目前主流的FTP 服务器软件包括:Vsftpd、ProFTPD、PureFTPd、Wuftpd、Server-U FTP、 FileZilla Server等软件,其中Unix/Linux使用较为广泛的FTP服务器端软件为Vsftpd 。

非常安全的FTP 服务进程(Very Secure FTP daemon,Vsftpd),Vsftpd 在 Unix/Linux 发行版中最主流的FTP 服务器程序,优点小巧轻快,安全易用,稳定高效,满足企业跨部门、多用户的使用(1000用户)等。

Vsftpd 基于 GPL 开源协议发布,在中小企业中得到广泛的使用,Vsftpd 可以快速上手,基于 Vsftpd 虚拟用户方式,访问验证更加安全。Vsftpd 还可以基于Mysql 数据库做安全验证,多重安全防护。

Vsftpd 安装
Vsftpd 配置详解
/etc/vsftpd/vsftpd.conf

主配置文件

/usr/sbin/vsftpd

Vsftpd的主程序

/etc/rc.d/init.d/vsftpd

启动脚本

/etc/pam.d/vsftpd

PAM认证文件(此文件中file=/etc/vsftpd/ftpusers字段,指明阻止访问的用户来自/etc/vsftpd/ftpusers文件中的用户)

/etc/vsftpd/ftpusers

禁止使用vsftpd的用户列表文件。记录不允许访问FTP服务器的用户名单,管理员可以把一些对系统安全有威胁的用户账号记录在此文件中,以免用户从FTP登录后获得大于上传下载操作的权利,而对系统造成损坏。(注意:linux-4中此文件在/etc/目录下)

/etc/vsftpd/user_list

禁止或允许使用vsftpd的用户列表文件。这个文件中指定的用户缺省情况(即在/etc/vsftpd/vsftpd.conf中设置userlist_deny=YES)下也不能访问FTP服务器,在设置了userlist_deny=NO时,仅允许user_list中指定的用户访问FTP服务器。(注意:linux-4中此文件在/etc/目录下)

/var/ftp

匿名用户主目录;本地用户主目录为:/home/用户主目录,即登录后进入自己家目录

/var/ftp/pub

匿名用户的下载目录,此目录需赋权根chmod 1777 pub(1为特殊权限,使上载后无法删除)

/etc/logrotate.d/vsftpd.log

Vsftpd的日志文件

Vsftpd 的主配置文件 /etc/vsftpd/vsftpd.conf说明(修改前先备份)
限制最大连接数 和传输速率
在FTP服务器的管理中,无论对本地用户还是匿名用户,对于 FTP 服务器资源的使用都需要进行控制,避免由于负担过大造成FTP 服务器运行异常,可以添加以下配置项对 FTP 客户机使用 FTP 服务器资源进行控制:

max_client 设置项 ,用于设置 FTP 服务器所允许的最大客户端连接数,值为0时表示不限制。例如:max_client=100 表示 FTP 服务器的所有客户端最大连接数不超过100个

max_per_ip 设置项 ,用于设置对于同一IP地址允许的最大客户端连接数,值为0时表示不限制。例如 :max_per_ip=5 表示同一IP地址的FTP客户机与FTP服务器建立的最大连接数不超过5个。

local_max_rate 设置项, 用于设置本地用户的最大传输速率,单位为B/s,值为0时表示不限制。例如:local_max_rate=500000 表示FTP服务器的本地用户最大传输速率设置为 500KB/s

anon_max_rate 设置项, 用于设置匿名用户的最大传输速率,单位为 B/s,值为0时表示不限制。例如: anon_max_rate=200000,表示FTP 服务器的匿名用户最大传输速率设置为 200KB/s。

指定用户的权限设置
userlist_deny和userlist_enable选项限制用户登录FTP服务器(使用userlist_deny选项和user_list文件一起能有效阻止root,apache,www等系统用户登录FTP服务器,从而保证FTP服务器的分级安全性)。以下是两个选项的具体表现形式和两种搭配使用方式的效果:

Userlist_enable=YES

Ftpusers中用户允许访问
User_list中用户允许访问

Userlist_enable=NO

Ftpusers中用户禁止访问
User_list中用户允许访问

Userlist_deny=YES

Ftpusers中用户禁止访问(登录时可以看到密码输入提示,但仍无法访问)
user_list 中用户禁止访问

Userlist_deny=NO

ftpusers中用户禁止访问
user_list中用户允许访问

Userlist_enable=YES 并且
Userlist_deny=YES

Ftpusers中用户禁止访问
User_list中用户禁止访问(登录时不会出现密码提示,直接被服务器拒绝)

Userlist_enable=YES 并且
Userlist_deny=NO

Ftpusers中用户禁止访问
User_list中用户允许访问

修改默认端口
默认FTP 服务器端口号是21,出于安全目的,有时需修改默认端口号,修改 /etc/vsftpd/vsftpd.conf,添加语句(例):

语句指定了修改后 FTP 服务器的端口号,应尽量大于 4000。修改后访问

注意这里需加上正确的端口号,否则不能正常连接。

设置用户组
这里主要是简单的说明用户组的技术实现,至于具体如何应用,还是具体需求具体对待。

由于本地用户登录 FTP 服务器后进入自己主目录, 而try1,try2 try3对主目录/home/try分配的权限不同,所以通过FTP访问的权限也不同,try1访问权限为:上传,下载,建目录;try2,try3访问权限为下载,浏览,不能建目录和上传。实现了群组中用户不同访问级别,加强了对FTP服务器的分级安全管理。

连接超时
配置空闲的用户会话的中断时间:如下配置将在用户会话空闲5分钟后被中断,以释放服务器的资源

配置空闲的数据连接的中断时间:如下配置将在数据空闲连接1分钟后被中断,同样也是为了释放服务器的资源

配置客户端空闲的自动中断和激活链接的时间:如下配置将使客户端空闲1分钟后自动中断连接,并在30秒后自动连接

日志
在vsftpd.conf中有如下内容定义了日志的记录方式:

vsftpd的两个日志文件分析如下:

/var/log/xferlog

记录内容举例

/var/log/vsftpd.log

记录内容举例

/var/log/xferlog 日志文件中数据的分析和参数说明

记录数据

 参数名称
 参数说明

Thu Sep 6 09:07:48 2007

 当前时间
 当前服务器本地时间,格式为: 

DDD MMM dd hh:mm:ss YYY

7

 传输时间
 传送文件所用时间,单位为秒

192.168.57.1

 远程主机名称/IP
 远程主机名称/IP

4323279

 文件大小
 传送文件的大小,单位为byte

/home/student/phpMyadmin-
2.11.0-all-languages.tar.gz

 文件名
 传输文件名,包括路径

b

 传输类型
 传输方式的类型,包括两种:

a以ASCII传输 b以二进制文件传输

 特殊处理标志
 特殊处理的标志位,可能的值包括:

_ 不做任何特殊处理
C 文件是压缩格式
U 文件是非压缩格式
T 文件是tar格式

i

 传输方向
 文件传输方向,包括两种:

o 从FTP服务器向客户端传输
i 从客户端向FTP服务器传输

r

 访问模式
 用户访问模式,包括:

a 匿名用户
g 来宾用户
r 真实用户,即系统中的用户

student

 用户名
 用户名称

ftp

 服务名
 所使用的服务名称,一般为FTP

0

 认证方式
 认证方式,包括:

0 无
1 RFC931认证

*

 认证用户id
 认证用户的id,如果使用*,则表示无法获得该id

c

 完成状态
 传输的状态:

c 表示传输已完成
i 表示传输示完成

常见FTP命令及其功能
FTP命令

 功能
 FTP命令
 功能

ls

显示服务器上的目录

 ls [remote-dir][local-file]
 显示远程目录remote-dir,并存入本地文件local-file

get remote-file [local-file]

从服务器下载指定文件到客户端

 mget remote-files
 下载多个远程文件(mget命令允许用通配符下载多个文件)

put local-file [remote-file]

从客户端上传指定文件到服务器

 mput local-file
 将多个文件上传至远程主机(mput命令允许用通配符上传多个文件)

open

连接FTP服务器

 mdelete [remote-file]
 删除远程主机文件

close

中断与远程服务器的ftp会话(与open对应)

 mkdir dir-name
 在远程主机中创建目录

open host[port]

建立指定的ftp服务器连接,可指定连接端口

 newer file-name
 如果远程主机中file-name的修改时间比本地硬盘同名文件的时间更近,则重传该文件

cd directory

改变服务器的工作目录

 rename [from][to]
 更改远程主机的文件名

lcd directory

在客户端上(本地)改变工作目录

 pwd
 显示远程主机的当前工作目录

bye

退出FTP命令状态

 quit
 同bye,退出ftp会话

ascii

设置文件传输方式为ASCII模式

 reget remote-file [local-file]
 类似于get,但若local-file存在,则从上次传输中断处续传

binary

设置文件传输方式为二进制模式

 rhelp [cmd-name]
 请求获得远程主机的帮助

![cmd [args]]

在本地主机中交互shell后退回到ftp环境,如:!ls *.zip

 rstatus [file-name]
 若未指定文件名,则显示远程主机的状态,否则显示文件状态

accout [password]

提供登录远程系统成功后访问系统资源所需的密码

 hash
 每传输1024字节,显示一个hash符号(#)

append local-file [remote-file]

将本地文件追加到远程系统主机,若未指定远程系统文件名,则使用本地文件名

 restart marker
 从指定的标志marker处,重新开始get或put,如restart 130

bye

退出ftp会话过程

 rmdir dir-name
 删除远程主机目录

case

在使用mget命令时,将远程主机文件名中的大写转为小写字母

 size file-name
 显示远程主机文件大小,如:

size idle 7200

cd remote-dir

进入远程主机目录

 status
 显示当前ftp状态

cdup

进入远程主机目录的父目录

 system
 显示远程主机的操作系统

delete remote-file

删除远程主机文件

 user user-name [password][account]
 向远程主机表明自己的身份,需要密码时,必须输入密码,如:user anonymous my@email

dir remote-dir

显示远程主机目录,并将结果存入本地文件

 help [cmd]
 显示ftp内部命令cmd的帮助信息,如help get

RAID技术全解图解-RAID0、RAID1、RAID5、RAID100
一、RAID 概述
二、基本原理
大容量
高性能
可靠性
可管理性
三、关键技术
镜像
数据条带
数据校验
四、RAID 等级
JBOD
标准 RAID 等级
RAID0
RAID1
RAID2
RAID3
RAID4
RAID5
RAID6
RAID 组合等级
RAID00
RAID01 和 RAID10
RAID100
RAID30 ( RAID53 )、 RAID50 和 RAID60
非标准 RAID 等级
RAID7
RAID-DP
RAID1.5
RAID5E、RAIDEE 和 RAID6E
RAID S(Parity RAID)
Intel Matrix RAID
Linux MD RAID 10
IBM ServerRAID 1E
RAID-K
RAID-Z
五、实现方式
软 RAID
硬 RAID
软硬混合 RAID
六、RAID 应用选择
七、总结与展望
原文地址:http://www.hack520.com/169.html

RAID 技术相信大家都有接触过,尤其是服务器运维人员,RAID 概念很多,有时候会概念混淆。这篇文章为网络转载,写得相当不出错,它对 RAID 技术的概念特征、基本原理、关键技术、各种等级和发展现状进行了全面的阐述,并为用户如何进行应用选择提供了基本原则,对于初学者应该有很大的帮助。

一、RAID 概述
1988 年美国加州大学伯克利分校 D.A. Patterson 教授等首次在论文“A Case of Redundant Array of Inexpensive Disks” 中提出了 RAID 概念 [1] ,即廉价冗余磁盘阵列(Redundant Array of Inexpensive Disks)。由于但是大容量磁盘比较昂贵,RAID 的基本思想是将多个容量较小、相对廉价的磁盘进行有机组合,从而以较低的好吃呢根本获得与昂贵大容量磁盘相当的容量、性能、可靠性。随着磁盘成本和价格的不断降低,RAID 可以使用大部分的磁盘,“廉价” 已经毫无意义。因此,RAID 咨询委员会(RAID Advisory Board,RAB)决定用 “独立” 替代 “廉价”,于时 RAID 变成了独立磁盘冗余阵列( Redundant Array of Independent Disks )。但这仅仅是名称的变化,实质内容没有改变。

RAID 这种设计思想很快被业界接纳,RAID 结束作为高性能、高可靠的存储技术,已经得到乐非常广泛的应用。RAID 主要利用数据条带、镜像和数据校验技术来获取高性能、可靠性、容错能力和扩展性,根据运用或组合运用这三种技术的策略和架构,可以把 RAID 分为不同的等级,以满足不同数据应用的需求。D. A. Patterson 等的论文中定义了 RAID1 ~ RAID5 原始 RAID 等级, 1988 年以来又扩展了 RAID0 和 RAID6 。近年来,存储厂商不断推出诸如 RAID7、RAID10/01、RAID50、RAID100 等 RAID等级,但这些不无统一的标准。目前业界公认的标准是 RAID0~RAID5,除 RAID2 外的四个等级被定义为工业标准,而在实际应用领域中使用最多的 RAID 等级是 RAID0 、 RAID1 、 RAID3 、 RAID5 、 RAID6 和 RAID10。

从实现角度看,RAID 主要分为软 RAID、硬 RAID 以及软硬混合 RAID 三种。软 RAID 所有功能均有操作系统和 CPU 来完成,没有独立的 RAID 控制 / 处理芯片和 I/O 处理芯片,效率自然最低。硬 RAID 配备了专门的 RAID 控制 / 处理芯片和 I/O 处理芯片以及阵列缓冲,不占用 CPU 资源,但成很高。软硬混合 RAID 具备 RAID 控制 / 处理芯片,但缺乏 I/O 处理芯片,需要 CPU 和 驱动程序来完成,性能和成本在 软 RAID 和 硬 RAID 之间。

RAID 每一个等级代表一种实现方法和技术,等级之间并无高低之分。在实际应用中,应当根据用户的数据应用特点,综合考虑可用性、性能和成本来选择合适的 RAID 等级,以及具体的实现方式。

二、基本原理
RAID ( Redundant Array of Independent Disks )即独立磁盘冗余阵列,通常简称为磁盘阵列。简单地说,RAID 是由多个 独立的高性能磁盘驱动器组成的磁盘子系统,从而提供比单个的存储性能和数据冗余的技术。 RAID 是一类多磁盘段经理技术,其向主机环境提供了成本适中、数据可靠性高的高性能存储。 SNIA 对 RAID 的定义是 [2] : 一种磁盘阵列,部分物理存储空间用来记录保存在剩余空间上的用户数据的冗余信息。当其中某一个磁盘或访问路径发生故障时,冗余信息可用来重建用户数据。磁盘条带化虽然与 RAID 定义不符,通常还是称为 RAID(即 RAID0)。

RAID 的初衷是为大型服务器提供高端的存储功能和冗余的数据安全。在整个系统中,RAID 被看作是由两个或更多磁盘组成的存储空间,通过并发地在多个磁盘上读写数据来提高存储系统的 I/O 性能。大多数 RAID 等级具有完备的数据校验、纠正措施,从而提供系统的容错性,设置镜像方式,大大增强网络系统的可靠性,Redundant 也由此而来。

这里要提一下 JBOD (Just a Bunch of Disks)。最初 JBOD 用来表示一个没有控制软件提供协调控制的磁盘集合,这是 RAID 区别与 JBOD 的主要因素。目前 JBOD 常指磁盘柜,而不论是否提供 RAID 功能。

RAID 的两个关键目标是提高数据可靠性和 I/O 性能。磁盘阵列中,数据分散在多个磁盘中,然而对于计算机系统来说,就像一个单独的磁盘。通过把相同数据同时写入到多块磁盘(典型地如镜像),或者将计算的校验数据写入阵列中来获得冗余能力,当单块磁盘出现故障时可以保证不会导致数据丢失。有些 RAID 等级允许更多的磁盘发生故障,比如 RAID6,可以是两块磁盘同时损坏。在这样的冗余机制下,可以用新磁盘替换故障磁盘,RAID 会自动根据剩余磁盘中的数据和校验数据重建丢失的数据,保证数据一致性和完整性。数据分散保存在 RAID 中的多个不同磁盘上,并发数据读写要大大优于单个磁盘,因此可以获得更高的聚合 I/O 带宽。当然,磁盘这列会减少全体磁盘的总可用存储空间,牺牲空间换取更高的可靠性和性能。比如,RAID1 存储空间利用率仅有 50%,RAID5 会损失其中一个磁盘的存储容量,空间利用率为(n-1)/n。

磁盘阵列可以在部分磁盘(单块或多块,根据实现而论)损坏的情况下,仍能保证系统不中断地连续运行。在重建故障磁盘数据之新磁盘的过程中,系统可以继续正常运行,但是性能方面会有一定程度上的降低。一些磁盘阵列在添加和删除磁盘时必须停机,而有些则支持热交换(Hot Swapping),允许不停机下替换磁盘驱动器。这种高端磁盘阵列主要用于要求高可靠性的应用系统,系统不能停机或者尽可能少的停机时间。一般来说,RAID 不可作为数据备份替代方案,它对非磁盘故障等造成的数据丢失无能为力,比如 病毒、人为破坏、意外删除等情形。此时的数据丢失时相对操作系统、文件系统、卷管理器或者应用系统来说的,对于 RAID 系统本身,数据都是完好的,没有发生丢失。所以,数据备份、灾备等数据保护措施是非常必要的,与 RAID 相辅相成,保护数据在不同层次的安全性,防止发生数据丢失。

RAID 中主要有是三个关键概念和技术:镜像(Mirroring)、数据条带(Data Stripping)和数据校验(Data parity) 3[5] 。镜像,将数据复制到多个磁盘,一方面可以提高可靠性,另一方面可并发从两个或多个副本数据来提高读性能。显而易见,镜像的写性能要稍低,确保数据正确地写到多个磁盘需要更多的时间消耗。数据条带,将数据分盘保存在多个不同的磁盘。多个数据分片共同组成一个完整数据副本,这与镜像的多个副本是不同的,它通常用于性能考虑。数据条带具有更高的并发粒度,当访问数据时,可以同时对位于不同磁盘上数据进行读写操作,从而获得非常可观的 I/O 性能提升。数据校验,利用冗余数据进行数据错误检测和修复,冗余数据通常采用海明码、异或操作等算法来计算获得。利用校验功能,可以很大程度上提高磁盘阵列的可靠性、鲁棒性和容错能力。不过,数据校验需要从多处读取数据并进行计算和对比,会影响系统性能。不同等级的 RAID 采用一个或多个以上的三种技术,来获得不同的数据可靠性、可用性和 I/O 性能。至于设计何种 RAID (甚至新的等级或类型)或采用何种模式的 RAID,需要在深入理解系统需求的前提下进行合理选择,综合评估可靠性、性能和成本来进行折中的选择。

RAID 思想从提出后就广泛被业界所接纳,存储工业界投入了大量的时间和财力来研究相关产品。而且,随着处理器、内存、计算机接口等技术的不断发展,RAID 不断地发展和革新,在计算机存储领域得到广泛的应用,从高端系统逐渐延伸到普通的中低端系统。RAID 技术如此流行,源于其具有显著的特征和优势,基本可以满足大部分的数据存储需求。总体来说,RAID 主要优势有如下几点:

大容量
这是 RAID 的一个显然优势,它扩大了磁盘的容量,由多个磁盘组成的 RAID 系统具有海量的存储空间。现在单个磁盘的容量就可以到 1TB 以上,这样 RAID 的存储就容量就可以达到 PB 级,大多数的存储需求都可以满足。一般来说,RAID 可用容量要小于所有成员磁盘的总容量。不同的等级的 RAID 算法需要一定的冗余开销,具体容量开销与采用算法相关。如果已知 RAID 算法和容量,可以计算出 RAID 的可用容量。通常,RAID 容量利用率在 50%~90% 之间。

高性能
RAID 的高性能受益于数据条带华化技术。单个磁盘的 I/O 性能受到接口、带宽等计算机技术的限制,性能往往很有限,容易成为系统性能瓶颈。通过数据条带化,RAID 将数据 I/O 分散到各个成员磁盘上,从而获得比单个磁盘成倍增长的聚合 I/O 性能。

可靠性
可用性和可靠性是 RAID 的另一个重要特征。从理论上讲,由多个磁盘组成的 RAID 系统在可靠性方面应该比单个磁盘要差。这里有个隐含假定:单个磁盘故障将导致整个 RAID 不可用。 RAID 采用镜像和数据校验等数据冗余技术,打破了这个假定。镜像是最为原始的冗余技术,把某组磁盘驱动器上的数据完全复制到另一组磁盘驱动器上,保证总有数据副本可用。比起镜像 50% 的冗余开销,数据校验要小很多,它利用校验冗余信息对数据进行校验和纠错。RAID 冗余技术大幅度提升数据可用性和可靠性,保证了若干磁盘出错时,不会导致数据的丢失,不影响系统的连续运行。

可管理性
实际上,RAID 是一种虚拟化技术,它对多个物理磁盘驱动器虚拟成一个大容量的逻辑驱动器。对于外部主机系统来说,RAID 是一个单一的、快速可靠的大容量磁盘驱动器。这样,用户就可以在这个虚拟驱动器上来组织和存储应用系统数据。从用户应用角度看,可使存储系统简单易用,管理也会很便利。由于 RAID 内部完成了大量的存储管理工作,管理员只需要管理单个虚拟驱动器,可以节省大量的管理工作。RAID 可以动态增减磁盘驱动器,可自动进行数据校验和数据重建,这些都可以大大简化管理工作。

三、关键技术
镜像
香江是一种冗余技术,为磁盘提供保护功能,防止磁盘发生故障而造成数据丢失。对于 RAID 而言,采用镜像技术典型地将会同时在阵列中产生两个完全相同的数据副本,分布在两个不同的磁盘驱动器组上。镜像提供了完全的数据冗余能力,当一个数据副本失效不可用时,外部系统仍可正常访问另一副本,不会对应用系统运行和性能产生影响。而且,镜像不需要额外的计算和校验,故障修复非常快,直接复制即可。镜像技术可以从多个副本进行并发读取数据,提供更高的读 I/O 性能,但不能并行写数据,写多个副本会导致一定的 I/O 性能降低。

镜像技术提供了非常高的数据安全性,其代价也是非常昂贵的,需要至少双倍的存储空间。高成本限制了镜像的广泛应用,主要要用于至关重要的数据保护,这种场合下数据丢失会造成巨大的损失。另外,镜像通过 “拆分” 能获得特定时间点上的数据快照,从而可以实现一种备份窗口几乎为零的数据备份技术。

数据条带
磁盘存储的性能瓶颈在于磁头寻道定位,它是一种慢速机械运动,无法与高速的 CPU 匹配。再者,单个磁盘驱动器性能存在物理极限,I/O 性能非常有限。RAID 由多块磁盘组成,数据条带技术将数据以块的方式分布存储在多个磁盘中,从而可以对数据进行并发处理。这样写入和读取数据就可以在多个磁盘上同时进行,并发产生非常高的聚合 I/O,有效提高了整体 I/O 性能,而且具有良好的线性扩展性。这对大容量数据尤其显著,如果不分块,数据只能按顺序存储在磁盘阵列的磁盘上,需要时再按顺序读取。而通过条带技术,可获得数倍与访问的性能提升。

数据条带技术的分块大小选择非常关键。条带粒度可以是一个字节至几 KB 大小,分块越小,并行处理能力就越强,数据存取速度就越高,但同时就会增加块存取的随机性和块寻址时间。实际应用汇总,要根据数据特征和需求来选择合适的分块大小,在数据存取对急性和并发处理能力之间进行平衡,以争取尽可能高的整体性能。

数据条带是基于提高 I/O 性能而提出的,也就说它只关注性能,而对大护具可靠性、可用性没有任何改善。实际上,其中任何一个数据条带损坏都会导致整个数据不可用,采取数据条带技术反而增加了数据发生丢失的概率。

数据校验
镜像具有高安全性、高读性能,但冗余开销太昂贵。数据条带通过并发性阿里大幅度提高性能,然而对数据安全性、可靠性未做考虑。数据校验就是一种冗余技术,它用校验数据来提供数据的安全,可以检测数据错误,并在能力允许的前提下进行数据重构。相对镜像,数据校验大幅缩减了冗余开销,用较小的代价换取了极佳的数据完整性和可靠性。数据条带技术提供高性能,数据校验提供数据安全性,RAID 不同等级往往同时结合使用这两种技术。

采用数据校验时,RAID 要在写入数据同时进行校验计算,并将得到的校验数据存储在 RAID 成员磁盘中。校验数据可以集中保存在某个磁盘或分散存储在多个不同磁盘中,甚至校验数据也可以分块,不同 RAID 等级实现和不相同。当其中一部分数据出错时,就可以对剩余数据和校验数据进行反校验计算重建丢失的数据。校验技术相对于镜像技术的优势在于节省大量开销,但由于每次数据读写都要进行大量校验运算,对计算机的运算速度要求很高,必须使用 硬件 RAID 控制器。在数据重建恢复方面,检验技术比镜像技术复杂得多且慢得多。

海明校验 和 异或校验 是两种最为常用的数据校验算法。海明校验码是由 理查德 海明提出的,不仅能检测错误,还能给出错误的位置并自动纠正。海明校验的基本思想是:将有效信息按照某种规律分成若干组,对每一个组奇偶测试并安排一个校验位,从而能提供多位检错信息,以定位错误点并纠正。可见海明校验实质上是一种多重奇偶校验。异或校验通过异或逻辑运算产生,将一个有效信息与一个给定的初始值进行异或运算,会得到校验信息。如果有效信息出现错误,通过校验信息与初始值的异或运算能还原正确的有效信息。

四、RAID 等级
JBOD
JBOD(Just a Bunch of Disks)不是标准的 RAID 等级,它通常用来表示一个没有控制软件提供协调控制的磁盘集合。JBOD 将多个物理磁盘串联起来,提供一个巨大的逻辑磁盘。JBOD(如图1)的数据存放机制是由第一块磁盘开始按顺序往后存储,当前磁盘存储空间用完后,再依次往后面的磁盘存储数据。JBOD 存储性能完全等同于单块磁盘,而却也不提供数据安全保护,它只是简单提供一种扩展存储空间的机制,JBOD 可用存储容量等于所有成员磁盘的存储空间之和。目前 JBOD 常指磁盘柜,而不论其是否提供 RAID 功能。

在这里插入图片描述

标准 RAID 等级
SNIA、Berkeley 等组织机构把 RAID0、RAID1、RAID2、RAID3、RAID4、RAID5、RAID6 七个等级定为标准的 RAID 等级,这也被业界和学术界所公认。标准等级是最基本的 RAID 配置集合,单独或综合利用数据条带、镜像和数据校验技术。标准 RAID 可以组合,即 RAID 组合等级,满足对性能、安全性、可靠性要求更高的存储应用需求。 6810

RAID0
RAID0 是一种简单的、无数据校验的数据条带华技术。实际上不是一种真正的 RAID,因为它并不提供任何形式的冗余数据策略。RAID0 将所在磁盘条带化后组成大容量的存储空间(如图2所示),将数据分散存储在所有磁盘中,以独立访问方式实现多块磁盘的并读访问。由于可以并发执行 I/O 操作,总线带宽得到充分利用。在加上不需要进行数据校验,RAID0 的性能在所有 RAID 等级中是最高的。理论上讲,一个由 n 块磁盘组成的 RAID0,它的读写性能是单个磁盘性能的 n 倍,但由于总线带宽等多种因素的限制,实际的性能提升低于理论值。

RAID0 具有低成本、高读写性能、100%的 高存储空间利用率等优点,但是它不提供数据冗余保护,一旦数据损坏,将无法恢复。因此,RAID0 一般适用于对性能要求严格但对数据安全性和可靠性不高的应用,如视频、音频存储、临时数据缓存空间等。

在这里插入图片描述

RAID1
RAID1 称为镜像,它将数据完全易一致地分别写到工作磁盘和镜像磁盘,它的磁盘空间利用率为 50%。RAID1 在数据写入时,响应时间会有所音响,但是读数据的时候没有影响。RAID1 提供了最佳的数据保护,一旦工作磁盘发生故障,系统自动从镜像磁盘读取数据,不会影响用户工作。工作原理如图3 所示。

RAID1 与 RAID0 刚好相反,为了增强数据安全性使两块磁盘数据呈现完全镜像,从而达到安全性好、技术简单、管理方便。RAID1 拥有完全容错的能力,但实现成本高。RAID1 应用于对顺序读写性能要求高以及数据保护极为重视的应用。如对邮件系统的数据保护。

在这里插入图片描述

RAID2
RAID2 称为纠错海明码磁盘阵列,其设计思想是利用海明码实现数据校验冗余。海明码是一种在原始数据中加入若干校验码来进行错误检测和纠正的编码技术,其中第 2n 位(1、2、4、8等)是校验码,其他位置是数据码。因此在 RAID2 中,数据按位存储,每块磁盘存储一位数据编码,磁盘数量取决于所设定的数据存储宽度,可由用户设定。图 4 所示的 为数据宽度为 4 的 RAID2,它需要4块数据磁盘和3块校验磁盘。如果是 64位数据宽度,则需要 64 块磁盘 和 7块校验磁盘。可见,RAID2 的数据宽度越大,存储空间利用率越高,但同时需要的磁盘数量也越多。

海明码自身具备纠错能力,因此 RAID2 可以在数据发生错误的情况下对纠正错误,保证数据的安全性。它的数据传输性能相当高,设计复杂性要低于后面介绍的 RAID3、RAID4 和 RAID5.

但是,海明码的数据冗余开销太大,而且 RAID2 的数据输出性能受阵列中最慢磁盘驱动器的限制。再者,海明码是按位运算,RAID2 数据重建非常耗时。由于这些显著的缺陷,再加上大部分磁盘驱动器本身都具备了纠错功能,因此 RAID2 在实际中很少应用,没有形成商业产品,目前主流存储磁盘阵列均不提供 RAID2 支持。

在这里插入图片描述

RAID3
RAID3 (图5)是使用专用校验盘的并行访问阵列,它采用一个专用的磁盘作为校验盘,其余磁盘作为数据盘,数据按位可字节的方式交叉存储到各个数据盘中。RAID3 至少需要三块磁盘,不同磁盘上同一带区的数据作 XOR 校验,校验值写入校验盘中。RAID3 完好时读性能与 RAID0 完全一致,并行从多个磁盘条带读取数据,性能非常高,同时还提供了数据容错能力。向 RAID3 写入数据时,必须计算与所有同条带的校验值,并将校验值写入校验盘中。一次写操作包含了写数据块、读取同条带的数据块、计算校验值、写入校验值等多个操作,系统开销非常大,性能较低。

如果 RAID3 中某一个磁盘出现故障,不会影响数据读取,可以借助校验数据和其他完好数据来重建数据。假如所要读取的数据块正好位于失效磁盘,则系统需要读取所有同一条带的数据块,并根据校验值重建丢失的数据,系统性能将受到影响。当故障磁盘被更换后,系统按相同的方式重建故障盘中的数据至新磁盘。

RAID3 只需要一个校验盘,阵列的存储空间利用率高,在加上并行访问的特征,能够为高带宽的大量读写提供高性能,适用大容量数据的顺讯访问应用,如影像处理、流媒体服务等。目前,RAID5 算法不断改进,在大数据量读取时能够模拟 RAID3,而且 RAID3 在出现坏盘时性能会大幅下降,因此常适用 RAID5 替代 RAID3 来运行具有持续性、高带宽、大量读写特征的应用。

在这里插入图片描述

RAID4
RAID3 与 RAID3 的原理大致相同,区别在于条带化的方式不同。RAID4(图6)按照块的方式来组织数据,写操作只涉及当前数据盘和校验盘两个盘,多个 I/O 请求可以同时得到处理,提高了系统性能。RAID4 按块存储可以保证单块的完整性,可以避免受到其他磁盘上同条带产生的不利影响。

RAID4 在不同磁盘上的同级数据块同样使用 XOR 校验,结果存储在校验盘中。写入数据时, RAID4 按这种方式把各磁盘上的同级数据的校验值写入校验盘,读取时进行即时校验。因此,当某块磁盘的数据块损坏,RAID4 可以通过校验值以及其他磁盘上的同级数据块进行数据重建。

RAID4 提供了非常好的读性能,但单一的校验盘往往成为系统性能的瓶颈。对于写操作,RAID4 只能一个磁盘一个磁盘地写,并且还要写入校验数据,因此写性能比较差。而且随着成员磁盘数量的增加,校验盘的系统瓶颈将更加突出。正是如上这些限制和不足,RAID4 在实际应用中很少见,主流存储产品也很少使用 RAID4 保护。

RAID5
RAID5 应该是应该是目前最常见的 RAID 等级,它的原理与 RAID4 相似,区别在于校验数据分布在阵列中的所有磁盘上,而没有采用专门的校验磁盘,对于数据和校验数据,它们的写操作可以同时发生在完全不同的磁盘上。因此,RAID5 不存在 RAID4 中的并发写操作时的校验盘性能瓶颈问题。另外,RAID5 还具备很好的扩展性。当阵列磁盘数量增加时,并行操作量的能力也随着增长,可比 RAID4 支持更多的磁盘,从而拥有更高的容量及更高的性能。

RAID5(图7)的磁盘上同时存储数据和校验数据,数据块和对应的校验信息保存在不同的磁盘上,当一个数据盘损坏的时,系统可以根据同一条带的其他数据块和对应的校验数据来重建损坏的数据。与其他 RAID 等级一样,重建数据时,RAID5 的性能会受到较大的影响。

RAID5 兼顾存储性能、数据安全和存储成本等各个方面因素,它可以理解为 RAID0 和 RAID1 的折中方案,是目前综合性能最佳的数据保护解决方案。RAID5 基本上可以满足大部分的存储应用需求,数据中心大多采用它作为应用数据的保护方案。

在这里插入图片描述

RAID6
前面所述的各个 RAID 等级都只能保护因单个磁盘失效而造成的数据丢失。如果两个磁盘同时发生故障,数据将无法恢复。RAID6(如图8)引入双重校验的概念,它可以保护阵列中同时出现两个磁盘失效时,阵列仍能够继续工作,不会发生数据丢失。RAID6 等级是在 RAID5 的基础上为了进一步增强数据保护而设计的一种 RAID 方式,它可以看做是一种扩展的 RAID5 等级。

RAID6 不仅要支持数据的恢复,还要支持校验数据的恢复,因此实现代价很高,控制器的设计也比其他等级更复杂、更昂贵。RAID6 思想最常见的实现方式是采用两个独立的校验算法,假设称为 P 和 Q,校验数据可以分别存储在两个不同的校验盘上,或者分散存储在所有成员磁盘中了。当两个磁盘同时失效时,即可通过求解两元方程来重建两个磁盘上的数据。

RAID6 具有快速的读取性能、更高的容错能力。但是,它的成本要高于 RAID5 许多,写性能也较差,并有设计和实施非常复杂。因此,RAID6 很少得到实际应用,主要用于对数据安全等级要求非常高的场合。它一般是替代 RAID10 方案的经济性选择。

在这里插入图片描述

RAID 组合等级
标准 RAID 等级各有优势和不足。自然地,我们想到把多个 RAID 等级组合起来,实现优势互补,弥补相互的不足,从而达到在性能、数据安全性等指标上更高的 RAID 系统。目前在业界和学术研究中提到的 RAID 组合等级主要有 RAID00、RAID01、RAID10、RAID100、RAID30、RAID50、RAID53、RAID60,但实际得到较为广泛应用的只有 RAID01 和 RAID10 两个等级。当然,组合等级的实现成本一般都非常昂贵,只是在 少数特定场合应用。

RAID00
简单地说,RAID00 是由多个成员 RAID00 组成的高级 RAID0。它与 RAID0 的区别在于,RAID0 阵列替换了原先的成员磁盘。可以把 RAID00 了解为两层条带化结构的磁盘阵列,即对条带在进行条带化。这种阵列可以提供更大的存储容量、更高的 I/O 性能和更好的 I/O 负载均衡。

RAID01 和 RAID10
一些文献把这两种 RAID 等级看做是同等的,本文认为是不同的。RAID01 是先做条带化再做镜像,本质是对物理磁盘实现镜像;而 RAID10 是先做镜像在做条带化,是对虚拟磁盘实现镜像。相同的配置下,通常 RAID01 比 RAID10 具有更好的容错能力,原理如图9所示。

RAID01 兼备了 RAID0 和 RAID1 的优点,它先用两块磁盘建立镜像,然后再在镜像内部做条带化。RAID01 的数据将同时写入到两个磁盘阵列中,如果其中一个阵列损坏,仍可继续工作,保证安全性的同时又提高了性能。RAID01 和RAID10内部都含有 RAID1 模式,因此整体磁盘利用率均仅为 50%。

在这里插入图片描述在这里插入图片描述

RAID100
通常看作 RAID1+0+0,有时也称为 RAID10 + 0,条带化的 RAID10 。原理如图 10 所示。RAID100 的缺陷与 RAID10 相同,任意一个 RAID1 损坏一个磁盘不会发生数据丢失,但是剩下的磁盘存在单点故障的危险。最顶层的RAID0,即条带化任务,通常由软件层来完成。

RAID100 突破了单个 RAID 控制器对物理磁盘数量的限制,可以获得更高的 I/O 负载均衡,I/O 压力分散到更多的磁盘上,进一步提高随机读性能,并有效降低热点盘故障风险。因此,RAID100 通常是大数据库的最佳选择。

在这里插入图片描述

RAID30 ( RAID53 )、 RAID50 和 RAID60
这是三种 RAID 等级与 RAID00 原理基本相同,区别在于成员 “磁盘” 换成了 RAID3、RAID5 和 RAID6,分别如图 11、12、13所示。其中看,RAID30 通常又被称为RAID53[13]。其实,可把这些等级 RAID统称为 RAID X0 等级,X可为标准 RAID等级,甚至组合等级(如 RAID100)。利用多层 RAID 配置,充分利用 RAIDX 与 RAID0 的优点,从而获得在存储容量、数据安全性和I/O负载均衡等方面的大幅性能提升。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

非标准 RAID 等级
虽然标准 RAID 和组合 RAID 在具体实现上一定程度的不同,但与标准规范是保持一致或兼容的。然而除此之外,一些存储厂商还实现了非标准的 RAID 等级,往往都是公司私有的产品。这里简单介绍几个非标准 RAID 等级。 [14]

RAID7
RAID7 的全称是最优化的异步高I/O速率和高数据传输率,它与其他RAID等级有着明显区别。它不仅仅是一种技术,它还是一个独立存储计算机,自身带的操作系统和管理工具,完全可以独立运行。

RAID7 的存储计算机 操作系统是一套实时时间驱动操作系统,其主要用来进行系统初始化和安排 RAID7 磁盘阵列的所有数据传输,并把它们转换到相应的物理存储驱动器上。RAID7 通过自身系统中的专用控制板来控制读写速度,存储计算机操作系统可使主机 I/O 传递性能达到最佳。如果一个磁盘出现故障,RAID7 还能够自动执行恢复操作,并可管理备份磁盘的重建过程。

RAID7 突破了以往 RAID 标准的数据架构,采用了非同步访问,极大地减轻了数据写瓶颈,提供了 I/O 速度。RAID7 系统内置实时操作系统还可自动对主机发送过来的读写指令进行优化处理,以智能化方式将可能被读取的数据预先读入快速缓存中,从而大大减少了磁头的转动次数,提高存储系统的 I/O 速度

RAID7 可帮助用户有效地管理日益庞大的数据存储系统,并使系统的运行效率大大提高,满足不同用户的存储需求。但是,RAID7的成本比其他 RAID 等级要高许多。另外,RAID7 已被某公司注册为商标,目前仅有一家公司提供 RAID7 的产品,用户没有更多的选择。技术封闭,缺乏主流专业存储厂商的参与和研发严重制约了 RAID7 的发展。

RAID-DP
按照 SNIA 最新的 RAID6 定义[15],双重数据校验的磁盘阵列都可归为 RAID6 等级。NetApp 公司按照 RAID6 的定义实现了 RAID-DP,使用双重的数据校验来保护数据,可以保证两块磁盘同时损坏的情况下不发生数据丢失。与该公司的 RAID4 实现对比,传统的 RAID6 实现会致使系统性能损失 30% 左右,而 RAID-DP 的型下降低于 2%。上层文件系统的请求首先写入后端的 NVRAM 中,确保即使在 掉电的情况下也会有任何数据丢失。因此,数据块不会立即更新,当执行新来的写操作,会对写操作进行聚集,然后存储控制器尝试一次性写入包括校验数据在内的整个数据条带。RAID-DP 提供了比 RAID10 更好的数据保护,性能却不低于 RAID10.对于相同大小的 RAID 组,在大多数情况下,RAID-DP 没有收到传统 RAID6 即时更新数据块的挑战,并提供更多的磁盘进行读写。它甚至允许磁盘固件实时更新而不发生任何中断。

RAID1.5
这是 HighPoint 公司的 RAID 产品,有时也被错误地称为 RAID15。RAID1.5 仅使用两个磁盘驱动器同时进行数据条带华和镜像,数据可以同时从两块磁盘进行读取。这其中的大部分工作都由硬件来完成,而非驱动程序。Linux、Solaris 等操作系统实现的 RAID1 也可以实现同时从两块磁盘进行读取数据,因此 RAID1.5 并不优于传统的 RAID1.

RAID5E、RAIDEE 和 RAID6E
这种概念首次在 IBM ServerRAID 中被提出,E 是 Enhance 的首字母。它们分别是对 RAID5 和 RAID6 的增强,增加了热冗余磁盘驱动器,冗余磁盘与其他磁盘一块进行数据块编排。这种设计使得 I/O 可以分散到包括热冗余在内的所在磁盘,从而减少单块磁盘的 I/O 宽带,提供更高的性能。然而,热冗余磁盘不能够被多个阵列共享。

在实现中,实际上不存在专用热冗余磁盘,就像 RAID5 和 RAID6 中没有专用的校验磁盘一样,所有的冗余数据块分布在所有的成员磁盘中。例如,一个 10 块磁盘的 RAID5E,包括 80% 数据块、10% 的冗余数据块和 10% 的校验数据。对于 RAID5E 和 RAID6E ,冗余数据块位于阵列尾部,而 RAID5EE 则分布在整个 RAID 中。如果 RAID5E/5EE 中发生一块磁盘损坏,则系统会自动降级并重建至标准的 RAID5.这一过程,I/O 操作非常密集,并且需要花费大量时间,从几个小时至甚至几天,根据阵列的具体配置而异。当损坏磁盘被替换后,系统则又会自动升级并重建至原先的 RAID5E/5EE ,同时非常耗时。在上面的重建过程中,数据没有冗余保护。由于系统升级和降级时,I/O 活动密集且所需时间过长,因此实际应用汇总成员磁盘数据限制在 4~8 块。一旦超过 8 块磁盘,由于损坏磁盘的重建耗时和重建中发生第二块磁盘损坏造成的数据丢失,RAID5E/5EE 所获得的性能提升和其他获益都将严重降低。

RAID S(Parity RAID)
RAID S 是 EMC 公司的 Symmetrix 存储系统所使用的条带化家宴 RAID。该系统中,每个卷位于独立的物理磁盘上,多个卷组合进行数据校验。EMC 最早引入了 RAID S 概念,后来改名为 Parity RAID 并应用于 Symmetrix DMX 平台。EMC 现在也为 Symmetrix DMX 提供标准的 RAID5,RAID S 已经不再 EMC 产品中使用。

Intel Matrix RAID
Matrix RAID 是 Intel ICH6R 和 后继的南桥芯片的一个重要特征,可以通过 RAID BIOS 进行访问。它使用两块磁盘或者控制器能支持的最多磁盘,它的显著特征是允许 RAID0、1、5、10 多种数据卷混合共存,每块磁盘的指定部分分配给相应的 RAID 卷。Matrix RAID 主要用于改善性能和数据完整性,实际应用中可以将操作系统应用于小的 RAID0,而大的 RAID1 存储关键数据以及用户数据。海量的流媒体数据容易发生数据丢失,可以考虑使用这种 RAID。Linux 的 MD RAID 也可以实现类似的功能。

Linux MD RAID 10
RAID 10 是 Linux 内核所支持的软 RAID等级之一,它还支持 RAID0、1、3、4、5、6等级别。软 RAID 驱动程序通常通过构造典型的 RAID 1+0 阵列来实现 RAID10,2.6.9 以后的内核也可作为单独的级别来实现。

MD RAID10 支持重复数据块的近布局和远布局两种模式。近布局与标准 RAID10 相同,镜像数据块相邻存储。对于 n 重镜像的 路条带,不要求 K 为 n 的整倍数。两重镜像的 2、3、4 路条带的 MD RAID 10 分布相当于 RAID1 、 RAID-1E 和 RAID10 。远布局模式下,所有磁盘被划分为 f ( f= 镜像数)个数据存储区,重复数据块相对于原始数据块具有一个磁盘和若干依偏移的距离,即保存在下一个磁盘对应存储区的偏移位置。这种设计能够提高镜像阵列的条带性能,有效提高顺序和随机读性能,但对写性能没有显著提升。许多应该通常具有读密集而写稀疏的特点, RAID10 适合此类数据应用。需要指出的是,近布局和远布局两种模式可以同时使用,这种情况下将有 n * f 个数据副本。

IBM ServerRAID 1E
IBM 公司的 ServerRAID 阵列卡系列支持任意数量驱动器上的两路镜像,多个磁盘对数据块进行轮转镜像。这种配置能够对不相邻磁盘驱动器发生的损坏进行容错,其他的存储系统也支持这种模式,比如 SUN 公司的 stroEdge T3.

RAID-K
Kaleidescape 公司实现了一种称为 RAID-K[16] 的 RAID 类型。 RAID-K 与 RAID4 相似,但不对文件数据进行块级的条带化处理,它企图将整个电影或音乐集合完整地存储在单个磁盘上。另外,它的冗余校验信息可存储在多个磁盘上,从而适应由多个容量不同的磁盘所组成的逻辑磁盘。而且,冗余数据包含比校验信息更多的数据,用于获取更高的容错性。这些特征可以为影像、音乐提供更好的性能,增加数据存储的安全性。 RAID-K 还可以允许用户以增量方式扩充存储容量,能够增加容量更大的磁盘,甚至它还可以增加包含数据(仅限影像和音乐)的磁盘。 RAID-K 会自动把这些磁盘组建成 RAID-K 阵列和 Kaleidescape 文件系统。

RAID-Z
RAID-Z 是集成在 SUN 公司 ZFS 文件系统中的一种与 RAID5 相似的 RAID 模式。利用写时复制策略,RAID-Z 避免了 RAID5 的写操作困境(即更新数据同时需要更新校验数据),它不用心数据覆盖旧数据,而是把新数据写到新位置并自动更新数据指针。对于小的写操作,仅仅执行完全的写条带操作,有效地避免“读取-更改-写回” 的操作需求。另外,还可以直接对小写操作使用镜像替换校验进行保护,因为文件系统了解下层存储结构,可以在必要时分配 额外的存储空间。ZFS 还实现了 RAID-Z2,提供了类似与 RAID6 的双重校验保护能力,可以保证某块磁盘发生损坏而不发生数据丢失。根据 2009 年 6月的更新,ZFS 加入了三重校验 RAID 支持,或许称为 RAID-Z3。

五、实现方式
通常计算机功能既可以由硬件来实现,也可以由软件来实现。对于 RAID 系统而言,自然也不例外,它可以采用软件方式实现,也可以采用硬件方式实现,或者采用软硬件结合的方式实现 3

软 RAID
软 RAID 没有专用的控制芯片和 I/O 芯片,完全由操作系统和 CPU 来实现所的 RAID 的功能。现代操作系统基本上都提供软 RAID 支持,通过在磁盘神设备驱动程序上添加一个软件层,提供一个物理驱动器与逻辑驱动器之间的抽象层。目前,操作系统支持的最常见的 RAID 等级有 RAID0、1、10、01 和5 等。比如, Windows Server 支持 RAID0 、 RAID1 和 RAID5 三种等级, Linux 支持 RAID0 、 RAID1 、 RAID4 、 RAID5 、 RAID6 等, Mac OS X Server 、 FreeBSD 、 NetBSD 、 OpenBSD 、 Solaris 等操作系统也都支持相应的 RAID 等级。

软 RAID 的配置管理和数据恢复都比较简单,但是 RAID 所有任务的处理完全由 CPU 来完成,如计算校验值,所以执行效率比较低下,这种方式需要消耗大量的运算资源,支持 RAID 模式较少,很难广泛应用。

软 RAID 由操作系统来实现,因此系统所在分区不能作为 RAID 的逻辑成员磁盘,软RAID 不能保护系统盘 D。对于部分操作系统而言,RAID 的配置信息保存在系统信息中,而不是单独以文件形式保存在磁盘上。这样当系统以外崩溃而需要重新安装时,RAID 信息就会丢失。另外,磁盘的容错技术并不等于完全支持在线更换、热插拔或热交换,能否支持错误磁盘的热交换与操作系统实现相关,有的操作系统热交换。

硬 RAID
硬 RAID 拥有自己的 RAID 控制处理与 I/O 处理芯片,甚至还有阵列缓冲,对 CPU 的占用率和整体性能是三类实现中最优的,但实现成本也最高的。硬 RAID 通常都支持热交换技术,在系统运行下更换故障磁盘。

硬 RAID 包含 RAID 卡和主板上集成的 RAID 芯片,服务器平台多采用 RAID 卡。RAID 卡由 RAID 核心处理芯片(RAID 卡上的 CPU)、端口、缓存和电池 4部分组成。其中,端口是指 RAID 卡支持的磁盘接口类型,如 IDE/ATA 、 SCSI 、 SATA 、 SAS 、 FC 等接口。

软硬混合 RAID
软 RAID 性能欠佳,而且不能保护系统分区,因此很难应用于桌面系统。而硬 RAID 成本非常昂贵,不同 RAID 相互独立,不具互操作性。因此,人们采取软件与硬件结合的方式来实现 RAID,从而获得在性能和成本上的一个折中,即较高的性价比。

这种 RAID 虽然采用了处理控制芯片,但是为了节省成本,芯片往往比较廉价且处理能力较弱,RAID 的任务处理大部分还是通过固件驱动程序由 CPU 来完成。

六、RAID 应用选择
RAID 等级的选择主要有三个因素,即数据可用性、I/O 性能和成本。目前,在实际应用中常见的主流 RAID 等级是 RAID0,RAID1,RAID3,RAID5,RAID6 和 RAID10,它们之间的技术对比情况如表1所示。如果不要求可用性,选择 RAID0 以获得高性能。如果可用性和性能是重要的,而成本不是一个主要因素,则根据磁盘数量选择 RAID1 。如果可用性,成本和性能都同样重要,则根据一般的数据传输和磁盘数量选择 RAID3 或 RAID5 。在实际应用中,应当根据用户的数据应用特点和具体情况,综合考虑可用性、性能和成本来选择适合的 RAID等级。 [10]

RAID 等级 RAID0 RAID1 RAID3 RAID5 RAID6 RAID10
别名 条带 镜像 专用奇偶校验条带 分布奇偶校验条带 双重奇偶校验条带 镜像加条带
容错性 无 有 有 有 有 有
冗余类型 无 有 有 有 有 有
热备份选择 无 有 有 有 有 有
读性能 高 低 高 高 高 高
随机写性能 高 低 低 一般 低 一般
连续写性能 高 低 低 低 低 一般
需要磁盘数 n≥1 2n (n≥1) n≥3 n≥3 n≥4 2n(n≥2)≥4
可用容量 ​ 全部 50% (n-1)/n (n-1)/n (n-2)/n 50%
近年来,企业存信息化水平不断发展,数据已经取代计算成为了信息计算的中心,信息数据的安全性就显得尤为至关重要。随着存储技术的持续发展,RAID 技术在成本、性能、数据安全性等诸多方面都将优于其他存储技术,例如磁带库、光盘库等等,大多数企业数据中心首选 RAID 作为存储系统。当前存储行业的知名存储厂商均提供全线的磁盘阵列产品,包括面向个人和中小企业的入门级的地段 RAID 产品,面向大中型企业的中高端 RAID产品。这些存储企业包括了国内的主流存储厂商,如 EMC、IBM、HP、SUN、NetApp、NEC、HDS、H3C、Infortrend、华赛等。另外,这些厂商在提供存储硬件系统的同时,还往往提供非常全面的软件系统,这也是用户采购产品的一个主要参考因素。

不同的存储厂商的产品在阿技术、成本、性能、管理、服务等方面各有优势联合不足。用户选择 RAID 的原则是:在成本预算内,满足数据存储需求的前提下,选择最优的存储厂商解决方案。因此,首先用户需要对存储需求作深入的调研和分析,并给出成本预算,然后对众多存储厂商的解决方案进行分析和对比,最后选择出一个综合最优的存储方案。其中,存储产品的扩展性和存储厂商的售后服务需要重点考察,存储需求(如容量、性能)可能会不断升级,存储产品发生故障后的维修和支持保障,这些都要未雨先谋。

七、总结与展望
回顾 RAID 发展历史,从首次提出概念至今已有二十多年。在此期间,这个社会信息化水平不断提高,数据呈现爆炸式增长趋势,数据取代计算成为信息计算的中心。这这促使人们对数据愈加重视,不断追求海量存储容量、高性能、高安全性、高可用性、高扩展性、可管理性等等。RAID 技术在这样强大的存储需求推动下不断发展进步,时至今日技术已经非常成熟,在各种数据存储系统中等到了十分广泛的应用。

正是由于数据发展的成熟,RAID 技术的未来发展已经不被广泛看好,甚至语言在不久的将来会停止发展,称之为“僵尸技术”,即虽然宣布宿死亡,但在很长一段时间内仍会继续发挥巨大的价值。

然而,当前的 RAID 技术仍然存在诸多不足,各种 RAID 模式都存在自身的缺陷,主要集中在读写性能、实现成本、恢复时间窗口、多次盘损坏等方面。因此,RAID 技术显然还存在很大的提升空间,具有很大的发展潜力。近年来新出现的 RAID 模式以及学术研究显示了其未来的发展趋势,包括分布式校验、多重校验、混合 RAID 模式、水平和垂直条带、基于固态内存 RAID、网络 校验等等。特别指出的是,多核 CPU 和 GPU 是当前的热点技术,它们大幅度提升了主机的可用计算资源,这可以解决 RAID 对计算资源的消耗问题,软 RAID 很可能将重新成为热点。另外,存储硬件性能的提升、存储虚拟化技术、重复数据删除技术以及其他存储技术都会极大地推动 RAID 技术的进一步创新和发展。
转载:请输入链接描述

在企业生产环境中,假如raid1两块盘中的一块损坏了,后续如何处理?直接换下损坏的磁盘是否会对服务有影响(如何把影响降到最低),加入新的磁盘后是否还需要重新做raid1

解答:

正常做法是拔下坏掉的硬盘, 重新插上一块相同型号的备盘, raid控制器会自动开始重建

直接拔下不会影响服务, 但是为了安全起见, 最好先把数据完整备份一下在做磁盘的替换操作

转载于:https://blog.51cto.com/12083623/2338789

来源:https://blog.csdn.net/weixin_34206899/article/details/89835267
使用流策略进行限速
根据 IP 地址进行限速
对IP地址为192.168.1.10的PC限速,带宽限制为4M。
system-view
[HUAWEI] acl 2000
[HUAWEI-acl-basic-2000] rule permit source 192.168.1.10 0.0.0.0
[HUAWEI-acl-basic-2000] quit
[HUAWEI] traffic classifier c1
[HUAWEI-classifier-c1] if-match acl 2000
[HUAWEI-classifier-c1] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] car cir 4096
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy p1
[HUAWEI-trafficpolicy-p1] classifier c1 behavior b1
[HUAWEI-trafficpolicy-p1] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 inbound

对某网段设备进行限速
对IP地址为192.168.1.0网段设备进行限速,带宽限制为50M。
system-view
[HUAWEI] acl 2000
[HUAWEI-acl-basic-2000] rule permit source 192.168.1.0 0.0.0.255
[HUAWEI-acl-basic-2000] quit
[HUAWEI] traffic classifier c1
[HUAWEI-classifier-c1] if-match acl 2000
[HUAWEI-classifier-c1] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] car cir 51200
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy p1
[HUAWEI-trafficpolicy-p1] classifier c1 behavior b1
[HUAWEI-trafficpolicy-p1] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 inbound

根据 IP 地址和协议进行限速
限制192.168.1.0网段设备访问Internet的HTTP(端口号为80)流量不超过10Mbps。
system-view
[HUAWEI] acl 3000
[HUAWEI-acl-adv-3000] rule permit tcp destination-port eq 80 source 192.168.1.0 0.0.0.255
[HUAWEI-acl-adv-3000] quit
[HUAWEI] traffic classifier c1
[HUAWEI-classifier-c1] if-match acl 3000
[HUAWEI-classifier-c1] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] car cir 10240
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy p1
[HUAWEI-trafficpolicy-p1] classifier c1 behavior b1
[HUAWEI-trafficpolicy-p1] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 inbound

使用流策略对报文进行过滤
禁止指定主机访问网络
禁止IP地址为192.168.1.10的PC访问网络。
system-view
[HUAWEI] acl 2000
[HUAWEI-acl-basic-2000] rule deny source 192.168.1.10 0.0.0.0
[HUAWEI-acl-basic-2000] quit
[HUAWEI] traffic classifier c1
[HUAWEI-classifier-c1] if-match acl 2000
[HUAWEI-classifier-c1] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] deny
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy p1
[HUAWEI-trafficpolicy-p1] classifier c1 behavior b1
[HUAWEI-trafficpolicy-p1] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 inbound

禁止指定网段所有设备访问网络
禁止192.168.1.0网段所有设备访问网络。
system-view
[HUAWEI] acl 2000
[HUAWEI-acl-basic-2000] rule deny source 192.168.1.0 0.0.0.255
[HUAWEI-acl-basic-2000] quit
[HUAWEI] traffic classifier c1
[HUAWEI-classifier-c1] if-match acl 2000
[HUAWEI-classifier-c1] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] deny
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy p1
[HUAWEI-trafficpolicy-p1] classifier c1 behavior b1
[HUAWEI-trafficpolicy-p1] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 inbound

过滤指定应用协议报文
l 禁止TCP目的端口号为25的报文( SMTP)通过。
l 禁止TCP目的端口号为110的报文( POP3)通过。
l 禁止TCP目的端口号为80的报文( HTTP)通过。
system-view
[HUAWEI] acl 3000
[HUAWEI-acl-adv-3000] rule deny tcp destination-port eq 25
[HUAWEI-acl-adv-3000] rule deny tcp destination-port eq 110
[HUAWEI-acl-adv-3000] rule deny tcp destination-port eq 80
[HUAWEI-acl-adv-3000] quit
[HUAWEI] traffic classifier c1
[HUAWEI-classifier-c1] if-match acl 3000
[HUAWEI-classifier-c1] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] deny
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy p1
[HUAWEI-trafficpolicy-p1] classifier c1 behavior b1
[HUAWEI-trafficpolicy-p1] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 inbound

使用流策略配置流量统计
配置指定主机的统计信息
配置对源MAC为0000-0000-0003的报文进行流量统计。
system-view
[HUAWEI] acl 4000
[HUAWEI-acl-L2-4000] rule permit source-mac 0000-0000-0003 ffff-ffff-ffff
[HUAWEI-acl-L2-4000] quit
[HUAWEI] traffic classifier c1
[HUAWEI-classifier-c1] if-match acl 4000
[HUAWEI-classifier-c1] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] statistic enable
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy p1
[HUAWEI-trafficpolicy-p1] classifier c1 behavior b1
[HUAWEI-trafficpolicy-p1] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 inbound
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 outbound

配置对 ICMP 报文进行统计
system-view
[HUAWEI] acl 3000
[HUAWEI-acl-adv-3000] rule 0 permit icmp source 192.168.1.1 0 destination 192.168.2.1 0
[HUAWEI-acl-adv-3000] rule 5 permit icmp source 192.168.2.1 0 destination 192.168.1.1 0
[HUAWEI-acl-adv-3000] quit
[HUAWEI] traffic classifier c1
[HUAWEI-classifier-c1] if-match acl 3000
[HUAWEI-classifier-c1] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] statistic enable
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy p1
[HUAWEI-trafficpolicy-p1] classifier c1 behavior b1
[HUAWEI-trafficpolicy-p1] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 inbound
[HUAWEI-GigabitEthernet0/0/1] traffic-policy p1 outbound

配置对 ARP 报文进行统计
统计接口发送的ARP报文和回应的ARP报文。
system-view
[HUAWEI] traffic classifier arp-request
[HUAWEI-classifier-arp-request] if-match l2-protocol arp
[HUAWEI-classifier-arp-request] if-match source-mac 1111-1111-1111
[HUAWEI-classifier-arp-request] if-match destination-mac ffff-ffff-ffff
[HUAWEI-classifier-arp-request] quit
[HUAWEI] traffic classifier arp-reply
[HUAWEI-classifier-arp-reply] if-match l2-protocol arp
[HUAWEI-classifier-arp-reply] if-match source-mac 2222-2222-2222
[HUAWEI-classifier-arp-reply] if-match destination-mac 1111-1111-1111
[HUAWEI-classifier-arp-reply] quit
[HUAWEI] traffic behavior b1
[HUAWEI-behavior-b1] statistic enable
[HUAWEI-behavior-b1] quit
[HUAWEI] traffic policy arp-request
[HUAWEI-trafficpolicy-arp-request] classifier arp-request behavior b1
[HUAWEI-trafficpolicy-arp-request] quit
[HUAWEI] traffic policy arp-reply
[HUAWEI-trafficpolicy-arp-reply] classifier arp-reply behavior b1
[HUAWEI-trafficpolicy-arp-reply] quit
[HUAWEI] interface gigabitethernet 0/0/1
[HUAWEI-GigabitEthernet0/0/1] traffic-policy arp-request inbound
[HUAWEI-GigabitEthernet0/0/1] traffic-policy arp-reply outbound

查看报文统计信息
配置通过流策略对报文进行统计之后,可以使用如下命令查看报文统计信息。
显示全局入方向应用流策略后基于匹配规则的报文统计信息。
display traffic policy statistics interface GigabitEthernet 0/0/1 inbound verbose rule
base
Interface: GigabitEthernet0/0/1
Traffic policy inbound: arp-request
Rule number: 1
Current status: OK!
Statistics interval: 300
Classifier: arp-request operator and
Behavior: b1
if-match l2-protocol arp
if-match source-mac 1111-1111-1111
if-match destination-mac ffff-ffff-ffff
Board : 0
Passed | Packets: 0
| Bytes: 0
| Rate(pps): 0
| Rate(bps): 0
Dropped | Packets: 0
| Bytes: 0
| Rate(pps): 0
| Rate(bps): 0
基于简化ACL简化流策略配置流量统计
基于MQC方式配置流量统计时,虽然分类丰富多样,但是比较繁琐。因此,交换机提供ACL简化流策略的方式进行。在全局,VLAN或者接口下配置traffic-statistic,对匹配ACL的报文进行统计
system-view
[HUAWEI]interface gigabitethernet 0/0/1
[HUAWEI-gigabitethernet 0/0/1]traffic-statistic inbound acl 3000 rule 1
配置完成后通过display traffic-statistic 命令查看

Day 1

SOHO——Small office(and) Home office 家居办公

大多指那些专门的自由职业者

ISP(Internet Service Provider),互联网服务提供商,即向广大用户综合提供互联网接入业务、信息业务、和增值业务的电信运营商,能提供拨号上网服务、网上浏览、下载文件、收发电子邮件等服务,是网络最终用户进入Internet的入口和桥梁。它包括Internet接入服务和Internet内容提供服务。这里主要是Internet接入服务,即通过电话线把你的计算机或其他终端设备连入Internet。

ICP(Internet Content Provider)是互联网内容提供商,向广大用户综合提供互联网信息业务和增值业务的电信运营商。

在互联网应用服务产业链“设备供应商——基础网络运营商——内容收集者和生产者——业务提供者——用户”中,ISP/ICP处于内容收集者、生产者以及业务提供者的位置。

区别:

ISP是提供个人或者商业用户接入互联网服务的实体,又名运营商,如电信、 网通、 铁通等。
ICP是提供网站架设、域名维护、主机托管等信息服务的企业。
1.
2.

协议:网络协议是计算机网络的基础。只有遵从相应协议的网络设备之间才能够通信。

网络协议多种多样,主要有TCP/IP(Transfer Control Protocol/Internet Protocol)协议、Novell IPX/SPX(Internetwork Packet eXchange/Sequenced Packet eXchange)协议、IBM SNA(Syetem Network Architecture)等等。目前最为流行的是TCP/IP协议栈,它已经成为Internet的标准协议。 

局域网-LAN(Local Area Network) 

局域网一般指分布于几公里范围内的网络,局域网的特点是:距离短、延迟小、数据速率高、传输可靠。

IEEE 802.X标准是当今居于主导地位的LAN标准。

IEEE 802.1── 通用网络概念及网桥等

IEEE 802.2── 逻辑链路控制等

IEEE 802.3──Ethernet

IEEE 802.4──ARCnet总线结构及访问方法,物理层规定

IEEE 802.5──Token Ring访问方法及物理层规定等

IEEE 802.6── 城域网的访问方法及物理层规定

IEEE 802.7── 宽带局域网

IEEE 802.8── 光纤局域网(FDDI)

IEEE 802.9── ISDN(Integrated Service Digital Network)局域网

IEEE 802.10── 网络的安全

IEEE 802.11──Wi-Fi

目前我国常见的局域网类型包括:以太网(Ethernet)、异步传输模式(ATM,Asynchronous Transfer Mode)等,它们在拓朴结构、传输介质、传输速率、数据格式等多方面都有许多不同。其中应用最广泛的当属以太网—— 一种总线结构的LAN,是目前发展最迅速、也最经济的局域网。

局域网络建设时常用网络设备有:

1.线缆(cable):局域网的距离扩展通常需要通过线缆来实现,不同的局域网有不同连接线缆,如光纤(fiber)、双绞线(twisted pair)、同轴电缆等。

2.网卡(NIC,Network Interface Card):插在计算机主板插槽中,负责将用户要传递的数据转换为网络上其它设备能够识别的格式,通过网络介质传输。它的主要技术参数为带宽、总线方式、电气接口方式等。

3.集线器(Hub):是单一总线共享式设备,提供很多网络接口,负责将网络中多个计算机连在一起。所谓共享是指集线器所有端口共用一条数据总线,同一时刻只能有一个用户传输数据,因此平均每用户(端口)传递的数据量、速率等受活动用户(端口)总数量的限制。

4.交换机(Switch): 也称交换式集线器(Switched Hub)。它同样具备许多接口,提供多个网络节点互连。但它的性能却较共享集线器(Shared Hub)大为提高:相当于拥有多条总线,使各端口设备能独立地作数据传递而不受其它设备影响,表现在用户面前即是各端口有独立、固定的带宽。此外,交换机还具备集线器欠缺的功能,如数据过滤、网络分段、广播控制等。

5.路由器(Router): 路由器是一种用于网络互连的计算机设备,它工作在 OSI 参考模型的第三层(网络层),为不同的网络之间报文寻径并存储转发。通常路由器还会支持两种以上的网络协议以支持异种网络互联,一般的路由器还会运行一些动态路由协议以实现动态寻径。

6.ATM交换机(ATM Switch):用于ATM网络互连。

广域网-WAN(Wide Area Network)

WAN连接地理范围较大,常常是一个国家或是一个洲。中国公用分组交换网(CHINAPAC)、中国公用数字数据网(CHINADDN),国家教育和科研网(CERnet),CHINANET以及在建的CNGI(China Next Generation Internet)都属于广域网。

WAN通常采用两种交换模式运行,即电路交换(circuit switching)和分组交换(packet switching)技术。

传统的PSTN/ISDN网络基于电路交换模式。

WAN的目的是为了让分布较远的各局域网互连,所以它的结构又分为末端系统(end system ,两端的用户集合)和通信系统(中间链路)两部分。

1.公共电话网:即PSTN(Public Switched Telephone Network),这种系统使用电路交换技术,必须给每一个通话分配一个专用的语音通道,消息是以模拟的形式在PSTN上传送的。传输介质是普通电话线。它的特点是费用低,易于建立,且分布广泛。

2.综合业务数字网:即ISDN(Integrated Service Digital Network),是一种拨号连接方式。 ISDN BRI提供的是2B+D的数据通道,每个B通道速率为64Kbps,其速率最高可达到128kbps。ISDN PRI有两种标准:欧洲标准(30B+D)和北美标准(23B+D)。ISDN为数字传输方式,具有连接迅速、传输可靠等特点,并支持对方号码识别。ISDN 话费较普通电话略高,但它的双通道使其能同时支持两路独立的应用,是一项对个人或小型办公室较适合的网络接入方式。

3.专线:即Leased Line,在中国称为DDN,是一种点到点的连接方式,速度一般选择64kbps~2.048Mbps。专线的好处是数据传递有较好的保障,带宽恒定;但价格昂贵,而且点到点的结构不够灵活。

4.X.25网:是一种出现较早且依然应用广泛的广域网方式,速度为9600bps~2Mbps;有冗余纠错功能,可靠性高,但由此带来的副效应是速度慢,延迟大。

5.帧中继:即Frame Relay,是在X.25基础上发展起来的较新技术,速度一般选择64kbps~2.048Mbps。帧中继的特点是灵活、弹性:可实现一点对多点的连接,并且在数据量大时可超越约定速率(CIR:CommitedInformation Rate)传送数据,允许用户在传输数据时有一定的突发量,是一种较好的商业用户连接选择。

6.异步传输模式:即ATM(Asynchronous Transfer Mode),是一种信元交换网络,最大特点的速率高、延迟小、传输质量有保障。ATM大多采用光纤作为连接介质,速率可高达上千兆,但成本也很高。ATM也可以称作广域网协议。 

广域网常用设备有:

1.路由器(Router):广域网通信过程根据地址来寻找到达目的地的路径,这个过程在广域网中称为路由(Routing)。路由器负责在各段广域网和局域网间根据地址信息建立路由,将数据送到最终目的地。

2.调制解调器(Modem):作为末端系统和通信系统之间信号转换的设备,是广域网中必不可少的设备之一。Modem分为同步和异步两种,分别用来与路由器的同步和异步串口相连接,同步可用于专线、帧中继、X.25等,异步用于PSTN的连接。 

目前常见的网络带宽有以太网技术的10M,100M, 1000M等;Modem拨号上网带宽为56kbps;ISDN BRI带宽最高为128Kbps; E1/PRI带宽为2Mbps,E3带宽为34Mbps;OC-3带宽为155Mbps,OC-12带宽为622Mbps,OC-48带宽为2.5Gbps,OC-192带宽为10Gbps。

网络延迟主要由传导延迟(propagation delay)、交换延迟(switching delay)、介质访问延迟(access delay)和队列延迟(queuing delay)组成。

国际标准化组织(ISO,International Organization for Standardization)

电子电器工程师协会(IEEE,Institute of Electrical and Electronics Engineers)

美国国家标准局(ANSI,American National Standards Institute)

电子工业协会(EIA/TIA,Electronic Industries Association/Telecomm Industries Association)

国际电信联盟(ITU,International Telecomm Union)

INTERNET架构委员会(IAB:InternetArchitectrue Board)

协议数据单元,即PDU(Protocol Data Unit)。

应用层数据称为应用层协议数据单元(APDU,Application Protocol Data Unit)

表示层数据称为表示层协议数据单元(PPDU,Presentation Protocol Data Unit)

会话层数据称为会话层协议数据单元(SPDU,Session Protocol Data Unit)

传输层数据称为段(segment)

网络层数据称为数据包(packet)

数据链路层为帧(frame)

物理层数据称为比特流(bit)

物理层

物理层定义了电压、接口、电缆标准、传输距离等。

双绞线分为两类:屏蔽双绞线(shielded twisted pair,STP)和未屏蔽双绞线(unshielded twisted pair,UTP)。

屏蔽双绞线(STP)具有很强的抗电磁干扰和无线电干扰能力。STP易于安装,很好地隔离外部各种干扰。但是,STP价格相对昂贵。

未屏蔽双绞线(UTP)同样易于安装,价格便宜,但是抗干扰能力相对STP较弱,相应地,传输距离较短。

光纤是另外一种网络连接介质,不受电磁信号的干扰。

光纤由玻璃纤维和屏蔽层组成,传输速率很高,传输距离很长。但是光纤比其他网络连接电缆更贵。

光纤连接器是光的连接接口,非常光滑,不能有划痕,安装比较困难。

局域网的数据链路层分为两个子层:逻辑链路控制子层(LLC,Logic Link Control sublayer),介质访问控制子层(MAC,Media Access Control sublayer)。

逻辑链路控制子层提供了面向连接与面向无连接的网络服务环境的需要。该层用于管理通过单一链路连接的两个系统间的通讯,它允许多个高层网络协议共享一条链路。

LLC子层位于网络层和MAC子层之间,是上层和下一层的管理层,负责流量控制、同步等。LLC子层通过SSAP(源服务访问点,Source Service Access Point)和DSAP(目的服务访问点,Destination Service Access Point)负责底层协议与网络层协议的通信。

MAC子层负责把物理层的“0”,“1”比特流组建成帧,并且通过帧尾部的CRC(Cyclic Redundancy Check,循环冗余校验)子段进行错误检测。总之,MAC子层定义了网络对共享介质的访问。 

相关解释与理解:

简单一点说,就是承上启下的物理和逻辑之分,MAC子层就是和物理层对接,对信息发送过程进行控制和转换,对上层而言,屏蔽了不同物理层的不同。而LLC子层是从逻辑上进行翻译和控制,对上层网络层来的不同协议进行翻译和控制,并向下传递同样的数据帧,以使其可以在物理层传送。如同邮局邮寄包裹之前一定要装进标准的箱子一样。

LAN与数据链路层:IEEE802.X标准

我国应用最为广泛的LAN标准是基于IEEE802.3的以太网标准。在数据链路层常见的局域网设备有以太网交换机等。 

WAN与数据链路层:

HDLC(High-level Data Link Control,高级数据链路控制)

PPP(Point-to-Point Protocol,点到点协议)

ISDN(Intergated Service Data Network,综合业务数据网络)

X.25

帧中继(Frame Relay,FR)协议

广域网常见的数据链路层设备有Modem(调制解调器)、CSU/DSU、ISDN终端适配器、广域网交换机等。

每一台网络设备都用物理地址来标识自己,网络设备的MAC地址是全球唯一的。MAC地址由48个二进制位组成,通常我们用十六进制数字来表示。

可路由协议是定义数据包内各个字段的格式和用途的网络层封装协议,该网络层协议允许将数据包从一个网络设备转发到另外一个网络设备。

常见的可路由协议有TCP/IP协议栈中的IP协议、Novell IPX/SPX协议栈的IPX协议。

路由协议通过在路由器之间共享路由信息来支持可路由协议。路由信息在相邻路由器之间传递,确保所有路由器知道到其他路由器的路径。

总之,路由协议创建了路由表,描述了网络拓扑结构;可路由协议与路由协议协同工作,执行路由选择和数据包转发功能。

OSI参考模型的IS-IS(Intermediate System to Intermediate System)协议

TCP/IP协议栈的RIP(Routing Information Protocol,路由信息协议)协议、OSPF(Open Shortest Path First,开放式最短路径优先)协议

IPX/SPX协议栈的IPX RIP协议

面向连接的服务(Connect-oriented Service)

面向连接的服务含义指在使用该服务之前用户首先要建立连接,而在使用完服务之后,用户应该释放连接,当被叫用户拒绝连接时,连接宣告失败。

无连接的服务(Connectionless Service)

两个实体之间的通信不需要先建立好一个连接,每个报文(信件)带有完整的目的地址,并且每一个报文都独立于其他报文,经由系统选定的路线传递。

多路复用是指多个应用程序共享同一个传输层建立的连接进行数据的传送。传输层把上层发来的不同应用程序数据分成段,按照先到先发(FIFO)的原则(或者其他原则)发送数据段。这些数据段可以去往同一目的地,也可以去往不同目的地。

目前有三种常用的流量控制技术:缓存(buffering)技术、源抑制报文(source quench messages)、窗口机制(windowing)等。

缓存(buffering)技术:

网络设备使用缓存技术把内存中暂时不能处理的突发性数据存放在缓冲区内,待网络设备空闲时,再发送。缓存技术可以初步解决数据拥塞问题。然而,当网络中数据流量持续增多时,缓冲区有可能也会过载,从而使得缓冲区数据溢出,导致数据丢失。

源抑制报文:

数据接收端设备通过向源端发送源抑制报文,请求源端降低数据发送速率,防止网络过载。使用源抑制技术来降低网络流量。

窗口机制:

源端设备发送一定数量数据包后,要求目的端返回确认信息。窗口机制通过这种方式来实现流量控制。

窗口机制流量控制过程:

1.源设备向目的设备发送一定数量(如果窗口大小为3,就发送3个)的数据包;

2.目的设备收到数据包,向源设备发送确认报文;

3.源设备收到确认报文,向目的设备发送同样数量的数据包;

如果目的设备由于某些原因(例如缓冲区数据溢出等)没有收到全部或者部分数据包,则不向源设备发送后续的确认报文。源设备通过调节窗口大小,降低数据传送速率,重发数据包。

确认技术保证数据流从源设备准确无误地发送到目的设备。窗口机制因为使用了肯定确认(positive acknowledgement)技术,通常被认为是非常可靠的。

会话层机制包括计费、话路控制、会话参数协商等。

常见的会话层协议有:结构化查询语言(SQL,Structed Query Language)、网络文件系统(NFS,Network  File System)、远程过程调用(RPC,Remote Procedure Call)、X Windows系统等。

表示层保证源端数据能够被目的端表示层理解和识别,对应用程序透明。表示层提供数据格式转换服务,数据加密、数据表示标准等服务。表示层确定了数据传输时数据的组织方式。

常见的表示层协议有:数据结构标准,EBCDIC(extended binary coded decimal interchange code)、ASCII(Amercia Standard Code for Information Interchange);图像标准:JPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF;视频标准:MIDI(Musical Instrument Digital Interface)、MPEG(Motion Picture Experts Group)、QuickTime等。