华为企业业务集团
(安捷信网络技术有限公司)
2012年5月
1. 存储系统技术方案
1.1. 建设背景
随着平安城市、科技强警示范城市建设的大力推进,各级政府城市都把建设“城市监控报警联网系统”提到重要议事日程,着力打造一个以科技为支撑的社会治安防控体系,应对各种各样的刑事犯罪,保护国家和人民群众的生命财产的安全,保障各行各业和国家重点部门的正常运转,采用高科技手段预防、制止犯罪。
金华市武义县作为一个开放性的旅游度假城市,其县区随着外来旅游、务工人员及流动人员的增加,突发性事件也会随之增多。根据省委、省政府《关于全面改善民生促进社会和谐的决定》(浙委〔2008〕38号)和省委办公厅、省政府办公厅《关于保障民安促进社会和谐稳定的意见》(浙委〔2008〕40号)精神,大力推进以治安动态视频监控系统建设为重点的科技防范工作,根据《浙江省社会治安动态视频监控系统建设指导意见》(浙公通字〔2004〕115号)和省公安厅在全省治安动态视频网络监控系统建设(义乌)现场会(2006年6月)上提出的要求,为打造安全的人居环境。武义县政府决定随城市建设的发展,配套在城市卡口、交通要道、居民区的各个出入口、案件高发地段、人员密集地段、治安复杂区域建设社会治安动态视频监控及卡口机动车抓拍系统。
武义县区社会治安动态视频监控系统是金华市区公安社会治安管理的有机组成部分;是社会治安管理工作由人力管理转向科技管理的重要实践;是公安行政管理部门对人口密集公共场所、主要交通干道、商贸社区重点部位及治安复杂场所实施动态监视的重要手段;它能为指挥人员提供路口、重点部位与公众场所的治安的直观信息与实时的动态情况;它能够提供相应接口,以方便今后与公安“110”报警、区域联网报警、有线、无线通信、信息处理、交通指挥等系统有机结合。
通过本工程的实施,将体现“科技强警”的威力,能够积极推动公安运作机制的科学化与规范化,充分发挥公安部门处置突发事件的快速反应能力,推动公安管理现代化、正规化建设步伐,建立“打、防、控”一体化的治安防控体系,在维护社会安定、打击犯罪等方面发挥重要的作用,它将为武义县区营造和谐稳定、安全放心的治安环境作出重要贡献。
1.2. 系统功能需求
1.2.1. 整体功能需求
系统应能实现不同设备及系统的互联、互通、互控,实现视音频及报警信息的采集、传输/转换、显示/存储、控制;进行身份认证和权限管理,保证信息的安全;应能与报警系统联动,并提供与其他业务系统的数据接口。主要包括:
1. 实时图像点播
应能按照指定设备、指定通道进行图像的实时点播,支持点播图像的显示、缩放、抓拍和录像,支持多用户对同一图像资源的同时点播,支持IP 组播技术。
2. 远程控制
应能通过手动或自动操作,对前端设备的各种动作进行遥控;应能设定控制优先级,对级别高的用户请求应有相应措施保证优先响应。
3. 存储和备份
监控控制平台的数据库在记录图像信息的同时还应记录与图像信息相关的检索信息,如设备、通道、时间、报警信息等。对需要长期保存的信息可配置专用存储设备归档备份。
4. 历史图像的检索和回放
应能按照指定设备、通道、时间、报警信息等要素检索历史图像资料并回放和下载;回放应支持正常播放、快速播放、慢速播放、逐帧进退、画面暂停、图像抓拍、并且支持断点标记设定与按断点检索的功能等;支持回放图像的缩放显示。
5. 与其它系统的接口
系统可提供与其它信息系统的互联接口,能与应急指挥系统、GIS 地理信息系统、GPS卫星定位系统、卡口监控管理、交通监控管理等各警用业务工作相互集成。
6. 系统的人机交互
应具有直观、友好、简洁的人机交互界面;应具有视频画面分割显示、信息提示等处理功能;应能反映自身的运行情况,对正常、报警、故障等状态给出指示。
7. 用户与权限管理
监控中心应具有对接入的用户进行授权和认证的功能。用户及权限管理可由各级监控中心独立执行,也可集中执行。用户及权限管理模块应定义用户对设备的操作权限、访问数据的权限和使用程序的权限。监控中心的用户应有权限获取所辖范围内的历史图像和实时监视图像,当需要获取非管辖范围内的历史图像和实时图像时,应取得有效授权。系统可提供对前端设备进行独占性控制的锁定及解锁功能,锁定和解锁方式可设定。
8. 网络与设备管理
应能在监控管理平台范围内对系统设备、网络进行管理,收集、监测网络内的监控设备、相关服务器的运行情况;对有权限调用访问本级监控中心的用户应能进行监控;在联网系统内部应能实现实时工作时钟同步。
9.导出查询录像
系统提供导出录像功能,把重要的录像文件,按录像类型、日期时间、摄像机名称等条件导出来,转储(备份)到硬盘、光盘等储存介质,通过文件播放器回放。
1.2.2. 存储系统功能需求
本次存储系统建设的目的是为满足武义公安局监控平台和所属前端监控点涉及的大量视频数据的存储需求,按设计规划,需要满足规划140个高清监控点全天24小时15天监控图像的存储容量,存储录像的图像分辨率要求为高清视频,平均视频码流为7Mbps。
本期建设规模为140个高清监控摄像头,除了高清视频数据外,还要完成高清视频抓拍,其主要是抓拍类似机动车违章记录,高清抓拍要求最大500万像素;每个抓拍照相机,平均每次违章抓拍5张图片,估计每天每个摄像机平均抓拍3000张高清照片,高清图片大小为每张300K左右。
系统采用集中式存储,要求高可靠性、有良好的冗余性、单点故障不影响业务的正常运行,存储空间为各服务器交叉共享,可以根据各服务器的需求进行划分和分配,并可以灵活扩展,高性能、易管理、方便备份。
存储系统提供完善的接口和丰富的SDK开放包,可方便地和主流视频监控系统平台软件系统进行联动,根据网络情况自动选择重要监控点进行本地/远端存储的切换、调度,在视频监控平台中显示存储系统各种状态和诊断信息以方便运行和维护。
为了满足本项目未来系统规模扩展的需求,系统所有存储设备和服务器都可以分布式部署在派出所和公安公安局,未来系统扩展只需要通过软件设置方便地完成系统迁移、容量扩展而不中断业务的开展。
1.3. 存储系统设计原则
1.3.1. 安全可靠性原则
l 系统器件选择要考虑能支持7×24小时连续长时间大压力下工作;
l 系统具有充分的冗余能力、容错能力;
l 系统具有专业的技术保障体系以及数据可靠性保证机制;
l 对工作环境要求较低,环境适应能力强;
l 确保系统具有高度的安全性,提供安全的登录和访问措施,防止系统被攻击;
l 支持掉电后设备自动恢复正常连接。
1.3.2. 先进性原则
l 系统必须严格遵循国际标准、国家标准和国内通信行业的规范要求;
l 需符合存储技术以及IT行业的发展趋势,所选用的产品型号稳定商用,规模上量;
l 所有的系统采用最先进的技术,确保今后相当长的时间内技术上不会落伍;
l 系统的处理能力要达到业内领先,对于本次业务的使用要留有一定的余量,以满足后续升级的需求
1.3.3. 开放性原则
l 系统必须支持国际上通用的标准网络存储协议、国际标准的应用开放协议;
l 保证与其它主流服务器之间的平滑连接、数据互通以及兼容性;
l 兼容各主流操作系统及应用程序;
l 可以与第三方管理平台集成,提供给客户定制化的管理维护手段;
l 满足今后的发展,留有充分的扩充余地
1.3.4. 易维护性原则
l 系统支持简体中文,通俗易懂,操作方便、简单;
l 系统具有充分的权限管理,日志管理、故障管理,并能够实现故障自动报警;
l 系统设备安装使用简单,无需专业人员维护;
l 硬盘容量可按需要在线扩展,无需停止业务;
l 系统功能扩充需要升级时,支持不中断业务升级;
l 支持WEB管理方式或集中管理方式
1.3.5. 扩展性原则
l 系统易于扩充;
l 系统选择标准化的部件,利于灵活替换和容量扩展;
l 系统设计遵守各种标准规定、规范
1.3.6. 绿色节能原则
l 满足环保与节能的要求,噪声低、耗电低、无污染;
l 必须选用无铅器件;
l 有节能降耗的技术手段;
l 具备环境管理认证,符合环保规定,包材可回收,支持重复利用
1.4. 存储方案设计
1.4.1. 网络拓扑图
视频监控系统由前端采集系统、传输网络、各类服务器、存储阵列、显示系统、公安局监控中心及派出所监控分中心组成。各类服务器系统,如平台管理服务器放置在公安局监控中心,负责整个平台的管理,以及前端、客户端的接入;流媒体分发服务器,存储(录像)服务器和音视频存储阵列放置于公安局监控中心,负责本辖区的监控数据的分发和存储。前端采集系统包含摄像头、报警输入设备及报警输出设备、PON接入以及模拟光端机设备等。显示系统由模拟矩阵、数字矩阵及大屏系统等组成。
视频监控系统架构图1所示:
图1 视频监控系统架构图
存储系统设计,我们基于华为E6000刀片服务器和华为OceanStor S2600T存储系统,形成了all in one的集成解决方案。由于将计算资源、网络资源、存储资源进行了统一整合。存储系统架构图如图2所示:
图2 武义社会动态视频监控存储系统架构图
1.4.2. 服务器规模估算
l 视频服务器采用刀片方式,每刀片服务器基本配置如下表所示
表1 刀片服务器推荐配置表
CPU | 2*Intel Westmere Xeon E5620,4核8线程,2.4GHz |
内存 | 16GB |
硬盘 | 4*300B 10000rpm SAS2.5硬盘 |
RAID | RAID 10 |
网口 | 配置4个GE直通网口 |
推荐机型 | 华为E6000刀片服务器 |
按照上述配置, GE网口分别连接骨干交换机,则单台服务器可提供带宽性能:
1Gb/s*60%/8=75MB/s — 60%的保守利用率计算
单台服务器配置4块300GB SAS硬盘,做RAID10,用于操作系统及应用环境数据存储。
内存性能估算:
此次项目全部采用高清摄像机,高清视频码流为7Mbps。
根据带宽75MB/s,则单台服务器能承载的视频路数极限为:85路。
服务器的内存消耗主要由操作系统占用内存、数据库系统自身占用内存、并发连接占用内存等几个部分组成。
操作系统占用约400MB内存空间;
应用系统自身占用内存约0.8GB;
每个并发连接占用5MB
考虑20%的性能冗余
则16GB内存可以保证2300个并发连接
Mem=(400M+0.8G+2300*5M)/(1-20%)=15.9GB
根据项目建设140路高清视频,考虑到业务负载分担以及冗余保护,建议使用2台刀片服务器作为视频服务器用,每台服务器承载70路视频流。额外将配置1台平台服务器。
l 卡口服务器涉及数据库检索,有些平台可能有多级检索,由于目前用户正在进行设计阶段,因此参考海康的卡口数据检索系统配置,如下图所示:
图2 海康卡口系统架构图
海康的卡口数据系统的规划,查询数据库采用分级部署的方式。在指挥中心将部署一套集中的数据库系统(一级检索系统),存放全部140个卡口的抓拍图片的识别数据。检索数据库,部署高配置刀片服务器一台,为保证数据一致性和查询性能,推荐采用高性能SAN存储系统,识别数据存储在外置高性能SAN阵列中,配置高性能的10000rpm SAS硬盘。
二级检索系统,由多个服务器节点构成,具体服务器的数量由服务器的计算、网络、存储性能决定。一级检索系统查询不到的数据,将进入二级检索系统查找。二级检索数据库系统保存图片数据和识别数据。图片数据建议部署外置IP-SAN阵列进行存储;识别数据存储在数据库服务器本地硬盘。服务器本地硬盘建议配置300GB 10000rpm SAS硬盘,查询速度快;IP存储阵列建议配置2TB 7200rpm SATA硬盘,容量大,性价比高。
服务器配置建议:
1)二级检索系统
140个卡口,全部采用高清摄像机,每个卡口平均一天抓拍3000张图片,高清图片大小300KB,识别数据大小2KB。计算对服务器带宽、存储容量等的规格要求。
总体带宽:
302KB(图片+识别数据)*3000*140/1024/24/3600≈1.43MB/s — 按照3000张抓拍图片平均在24小时
根据以往数据库服务器经验,一天内忙时的处理量为平均值的5倍,则峰值带宽需求:
1.43MB/s*5=7.2MB/s
总体服务器存储容量:
服务器本地硬盘只进行操作系统、数据库系统和识别数据的存储。
2KB*3000*140*365/1024/1024/1024=285.5GB
按照识别数据保留365天测算,数据库服务器存储识别数据的可用容量应大于285.5GB。
数据库服务器的配置,我们仍推荐采用刀片服务器配置2个Intel E5620 CPU,16GB内存,4块300GB 10000rpm SAS盘,做RAID 10。配置6个GE网口,其中2个作为上行业务口,另外2个GE口,通过IP存储交换机连接IP存储阵列,1个GE口用于外部查询,服务器的配置表如下所示:
表2 二级检索服务器推荐配置表
CPU | 2*Intel Westmere Xeon E5620,4核8线程,2.4GHz |
内存 | 16GB |
硬盘 | 4*300GB 10000rpm SAS硬盘 |
网口 | 4个GE直通网口 |
RAID配置 | RAID10 |
推荐机型 | 华为E6000刀片服务器 |
按照上述配置,单台服务器可提供带宽性能:
1Gb/s*60%/8=75MB/s — 2条上行链路,按照2条GE链路,60%的保守有效利用率计算。
因此从带宽测算,仅需1台服务器就可以达到15MB/s以上的带宽性能。
单台服务器配置4块300GB SAS硬盘,其中4块硬盘,做RAID 10,裸容量为600GB。
从存储容量测算,只需1片刀片服务器可以达到285.5GB以上的存储需求。
再考虑内存性能估算:
服务器的内存消耗主要由操作系统占用内存、数据库系统自身占用内存、并发连接占用内存等几个部分组成。
操作系统占用约400MB内存空间;
数据库系统自身占用内存0.8GB;
每个并发连接占用5MB
考虑20%的性能冗余
则16GB内存可以保证2300个数据库并发连接
Mem=(400M+0.8G+2300*5M)/(1-20%)=15.9GB
综合考虑服务器性能、网络带宽、存储容量等方面因素,最重要的是可靠性方面的因素,二级检索系统推荐部署1台刀片服务器,服务器的配置如表2。刀片服务器承载140个卡口抓拍图片上传、存储和查询。
2)一级检索系统
一级检索系统,MS SQL主数据库服务器,建议配置:
表3 一级检索服务器推荐配置表
CPU | 2*Intel E5645,6核,2.40GHz |
内存 | 64GB |
硬盘 | 4*300GB 10000rpm SAS硬盘 |
网口 | 4个IP端口,2个4Gb FC端口 |
RAID | RAID10 |
推荐机型 | 华为E6000刀片服务器 |
集中检索平台,服务器上行链路配置2个GE网口,另一个网口用于外部WEB查询。服务器与存储阵列之间,采用4Gb FC链路,以提高查询速度。服务器配置1块双端口FC HBA卡,两个FC口分别连接存储阵列的A控和B控。存储阵列,应提供4Gb FC主机接口,以保证与数据库刀片服务器连通,同时应当适当提供更多的FC和iSCSI接口,以保证存储系统的可扩展性。
服务器选型,主数据库服务器,综合用户需求,我们推荐华为E6000服务器,采用2颗Intel E5645 6核处理器能有效处理大规模并发数据检索请求。
主服务器配置64GB内存,可保证10000个数据库并发连接对内存需求。
操作系统占用约400MB内存空间;
数据库系统自身占用内存0.8GB;
每个并发连接占用5MB
考虑20%的性能冗余
则10000个数据库并发连接对内存的消耗:
Mem=(400M+0.8G+10000*5M)/(1-20%)=64GB
1.4.3. 存储规模规划
l 视频监控系统存储规模测算
140路高清视频流,按照最高级别高清码流为7Mbps,15天的存储时间,计算需要的数据容量为:
(7Mbps*140/8)*3600*24*15/1024/1024=151.41 TB
磁盘阵列推荐采用原华为S2600的升级产品S2600T来实现,S2600T控制框为2U12盘位结构,而硬盘框为4U24盘位结构,采用RAID 5,每框均设置一个热备盘,控制框一个RAID组,硬盘框设置2个RAID组。
采用1控制框拖2硬盘框方式,配置3块全局热备盘,每套S2600T存储系统可做5个RAID组,相当于52个数据盘(扣除热备盘、校验盘);
因此计算1套阵列的可用容量:
52个数据盘*2TB*0.93(硬盘自身容量损耗)/1.01(创建文件系统损失)=95.7TB
151.41/95.7=1.58套,配置2套即可满足容量需求,还拥有一定的保留空间,则2台视频服务器共享2套S2600T存储阵列。配置如表4所示。
表4 存储阵列推荐配置表
类别 | 项目 | 数量 |
控制框 | OceanStor S2600T控制框(双控,交流,8GB缓存,2*6*GE iSCSI前端口,2*2*24G宽端口SAS后端口,含UPS Cache保护模块,含HS 阵列控制系统软件,SPE32C0212) | 2 |
硬盘框 | OceanStor DAE12435U4硬盘框(4U,3.5寸,交流,SAS级联模块,不包含硬盘单元,含HS SAS带内管理软件) | 4 |
硬盘 | 2000GB 7.2K RPM SAS-SATA硬盘单元(3.5") | 94 |
l 卡口抓拍系统存储规模测算。
1)、一级检索系统,FC-SAN存储
存储全部140个卡口的抓拍图片识别数据,需要存储可用容量:
2KB*3000*140*180/1024/1024=145GB
存储阵列推荐配置高性能SAS硬盘,当前配置5块300GB 15000rpm SAS硬盘,考虑到随机读写较多,因此数据保护机制采用RAID 10,做1个RAID组,镜像盘个数为2,另外留1块硬盘作为热备盘,数据盘为4个。
存储可用容量:4/2*300GB*0.93(考虑硬盘自身标称容量损失)/1.01(创建文件系统容量损失)= 552GB,可以满足识别数据存储需求。
阵列推荐机型: 华为 OceanStor S5500T存储系统,配置如表5所示。
表5 卡口抓拍一级检索存储阵列推荐配置表
类别 | 项目 | 数量 |
控制框 | SPE31C0224-32控制框(2U,2.5",双控,交流,16GB缓存,2*4*8G FC前端口,2*2*24G宽端口SAS后端口,含UPS Cache保护模块,含HS 阵列控制系统软件) | 1 |
硬盘 | 300GB 15K RPM SAS硬盘单元(2.5") | 5 |
2)二级检索系统,FC-SAN存储
假设140个卡口,全部按照平均每天每卡口抓拍3000张图片,保留180天,图片数据所需存储容量:
300KB*3000*140/1024/1024/1024*180=21.12TB(实际需求容量)
存储阵列,采用一级检索存储阵列加载扩展框方式实现。S5500T扩展框为4U24盘位结构,配置1框,总共配置18块磁盘2TB SATA硬盘,配置2个RAID组,RAID级别为RAID5,每框配置1块热备盘,总共有15个数据盘。
因此计算阵列的可用容量:
15个数据盘*2TB*0.93(硬盘自身容量损耗)/1.01(创建文件系统损失)=27.6TB,即可满足当前卡口抓拍二级检索21.12TB需求。
配置如表6所示。
表6 卡口抓拍二级检索存储阵列推荐配置表
类别 | 项目 | 数量 |
硬盘框 | DAE12435U4-03硬盘框(4U,3.5寸,交流,SAS级联模块,不包含硬盘单元,含HS SAS带内管理软件) | 2 |
硬盘 | 2000GB 7.2K RPM SAS-SATA硬盘单元(3.5") | 18 |
1.4.4. 视频专网网络
终上所述,目前IP-SAN存储阵列3套,FC-SAN存储阵列有1套,视频刀片服务器用了2台,平台刀片服务器2台,其它应用刀片服务器2台,2台卡口二级检索服务器,1台卡口一级检索服务器,除一级检索服务器和FC-SAN阵列直连外,其他全部以千兆电口互联。
存储网络采用IP-SAN存储技术,其中2套视频存储阵列通过存储控制器,每控制器出2条链路捆绑后与2台存储交换机相连,存储交换机分为两路挂载于刀片服务器;存储阵列做双链路捆绑再冗余连接存储交换机,共同分担6台刀片服务器的数据流,刀片服务器两路分别配置两个ip段,进行双链路数据存储,做到链路的负载分担和链路的冗余互备。6台刀片机均通过双链路并配置不同网段的2个IP地址与两路存储交换机相连,通过软件控制双路写入的方式,做到冗余和负载分担的方式接入到磁盘阵列。而卡口图片存储也同样采用这种方式进行互联。因此总共需要配置存储交换机2台,推荐华为S3728千兆交换机。另一级检索刀片服务器通过E6000刀片的FC交换模块与阵列直连。连接分解图如图4左图所示。
图4 存储网络连接分解图
一级卡口服务器与存储阵列之间将通过FC裸光纤以冗余方式直连。
刀片服务器及机架服务器同时连接到两台核心交换机华为S7300,刀片服务器通过刀片直通模块的网口绑定分为两路与核心交换机华为S7300相连,机架服务器通过网卡的端口绑定与核心交换机相连,同时两台核心交换机之间运行vrrp冗余路由协议保证一条线路的中断不会影响数据的写入业务。图4右图表示了单台服务器与骨干交换机的连接情况。
表7 网络设备推荐配置表
类别 | 项目 | 数量 |
视频专网骨干交换机 | 华为S7306 | 2 |
存储网络交换机 | 华为S3728 | 2 |
1.5. 方案优势
E6000刀片服务器单框8U,最大支持10个刀片。方案中,我们每框E6000配置9个刀片,两框共18个刀片(15个存储服务器+3个平台服务器)。每框刀片服务器,我们配置9个风扇和4个电源模块,风扇模块支持N+1冗余;电源模块支持N+N或N+1冗余,支持负载均衡和故障倒换。E6000的BH620刀片采用Intel Nehalem处理器,提供12个内存槽位和4个硬盘槽位。
E6000刀片服务器提供6个交换槽位,支持GE交换模块、FC交换模块和GE直通模块。方案中,我们推荐的是GE直通模块。每个刀片出6个GE口,分别通过6个直通模块外出,其中四个两两捆绑上行到核心交换机,另外两个GE口通过直通模块分别连接两台IP-SAN存储交换机,通过SAN交换机连接S2600T存储阵列。刀片服务器与存储阵列之间的多条链路,通过华为提供的UltraPath主机多路径软件实现基于流量的负载均衡。
与传统的机架式服务器相比,部署刀片服务器具有以下优势:
l 高密度,节省空间和降低整体成本
一个标准机柜只能安装12个2U机架服务器,而可以安装24片以上刀片。刀片服务器的安装密度是机架式服务器两倍以上。
l 具有完善的远程管理能力
刀片服务器由于具有共享的机框,使得可以从硬件监控每个刀片节点。刀片服务器的管理功能一般都包括远程上下电、硬件诊断、监控硬件状态、监控操作系统及节点进程、OS远程部署、KVM over IP等。
l 动态配置能力强
可以在不同时段把刀片配置成不同的服务,按需部署。
l 安装简单、维护方便
例如12台服务器的安装,机架式服务器需要24根电源线、12根网线等,刀片服务器只需要2根电源线、1根网线等。
l 刀片支持热插拔
存储网络,我们推荐性价比高的IP-SAN网络,存储链路选择千兆以太网。SAN交换机,我们配置的是华为S5728交换机。S5728交换机标配48个GE口,其中8个口用于连接刀片服务器,8个口用于连接4套S2600T存储阵列;2个口用于两台SAN交换机之间的心跳。SAN交换机同每台存储阵列部署两条GE链路,分别连接S2600T的控制器A和控制器B。
1.5.1. S2600T针对视频监控的独特设计
1) 在系统Cache里对多路码流数据进行排序整合,根据LBA顺序写入磁盘。这样做的好处在于可以减少磁头的移动次数,适合视频监控这种特有的多路并发写盘的业务需求,有效提高磁盘利用率和使用寿命;
2) 在阵列的iSCSI多个前端接口上,对多路码流进行负载均衡、负荷分担,实现了最高可达4Gbps的顺序写带宽处理能力。
3) 针对视频监控场景的Cache回写设计,充分利用Cache的高速数据存取能力,打破Cache和存储后端的性能瓶颈。
4) 在RAID层引入了业界领先的视频纠错编解码算法设计,充分保障数据的可靠性和一致性。
1.5.2. 灾备方案设计
在SAN存储网络中,部署6台存储服务器和4台存储阵列。存储服务器以刀片形式部署在E6000服务器框中,存储阵列部署S2600T。
(1)链路容灾
在我们设计的方案中,存储服务器和存储阵列之间有4条存储链路。存储服务器通过两个外出GE口,通过两个GE直通模块分别连接到两台SAN交换机,每台SAN交换机与存储阵列的A控和B控相连。从服务器的网口,刀片机的交换平面,SAN交换机,阵列控制器,都是采用全冗余设计,不存在单点故障。刀片服务器到存储阵列的4条链路,通过UltraPath多路径软件实现链路负载均衡。任何一条链路发生故障,其余3条链路仍可以正常工作。
(2)阵列控制器切换
正常情况下,存储的LUN通过其归属控制器进行视频数据读写,归属控制器是在阵列配置时手工设置的,如通过控制器A或B。在S2600T存储系统中,任何一个LUN都可以通过双控制器的任意一个访问,但为了避免双端控制器同时写该LUN的磁盘而导致数据一致性的问题,任意一个LUN在特定时刻都有一个工作控制器,只能通过此控制器对该LUN的磁盘进行读写。如果通过非归属控制器访问该LUN,则IO流会先经过双控间镜像通道进入到工作控制器端,在工作控制器端进行IO访问,而通过工作控制器访问LUN时不需要经过双控间镜像通道,此时对LUN的访问速度是最快的。在归属控制器失效的情况下,对端控制器都会接管这个控制器的业务,同时把LUN的工作控制器替换成自己,IO流也会在本端下发,从而保证业务的连续性。
(3)阵列间灾备
S2600T存储系统配置双控制器,可以抵御绝大多数导致阵列控制器失效的风险。为了提供更深入的灾备保护,考虑到某一台存储阵列出现两个控制器同时失效的情况,部署一台平台备份服务器和备份阵列。备份阵列的LUN挂载给中心存储备份管理服务器。当出现阵列的两个控制器全部失效的情况下,存储服务器向原阵列下发写IO,无法收到确认的ACK信号,将诊断存储阵列失效,通过视频监控平台软件的机制,将视频流切换到备份存储。视频数据流不再从存储服务器写入原阵列,而是在平台软件的控制机制下,由存储转发服务器通过平台服务器将数据流写入备份阵列。
我们的方案中,将额外准备一套S2600T备份阵列和1个S2600T控制框作为冷备份。
1.5.3. 容量与性能设计
S2600T是华为公司针对专业视频监控存储需求而设计的S2600T存储系统的升级版,使用先进的控制器架构,64位服务器专用处理,保证系统在海量数据存取时的高性能和高可靠性。S2600T存储系统采用2U/12盘位高密度设计,每控制器提供4GB的内存及6个GE业务网口,结合系统专门为视频监控而设计的读写算法,性能完全满足业务需求。
S2600T最大LUN个数支持到512,LUN空间在线扩容对服务器主机无影响,存储系统无需重启,即时生效,并支持大于2T以上的卷。S2600T存储单系统配置204块硬盘。
S2600T的每个控制器支持6个iSCSI千兆网口,可提供6Gbps业务读写带宽,并支持2个IO扩展模块,扩展模块支持FC、ISCSI、10GE ISCSI扩展。每控制器高速缓存≥4GB,其高带宽和高性能的设计。RAID5重建影响下,性能降低不超过20%。
1.5.4. 可靠性设计
E6000刀片服务器:
1) E6000刀片服务器从硬件、操作系统、中间件、系统管理等各层面分层实现电信级对系统99.999%的高可靠性要求,保障您的业务和应用能够稳定、可靠运行。
2) E6000 服务器从组件和互联方面对系统提供冗余保护,确保E6000 服务器无单点故障,大大提高了可靠性。
3) 所有关键组件(如电源、风扇、管理模块、各种单板等)均实现冗余。
4) 管理平面和业务平面相互独立,出现故障不互相影响,保护了业务数据的安全,提高了系统的可靠性。
5) 电源模块为通讯专用电源,采用严格的 EMC(Electromagnetic Compatibility)、保护、均流等设计。
6) 采用集中散热方式,机箱的风扇采用 N+1 或N+N 的备份方式。任何风扇故障,仍可支持系统长期稳定运行。
7) 硬件采用电信级高品质的元器件,经过先进的生产过程控制和严格检测,保证整个系统的高可靠性。
8) 系统采用先进的安全保障技术,例如自动功率控制可实现防电源过载保护、电子防误插功能可以避免单板插入错误的槽位而对系统和单板造成的影响。
9) 机箱内的所有器件都是无源器件,包括电信级无源背板。
10) 所有关键组件(如电源、风扇、管理模块、各种单板等)均支持热插拔。
11) 高可靠的数据传输、访问安全机制,确保可通过 Internet 安全接入,进行系统管理。
S2600T存储系统:
1) S2600T系统各主要部件采用全冗余设计并可在线更换,支持热插拔冗余电源、冗余风扇和磁盘驱动器。
2) S2600T系统采用独有的保险箱设计,所有的配置数据均保存4份,使得系统最关键的配置数据不会丢失。
3) S2600T系统提供UPS电源模块,在意外紧急掉电时Cache数据会安全写到数据保险箱中。
4) S2600T支持多路径管理及链路聚合和故障切换,防止系统产生单点故障,满足各种组网需求,并提供了更高的带宽。
5) 支持多种RAID类型,包含RAID 0,1,10,5,6,保证存储的高可用性和安全性。
6) 支持全局热备盘,热备盘的数量和位置可以灵活设定。
7) 当RAID出现坏盘时,热备盘能够自动加载并进入热备重建状态,无IO时重建时间小于700分钟。系统重建时若发生供电故障,恢复供电后系统数据不会丢失,并能自动恢复重建进程。
8) 系统采用专用嵌入式操作系统,并通过安全的HTTPS协议登录,保证系统的安全性,减少黑客攻击及病毒感染的可能性。
9) 通过硬盘后台自动扫描当发现硬盘校验数据不一致时能自动纠正,防止硬盘数据的丢失。
10) 通过坏道自动修复功能硬盘故障率下降50%,系统的可靠性极大提升。
11) 实现了风扇智能调速系统,据系统温度的高低平滑调控风扇转速。
12) 可以有效防止系统过热,造成不稳定。
13) 风扇不用每时每刻都工作在高转速状态,降低了风扇的故障率和能耗。
14) 有效减少灰尘的进入、提高了系统的可靠性。
15) 选择专用器件保证系统高可靠的运行,S2600T所有器件均经过专门挑选,全部都是针对7×24小时长时间大压力的运行而设计,可以适应严酷的环境温度下的长期工作。
1.5.5. 兼容性设计
2) S2600T支持以下各主流操作系统
l Windows操作系统:Windows Server 2000、Windows 2000 Advanced Server 、Windows Server 2003 Standard Edition、Windows Server 2003 Enterprise Edition、Windows Server 2003 Enterprise X64 Edition、Windows Server 2008等
l Linux操作系统:SUSE Linux Enterprise Server 9 for X86、SUSE Linux Enterprise Server 9 for X86_64、SUSE Linux Enterprise Server 10 for X86、SUSE Linux Enterprise Server 10 for X86_64、Redhat Enterprise Linux AS release 4 for X86、RedHat Enterprise Linux AS release 4 for X86_64、RedHat Enterprise Linux AS release 5 for X86、RedHat Enterprise Linux AS release 5 for X86_64、Red Flag Linux Asianux 2.0 X86(DC 5.0 SP2)、RedFlag Asianux Server 3 (Quartet)_X64等。
l Unix操作系统:AIX 5.3、AIX 6.1、HP UX 11i、Solaris9 for SPARC、Solaris10 for SPARC等。
l Vmware操作系统:Vmware ESX 3.5/Vmware ESX 4.0等。
l 支持视频监控平台:与上海贝尔-阿尔卡特、海康、大华、星望、华为等多家主流视频监控平台进行过对接测试。
1.5.6. 易用性设计
E6000 服务器提供了功能强大的管理和维护工具,实现对系统内的计算资源、存储资源、网络处理资源、接口资源等集中管理,是高可管理的计算平台。通过管理和维护工具,极大提高了您使用和维护系统的工作效率,大大缩减了系统安装、部署及维护的时间,提高了系统的可靠性。
USM 系统能够为包括E6000 服务器在内的多种类型服务器提供系统、性能、告警等多种管理功能。USM 系统提供强大的性能管理功能,您可以实时监控和统计操作系统的CPU、内存、磁盘、进程和网络接口等使用情况。支持远程异地广域网服务器操作管理,管理 E6000 服务器不受地点的限制,提高客户管理的便捷性。
1) 提供虚拟 KVM(iKVM)、虚拟媒体(iMedia)、远程电源控制(iButton)等远程管理功能,使您能够在远程控制KVM、虚拟远端服务器板的光驱、软驱、远程控制服务器电源等。
2) 提供操作系统部署向导(OS 部署),允许批量部署E6000 服务器,大大缩短了业务部署时间,简化了部署过程,使操作系统的安装部署工作比以往更轻松。
3) 支持配置恢复,机箱管理板存储单板的配置信息,实现配置自动恢复功能。
4) 提供系统自动安装向导(ServiceCD),能引导您快速安装操作系统、补丁以及驱动程序等。
5) 提供软件分发功能,允许您批量分发软件、远程升级。
S2600T存储系统的易用性设计包括:
1) 支持在线扩展磁盘柜,支持在线扩展LUN容量。
2) 具有可供二次开发的计算机软件SDK包,满足综合运维的集成开发需要。
3) 提供多种形式的设备的故障告警监控方式,便于客户及时准确的获取到设备的状态信息当前端编码器设备支持标准的iSCSI协议时,其视频流能够直接写入S2600T。
4) 支持中文图形操作界面,管理方式包括:Web UI、CLI等。
5) 提供统一网络管理平台ISM,支持多机集中管理,能够通过单点对多个设备节点进行集中监控和配置管理;ISM与设备间通过标准的SNMP简单网络管理协议,同时设备可通过标准的SNMP协议对接第三方平台实现用户的统一运维管理, 另外,S2600T还支持短信、邮件、声音、灯光等多种报警方式,便于客户及时准确的获取到设备的状态信息。
6) S2600T提供的网络管理软件ISM可以最大限度的解决以往存储管理难的问题。ISM采用独特的JWS架构设计,全中文菜单显示,操作方便,配置简单,且针对S2600T开发了很多特殊功能,如配置向导、典型应用场景等等,初次配置S2600T只需不到5分钟就可完成。客户对易用性的强烈需求,也正是ISM优点的体现。
1.6. 机柜安放规划
1.6.1. 机柜安放规划图
根据实际情况另行规划。
1.6.2. 功耗计算
(1)存储设备功耗
S2600T阵列控制框,12块SATA硬盘满配情况下功耗:380W;
S2600T阵列硬盘框,24块SATA硬盘满配情况下功耗:441W;
S5500T阵列控制框,24块SAS硬盘满配情况下功耗:539W;
方案中,上电的存储设备包括3个S2600T控制框和5个S2600T硬盘扩展框,总功耗:
380W*3+441W*5+539=3884W
(2)SAN交换机功耗
华为S9306交换机整机最大功耗为:1600W
华为S5728交换机整机最大功耗为:63W
交换机功耗:1600*2+63W*2=3326W
(3)服务器功耗
刀片服务器:
方案中配置一框E6000,每框配置10个刀片,16GB内存,2块146GB SAS硬盘,4个GE直通模块,2块机箱管理板。刀片服务器最大功耗4500W。
机架式服务器:
华为RH2285最大功耗为:750W
华为RH2488最大功耗为:1975W
服务器功耗:4500+750*2+1975=7975W
系统总功耗:3884W+3326W+ 7975W=15185W
2. 产品配置清单及预算
2.1. E6000刀片服务器
E6000服务器 |
| 2 |
E6000 AC机箱模块 | 数量 | |
E6000机箱 (不含机箱管理模块MM和风扇模块), 8U | 1 | |
E6000机箱管理模块MM | 2 | |
E6000风扇模块 | 9 | |
E6000 AC电源模块--1600W/220V | 4 | |
交换模块 |
| 8 |
NX910 GE电口直通模块 | 4 | |
NX120 FC交换模块 | 2 | |
服务器刀片 |
| 159 |
Nehelem Tylersburg服务器,12*DIMM插槽,4*2.5'硬盘插槽,2*GE | 5 | |
X86 series-LGA1366-2130MHz-0.9V-64bit-80000mW-Westmere Xeon E5606-4kernel-商用计算专用 | 8 | |
X86 series-LGA1366-2400MHz-0.9V-64bit-80000mW-Westmere Xeon E5620-4kernel-商用计算专用 | 2 | |
通用内存-DDR3-4GB-240pin-1.5ns-1333000KHz-1.35V-ECC-2Rank | 24 | |
通用硬盘-300GB-SAS-10000rpm-2.5 | 20 | |
SAS 512MBCache 1078 RAID 卡 | 5 | |
服务器板GE扣卡 | 5 | |
4G FC扣板单元 | 1 | |
配套部件2 | ||
DVD光驱-USB2.0接口-外置式 | 1 | |
通用滑轨-Tecal E6000-安装导轨组件 | 1 | |
安装服务 | ||
安装服务-E6000-首次产品安装 | 1 | |
预算价 160000 |
2.2. S2600T存储系统
视频存储配置:2个S2600T控制框和4个S2600T硬盘框;
卡口图片存储配置:1个S2600T控制框和1个S2600T硬盘框;
S2600T 存储系统 |
|
|
控制模块 | 数量 | |
OceanStor S2600T控制框(双控,交流,8GB缓存,2*6*GE iSCSI前端口,2*2*24G宽端口SAS后端口,含UPS Cache保护模块,含HS 阵列控制系统软件,SPE32C0212) | 2 | |
磁盘扩展框(控制框为单控的选单级联板,控制框为双控的选双级联板) |
| |
OceanStor DAE12435U4硬盘框(4U,3.5寸,交流,SAS级联模块,不包含硬盘单元,含HS SAS带内管理软件) | 3 | |
硬盘组件 |
|
|
2000GB 7.2K RPM SAS-SATA硬盘单元(3.5") | 94 | |
软件 |
| |
HS 集成存储管理软件-S2600T 设备管理使用许可 & HS Integrated Storage Manager-Device Management License for S2600T | 2 | |
安装服务 |
|
|
安装服务-S2600T控制框-首次产品安装-/台 | 2 | |
安装服务-D120S磁盘框-首次产品安装-/台 | 3 | |
预算价 490000 |
2.3. S5500T存储系统
卡口一级检索数据库存储配置:1个S5500T控制框,5个SAS硬盘。
S5500T 存储系统 |
|
|
控制模块 | 数量 | |
SPE31C0224-33控制框(2U,2.5",双控,交流,16GB缓存,2*4*8G FC前端口,2*2*24G宽端口SAS后端口,含UPS Cache保护模块,含HS 阵列控制系统软件) | 1 | |
硬盘组件 |
|
|
DAE12435U4-03硬盘框(4U,3.5寸,交流,SAS级联模块,不包含硬盘单元,含HS SAS带内管理软件) | 1 | |
硬盘框 | ||
300GB 15K RPM SAS硬盘单元(3.5") | 5 | |
2000GB 7.2K RPM SAS-SATA硬盘单元(3.5") | 18 | |
软件 |
| |
OceanStor HS Storage Array Control System Software License Certificate & OceanStor HS阵列控制系统软件 License授权证书(V100R002) | 1 | |
HS集成存储管理软件-OceanStor S5500T 设备管理使用许可 & HS Integrated Storage Manager-Device Management License for OceanStor S5500T(V100R005) | 1 | |
OceanStor HS 多路径软件许可 & OceanStor HS UltraPath Software License | 1 | |
安装服务 |
|
|
安装服务-S5500T控制框-首次产品安装-/台 | 1 | |
安装服务-硬盘框安装服务(/框) | 1 | |
存储配套设备(外购件) | ||
光跳线-DLC/PC-DLC/PC-多模-62.5/125-2mm-3m | 8 | |
预算价 310000 |
2.4. 网络设备
视频专网骨干交换机S7706
华为S7706交换机 |
| 数量 |
S7706总装机箱 | 2 | |
Quidway S7706主控处理单元A | 4 | |
24端口百兆/千兆以太网电接口板(EA,RJ45) | 2 | |
24端口百兆/千兆以太网光接口和8端口百兆/千兆Combo电接口板(SA,SFP/RJ45) | 2 | |
Quidway S7700基本软件,V100R002 | 2 | |
Quidway S7700 T比特路由交换机 产品文档 | 2 | |
预算价120000 |
存储SAN交换机S3700-28C-EI
华为S5700-28C-EI交换机 | 数量 |
S5700-28C-EI主机(24个10/100/1000Base-T,机箱,双电源槽位,不含插卡和电源) | 2 |
交流电源模块组件 | 4 |
预算价20000 |
3. 相关产品介绍
3.1. E6000刀片服务器
3.1.1. 产品概述
图 E6000刀片服务器前视图
Tecal E6000是华为公司针对电信业务、互联网、IDC数据中心应用需求,基于高性能、低能耗、易管理、高可靠、定制化理念优化设计的服务器刀片平台。Tecal E6000刀片服务器产品特点体现在如下方面:
(1)低功耗
l 与2U机架服务器比较,能耗降低20-30%;
l 高效率AC电源,降低AC/DC电源转换损耗;
l 优化系统风道,降低散热系统功耗;
l 高效率VRD电源,降低DC/DC电源转换损耗;
l 优化布局,避免“影子布局”效应,降低散热系统功耗;
l 采用2.5’硬盘,降低硬盘功耗。
(2)高性能
l 采用双路Nehalem-EP高性能处理器,支持95W/80W/60W处理器系列;
l 12个DIMM插槽,最大支持48GB DDR3内存;
l 4个2.5’硬盘,支持256M/512M Raid Cache,选配电池保护
(3)高可靠
l 冗余架构设计,系统无单点故障;
l 无源背板设计,提高系统可靠性;
l 电信级元器件选型和制造工艺
(4)易维护
l 所有部件支持在线热插拔;
l 支持IPMI 2.0规范;
l 支持SOL、KVM Over IP、虚拟光驱等远程维护
3.1.2. 产品规格
E6000刀片服务器机箱规格如下:
规格 | 描述 |
---|---|
刀片槽位 | 可安装10个BH620刀片; |
交换模块槽位 | 可安装6个交换模块; 可配置为6个GE交换机或4个GE交换机+ 2个FC交换机; |
电源模块 | 可安装6个1600W 热插拔电源模块,支持N+N或N+1冗余配置; 支持负载均衡和故障倒换; |
风扇模块 | 9个热插拔风扇模块,支持N+1冗余; |
机箱管理模块 | 2个机箱管理模块; 支持IPMI 2.0、SOL、KVM Over IP、虚拟光驱等管理特性; |
供电 | 110V/220V AC |
尺寸 | 高度:353mm(8U) 宽度:447mm 深度:810mm |
BH620刀片规格如下:
规格 | 描述 |
---|---|
处理器数量(标准/最大) | 1/2; |
处理器型号 | 四核Intel Nehalem-EP处理器,支持95W、80W、60W系列; |
内存插槽 | 12个DDR3 DIMM插槽,最大支持48G内存; |
内置硬盘数量 | 4个2.5’ SAS或SATA硬盘; |
最大内部存储 | 1.2TB SAS(配置4个2.5’ 300G SAS硬盘); 支持RAID0、1、10、5等; 支持RAID Cache; 选配BBU电池保护模块,提供3*24小时掉电保护; |
网络 | 刀片集成2个GE以太网控制器,采用BCM5715; 支持扩展2个PCIe 接口模块; |
管理 | 集成BMC管理模块,支持IPMI、SOL、KVM Over IP、虚拟光驱等管理特性; |
尺寸 | 高度:310 mm 深度:496 mm 宽度:41.8 mm |
3.2. S2600T存储系统
3.2.1. 产品概述
华为 OceanStor S2600T(以下简称S2600T)存储系统融合创新的架构设计理念,管理简便、节能环保,提供经济的存储方案和完善的数据保护措施。
3.2.2. 产品规格
表:S2600T存储系统规格参数表
硬件特性 | OceanStor S2600T |
存储处理器 | 64位 专用处理器 |
缓存/每控制器 | 4GB,可扩展至8GB |
控制器数量 | 2个 |
主机端口/每控制器 | 8个1Gbps iSCSI |
磁盘数量 | 系统最大支持 96个磁盘 |
磁盘规格 | SATA硬盘:500GB/750GB/1TB (7200 rpm) SAS硬盘: 300GB/450GB/600GB(15000rpm) SAS硬盘:146GB/300GB/450GB(15K rpm) |
磁盘密度 | 12个/框 |
性能特性 | |
连接主机数量 | 256 |
LUNs | 512 |
RAID特性 | |
RAID支持能力 | 0、1、3、5、6、10、50 |
可靠性 | |
冗余保护能力 | 控制器、电源、风扇、UPS电池 |
热备盘 | 全局热备、磁盘预拷贝 |
掉电保护 | 支持掉电后将内存的数据写入硬盘,支持长时间掉电 |
主机兼容性 | |
操作系统支持 | Windows、Linux、Solaris、HP-UX、AIX、VMware |
软件特性 | |
主机多路径 | UltraPath多路径软件 |
增值软件 | 快照HyperImage、克隆HyperClone、复制HyperCopy、远程镜像HyperMirror等 |
管理特性 | |
管理界面 | ISM统一管理 |
SAN资源管理 | LUN动态调整 |
条带深度调节:4K/8K/16K/32K/64K/128K/ 256K/512K | |
故障告警 | 网管界面告警、可闻可见告警(故障灯、蜂鸣器)、短信、邮件等多种告警方式 |
远程管理 | 支持Modem拨号连接,命令行配置 |
日志功能 | 支持告警日志的实时显示、导入导出等功能 |
物理特性 | |
电源及功耗 | AC 100V~240V(50/60Hz),DC -48V~-60V, 340W |
尺寸(高*宽*深) | 86.1mm*446mm*536mm |
重量 | 20kg(不带硬盘) |
4. 方案技术优势
4.1. 高可靠性设计
4.1.1. 全冗余架构设计
S2600T存储在两个层面上实现了对数据的冗余保护,第一个层面:S2600T存储系统所有FRU器件均是冗余的,可以现场热插拔,没有单点故障。FRU器件,即现场可更换器件(Field Replace Unit),是现场进行维护的最小单元。第二个层面:S2600T存储实现了双控制器的双控双活保护,保证最重要的存储控制器没有单点故障。
在双控制器系统中,有以下两类典型的工作模式;
Active-Passive工作模式:又被称为主备模式,即任何时刻两个控制器中只有一个控制器处于激活状态,作为主控制器,用于处理应用服务器的I/O请求,而另外一个控制器处于空闲状态,作为备用控制器,以便在主控制器出现故障或者处于离线状态时及时接管其工作。
Active-Active工作模式:常被称为双活模式,即两个控制器都处于激活状态,可并行处理来自应用服务器的I/O请求,一旦某个控制器出现故障或离线,另一个控制器将及时接管其工作,且不影响自己现有的任务。可见,这种工作模式通过互为冗余备份来确保系统高可靠性的同时,它还具有均衡业务量、充分利用资源,提升系统性能等诸多优点。
S2600T存储系统完全支持Active-Active工作模式。为支持这种工作模式,S2600T存储有如下主要设计;
写数据镜像功能:写数据镜像功能的作用是避免控制器失效导致缓存的写数据丢失。S2600T存储的两个控制器中,都有一块写CACHE用于缓存主机写数据,也存在一块相同大小的镜像写CACHE用于缓存对端控制器写CACHE中的数据。在主机IO流写入存储系统一端控制器时,若开启了镜像功能,这些IO流将首先通过控制器间的镜像通道写入到对端控制器的镜像CACHE中,然后才写入本地CACHE中,在两端CACHE均完成数据写入后,才向主机返回写成功。镜像数据的删除,是在本次CACHE完成将数据刷入磁盘,数据已经安全后进行的。这样,任何一块没有写盘的数据都在两个控制器中有备份,当任何一个控制器出现故障后,其数据都会在另一侧控制器存在,真正实现数据的冗余保护。
在刀片服务器设计上,E6000刀片服务器的电源模块、风扇框、交换网板、管理板均采用冗余设计,系统中没有单点故障。集中供电,电源N+N或N+1冗余。集中散热,风扇N+N冗余,双层设计,任何风扇故障,仍可支持系统长期可靠运行。E6000采用电信级环境规格,支持0-40度环境,保证服务器在恶劣环境下长期可靠运行;电信级无源背板,背板上没有有源器。
4.1.2. 全局热备盘提升系统可靠性
热备盘是指在配置硬盘阵列系统的时候,将其中一个硬盘指定为后备硬盘,这个硬盘平常并不响应主机的业务需求。但是,当阵列中某一硬盘发生故障时,硬盘阵列会用后备硬盘取代故障硬盘,并自动将故障硬盘的数据重建于后备硬盘内。
对于大型数据处理中心或控制中心而言,热备盘是一项重要保障手段,可避免夜间或无人守护时段出现硬盘故障所引起的数据安全隐患。
热备盘分为全局热备盘和局部热备盘两种类型:全局热备盘针对整个硬盘阵列,对阵列中所有RAID组起作用。局部热备盘只归属于某一个RAID组或一个框,其他RAID组或框无法使用。相对于局部热备盘,全局热备盘可以提升系统的可靠性:
S2600T采用全局热备盘技术。在一个框或RAID组内有盘故障时,会立即占用一块热备盘顶替此故障盘。在故障盘没有更换完成前,如果再发生硬盘故障,全局热备盘就可以立即使用其他RAID组空闲的热备盘,保证了系统的可靠性。
4.1.3. 掉电Cache数据可安全写入硬盘
华为S2600T存储系统设计数据保险箱和UPS掉电保护技术。系统采用独有的数据保险箱设计(前4个盘为保险箱盘,每块硬盘13GB空间做数据保险箱,存放配置信息和Cache掉电保护数据)。系统缓存中的数据在意外紧急掉电时,采用UPS对内存和控制框前四块硬盘供电,Cache中没有写入硬盘的数据,会及时写到数据保险箱中,数据保险箱中业务数据做1+1镜像备份,保证存储数据的一致性,提高数据的可靠性。
4.1.4. 坏道修复功能降低硬盘故障率
SATA盘故障率比较高,而视频监控业务压力大,7*24小时运行,在此业务场景下SATA盘很容易损坏。经过华为公司对大量局点的统计,视频监控业务场景下硬盘的故障主要是由于针对硬盘的反复不停的写而造成的硬盘坏道,占了总硬盘故障的58.97%,S2600T针对此场景提供了专用的坏道修复功能。在硬盘发生坏道的时候,通常情况下我们只能让RAID组降级,利用热备盘替掉有坏道的盘,但实际上此坏盘其余空间都是好的,而且硬盘还有一定的保留扇区(5%)可以修复此故障。此场景下S2600T利用RAID校验功能,将坏块对应位置的数据计算出来,并利用硬盘的写修复机制,用保留扇区中的硬盘介质来顶替坏道,实现硬盘的修复,延长了硬盘的使用寿命。使用该特性后S2600T针对视频监控的硬盘的故障率从4.33%下降到2.12%,下降了50%。
从可靠性角度考虑,S2600T不会无限制修复,达到一定的阈值后会自动启动拷贝式重构主动将此盘替换。
4.1.5. 风扇智能调速提升系统可靠性
S2600T存储系统在系统所有热敏位置都布置了温度监控部件,通过这些部件实时监控系统中各个产生热敏位置的温度,根据温度的高低平滑的调控风扇转速
l 可以有效防止系统过热,造成不稳定
l 风扇不用每时每刻都工作在高转速状态,降低了风扇的故障率和能耗
l 有效减少灰尘的进入、提高了系统的可靠性
4.1.6. 选用专用器件保障系统高可靠性运行
S2600T采用的器件全部都是针对7×24小时长时间大压力的运行而设计的,所以在器件可靠性方面做了如下设计:
1、 所有器件都进行了降额设计,降低了器件失效率。
2、 所有器件都选用优选器件(经过批量应用,可靠性好的器件),避免高故障率器件影响系统可靠性。
3、 选用的内存采用如下技术,提升了可靠性。
a) 采用带ECC(Error Checking and Correcting)技术的服务器专用内存,使得数据在系统中传输时如果发生错误能及时检查出来并立即恢复,确保数据安全正确的保存下来;
b) 采用SDDC技术,使得即使内存单颗粒失效,数据仍然可用;
c) 采用Scrubbing技术,对内存做自动扫描,及时发现内存数据错误,一旦发现错误用ECC来纠错,避免错误累积造成2bit错误,导致无法挽回的数据丢失
4、可以适应严酷的环境温度:所选芯片可以满足0到85度的工作环境,;而通过产品实测,S2600T可以在低温-30摄氏度的情况下连续工作12小时。
4.1.7. 系统上电可靠性设计
系统上电时往往是系统最脆弱的时候,供电恢复后系统也需要自动重新启动,并按故障前的配置状态正常工作;S2600T采用了下述技术来保证系统的可靠性:
单板上电自检:上电时对系统部件做可靠性检测,防止系统带故障运行,影响系统的可靠性。
软件加载前对数据进行正确性校验:系统使用多份配置数据,每份配置数据均有完整性校验,当校验不正确时,会舍弃错误的配置数据,选择正确的配置数据加载。
控制器Firmware双版本设计:每个控制器配置两个Firmware版本,控制器的当前版本Firmware引导故障后,可以回退到前1个Firmware版本,保证系统的正常运行;即使控制器本地Firmware故障,还可以通过对板控制板将正确的Firmware同步过来。
4.1.8. 后端磁盘链路冗余设计
存储阵列中最主要的部件就是硬盘,同时硬盘也是最容易故障的部件,而且如果处理的不好,单个硬盘的故障往往会扩散到整个后端硬盘链路,所以S2600T采用了下述方法来保证后端硬盘链路的可靠性:
(1)拔插盘时,后端链路的抖动是不可避免的,为避免此时链路不稳定对系统造成影响,我们会及时检测到链路上的事件,并把IO暂时悬挂,当检测到链路稳定后,才重新将IO下发下去。
(2)检测到硬盘链路故障时(比如发生误码),会把此硬盘链路隔离,避免影响其他硬盘,并通过DMP(硬盘环路冗余)技术访问硬盘的另一个端口。
(3)当整个链路发生故障时,整条链路会被及时隔离,后端业务通过DMP走对板访问硬盘。
4.2. 提供更好的节能效果
4.2.1. 服务器基础设施低功耗
4.2.2. 智能硬盘加电技术降低启动能耗
存储系统的硬盘数量一般都比较多,在上电时如果硬盘同时上电,会对供电产生极大的影响,甚至会引起电流过载,跳闸等严重的事故。OceanStor S2600T存储系统在设计时充分考虑到这一点,采用了智能化硬盘加电技术,即硬盘缓上电技术,以降低对电源供电的要求。
当硬盘框整体上电时,所有硬盘进入缓启动模式,即系统采用循环扫描的专有算法控制每个硬盘的上电顺序,以减缓电源的压力。在系统正常运行过程中,单个硬盘的上电恢复为快速启动方式,以确保热插拔的硬盘的及时上电。
4.2.3. 使用智能风扇调速技术降低系统能耗
S2600T支持智能风扇调速,减少风扇长期工作中高转速下带来的能耗损失。
S2600T系统中的一个风扇高速时功耗为32瓦,低速时为7.5瓦,在常温环境下(环境温度为5度至30度),风扇会工作于低速,所以一个风扇可以节电:
32-7.5=24.5W
每套S2600T系统配置两个风扇,所以每套S2600T系统可以节电:
24.5×2=49W
4.2.4. 倍速风道技术降低系统能耗
S2600T存储系统的通过优化的风道的开口位置、开口比例等参数,根据流体力学原理进行精确的模拟仿真,使风道散热效率提高2倍。
4.2.5. 智能磁盘休眠技术和最佳唤醒时间
S2600T支持三种硬盘休眠模式:智能休眠模式,定时休眠和唤醒模式,主机API模式,供用户在不同使用场景下选择;
智能休眠模式:用户可以设置无IO后定时休眠的时间,存储系统在收到最后一个IO开始计时,到设置的时间间隔内,如果RAID组没有收到主机下发的IO访问,整个RAID组就会启动硬盘休眠,RAID组所有硬盘进入休眠状态。
当有业务下发给存储阵列的RAID时,RAID组的所有硬盘能够在10秒内被唤醒激活,恢复主机对阵列的正常访问。
定时休眠和唤醒:根据阵列各个RAID组的业务应用情况,通过界面设定每个RAID组休眠的起始时间,阵列会按照设置时间自动将指定的RAID组进入休眠和唤醒状态。
主机API模式:在主机提供命令接口,可以实现对指定RAID组休眠和唤醒,主机应用程序可以根据业务应用情况,在没有IO时,调用API将指定的RAID组休眠;并在IO即将到来时,调用API唤醒指定的RAID组。
当有视频数据需要保存或读取到休眠的RAID组时,休眠的硬盘应该尽快恢复,否则一方面造成业务长时间挂起,而且还可能造成主机由于数据拥塞而宕机。S2600T通过其特有的算法,实现10秒即可恢复业务,达到业界最佳(一般厂家只能支持到1分钟唤醒)。
4.3. 易用性好的统一存储管理平台
华为集成存储管理软件(ISM)是一款针对OceanStor存储系列进行设备发现、监控、配置和管理的集中统一存储管理系统,该系统通过安全便捷的GUI管理界面、快速安装、向导操作、默认配置、告警屏蔽等人性化的设计帮助您轻松迈入OceanStor的存储世界。
ISM提供端到端一体化的存储管理解决方案。同时提供多种灵活的开放管理接口,包括支持SNMP标准接口、CLI接口等一系列对外开放接口,方便统一管理及与其它管理软件的无缝集成,为用户的特定管理场景提供定制化的管理方案。
如图,统一管理平台使用ISM集成存储管理软件,部署于管理服务器上。ISM本身提供完备的存储阵列统一管理功能。ISM通过SNMP协议与阵列上的SNMP Agent通信。ISM能实现的统一管理功能包括:
4.3.1. 拓扑展示
提供全网存储阵列的拓扑展示,阵列的状态等实时在拓扑图中反映和展示。直观展示设备网络层次和关系。
4.3.2. 统一管理
1)提供全网的统一集中管理,对全网中的所有OceanStor S2600T提供统一的管理,在一个管理入口完成所有的管理操作,包括:
2)统一的用户管理,提供所有设备统一的用户管理和鉴权功能。
3)统一的性能监控,提供所有设备的实时存储系统性能监控功能,包括前端端口IOPS、带宽、读写IO比率、延迟、误码率、卷IO等。
4)统一的告警管理,提供所有设备统一的告警的管理功能, 并能将告警信息直观地反映到设备图上。
5)统一的存储设备组件状态监控功能,实时的监控所有存储设备状态变化并图形化展示。
4.3.3. 管理简单易用
1)方便的管理手段:基于web,直接通过浏览器即可访问,支持IE6、IE7、Firefox3.5。
2)设备发现:支持指定IP、网段、子网等多种方式进行设备发现。
3)配置方便:通过图形化界面,可对存储设备各项功能(如RAID划分,快照,LUN分组等)配置和管理。
4)维护方便:支持通过Modem拨号进行远程管理,增强了管理维护的及时性;支持图形化GUI及命令行CLI管理方式,丰富了管理维护的灵活性;主要模块及磁盘组件支持热插拔,减少了维护复杂性。提供全方位的日志、分级告警,从而提升了管理维护的问题定位手段;设备丰富的监控功能(业务链路、风扇、电源、温度等),让管理员对设备的一切尽在掌控。
5)告警上报提供多种选择,保证告警信息能及时准确的传递到客户手中:S2600T存储系统在提供传统的声光、邮件等告警模式的基础上,还创新的提供了短信告警模式,确保设备故障信息能够最及时的发送到设备维护人员甚至是厂家的维护工程师,不会让任何一个故障信息被忽视或遗漏。
4.3.4. 特有的自动化管理
ISM的自动化运维管理,可手动或基于策略自动收集设备的软、硬件及业务状态信息,然后分析、生成巡检报告,并将巡检结果通过邮件方式通知管理员或厂家的维护工程师,尽早的发现问题或潜在风险,及时消除隐患,确保业务连续性。
4.4. 自主创新的产品设计
经过多年的持续投入和潜心研究,华为在存储领域积累了比较深厚的经验,通过同步跟踪存储技术的发展动态和IT行业的发展趋势,充分分析用户对存储的需求,采用成熟的IT技术架构,融入节能、高可靠、高可用、易管理等设计理念,于2007年成功推出OceanStor S2600T IP SAN存储阵列,主要应用于视频监控等企业级存储应用。
S2600T存储系统采用了多项领先存储技术,如一体化UPS掉电保护技术、主机端口模块化设计技术、磁盘预拷贝技术、数据保险箱技术、全局热备盘、Cache数据镜像技术、高密技术、交直流供电技术等。融合了多项核心专利技术,如磁盘智能预取专利技术、磁盘节能专利技术,达到业界领先水平。
自主研发的一体化UPS掉电保护技术,在系统内置冗余UPS模块,掉电后将Cache中的数据写入磁盘,既具备体积小、成本低、冗余设计的优点,同时保证掉电后数据永不丢失。
自主研发的Cache智能预取专利技术,通过识别主机读取模式,预测即将访问的数据,预先从磁盘读出即将访问的数据,来加速系统性能。根据主机读取模式变化,不但动态起停预取过程,而且动态改变预取大小。
自主研发的磁盘节能专利技术,依据业务负载,让磁盘智能休眠或动态降速,能降低40%的能耗。支持有三种工作模式:智能休眠模式,定时休眠和唤醒模式,主机API模式。
5. 系统实施方案
5.1. 工程安全实施与验收方案
5.1.1. E6000刀片服务器工程安装实施
1. 机柜要求
E6000机箱尺寸为846mm x 482.6mm x 353mm(长x宽x高),可安装在满足IEC297标准的宽19英寸、深1000mm通用机柜。
为了通风和便于设备维护,机柜放置时确保机柜前后门都要留有800mm的空间。
工作温度:+10℃~+35℃
工作湿度:8%~80%
机房应有避雷针、避雷带等防止雷击装置,其防雷接地(避雷针等装置的接地)应与机房的保护接地共用一组接地体。
机房采用联合接地(产品的工作地、保护地和防雷地合用同一个接地体),机房内各种通信设备、通信电源应尽量合用同一个保护接地排,机箱接地电阻小于5Ω。
机房接地排到机房地网应可靠连接。可采用40 x 4mm以上镀锌扁钢;或者截面积95mm²以上的线缆,其长度不应超过30m。扁钢和线缆都应进行绝缘防腐处理,出土部分有机械损伤保护,中间不能有断点接续。
施工前需准备的工具仪表,如下表所示:
图示 | 名称 | 说明 |
---|---|---|
浮动螺母安装条 | 用于牵引浮动螺母,使浮动螺母安装在机柜的固定导槽孔位上。 | |
十字螺丝刀 | 用于固定螺钉。 | |
一字螺丝刀 | 用于固定螺钉。 | |
斜口钳 | 用于剪切绝缘套管、电缆扎线扣等。 | |
水晶头压线钳 | 用于压接电话线及网线水晶头连接器。 | |
测线器 | 用于测试网线。 | |
卷尺 | 用于测量距离。 | |
万用表 | 用于测量电阻、电压,检查导通关系等。 | |
防静电腕带 | 用于接触或操作设备和器件,可防止静电放电。 | |
劳保手套 | 用于保护双手或操作设备等。 | |
防静电手套 | 用于插拔单板、手拿单板或其他精密仪器等,可防止静电放电。 | |
线扣 | 用于绑扎线缆。 | |
梯子 | 用于高处作业。 |
6. 人力需求
由于E6000机箱体积和重量都较大,安装机箱需要至少2名安装人员。
同时,由于本设备的安装和维护中涉及高能线路,必须由经过专业培训的服务器技术支持人员实施安装和操作。
在安装机箱之前,需要提前规划机箱安装位置,避免因为机箱位置规划不合理而需要重新安装。
在19英寸标准、高42U机柜中,在输入功率有保证的前提下,可以安装多达5个E6000机箱。
在安装和使用服务器时,需要充分考虑安装和使用过程中的可靠性要求。
机箱重量大,只能在空机箱(可带槽位假面板)的情况下搬运,严禁带服务器刀片和电源搬运,否则容易造成重心不稳摔坏设备,并造成人身危害。
往机柜上安装设备时应按照从下到上的顺序,使机柜重心稳定。
安装槽位的选择,需遵循有利于散热的原则,所有槽位需要配置相应组件(模块)或假面板。
确认机箱、机柜、机房周围有足够的空间,没有阻挡气流的障碍物,以保证空气流通和散热。
替换热插拔模块应不超过1分钟。
保证服务器周围有足够的通风空间。
保证空气流通,移除阻挡风扇的障碍物。设备运行时不要阻塞通风口,通风口离最近的物体至少有5cm距离。
保证服务器远离机房的磁化物品,例如磁化螺丝刀。
确保环境温度、湿度满足服务器的正常运行要求。