123
返回列表 发新帖
楼主: keaide

数据库与存储架构

[复制链接]
论坛徽章:
456
ITPUB年度最佳版主
日期:2011-12-28 15:24:18马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14ITPUB年度最佳版主
日期:2014-02-19 10:05:27优秀写手
日期:2013-12-18 09:29:09ITPUB社区千里马徽章
日期:2013-06-09 10:15:34ITPUB年度最佳版主
日期:2013-01-30 17:30:25版主9段
日期:2012-07-03 02:21:03
21#
 楼主| 发表于 2006-8-6 23:26 | 只看该作者
HP StorageWorks Modular Smart Array 1500
控制器缓存 每个控制器标配256 MB
每个SCSI模块主机端口数 2个可用端口,一个用于连接SCSI或SATA,另一个端口只可用于连接SATA
主机接口 2 Gb光纤通道
每个控制器主机端口数 每个控制器1个光纤通道I/O模块;可以与第二个控制器一起添加第二个光纤通道I/O模块,以便实现冗余和故障转移  
RAID级 RAID ADG(高级数据保护);RAID 5;RAID 10; RAID 0  
支持的最大磁盘数 8个机柜内有96个 SATA磁盘,或者4个机柜内有56个SCSI磁盘;同一控制器支持混合使用SATA和SCSI机 柜,但在同一个SCSI I/O模块上则不能混合使用  
持续I/O和MB吞吐率 30000 IOPS,200 MB/s数据传输率
环境监测 有,监测控制器托架内的电源、风扇、温度  
管理软件 HP Systems Insight Manager;Selective Storage Presentation (SSP); Array Configuration Utility (ACU)  


联想SureFibre620
RAID控制器 2个控制器  
控制器高速缓存 最大2GB 缓存  
主机接口 4个2 Gbps光纤通道仲裁环路(FC-AL)  
I/O事务处理 100000 IOPS  
支持的驱动器 160 GB或250 GB的7200 RPM的SATA驱动器
RAID级别 RAID 5等  
支持的最大驱动器数 14个
支持的最大容量 2 TB/最多8个阵列柜级联可提供17 TB
管理软件 SANtricity Storage Manager、SANtricity、SANtricity Storage Manager
OS支持 支持Microsoft Windows、Linux和Novell NetWare
存储设备分区 SANshare分区功能可以把一套SF620划分成4~64个虚拟存储系统


Dell/EMC AX100
RAID控制器 1个或2个控制器
控制器高速缓存 每个存储控制器子系统带有256 MB缓存
主机接口 2 Gbps光纤通道仲裁环路(FC-AL)
支持的驱动器 160 GB或250 GB的7200 RPM的SATA驱动器
RAID级别 RAID 5等
支持的最大驱动器数 12个
支持的最大容量 3 TB
管理软件 用于存储容量配置、自动故障转移和快照功能的捆绑管理软件
OS支持 支持Microsoft Windows、Linux和Novell NetWare

架构SAN需三步走
对于一个中小企业来说,由于受到资金压力,要采取分次分批逐渐完善的策略来搭建存储系统,提升企业的投资保护和回报率。SAN的网络存储架构可以实现数据的安全高效存储,在搭建SAN的存储架构时,富士通公司认为可以根据自己的实际资金和应用情况分三步来实现。

第一步,在双机集群的数据库系统中,可以通过在主机端安装光纤接口卡(HBA)分别直接连接到一个光纤存储的两个接口上,构成一个最简单的存储架构。在搭建了整个存储架构后,通过增加光纤通道交换机就可以将其它应用的服务器纳入到这个SAN的网络中,实现数据的统一存储和共享。

第二步,在实现了简单的SAN存储架构后,通过增加一个8口的光纤交换机,将数据库服务器和光纤存储连接起来,同时可以对其它应用服务器增加光纤接口卡,将它们接入到同一个SAN网络中,实现数据的集中存储和数据共享,同时为今后数据级的容灾奠定基础。

第三步,可以增加一台光纤交换机,并且为服务器增加光纤接口卡,服务器和存储通过交叉连接到两台光纤交换机实现全冗余存储访问结构,最终完成存储系统的建设。

在SAN存储架构中,由于网络存储的特点,这要求选择的磁盘阵列,必须支持异构平台的连接,并且具有完善的存储访问控制机制,富士通公司的Eternus 3000磁盘阵列系列可以满足SAN的存储要求。

使用道具 举报

回复
论坛徽章:
456
ITPUB年度最佳版主
日期:2011-12-28 15:24:18马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14ITPUB年度最佳版主
日期:2014-02-19 10:05:27优秀写手
日期:2013-12-18 09:29:09ITPUB社区千里马徽章
日期:2013-06-09 10:15:34ITPUB年度最佳版主
日期:2013-01-30 17:30:25版主9段
日期:2012-07-03 02:21:03
22#
 楼主| 发表于 2006-8-6 23:26 | 只看该作者
两个模块管5TB数据——新华人寿保险的存储解决方案
新华人寿保险目前保存着几百万用户的原始保险单据,并且每周还要平均新增加4000份新文件,这些单据和文件在保险合同有效期内需要妥善保存,并要随时准备调出查阅。由于纸面文档在保存和检索方面过于麻烦,而且多次调阅容易使文件破损,故新华人寿保险决定将原始单据扫描后变成数字文件的方式进行保存和检索,纸面单据只用做最终证据。

新华人寿保险的一个用户会产生大约5~10张不等的原始单据,总数据量在5 TB左右。根据新华人寿保险的业务特点,其存储的数据具有三个特点:静态(文件一旦产生就不会再做修改,以归档方式存储)、在线(文件随时在线以利于前端业务系统的查询)、在线数据访问量很小。也就是说,新华人寿保险属于典型的HSM方案用户。

根据未来数据存储系统的管理层级,新华人寿保险将整个DX方案也分为两个功能相对独立的模块:Data Manager和Media Service。Data Manager用来管理用户的一级存储设备(硬盘阵列),以及将所有用户数据级别的划分和数据迁移策略。Media Service用来管理用户网络上所有的存储设备,包括磁带,光盘等等。其主要功能是在这些外部存储设备上创建文件系统,使用户可以透明的访问到这些空间。

新华人寿原来保存在纸张上的文件经转换变成数字文件后,先保存在Data Manager的硬盘阵列上。然后由系统管理员根据自身的需求,制定合适的数据迁移规则。当这些规则发生作用时,保存在Data Manager上的数据将被迁移到连接在Media Service上相应的存储设备上。

在数据被迁移到了这些外部存储设备上之后,Data Manager仍然在本地的硬盘阵列中提供MTF记录(信息目前所在的位置),使得需要访问这些数据的客户端,仍可以直接对这些数据进行透明地访问,从而满足了用户的第一个要求。

由于新华人寿保险整个DX系统采用了将一级存储设备(硬盘)和二级存储设备(DVD-RAM光盘)结合使用的方式,使那些二级存储设备将原有的方便扩容的性能带进了这个存储空间,对磁带这类设备的扩容只需要简单添加设备就可以实现,降低了硬盘扩容的周期,满足了新华人寿保险对系统的容量扩容要求。

背景资料
截至2003年上半年,新华人寿保险股份有限公司共有29家分公司和65家中心支公司,营销服务部达到381家,营销业务规模人力85000多人,银行代理网点达到12559个,客户群数量127万人,年度保费突破100亿元,市场份额占4.81%,目前完成了全国性机构战略布局,跨入了全国大中型寿险公司的行列。

使用道具 举报

回复
论坛徽章:
456
ITPUB年度最佳版主
日期:2011-12-28 15:24:18马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14ITPUB年度最佳版主
日期:2014-02-19 10:05:27优秀写手
日期:2013-12-18 09:29:09ITPUB社区千里马徽章
日期:2013-06-09 10:15:34ITPUB年度最佳版主
日期:2013-01-30 17:30:25版主9段
日期:2012-07-03 02:21:03
23#
 楼主| 发表于 2006-8-6 23:26 | 只看该作者
在线扩容至32.7TB——中国矿大图书馆应用大容量存储系统
中国矿业大学(以下简称矿大)的图书馆藏书169万余册,并且已经有了维普期刊和学术论文库等应用,但目前的存储系统采用的是直连SCSI磁盘柜的方式,数据扩容和增加新应用都比较困难,矿大图书馆准备采用全光纤产品搭建一套新的SAN存储环境。根据实际应用的需求和投资预算,联想向用户推荐了一套基于联想SureFibre920磁盘阵列柜的存储系统,该系统可以在线扩容至32.7TB的存储容量,满足大容量数据存储的需求。

以前,矿大图书馆已经有两台SCSI阵列用于“重庆维普期刊”和“清华CNKI”的应用,同时一个光盘塔用于学位论文的数据库应用,这三台存储设备的存储空间都已经基本用完,而矿大图书馆为了满足日益增长的应用需求,准备对现有的三个应用进行大规模的扩容,并且要新增“书生之家”和一些VOD应用。就现有的存储系统而言,无论是容量的可扩展性还是性能上都无法满足现有应用的需要,因此矿大图书馆迫切需要重新建设一套新的存储系统,该存储系统必须具备大容量、高性能、易扩展、稳定性高等特点,才能满足矿大图书馆数图应用不断发展的需要。

联想SF920光纤磁盘阵列柜通过联想-Brocade3200光纤交换机构成一套SAN存储系统的整体方案。矿大图书馆有两个机房,相距大约50m,五台服务器分别摆放在两个机房内,有两台服务器要通过50m长的光纤跟另外一个机房的存储相连。该存储方案采用了联想高端光纤磁盘阵列SF920作为整个存储系统的核心设备,并且通过光纤交换机和2G的传输光纤构建成一套SAN系统,其Cache读写带宽达到了772MB/S,从DISC的读带宽也有400MB/S以上,适合大型的数图和视频点播应用。

联想SF920的所有部件均是冗余设计,不存在任何单点故障,保证设备长时间稳定的运行。由于采用了全光纤设计,所有的操作都可以在线进行,并且在使用多模光纤的情况下就可以达到500m的连接距离,如果采用单模光纤,距离可以达到10 km。

目前,该系统已经在矿业图书馆安装调试完毕,所有的应用数据都已经迁移到联想SF920上,各种应用都已经正常运行为全校师生提供服务。新系统不但存储空间得到了较大的扩容、添加了新的应用、设备性能提升了,而且还解决了服务器和存储设备长距离连接的问题,同时为今后数图应用的进一步发展提供了良好的存储环境。

快速恢复免重安装——山东师范大学完成图书馆存储系统建设
在山东师范大学图书馆的存储系统规划设计中主要以现有服务器、磁盘阵列和其他存储设备为基础,构架一个全新的数据存储模式,突出以数据为中心的理念;同时,兼顾考虑原有存储资源的合理利用。山东师范大学图书馆选择了富士通公司的存储解决方案,该系统通过灾难恢复可使系统在灾难发生后不需要重新安装操作系统便可恢复正常运行状态,包括恢复操作系统、应用软件、系统设置、分区的信息和数据。

使用道具 举报

回复
论坛徽章:
456
ITPUB年度最佳版主
日期:2011-12-28 15:24:18马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14ITPUB年度最佳版主
日期:2014-02-19 10:05:27优秀写手
日期:2013-12-18 09:29:09ITPUB社区千里马徽章
日期:2013-06-09 10:15:34ITPUB年度最佳版主
日期:2013-01-30 17:30:25版主9段
日期:2012-07-03 02:21:03
24#
 楼主| 发表于 2006-8-6 23:26 | 只看该作者
在方案中,图书馆采用了富士通公司的两台小型机(PrimePower450)作为图书馆ILAS系统关键性业务的双机热备的高可用性应用平台,内部系统做到磁盘镜像保护,分别承担保护系统盘与应用盘,并通过富士通公司的机群软件SynfinityCluster对小型机进行集群管理。通过采用2台Brocade SilkWorm 3200 光纤交换机与2台富士通小型机PrimePower450及磁盘阵列Eternus 3000 M200组成一个无单点故障的SAN架构存储。

为了利用原有的设备,通过ATTO 2300R桥接器与图书馆原有DA8400磁盘阵列连接,通过ATTO 2300R桥接器将DA8400磁盘阵列的SCSI协议转换为Fibre Channel协议,这样DA8400就可以作为一台光纤盘阵连入了SAN存储网络并作为整个方案中的数据备份中心实现Lan-Free备份功能。

另外,为了缓解图书馆系统文件数据的存储,配置了一台NAS机头Netstreamer NAS 2151与图书馆原有的磁盘阵列DA3500连接组成NAS存储系统,并将Netstreamer NAS2151+DA3500与SAN相连实现SAN+NAS存储结构的融合。NAS存储通过HBA卡与SAN交换机相连,并通过NAS服务器自带的千兆网卡与图书馆局域网相连。

方案采用的主要软硬件


交换机:2台Brocade SilkWorm 3200 光纤交换机

小型机:2台Fujitsu PRIMEPOWER 450小型机

光纤盘阵:Fujitsu Eternus 3000 Model 200光纤磁盘阵列(51块146GB硬盘)

NAS 存储:Netstreamer NAS2151

双机热备软件:Fujitsu SynfinityCluster集群软件

存储备份管理软件:CA Brightstor ARCserve Backup V9备份软件

集群软件:Microsoft Windows server 2003 Enterprise

使用道具 举报

回复
论坛徽章:
0
25#
发表于 2006-8-7 01:18 | 只看该作者
感觉楼主写的太理论化了,开始的时候我一直搞不清楚楼主说的这些,但是后来和几个大公司合作过几个项目以后基本就了解了,也许不做几个项目,是无法很好理解这些理论的
最简单的,为什么redo log数据块要小,但是要作raid0?为什么要把log buffer设置不能太大,却也不能太小?

而且楼主似乎有个地方弄错了,
redo log是用来重做数据的,而不是用来撤销数据的,redo log和undo log一定要分清楚,undo log才是用来撤销操作的。
其实,一般来说,只有oracle采用redo log的说法,他和undo log的作用是这样的
如果我作了一个update操作,但是我没有commit,这时候我的操作在undo log中,如果我rollback,那么是从undo空间中来提取数据rollback的。
如果我数据库出问题了,我用某种方法恢复到过去的某个时刻(比如我用镜像恢复到昨天晚上),这时候我需要redo log来恢复到出错的时刻
也就是说undo log是像前的,redo log是向后的。他们正好相反(如果希望了解更多,建议参加oracle的ocp培训)。
如果非常了解这些机制,就能很好的回答我上面的问题,设置太大如果出错,可能丢失过多数据,但是太小就会频繁物理写,这样会降低性能。

使用道具 举报

回复
论坛徽章:
9
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44生肖徽章2007版:鸡
日期:2008-01-02 17:35:53生肖徽章2007版:鼠
日期:2008-01-02 17:35:53生肖徽章2007版:猪
日期:2009-03-10 21:17:25生肖徽章2007版:猴
日期:2009-03-10 21:23:27生肖徽章2007版:牛
日期:2009-03-10 21:26:49生肖徽章2007版:鸡
日期:2009-03-10 21:36:09ITPUB8周年纪念徽章
日期:2009-09-27 10:21:22祖国60周年纪念徽章
日期:2009-10-09 08:28:00
26#
发表于 2009-3-27 13:32 | 只看该作者
最好是通过一个实际生产系统里面的例子,并结合Oracle数据库,讲一下网络存储架构以及硬件存储方面的内容,我想这些东西会更实际一些

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表