查看: 21004|回复: 54

[每周一议] 如何在海量数据环境下,搭建分布式数据库系统。

[复制链接]
认证徽章
论坛徽章:
139
2009日食纪念
日期:2009-07-22 09:30:00ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21祖国60周年纪念徽章
日期:2009-10-09 08:28:002010年世界杯参赛球队:葡萄牙
日期:2010-01-18 09:23:302010年世界杯参赛球队:意大利
日期:2010-01-21 07:30:192010年世界杯参赛球队:南非
日期:2010-01-22 09:48:242010年世界杯参赛球队:加纳
日期:2010-02-13 16:34:422010新春纪念徽章
日期:2010-03-01 11:04:572010年世界杯参赛球队:斯洛伐克
日期:2010-05-21 11:24:312010年世界杯参赛球队:塞尔维亚
日期:2010-06-30 13:43:14
发表于 2012-4-10 11:36 | 显示全部楼层 |阅读模式
    近年来很多企业面临着数据量暴增的局面,如何根据企业自身的业务情况,设计一套切实可行的数据库系统,变得越来越重要了。
针对海量的数据,流行的做法是采用分布式数据库架构的解决方案。

    在这样的架构下,应该如何设计,如何选择产品,变得至关重要,欢迎大家就下面几的话题展开讨论。

    如果要设计一套分布式数据库,我们:

1.需要考虑哪些因素?
2.采用那些产品?
3.设计什么样的架构?
......


招聘 : 数据库管理员
认证徽章
论坛徽章:
83
IT宝贝
日期:2013-11-15 18:40:242015年新春福章
日期:2015-03-06 11:57:31美羊羊
日期:2015-03-04 14:48:58马上加薪
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11
发表于 2012-4-10 11:39 | 显示全部楼层
欢迎大家参与本周的oracle板块讨论活动哦,本期讨论活动邀请到 资深版主alantany来主持!alantany即将在 2012数据库技术大会4.14下午-专场3:分布式大数据架构设计专场 中,进行主题演讲“海量数据环境下的Oracle数据库系统架构设计和优化思路”,欢迎大家关注哦!

本次参与讨论的puber,将获得什么礼品呢??讨论一周后将选出 5位 积极参与讨论的会员,赠予alantany版主的著作《让Oracle跑的更快2-基于海量数据的数据库设计与优化》,欢迎大家积极参与此次讨论活动!

使用道具 举报

回复
认证徽章
论坛徽章:
67
现任管理团队成员
日期:2012-06-02 02:10:00ITPUB元老
日期:2012-09-12 14:06:14ITPUB社区千里马徽章
日期:2013-06-09 10:15:34季节之章:冬
日期:2012-09-04 11:05:30季节之章:春
日期:2012-09-05 09:20:36优秀写手
日期:2013-12-18 09:29:09马上有房
日期:2014-04-10 13:35:362014年新春福章
日期:2014-04-14 09:54:08马上有车
日期:2014-02-28 16:43:13马上加薪
日期:2014-02-19 11:55:14
发表于 2012-4-10 11:51 | 显示全部楼层
我不是来砸场子的
不过,我感觉现在做集中化的越来越多了...

使用道具 举报

回复
认证徽章
论坛徽章:
67
现任管理团队成员
日期:2012-06-02 02:10:00ITPUB元老
日期:2012-09-12 14:06:14ITPUB社区千里马徽章
日期:2013-06-09 10:15:34季节之章:冬
日期:2012-09-04 11:05:30季节之章:春
日期:2012-09-05 09:20:36优秀写手
日期:2013-12-18 09:29:09马上有房
日期:2014-04-10 13:35:362014年新春福章
日期:2014-04-14 09:54:08马上有车
日期:2014-02-28 16:43:13马上加薪
日期:2014-02-19 11:55:14
发表于 2012-4-10 11:53 | 显示全部楼层
本帖最后由 kelsoncong 于 2012-4-10 12:02 编辑

如果做分布式的话,首先需要对数据做个有效的划分, 可以通过地区属性或者其他类似属性做水平扩展,把不同地域的数据放在不同数据库上。 但是这种水平分割应当尽量避免跨区的访问。或者设计一个数据中心,把各个区中和报表相关的汇总数据抽取到仓库里面去,提供报表。
这样的做法在联机游戏中非常常见,比如魔兽世界,fifa on line等

使用道具 举报

回复
认证徽章
论坛徽章:
67
现任管理团队成员
日期:2012-06-02 02:10:00ITPUB元老
日期:2012-09-12 14:06:14ITPUB社区千里马徽章
日期:2013-06-09 10:15:34季节之章:冬
日期:2012-09-04 11:05:30季节之章:春
日期:2012-09-05 09:20:36优秀写手
日期:2013-12-18 09:29:09马上有房
日期:2014-04-10 13:35:362014年新春福章
日期:2014-04-14 09:54:08马上有车
日期:2014-02-28 16:43:13马上加薪
日期:2014-02-19 11:55:14
发表于 2012-4-10 12:00 | 显示全部楼层
或者做垂直分割,根据时间或者类似属性把数据分割到不同数据库上去,基本架构是一台在用服务器支持读写操作,几台历史服务器提供数据查询,一些转储脚本定期把数据从在用服务器迁移到历史服务器上去...

使用道具 举报

回复
论坛徽章:
30
红宝石
日期:2012-10-10 14:50:58技术图书徽章
日期:2017-08-17 11:00:25奥运会纪念徽章:举重
日期:2016-09-18 11:29:42马上有钱
日期:2014-04-17 16:12:27马上加薪
日期:2014-03-31 14:47:51技术图书徽章
日期:2014-03-31 10:52:30优秀写手
日期:2013-12-18 09:29:162013年新春福章
日期:2013-02-25 14:51:24蓝锆石
日期:2012-10-10 14:50:58萤石
日期:2012-10-10 14:50:58
发表于 2012-4-10 12:36 | 显示全部楼层
感觉我们公司的分布式做得挺好的。。。

每个数据库都不算太大,但环环相扣,各种数据库产品都用。

但是具体怎么运作和设计的。。。我就说不上来了。道行太浅了。。那是构架的工作。这也是我努力的方向之一。

向高手学习经验

使用道具 举报

回复
认证徽章
论坛徽章:
139
2009日食纪念
日期:2009-07-22 09:30:00ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21祖国60周年纪念徽章
日期:2009-10-09 08:28:002010年世界杯参赛球队:葡萄牙
日期:2010-01-18 09:23:302010年世界杯参赛球队:意大利
日期:2010-01-21 07:30:192010年世界杯参赛球队:南非
日期:2010-01-22 09:48:242010年世界杯参赛球队:加纳
日期:2010-02-13 16:34:422010新春纪念徽章
日期:2010-03-01 11:04:572010年世界杯参赛球队:斯洛伐克
日期:2010-05-21 11:24:312010年世界杯参赛球队:塞尔维亚
日期:2010-06-30 13:43:14
发表于 2012-4-10 12:41 | 显示全部楼层
kelsoncong 发表于 2012-4-10 11:51
我不是来砸场子的
不过,我感觉现在做集中化的越来越多了...

的确,凡事没有定数,只要能够为企业解决问题,就是好的方案。

使用道具 举报

回复
认证徽章
论坛徽章:
139
2009日食纪念
日期:2009-07-22 09:30:00ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21祖国60周年纪念徽章
日期:2009-10-09 08:28:002010年世界杯参赛球队:葡萄牙
日期:2010-01-18 09:23:302010年世界杯参赛球队:意大利
日期:2010-01-21 07:30:192010年世界杯参赛球队:南非
日期:2010-01-22 09:48:242010年世界杯参赛球队:加纳
日期:2010-02-13 16:34:422010新春纪念徽章
日期:2010-03-01 11:04:572010年世界杯参赛球队:斯洛伐克
日期:2010-05-21 11:24:312010年世界杯参赛球队:塞尔维亚
日期:2010-06-30 13:43:14
发表于 2012-4-10 12:42 | 显示全部楼层
快乐的大个子 发表于 2012-4-10 12:36
感觉我们公司的分布式做得挺好的。。。

每个数据库都不算太大,但环环相扣,各种数据库产品都用。

可以大致描述一下啊,给别人分享分享。

使用道具 举报

回复
招聘 : 多个岗位招聘
论坛徽章:
33
2010广州亚运会纪念徽章:跆拳道
日期:2010-11-22 15:42:39灰彻蛋
日期:2012-05-16 13:17:56参与WIN7挑战赛纪念
日期:2012-05-24 10:37:35茶鸡蛋
日期:2012-05-28 17:27:32灰彻蛋
日期:2012-06-13 18:48:14双黄蛋
日期:2012-06-14 14:32:02奥运会纪念徽章:帆船
日期:2012-07-10 09:43:29奥运会纪念徽章:足球
日期:2012-08-17 09:17:32奥运会纪念徽章:帆船
日期:2012-07-26 15:46:49奥运会纪念徽章:赛艇
日期:2012-08-20 16:23:58
发表于 2012-4-10 12:54 | 显示全部楼层
1.需要考虑哪些因素?
  主要从业务的角度来考虑。其次是技术
2.采用那些产品?
  根据数据,采用oracle或者mysql
3.设计什么样的架构?
  设计肯定是分库啦。
  或者是水平分库,按时间分
  或者是垂直分库,按业务逻辑分。比如hr、oa

使用道具 举报

回复
认证徽章
论坛徽章:
181
慢羊羊
日期:2015-03-04 14:19:442015年新春福章
日期:2015-03-06 11:57:31
发表于 2012-4-10 13:09 | 显示全部楼层
1.需要考虑哪些因素?
什么类型的应用,OLTP还是OLAP
如果是OLTP,多大的并发量和数据量
如果是OLAP,多大的数据量和性能要求
2.采用那些产品?
闭源还是开源
SQL 还是 NoSQL
列式数据库还是行式数据库
3.设计什么样的架构?
share disk 还是share Nothing
主从复制还是sharding
b/s还是c/s

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表