查看: 23035|回复: 33

初创O2O面对现实 数据库从postgresql迁移到mysql(已公布获奖)

[复制链接]
认证徽章
论坛徽章:
51
行业板块每日发贴之星
日期:2007-06-12 01:03:552011新春纪念徽章
日期:2011-01-25 15:42:332011新春纪念徽章
日期:2011-01-25 15:42:56管理团队成员
日期:2011-05-07 01:45:08ITPUB官方微博粉丝徽章
日期:2011-06-28 19:45:36ITPUB十周年纪念徽章
日期:2011-11-01 16:23:262012新春纪念徽章
日期:2012-02-13 15:09:232012新春纪念徽章
日期:2012-02-13 15:09:232012新春纪念徽章
日期:2012-02-13 15:09:232012新春纪念徽章
日期:2012-02-13 15:09:23
发表于 2015-7-29 17:07 | 显示全部楼层 |阅读模式
获奖公布:InnoDB存储引擎(第2版):2009532140
大会纪念品: will009 renxiao2003  2009532140 wangwenan6

话题背景:

   数据库迁移是DBA工作中都会遇到的一个问题,一般进行数据库迁移都是关于数据库版本升级,操作系统升级,更换主机等。但随着技术与业务的不断发展,会有不同数据库之间迁移的需求,这对于DBA来说是一个很头疼的问题,因为会涉及到开发的内容,这更是架构师与技术主管会考虑到的一个问题!其实小编也确实了解到一些不同数据库迁移的需求案例,本次的案例是关于postgresql迁移到mysql的案例,欢迎广大的PG粉、创业者、技术主管、各专项DBA们,一起对话此案例,或许从您的参与与解读中,我们彼此都会经历不同的层次的成长!

  来吧,一起面对不同数据库迁移的挑战!
  其他案例:从MongoDB迁移到PostgreSQL  http://www.itpub.net/forum.php?m ... ighlight=PostgreSQL
            PostgreSQL实用实例参考 http://www.itpub.net/forum.php?m ... t=PostgreSQL&page=1
            PostgreSQL与MySQL比较 http://bbs.chinaunix.net/thread-1688208-1-1.html

本期模拟案例:
***平台是后起传统行业发展起的互联网自营平台属O2O,由于原公司实力较强,考虑到数据分析重要性,使用了postgresql数据库,但是过程中发现平台初期并不会有很大的数据产生而且过程中也遇到了很多现实问题,比如开发成本、比如技术人才稀缺等等,因此,为了眼下的稳定发展,目前需要由postgresql迁移到mysql这样的更换数据库的需求。
数据库背景介绍
          1数据库规模:小型oltp数据库
          2数据量:5G
          3停机时间:18小时以内
本案主要考虑点:
          1数据库迁移方案,及方案中的各种可能发生的问题
          2本问题不考虑硬件主机,硬件的方面。认为俩台主机为一样的主机


讨论话题:
1、迁移方案选择什么方式进行(etl,load等)
2、在迁移中需要考虑的问题很多,您认为最重要的是什么?& 或可以把考虑涉及的方面列一下,有助于论坛的同学们相互学习!
3、您现在应用的是什么数据库?公司是什么行业的,从职业规划来讲,个人看好postgresql?还是mysql?
4、更多此关问题欢迎大家在此话题交流!

活动时间:2015年7月27日-8月20日
活动奖励:将选取4名讨论精彩的童鞋,可获赠SACC2015大会纪念品一件。最优秀者1名,可获得MySQL技术内幕:InnoDB存储引擎(第2版)1本
QQ截图201507081627.jpg
QQ截图20150729162843.jpg


SACC2015将于10月22日-24日在北京新云南皇冠假日酒店盛大召开,届时大会将云集来自五湖四海的2500名IT同胞们。

2015中国系统架构师大会以“互联网+重塑IT架构”为主题,站在互联网+的风口上,诚邀百余名演讲嘉宾,打造一场架构师腾飞的技术盛会。本届大会特别开设了专场《O2O实践专场》,欢迎大家踊跃报名。更多详情,请关注官网:http://sacc.it168.com/


认证徽章
论坛徽章:
10
秀才
日期:2015-07-14 09:44:30秀才
日期:2015-08-17 13:13:142015年中国系统架构师大会纪念徽章
日期:2015-08-03 13:54:362014系统架构师大会纪念章
日期:2015-08-03 13:54:362013系统架构师大会纪念章
日期:2015-08-03 13:54:362012系统架构师大会纪念章
日期:2015-08-03 13:54:362011系统架构师大会纪念章
日期:2015-08-03 13:54:362010系统架构师大会纪念
日期:2015-08-03 13:54:362009架构师大会纪念徽章
日期:2015-08-03 13:54:36秀才
日期:2015-09-11 10:43:06
发表于 2015-7-30 08:35 | 显示全部楼层
5G的数据量,而且还可以停机18小时,这个数据迁移没有任何挑战与压力了。

随便采用什么方案都可以达到你的要求。

在数据仓库里面,很重要的一步是从业务系统抽取数据(也就是数据的迁移),正常情况下,一天的增量数据是1TB,约耗时5小时。

使用道具 举报

回复
认证徽章
论坛徽章:
220
状元
日期:2015-08-13 09:42:33榜眼
日期:2015-08-03 13:57:54探花
日期:2015-07-31 13:44:02举人
日期:2015-07-01 15:00:51秀才
日期:2015-07-27 09:45:52进士
日期:2015-07-27 11:26:492015年中国系统架构师大会纪念徽章
日期:2015-07-23 09:58:092014系统架构师大会纪念章
日期:2015-07-23 09:58:092013系统架构师大会纪念章
日期:2015-07-23 09:58:092012系统架构师大会纪念章
日期:2015-07-23 09:58:09
发表于 2015-7-30 08:54 | 显示全部楼层
1、迁移方案选择什么方式进行(etl,load等)
可以考虑使用Load,在PostgreSQL中将数据导出为固定分隔符的数据(如CSV),然后使用MySQL的Load功能进行导入。也可以自己编写工具采用ETL方式迁移。但相对来说使用Load可能简单一些,使用的都是系统工具。

2、在迁移中需要考虑的问题很多,您认为最重要的是什么?& 或可以把考虑涉及的方面列一下,有助于论坛的同学们相互学习!
重要的是数据的转换和类型的兼容问题,前期一定要做好调查,否则盲目的迁移可能会不成功还造成系统的宕机时间过长。

3、您现在应用的是什么数据库?公司是什么行业的,从职业规划来讲,个人看好postgresql?还是mysql?
我原来用Oracle,后来用SQL Server2000,然后是PostgreSQL(对日),再现在是SQLServer2008 Express了。公司现在做医疗设备的。个人觉得在中国MySQL更看好一些。PostgreSQL主要在日本用得比较多,加上MySQL丰富的引擎,支持事务的引擎也有,这样在国内MySQL更有市场。

4、更多此关问题欢迎大家在此话题交流!
在迁移过程中如何保证顺利完成不出问题很重要,能让系统及时运行。但为什么一定要从PostgreSQL迁移到MySQL而不是从MySQL迁移到PostgreSQL呢?

使用道具 举报

回复
求职 : 数据库管理员
招聘 : Java研发
认证徽章
论坛徽章:
6350
ITPUB9周年纪念徽章
日期:2014-05-02 10:36:402011新春纪念徽章
日期:2014-12-29 12:11:142010广州亚运会纪念徽章:卡巴迪
日期:2014-08-06 08:44:252012新春纪念徽章
日期:2014-12-29 12:11:142013年新春福章
日期:2014-12-29 12:11:14马上有车
日期:2014-12-29 12:11:14马上有房
日期:2014-12-29 12:11:14马上有钱
日期:2014-12-29 12:11:14马上有对象
日期:2014-12-29 12:11:14马上加薪
日期:2014-12-29 12:11:14
发表于 2015-7-30 11:15 | 显示全部楼层
1、迁移方案选择什么方式进行(etl,load等)
   一般来说各种数据库都有卸载与加载数据的方式。
   只要两者都支持某种形式的数据即可。
   各种数据库都有向其内迁移的小工具,基本这个就能满足大部分的迁移需求。
   否则的话,就得使用原始的load 之类的方式了
   
2、在迁移中需要考虑的问题很多,您认为最重要的是什么?或可以把考虑涉及的方面列一下,有助于论坛的同学们相互学习!
   我遇到的主要问题在与数据类型之间的差异,函数与存储过程之类的改写。
   另外,必须要考虑应用系统是否支持某种类型,以及比较相近的数据类型之间的差别。对上面的应用来说可能有微妙的差异,
   这个需要做好充分的测试;
      
3、您现在应用的是什么数据库?公司是什么行业的,从职业规划来讲,个人看好postgresql?还是mysql?
   用的数据库种类算是比较多;oracle mssql,DB2,sybase,mysql...
   虽然部门没接触过PG,但是公司级的项目,以及招聘的需求上来说,基本都能看到PG 的影子;

使用道具 举报

回复
求职 : 数据库管理员
招聘 : Java研发
认证徽章
论坛徽章:
6350
ITPUB9周年纪念徽章
日期:2014-05-02 10:36:402011新春纪念徽章
日期:2014-12-29 12:11:142010广州亚运会纪念徽章:卡巴迪
日期:2014-08-06 08:44:252012新春纪念徽章
日期:2014-12-29 12:11:142013年新春福章
日期:2014-12-29 12:11:14马上有车
日期:2014-12-29 12:11:14马上有房
日期:2014-12-29 12:11:14马上有钱
日期:2014-12-29 12:11:14马上有对象
日期:2014-12-29 12:11:14马上加薪
日期:2014-12-29 12:11:14
发表于 2015-7-29 17:17 | 显示全部楼层
占楼~~
这个好~~~

使用道具 举报

回复
认证徽章
论坛徽章:
51
行业板块每日发贴之星
日期:2007-06-12 01:03:552011新春纪念徽章
日期:2011-01-25 15:42:332011新春纪念徽章
日期:2011-01-25 15:42:56管理团队成员
日期:2011-05-07 01:45:08ITPUB官方微博粉丝徽章
日期:2011-06-28 19:45:36ITPUB十周年纪念徽章
日期:2011-11-01 16:23:262012新春纪念徽章
日期:2012-02-13 15:09:232012新春纪念徽章
日期:2012-02-13 15:09:232012新春纪念徽章
日期:2012-02-13 15:09:232012新春纪念徽章
日期:2012-02-13 15:09:23
发表于 2015-7-29 17:18 | 显示全部楼层
哇,沙发好快

使用道具 举报

回复
招聘 : 数据库管理员
认证徽章
论坛徽章:
99
技术图书徽章
日期:2014-03-27 09:30:56秀才
日期:2018-04-08 14:48:31
发表于 2015-7-29 17:25 | 显示全部楼层
5G  的数据量不大吧

使用道具 举报

回复
求职 : 数据库管理员
招聘 : Java研发
认证徽章
论坛徽章:
6350
ITPUB9周年纪念徽章
日期:2014-05-02 10:36:402011新春纪念徽章
日期:2014-12-29 12:11:142010广州亚运会纪念徽章:卡巴迪
日期:2014-08-06 08:44:252012新春纪念徽章
日期:2014-12-29 12:11:142013年新春福章
日期:2014-12-29 12:11:14马上有车
日期:2014-12-29 12:11:14马上有房
日期:2014-12-29 12:11:14马上有钱
日期:2014-12-29 12:11:14马上有对象
日期:2014-12-29 12:11:14马上加薪
日期:2014-12-29 12:11:14
发表于 2015-7-29 17:25 | 显示全部楼层
postgresql迁移到mysql
也算是奇葩了吧

使用道具 举报

回复
论坛徽章:
76
山治
日期:2019-03-27 22:55:03秀才
日期:2016-01-25 15:02:04双子座
日期:2016-01-19 20:35:54秀才
日期:2016-01-13 12:14:26秀才
日期:2015-12-25 15:31:10秀才
日期:2015-12-18 09:28:57秀才
日期:2015-12-14 14:56:09秀才
日期:2015-12-14 14:51:16秀才
日期:2015-11-30 09:13:06处女座
日期:2015-11-27 12:27:01
发表于 2015-7-29 17:26 | 显示全部楼层
选择PG作为二次开发是不错的选择,但是做生产,PG的特性有时候太要命了

使用道具 举报

回复
论坛徽章:
38
2013年新春福章
日期:2013-02-25 14:51:24狮子座
日期:2015-08-05 16:51:50巨蟹座
日期:2015-08-06 10:02:06至尊黑钻
日期:2015-08-13 13:38:12白羊座
日期:2015-08-13 17:07:14知识
日期:2015-08-17 13:27:33狮子座
日期:2015-08-21 15:05:08ITPUB14周年纪念章
日期:2015-10-26 17:23:44白羊座
日期:2015-12-08 16:34:17秀才
日期:2015-12-25 15:31:10
发表于 2015-7-29 17:33 | 显示全部楼层
本帖最后由 will009 于 2015-7-30 14:22 编辑

1、迁移方案选择什么方式进行(etl,load等)
    5G的数据量不大,而且停机18个小时以内,可以考虑load的方式来进行迁移。

2、在迁移中需要考虑的问题很多,您认为最重要的是什么?& 或可以把考虑涉及的方面列一下,有助于论坛的同学们相互学习!
     需要考虑最重要的是字段数据类型、函数。

3、您现在应用的是什么数据库?公司是什么行业的,从职业规划来讲,个人看好postgresql?还是mysql?
     现在应用的是MySQL,通信行业,职业规划来讲,个人看精通mysql或postgresql都不错,或者最好两者都精通。

4、更多此关问题欢迎大家在此话题交流!
     postgresql其实也有其优势的地方,比如在OLAP场景下,支持数据类型比mysql多;而mysql适合OLTP场景,相对轻量级。目前国内业界mysql用得多,不过,就现在来看postgresql有火起来的趋势。

使用道具 举报

回复
认证徽章
论坛徽章:
38
紫蜘蛛
日期:2014-11-05 16:43:53秀才
日期:2015-06-24 11:20:12秀才
日期:2015-06-29 15:26:52秀才
日期:2015-07-02 11:39:08秀才
日期:2015-07-03 15:58:35秀才
日期:2015-07-03 15:58:35秀才
日期:2015-07-03 17:00:53知识
日期:2015-07-06 11:21:47秀才
日期:2015-07-09 10:49:16秀才
日期:2015-07-14 09:44:30
发表于 2015-7-30 09:05 | 显示全部楼层
szxiaocong 发表于 2015-7-29 17:25
5G  的数据量不大吧

是不大啊   考虑的还有  软件层次的

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表