查看: 16533|回复: 34

话题讨论:大数据时代的数据处理方案部署(已公布获奖)

[复制链接]
论坛徽章:
49
现任管理团队成员
日期:2012-10-18 17:10:46妮可·罗宾
日期:2018-04-03 13:57:49
跳转到指定楼层
1#
发表于 2014-5-22 16:08 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
话题讨论:大数据时代的数据处理方案部署
  随着移动互联网、云计算、物联网等技术的高速发展,视频监控、智能终端、应用商店等的快速普及,全球数据量出现爆炸式增长。大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据,而以云计算为代表的计算技术的不断进步,为我们提供了强大的计算能力,这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。

本期讨论话题:
  1、从大数据分析的计算方式来看,部署大数据分析方案,您会看好哪种方式呢?小型机、X86虚拟化、刀片服务器、开源分布式计算方式还是其它方式?
  2、海量并行处理数据库系统MPP已经存活十多年了,不管是传统数据还是大数据都可以使用MPP架构,那么它到底有哪些威力呢?对企业而言,在处理海量数据时,是选择数据仓库还是一体机?
  3、如果你有海量的数据流,那么MapReduce可能成为你的“大救星”了,它可以用来解析文本、扫描网络日志等。作为一种并行的编程架构,MapReduce可以用来处理各种非结构化数据,但是否意味着它可以取代数据库呢?它有哪些优缺点?
  4、海量并行关系型数据库、云计算、MapReduce这三项技术都能帮助大家驾驭大数据,它们之间如何协同工作呢?未来的大数据仓库可能基于MPP与Hadoop集群混搭的模式,您是否看好?

活动时间:2014年5月22日-6月5日

活动奖品:从精彩分享中,挑选5名网友可获得《大数据时代的IT架构设计》图书一本。

本期嘉宾:
  本书作者:汪洋(社区ID:yanyangtian4502)

图书介绍:
     
书    名:大数据时代的IT架构设计
作    者:IT架构设计研究组著
出 版 社:电子工业出版社
出版时间:2014-04-01
内容简介:《大数据时代的IT架构设计》以大数据时代为背景,邀请著名企业中的一线架构师,结合工作中的实际案例展开与架构相关的讨论。本书作者来自互联网、教育、传统行业等领域,分享的案例极其实用,代表了该领域较先进的架构。无论你就职于哪一行业都可以从本书中找到相关的架构经

活动已结束,恭喜以下五位获奖者:
pure_lotus
qingduo04
pastime_Wang
飘雪帝乙
Detaillee

招聘 : Android开发
论坛徽章:
17
ITPUB十周年纪念徽章
日期:2011-11-01 16:25:51蜘蛛蛋
日期:2012-05-28 16:54:09双黄蛋
日期:2012-05-28 17:45:17ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48优秀写手
日期:2013-12-18 09:29:092014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:08
2#
发表于 2014-5-22 16:11 | 只看该作者
本帖最后由 yanyangtian4502 于 2014-5-22 16:18 编辑

这本书里面涉及到的话题很多,我在里面参与了部分的讲述,本次就我一个嘉宾,感觉压力山大啊 呵呵。

我在本书中参与的 只要是数据全方面的,同时,也对分布式的架构与数据处理上面参与了一点,如果大家感兴趣的,可以聊下

使用道具 举报

回复
论坛徽章:
0
3#
发表于 2014-5-22 16:31 | 只看该作者
好想要一本来观摩观摩,学习 学习。

使用道具 举报

回复
求职 : 数据库管理员
招聘 : Java研发
论坛徽章:
6402
娜美
日期:2021-10-12 20:11:36技术图书徽章
日期:2021-09-30 12:11:1120周年集字徽章-年	
日期:2021-09-30 12:12:5820周年集字徽章-20	
日期:2021-09-30 12:43:0619周年集字徽章-周
日期:2021-09-30 13:18:3120周年集字徽章-20	
日期:2021-09-30 16:44:1219周年集字徽章-周
日期:2021-09-30 17:01:04技术图书徽章
日期:2021-09-30 17:59:14技术图书徽章
日期:2021-10-06 10:36:4019周年集字徽章-19
日期:2021-10-06 14:43:24
4#
发表于 2014-5-22 16:33 | 只看该作者
好,得向二楼学习...

使用道具 举报

回复
论坛徽章:
0
5#
发表于 2014-5-22 16:36 | 只看该作者
随着云时代的来临,大数据也吸引了越来越多的关注,将来必定会很火,等这本书上架了必须要买本来学习,跟上时代的潮流

使用道具 举报

回复
论坛徽章:
49
现任管理团队成员
日期:2012-10-18 17:10:46妮可·罗宾
日期:2018-04-03 13:57:49
6#
 楼主| 发表于 2014-5-22 16:38 | 只看该作者
kuhn_yang 发表于 2014-5-22 16:36
随着云时代的来临,大数据也吸引了越来越多的关注,将来必定会很火,等这本书上架了必须要买本来学习,跟上 ...

这本书已经开始销售了,忘记加购买地址了!

使用道具 举报

回复
论坛徽章:
71
秀才
日期:2016-03-24 09:20:52itpub13周年纪念徽章
日期:2014-10-08 15:17:53itpub13周年纪念徽章
日期:2014-10-08 15:17:53itpub13周年纪念徽章
日期:2014-10-08 15:17:53itpub13周年纪念徽章
日期:2014-10-08 09:04:04itpub13周年纪念徽章
日期:2014-09-28 10:55:55马上有钱
日期:2014-08-19 15:31:09马上有车
日期:2014-09-03 06:57:26马上加薪
日期:2014-08-01 13:19:11世界杯纪念徽章
日期:2014-07-14 11:31:46
7#
发表于 2014-5-22 16:49 | 只看该作者

那种部署方案可能要根据自己的实际情况。高富帅有高富帅的豪购,屌丝有屌丝的应对方式。

  
  

使用道具 举报

回复
论坛徽章:
151
授权会员
日期:2005-11-16 17:49:25世界杯纪念徽章
日期:2006-07-20 13:19:20ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44生肖徽章2007版:龙
日期:2008-11-25 11:15:28生肖徽章2007版:羊
日期:2009-06-02 18:18:38生肖徽章2007版:鼠
日期:2009-06-17 22:01:192010新春纪念徽章
日期:2010-03-01 11:04:582010年世界杯参赛球队:科特迪瓦
日期:2010-06-11 19:25:562010广州亚运会纪念徽章:网球
日期:2010-12-31 16:37:522010广州亚运会纪念徽章:藤球
日期:2011-01-02 15:47:20
8#
发表于 2014-5-22 17:24 | 只看该作者
本期讨论话题:

  1、从大数据分析的计算方式来看,部署大数据分析方案,您会看好哪种方式呢?小型机、X86虚拟化、刀片服务器、开源分布式计算方式还是其它方式?

还是看业务的应用场景吧,社会化信息的大型应用,如12306估计只能用开源分布式来解决;类似公安一类的行业级应用,比如嫌犯图形比对,用刀片服务器就可解决,至于一些社保公积金类后台交易多而前台交易少的追求更高可靠性的,也许小型机部署就OK。

  2、海量并行处理数据库系统MPP已经存活十多年了,不管是传统数据还是大数据都可以使用MPP架构,那么它到底有哪些威力呢?对企业而言,在处理海量数据时,是选择数据仓库还是一体机?
        企业还是用大数据一体机更适合,主要是出于运维资源和能力的总体成本考虑,按目前企业信息中心的人员配置,不太可能软硬件各专业口配置更多的人手,

  3、如果你有海量的数据流,那么MapReduce可能成为你的“大救星”了,它可以用来解析文本、扫描网络日志等。作为一种并行的编程架构,MapReduce可以用来处理各种非结构化数据,但是否意味着它可以取代数据库呢?它有哪些优缺点?
   MapReduce当然不可能取代数据库,它只是分发并行任务处理的一种架构,并不适用所有的数据流处理。

  4、海量并行关系型数据库、云计算、MapReduce这三项技术都能帮助大家驾驭大数据,它们之间如何协同工作呢?未来的大数据仓库可能基于MPP与Hadoop集群混搭的模式,您是否看好?
      关系型数据库处理结构化数据,云计算处理弹性峰值计划需求,MapReduce则分发并行任务,协调工作发挥各自优势。未来的大数据仓库可能基于MPP与Hadoop集群混搭的模式还是有好前景


使用道具 举报

回复
论坛徽章:
86
秀才
日期:2015-09-21 09:46:16目光如炬
日期:2014-07-28 06:00:03马上有钱
日期:2014-06-16 15:55:42马上有房
日期:2014-06-16 15:55:422014年世界杯参赛球队: 伊朗
日期:2014-06-13 11:29:242014年世界杯参赛球队:巴西
日期:2014-06-06 14:36:14马上有钱
日期:2014-04-04 13:51:21马上加薪
日期:2014-04-04 13:35:40马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02
9#
发表于 2014-5-22 17:32 | 只看该作者
站位更新

使用道具 举报

回复
论坛徽章:
0
10#
发表于 2014-5-22 18:08 | 只看该作者
一直都在说大数据,一直都对大数据的概念很模糊,更不用说大数据时代的IT架构,期待这本书能给我知识,给我力量,让我了解的更多,更好,跟上时代前进的步伐....

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表