ITPUB论坛－专业的IT技术社区

登录 注册
ITPUB论坛－专业的IT技术社区»论坛 › ≡ 大数据与数据库 ≡ › 大数据 › 【话题讨论】大数据大变革：如何解决海量数据存储问题？ ...
1234下一页
返回列表 发新帖
楼主: pipihappy8888
收藏 | 打印 上一主题 下一主题

【话题讨论】大数据大变革：如何解决海量数据存储问题？（已公布获奖名单）

[复制链接]
RAYSUNNNY
论坛徽章:
19
优秀写手 日期:2013-12-18 09:29:102015年新春福章 日期:2015-03-04 14:55:13itpub13周年纪念徽章 日期:2014-10-08 15:20:46itpub13周年纪念徽章 日期:2014-10-08 15:20:46itpub13周年纪念徽章 日期:2014-10-08 15:20:46itpub13周年纪念徽章 日期:2014-10-08 15:20:46itpub13周年纪念徽章 日期:2014-10-08 15:20:46itpub13周年纪念徽章 日期:2014-10-08 15:20:46itpub13周年纪念徽章 日期:2014-10-08 15:20:46蓝色妖姬 日期:2014-08-28 15:17:25
21#
发表于 2014-5-21 21:21 | 只看该作者
正在努力。。。

使用道具 举报

回复
maolinxie
论坛徽章:
40
技术图书徽章 日期:2023-02-28 10:16:02暖羊羊 日期:2015-02-10 17:19:24马上有房 日期:2015-01-12 10:57:17ITPUB社区OCM联盟徽章 日期:2014-08-27 17:33:52青年奥林匹克运动会-帆船 日期:2014-08-27 13:50:412014年世界杯参赛球队: 哥伦比亚 日期:2014-07-10 14:10:592014年世界杯参赛球队:墨西哥 日期:2014-06-24 10:38:072014年世界杯参赛球队: 加纳 日期:2014-06-23 13:12:032014年世界杯参赛球队: 美国 日期:2014-05-21 08:18:36沸羊羊 日期:2015-03-04 14:51:52
22#
发表于 2014-5-22 14:45 | 只看该作者
些贴必火

使用道具 举报

回复
super_sky
求职 : 数据库管理员
论坛徽章:
45
2011新春纪念徽章 日期:2011-02-18 11:43:322014年新春福章 日期:2014-04-14 09:54:08马上有对象 日期:2014-03-20 10:10:18马上有房 日期:2014-02-18 16:42:022014年新春福章 日期:2014-02-18 16:42:02技术图书徽章 日期:2014-01-24 10:11:16兰博基尼 日期:2013-12-11 10:38:11ITPUB社区12周年站庆徽章 日期:2013-11-07 10:34:33ITPUB社区12周年站庆徽章 日期:2013-10-17 13:56:592014年新春福章 日期:2014-04-14 09:54:08
23#
发表于 2014-5-22 15:36 | 只看该作者
sylvanzzy 发表于 2014-5-21 13:30
大数据的产生准确说应该是一种进步,这样会倒过来推动技术理论的创新,如果你从传统技术来解决这个问题就只能 ...

有同感啊，希望这些企业能够差异化发展，创出更多好的产品

使用道具 举报

回复
hc_face
论坛徽章:
1
2014年世界杯参赛球队:克罗地亚 日期:2014-06-12 16:53:56
24#
发表于 2014-5-22 17:22 | 只看该作者
一直想研究大数据的东西，望跟进。以前稍微接触过，就是采取 数据库存储文件路径，而真正的文件存放在其他的文件服务器上，例如 图片服务器上面。另外页面加载机制也采取延时加载的技术，探测到用户鼠标下拖时，进一步加载页面其余的数据信息。

使用道具 举报

回复
leonarding
招聘 : Oracle 课程老师
论坛徽章:
48
19周年集字徽章-周 日期:2019-09-03 17:47:002011数据库大会纪念章 日期:2015-04-23 10:33:192010数据库技术大会纪念徽章 日期:2015-04-23 10:33:192014年世界杯参赛球队: 俄罗斯 日期:2014-07-17 17:21:42ITPUB伯乐 日期:2014-07-17 14:45:422014年世界杯参赛球队: 希腊 日期:2014-06-20 16:01:122014年世界杯参赛球队:克罗地亚 日期:2014-06-12 16:53:56马上加薪 日期:2014-04-25 14:18:13目光如炬 日期:2014-04-21 06:00:12马上有房 日期:2014-03-31 15:10:37
25#
发表于 2014-5-23 10:38 | 只看该作者
1.大数据的处理流程包括了哪些环节？每个环节有哪些主要工具？
采集层：采集机、报文、离线数据、在线录入等
预处理层：Hadoop map reduce、java程序、SAS可以方便处理不规则文本文件、实时型可以用storm
整合：IBM DataStage、Oracle Data Integrator
分析&展现：R、SAS、SPSS
淘宝它所采用的是自己研发的Obase，比较适合存储电商图片等信息。

使用道具 举报

回复
summersky1987
论坛徽章:
0
26#
发表于 2014-5-26 09:58 | 只看该作者
mark  学习~

使用道具 举报

回复
java3344520
求职 : 数据库管理员
论坛徽章:
21
ITPUB十周年纪念徽章 日期:2013-06-18 22:48:19马上有房 日期:2014-02-18 16:42:022014年新春福章 日期:2014-02-18 16:42:02优秀写手 日期:2013-12-18 09:29:12林肯 日期:2013-10-31 18:06:48奥迪 日期:2013-09-12 15:57:04ITPUB社区12周年站庆徽章 日期:2013-08-20 11:30:11蛋疼蛋 日期:2013-06-17 14:35:03ITPUB社区千里马徽章 日期:2013-06-09 10:15:342013年新春福章 日期:2013-05-27 10:23:00
27#
发表于 2014-5-26 13:15 | 只看该作者
个人觉得海量数据分为2中情况进行存储的规划比较好：
      （1）：海量数据如果用于分析挖掘，必须的以空间换时间，那么存储和效率，两者毫无疑问的选择效率，存储的话，用列式数据库能节约大量空间，对hbase不熟悉，我用的是商业产品sybase iq，虽然稳定性差，但是查询分析的效率高，空间占用相对行式数据库那是大量的减少。

       （2）：海量数据如果是业务数据的历史数据，而不用于数据的挖掘分析，那么建议用对数据和表空间进行压缩存储，然后做成只读，备份后放入非高速存储以备少量的业务查询。

使用道具 举报

回复
Okhotsk
论坛徽章:
0
28#
发表于 2014-5-27 21:57 | 只看该作者
支持、、、、、

使用道具 举报

回复
oracle_qht
论坛徽章:
1
优秀写手 日期:2014-05-27 05:58:59
29#
发表于 2014-5-28 10:05 | 只看该作者
这个我要顶，表示强烈关注此贴。希望有相关经验的人进来发表一下你的见解和所见所闻吧。

使用道具 举报

回复
oracle_qht
论坛徽章:
1
优秀写手 日期:2014-05-27 05:58:59
30#
发表于 2014-5-28 10:07 | 只看该作者
老入金融 发表于 2014-5-21 10:13
抛砖一枚。不了解大数据技术，只谈以前的实践。
2000年开始做数据加工系统，该系统主要实现把纸质文件，扫 ...

“后来采用文件存储集群方式处理”，这个和hadoop有点类似，不过那时候没得hadoop。

使用道具 举报

回复

1234下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有　联系我们 未成年人举报专区　
京ICP备16024965号-8 　北京市公安局海淀分局网监中心备案编号：11010802021510　广播电视节目制作经营许可证：编号（京）字第1149号   
快速回复 返回顶部 返回列表