面对大数据时代的到来，传统BI从业者如何应对？

xiaolin27

顶楼上一下  非常赞同楼上的观点

xdw8933

wangfans 发表于 2013-5-8 16:28
在这个大数据概念热得发烫的时代，各种挂着羊头买狗肉的忽悠者真是不少。

大数据的本质其实还是BI，还是 ...

稀疏存储读取?数据随机分布，造成存储上的稀疏？
不理解，能具体说一下吗？

wangfans

xdw8933 发表于 2013-5-20 11:23
稀疏存储读取?数据随机分布，造成存储上的稀疏？
不理解，能具体说一下吗？

关系型数据库容易造成存储稀疏，最简单的例子就是

key, null,null，null，null，null，null，。。。。。

比方说有上亿条记录，只有一万条记录null直位置全有value，其余的都没有，但是这个null值一般在关系型数据库里面占有空间的。

读取的时候同理，全表扫面也要全扫一遍。

wangfans

当然我这是举的比较极端的情况

piliskys

wangfans 发表于 2013-5-20 12:48
关系型数据库容易造成存储稀疏，最简单的例子就是

key, null,null，null，null，null，null，。。。。 ...

这个，不是你想的这样，至少oracle不是这样，后面全空是不占空间的，
我到是觉得，关系型数据库的发展是建立在文本处理不方便的基础之上的，不是说现在的堆机器就是能解决一切，想想我们现在的一系统，都二十多年了，底层还都是用C++自己实现的，感觉，到了现在还符合潮流了，我感觉是，没有落伍的技术，关键是用在合适的地方

wangfans

piliskys 发表于 2013-5-20 19:41
这个，不是你想的这样，至少oracle不是这样，后面全空是不占空间的，
我到是觉得，关系型数据库的发展是 ...

key, null,null，null，null，null，null，。。。。。value, value

。。。。。。省略号连value也省略了，你看懂了吗？

wangfans

Oracle是哪样的？ 几年前做过实验，专门dump Oracle的block查看过，null 确实是占空间的。

Rainmt_1982

别被大数据的概念所迷惑，都是表面现象。玩数据的就是玩数据的，多与少就是量的概念，不同的数据量用不同的技术与适应，可数据还是该整合的整合，该抽取的抽取。

callmecen

传统BI针对结构化数据，大数据中包括了结构化数据与非结构化数据，BI能否深层的去挖掘非结构化数据内部的价值？包括图片、视频、音频等等，这个是连google、Amazon等巨头都做不到的，归根结底BI在大数据中的价值主要还是针对其中的结构化数据，因此BI的方法在大数据中一样适用，我们需要做的是如何对大数据做清洗，把其中的结构化数据价值挖掘出来。当然了，如果能尽量挖掘非结构化的数据那将是另外一片蓝海了。个人愚见，请大家批评指正。

housheng33

这里讲的大数据：分布式数据库

至于图片、声音、视频等非标准格式的数据存储与应用，确实是一片蓝海的感觉～