[有奖讨论]第二期：细数列式数据库与行式数据库的优劣对比

jarjar · 发表于 2010-9-14 11:22

由于底层存储模型的不同，使得列式和行式针对于不同的应用场景。在OLAP方面的应用中，列式有他天然的优势，还有个比较适用的好处，列式的存储模型在修改表结构的时候实在太方便了，对于后期系统升级而言，非常方便。大数据量下，行式存储修改表结构简直是一种噩梦。

图腾部落 · 发表于 2010-9-14 11:26

列式数据库对传统行式数据库思维的DBA还是很impressed的。列式数据库比传统的行式数据库更加适合OLAP数据仓库和数据分析。由于设计上的不同，列式数据库在并行查询处理和压缩上更有优势。而且数据是以列为单元存储，完全不用考虑数据建模或者说建模更简单了。要查询计算哪些列上的数据，直接读取列就行了。不像行式数据库，一行上有多列，尽管我们只需要分析某些列的数据，也要读取表上的全部数据(FTS为例)。这样，列式数据库的IO更高效。

shao · 发表于 2010-9-14 12:16

个人观点：
行式数据库存储的时候大部分是采用堆表的方式，随机插入优势明显，列式数据库如果数据即索引，则随机插入的开销要大。每一列都有次定位和插入的动作，索引本身的维护量不会少。列式数据库本身还有其它形式索引，和行式相似。
大量的修改（varchar）时行式存储难免产生行漂移。这点恐怕对行数据库不利。
大量随机删除时堆表的维护应该是好于索引的维护的。
所以OLTP上行式数据库肯定优于列式数据库。

目前IQ上的索引基本也就改良B树和改良位图两类。全文检索应该是不太合适的。
查询特别是大范围查询，列式数据库因为是压缩存放的，所以IO上优势应该是明显的，
但牵涉到多表关联时更多取决于连接的join算法问题、统计结果的存放问题。现在市面上的OLAP产品也多，
MOLAP的产品在这方面的优势明显，ROLAP在一定程度上处于劣势，虽然IQ增加了join index但该索引的维护很夸张。如果不能再做到分布式的数据分布，后期的扩展就有问题了。

分布式列式数据库在ROLAP上应该是发展方向。

donethat_cu · 发表于 2010-9-14 15:11

提到发展方向，个人认为列式数据库在今后的发展中，应该考虑以下几个方向：

1，分布式计算：可能和楼上提的分布式列式数据库类似，希望看到可能是分步走的过程，先做CPU上面的分布；再做主机层面的分布；最后是存储层面的分布。这样可以更大地打开计算能力的瓶颈。列式数据库的列式存储的优势配合上分布式计算的优势，应该是未来的一个大方向。至于说叫不叫云计算都不重要。
2，进一步的索引优化：可能以新的索引的方式，可能以索引对查询/分析的使用方式等
3，分久必合，合久必分，我想行式数据库必定会有压力去突破，等行式数据库也慢慢地接受列式数据库带来的的技术冲击，最终我们会发现行式和列式其实在某一个层面上并没有那么大的差别，会某种意义上再合并起来，共同解决数据存储/使用的问题。

thefallingtear · 发表于 2010-9-14 16:41

不懂来学习了。

童馨 · 发表于 2010-9-14 17:17

参与人的奖励已发！！
请大家注意查收哦

欢迎大家继续讨论

shao · 发表于 2010-9-14 22:03

原帖由 donethat_cu 于 2010-9-14 15:11 发表
提到发展方向，个人认为列式数据库在今后的发展中，应该考虑以下几个方向：

1，分布式计算：可能和楼上提的分布式列式数据库类似，希望看到可能是分步走的过程，先做CPU上面的分布；再做主机层面的分布；最后是存储层面的分布。这样可以更大地打开计算能力的瓶颈。列式数据库的列式存储的优势配合上分布式计算的优势，应该是未来的一个大方向。至于说叫不叫云计算都不重要。
2，进一步的索引优化：可能以新的索引的方式，可能以索引对查询/分析的使用方式等
3，分久必合，合久必分，我想行式数据库必定会有压力去突破，等行式数据库也慢慢地接受列式数据库带来的的技术冲击，最终我们会发现行式和列式其实在某一个层面上并没有那么大的差别，会某种意义上再合并起来，共同解决数据存储/使用的问题。

1,IQ是有MIQ的，存储共享，主机分离。就是你说的CPU,MEM分离了。具体请参考官方文档。