数据模型与数据分析

dlts26

如下的场景会使需求预测变得重要：
客户的数据保密性很强，只有认可了系统所开发的功能，才允许实施方基于这个功能向业务系统提数据需求。而系统功能只能是基于需求来实现，在这种情况下，需求预测就非常重要了。

innovate511

预测需求，仅仅是在数据分析层面，与数据建模没太大关系。另外主题这个层面，范围已经很大了，根本不需要分析需求，就看客户的需求方向，就可以定下来要哪些主题。另外主题范围定义，又牵涉到项目周期情况。

根据我的经验，我来说明下，为啥预测需求和数据建模没有太大关系，而和数据分析关系更大。

在电子商务建模的时候，用户的需求还在摸索中，如果你去问，也只是简单的统计。那么从我预测需求的角度，我一般用在数据分析中，例如在活动结束后，发现了一些数据异常，于是我预测用户需要了解异常的原因，以及可能需要解决的办法。然后拿着数据分析的成果，与用户一碰，果然是用户想要的东西。

在数据建模方面，用户的需求我并没有太多考虑，而是考虑业务本质上的东西，所以很利索地以四大生命周期为主线，构建EDW和维度数据模型，而这些和他们的需求预测没有什么关系，就是业务本质上的东西而已，可以说是一个分析框架和平台。然后我拿着这个“武器”和用户需求一碰，不但全部满足他们的需求和想法（刚开始还不知道BI是否能实现，所以只能是想法），而且我根据模型的构造，还提出了更多可能有价值的分析方向，用户说可以根据数据的真实情况，来判断是否对他们的业务有帮助。

dlts26

你这里的业务本质具体指什么呢？是指业务的过程模型么？
我所理解的数据仓库建模，主要还是指面向数据集市的维度建模。数据集市和数据仓库之间到底是一种什么关系，我到现在仍处在模棱两可的阶段，因为按照Inmon的观点，数据集市是基于数据仓库建立的，他认为多维方法仅是数据集市的构建方法，对于数据仓库，使用规范或关系型方法最为合适；而Kimaball的观点是，数据集市的合集就是数据仓库，并没有真正实体意义上数据仓库的建模，只存在维度建模。

innovate511

业务的本质，应该在数据集市范畴，但可能从EDW就开始ETL其基础数据信息。按照普遍的观点，EDW不进行维度模型建模，而实际项目中，往往EDW会为维度模型构建好基础信息，例如访问生命周期在维度模型中需要的维、事实，就需要EDW的基础数据中加以对应的ETL，这样维度模型才有符合业务模型的数据。

innovate511

另外实践项目中，往往并不会完全认同INMON和KIMBALL的见解，照本宣科，往往什么都做不好。一般是综合两者的优点而建设。

根据我的经验体会，说得通俗点，EDW就是构建基础数据模型，其特点是细粒度的，甚至可能是最细数据。但是与业务系统不同的是，他不是反应某个具体业务点的模型，而是抽象的业务主题的数据集。例如物流仓储的出、入库，在业务系统中就是2个不同的表，但在EDW，可以集成在一张表，它的业务意义是某个仓储对象的流通，而非具体的出还是入。

在点击流数据分析中，如果你要将客户的行为分析清楚，必须在最基础的数据上加入ETL，丰富点击流的业务信息，之后才能进入维度模型，否则你做出的维度模型是毫无业务层次、业务关系的，仅仅能查询和最基本统计的维度模型，价值很微小。

innovate511

原帖由 dlts26 于 2011-6-3 09:44 发表
你这里的业务本质具体指什么呢？是指业务的过程模型么？
我所理解的数据仓库建模，主要还是指面向数据集市的维度建模。数据集市和数据仓库之间到底是一种什么关系，我到现在仍处在模棱两可的阶段，因为按照Inmon的观点，数据集市是基于数据仓库建立的，他认为多维方法仅是数据集市的构建方法，对于数据仓库，使用规范或关系型方法最为合适；而Kimaball的观点是，数据集市的合集就是数据仓库，并没有真正实体意义上数据仓库的建模，只存在维度建模。

业务的本质，看起来很虚的东西，其实非常重要。我认为抓住了这点，BI人就能主动，不会受到用户需求的牵制，能引导用户使用BI。

业务过程只是帮助你梳理业务，了解业务本质的过程。例如我认为电子商务的几个核心生命周期，我分别从用户的行为、企业迎合销售的各种业务管理行为两个角度出发，抽象出了几个生命周期，就是为了客观反映业务本质的数据模型。实践证明，只有我能帮助用户更多的，没有用户需求不能满足的。

dlts26

按照你的说法，如果基于业务本质进行建模，我想这是有个前提的，那就是行业信息化的成熟度。像电信、银行等注重数据管理的领域以及像电子商务这样本身依托于信息化发展的领域，从业务本质入手建模是科学与合理的，而且长期来讲会获得很多的好处。但是对于传统一些信息化成熟度不高的行业，比如制造业，烟草业，如果去分析其业务本质然后再辅助建模，我想最终只会是浪费时间，因为在这些行业，管理者或决策者对“数据驱动决策”的认可度并不高，他们更关心的是，部署BI或DW能给我带来什么好处，我想这种情况，分析与预测需求然后构建管理者感兴趣的原型才是最主要的。

innovate511

按照业务本质建模，确实属于信息化高级阶段才行，例如电子商务等互联网、电信行业、金融行业等，现在随着传统行业的信息化深入，传统行业也逐步有条件建立起来了。

数据驱动最大的缺点来源在于，全数据是个悖论，永远也没有完全的数据。例如你说零售行业，难倒竞争对手数据不算你重要的分析数据？数据是个无底洞，而业务问题的解决，却是非常紧迫的、能产生实际价值的，这才是客户最关心的。

dlts26

那回到之前的讨论，对于数据建模和数据分析来讲，还是应该保持一种开放的心态，因为针对不同的场合和问题需要不同的解决策略，就像你之前说的，“实践项目中，往往并不会完全认同INMON和KIMBALL的见解，照本宣科，往往什么都做不好。一般是综合两者的优点而建设”。
所以总结建模方式，我觉得可以这样，在信息化成熟的领域，以业务本质来驱动，然后分析、整理并预测各种可能的业务需求，基于需求对模型进行调优；在信息化成熟度不高的行业，可以先收集需求，快速建立原型获取认可与收益，并以此来推动信息化的深入。
模型的构建是应该在不断的质疑，不断的修正，不断的迭代过程中反复完善的，没有最好，只有更好。也正是因为此，“团队智慧”与“头脑风暴”在系统建设中就会显得非常重要。

innovate511

所以BI的总结经验，显得尤为珍贵，哪怕不成熟行业的过时的经验，在未来也可能是宝贝，就看你怎么看待这些经验了，呵呵。

其实没有完全成熟的行业，业务的本质也在变化。例如电子商务的凡客，原来只经营自己的品牌，后来增加一个商城，代理一大群国内外优质品牌，那么这个时候业务本质已经发生了微妙的变化，虽然大体还是相当的，但是从零售细分的角度看，业务本质已经发生变化了，只是变化不太大。这个时候商城的分析模型，是和品牌自主经营的分析模型，会差别化的。

所以去思考和理解业务的本质，不必等着信息化成熟再思考，为何不思考未来信息化要什么程度才能使BI产生更大价值，那个时候的业务本质又是什么呢？