话题讨论——商务智能在行业中的应用

ca231

《商务智能实战－最大化使用SQL Server 2008中的BI工具》，最近在研究微软BI。微软商业智能平台涵盖了数据仓库、ETL工具以及数据展示这三大层面的产品与技术，SQL Server为核心，微软提供的ETL功能，支持从异构数据源中抽取、转换与装载数据；分析服务(Analysis Services)则是一个完整的多维数据集平台，全面支持多维复杂报表、实时报表等的创建和生成；微软提供的报表服务(Reporting Services)不仅仅是一个报表制作平台，同时能够完成报表的管理与分发，是一个完整的报表服务器；以Office和SharePoint Server为核心组成的微软商业智能平台的核心展现层，将后台处理的来自于异构系统、不同应用的数据实时、易读、易操作地展现给最终用户。
微软的BI产品体系：
SQL Server
BI的核心，其中从下到上包括三个部分，SSIS，SSAS，SSRS
SSIS负责ETL以及整体BI的调度。图形话界面比较直观。
SSAS，分析服务，包括Cube和数据挖掘。它也是跟我们通常所见的表和库相同的另外一种独立的库。
SSRS，报表，包括订阅和发布等功能，最新的版本集成了dundas的一些东西，比之前效果好那么一点。
以上三个模块的开发都是通过visual studio shell。
附属产品体系
Office
体现在Excel中，Visio也有一些，但未见过应用。
MOSS
Sharepoint的收费版本，微软的门户解决方案。
PPS被集成到了新版中，就是以前的普科。
按照微软的产品架构的解决方案：
Windows Server
IIS
SQLServer->SSIS-SSAS-SSRA
MOSS->PPS
Office
优点，全套微软的解决方案，各部分无缝集成。前端客户培训成本低，都是其比较熟悉的Office工具。
缺点，完全依赖于微软的体系方案。比如要用PPS的一个功能，那么就被迫要部署MOSS以及购买MOSS整个的授权，对MOSS的维护又是一定的成本。
比较常见的方案：
Windows Server
IIS
SQLServer->SSAS
ETL层自定义框架
前端利用第三方组件自行开发
优点，ETL和UI自己开发，可以解决比较复杂的需求。相对来说对于UI层差别很大，比如据说微软内部很多部门就是自己用Excel去连数据。
缺点，开发维护的成本高。
值得提一句的是，我所最近经历的项目ETL都是由团队自己封装的框架，完全不用SSIS。这个方案微软美国总部的某些专家也有提到。而我之前团队的兄弟们，除非数据量在1000万以内，否则都是宁可自己去实现ETL。
关于为什么舍弃SSIS，先前团队的兄弟们曾反映过一个细节，就是在抽取Oracle数据的时候经常半路死掉，一直找不到问题。后来咨询过一些DBA，他们说是由于Oracle的驱动版本造成的问题。我相信这么一个比较折腾人的细节，就足够让很多兄弟抛弃SSIS这个平台了。
我推荐的方案：
Windows Server
IIS
SQLServer->SSAS
ASP.NET->WebServices
Silverlight
GIS
这个是我一直推荐的BI+RIA+GIS的方案。也就是利用商业智能，加富客户端比较强的展现能力，并通过地图的辅组来为客户更好的展现数据。

tiansiyuan

越来越多的业内人士意识到传统BI末日将近了。很快基于hadoop/spark+storm/s4+内存NoSQL的新一代BI系统会成为标配，渐渐取代传统BI，它速度极快，反馈极快，无需预建模型，结构化数据和非结构化数据的混合分析，提供基于增量算法的高速数据挖掘。

innovate511

前提还是要新的技术架构需要技术更加成熟易用

xgghxkhuang

innovate511 发表于 2011-10-30 22:06
1. BI的基本技术比较容易掌握，目前比较难的，只有海量数据存储与处理，以及数据挖掘，像普通级别数据仓库 ...

那个ppt的联接能给我转发一下吗？我好知道一下。

innovate511

在PUB我也找不到了，呵呵

xgghxkhuang

innovate511 发表于 2011-11-5 15:37
在PUB我也找不到了，呵呵

发现bi很好，我也想从事这方面工作。
但是，发现这些算法还是比较难的。我同事说工具不重要，用sas和td还是cognos和oracle不是最重要的，
但是理解算法搭建模型并用工具恰当的实现才是最重要的。正奈何有大把时间却无从下手，里面的统计学的算法是很难的，希望有一部既介绍算法又介绍具体实现同时有实际例子的书籍。楼主你觉得bi中比较困难的是什么？是无法找到合适的分析方法，还是分析的精度不如预期？好的大企业都需要bi的，努力ing。

innovate511

BI是很庞大的工程，没有哪本书能介绍的非常全面的，建议多找些不同角度和观点的数据和资料。

BI中重要的核心是业务，所谓合适的算法，都是根据业务的不同而显得合适，并非算法本身合不合适。现在说数据驱动的人们，越来越多也承认，数据驱动是需要建立在业务驱动之上，才能发挥威力。

myccc

我觉得这样讨论不是很深入，我想楼主或者嘉宾等有在客户那么实际做过项目经过整个BI项目的，是否方便针对具体BI项目拿出你们的solution，然后我们再一起看一起讨论？

innovate511

整个项目十分庞大的技术、业务体系，建议网友可以按照自己的需求提问，谢谢。

inkworm

好久没来PUB了，留个言。