【话题讨论】谈话题 得门票 数据治理要面临的问题

limintjhn

1、你们在工作中有没有用到数据治理？
有。之前接触过银行的数据仓库项目。数据仓库的上游系统通常会有很多个，常见的问题是同一数据存在多个“源”的问题。治理的目地就是要把正确数据抽取出来，把有问题的过滤掉。
2、数据治理项目的基本流程是什么?
1）业务分析：在模型层面确定数据来源
2）技术分析：在数据库层面确定数据来源，定位到具体的表和字段
3）ETL开发：利用存储过程或ETL工具，实现数据库抽取、转换。

3、在2013数据库大会上你期待听到有关数据治理的那些内容？
哈哈，太远了，参加不了呀！

4、楼主提到的数据错误导致商业智能大打折扣的问题，这就不一定是哪里出的问题了
商业智能的数据链条比较长:源系统、数据仓库的基础数据层、应用层、展示层等等。
1）可能是源系统的问题，我就遇到过源系统总分账不平的项目，客户经常给报表组打电话
2）数据仓库采集了错误的数据源
3）也可能是报表的需求分析不到位
4）或者是ETL加工、报表加工时出的错。

appppa

1、你们在工作中有没有用到数据治理？
有,作为咨询方参与了几个小型数据治理的项目。主要是快消行业、制造业。对银行业略微了解。

2、数据治理项目的基本流程是什么?
数据质量类：针对特定业务数据主题，以目标为导向，对数据源，ETL，数据仓库，报表，进行质量评估，识别问题，进行改进。从流程上进行管理，利用技术平台进行固化。
数据管理流程类：针对数据的设计、采集、传输、使用、归档、销毁等过程中的活动，识别关键步骤及相应风险，进行流程规范,团队建设，角色与职责定义等。
标准化：针对元数据、数据字典、主数据等定义、描述、规则，进行标准化设计及整改。主要通过流程和技术平台来实现。

3、在2013数据库大会上你期待听到有关数据治理的那些内容？
有没有BICC实例可以分享。
在数据治理项目启动前，如何让业务部门更好地预见数据治理项目的价值，在商业上的体现。

mr_linzi

数据质量问题是老问题了，基本上解决办法也就那么几个：1、系统功能完善；2、数据按照规则后台检查；3、培训教育考核录入人员等
我觉得可能要改变思路，即让外部的人员参与到数据录入过程中，如：供应商数据由供应商填写，客户数据由客户审核确认，员工数据由员工录入等。
说到这里，估计很多人觉得匪夷所思，其实都有解决办法：
1、供应商门户或者招投标系统中，由供应商录入自己的数据
2、客户数据从合同系统中取值；
3、利用移动终端、邮件录入、门户等方式，提供外部利益关注者的录入渠道。

tanjiaping

1、你们在工作中有没有用到数据治理？
答：没用过
2、数据治理项目的基本流程是什么?
答：个人理解应该是数据仓库方面的东西
3、在2013数据库大会上你期待听到有关数据治理的那些内容？
答：当然希望听到，有益无害麻。

lastwinner

其实说起来就那么简单的几条而已：
1/什么是数据，什么是元数据
2/数据的标准
3/数据有效性规则
基础打好了，将来的挖掘、分析等才有意义。

不过这几条，讲上两三个小时都不是问题

udfrog

1、你们在工作中有没有用到数据治理？
dw肯定要涉及数据治理，那基本上是一直都在做
2、数据治理项目的基本流程是什么?
还没有专门的项目来做这件事，因为数据问题都是出现了就尽快来处理。那时都是报表使用人员发现数据异常后提个ticket出来，然后就查喽。
3、在2013数据库大会上你期待听到有关数据治理的那些内容
对数据治理没什么感情，听说了就头疼~~
DTCC上只要是偏重技术，偏重思想的，就期待，前提是，这张门票得给俺~~

mikecomrade

1、用到过，客户信息的数据治理

2、个人认为，数据治理项目的步骤：
（1）对当前数据分布状态与数据质量进行全方位了解与统计；
（2）采用科学的方法重新整合数据
（3）对质量不高的数据进行治理（识别+补充）

3、想了解数据治理的一些新思路新方法

dodomail

个人理解数据治理：1.数据捞取；2.数据过滤和压缩；3.数据抽样；4.数据入库

草上飞2008

wzz123snow 发表于 2013-1-23 10:24
1.之前从事社保项目，个人基本信息有很多垃圾信息，像身份证号为空，出生年月和身份证号不一致，身份证号位 ...

说得太有道理了，

想要进行修正，需要指定一个机制，一个策略，有的信息需要去核实后才能修改，并不能完全通过技术手段来实现。

要解决这类问题，就得需要一个好的技术平台＋标准化的策略机制，共同来解决嘛。

草上飞2008

dbwyl 发表于 2013-1-23 15:33
讨论话题：

1、你们在工作中有没有用到数据治理？

“、成功海量数据的治理流程分析。
   2、用到的好软件。”

这次大会的数据治理专场，专门有这方面的深入剖析啊。

老兄的项目中，是如何做的元数据管理呢？