【话题讨论】谈话题得门票数据治理要面临的问题

foreversunyao · 发表于 2013-1-25 14:17

kelsoncong 发表于 2013-1-24 16:09
如果是数据仓库环境下,人工处理太夸张了

版主有什么好的自动化方式么？

ccceleven · 发表于 2013-1-25 16:04

1、你们在工作中有没有用到数据治理？
有一部分吧，毕竟运维这块接触到数据这块不多，但是过期或无效数据这块需要从数据源头解决。
2、数据治理项目的基本流程是什么?

源头解决不能解决的后面进行数据处理。。
3、在2013数据库大会上你期待听到有关数据治理的那些内容？
越全越好。

xgghxkhuang · 发表于 2013-1-26 10:52

现在我所在的团队就在做这些事情，
大家不要灰心，真的做数仓和集市，一定是内部人和外购项目组一起做的。
我们团队请的是文思的bi团队，问题是有的，但是都能解决的。

xgghxkhuang · 发表于 2013-1-26 10:56

现在这里的架构是
源系统表入数据仓库
仓库标准化入集市
集市建立模型设计中间汇总宽表层
推数据到报表数据库
报表库加工产生报表
集市和数据仓库用greenplum
数据库用oracle
报表用cognos

xgghxkhuang · 发表于 2013-1-26 10:59

建设中遇到的问题
如何支持数据仓库和集市的数据重新跑批处理
因为有些表是加工出来的时点数据，
有些表是发生数值，
一旦过了时间点，时点数据就无法重跑了，除非备份数据仓库的数据，但是这样吃存储。

xgghxkhuang · 发表于 2013-1-26 11:03

另外就是整个数据链条太长，发现和修复问题的成本很高。报表出的问题可能是集市那边的问题，
但可能集市加工没有问题，是数据仓库的问题，甚至是源头系统的问题，链条长，即使发现问题想要给用户修复，也不能及时完成，因为修复得需要较长的时间。

xgghxkhuang · 发表于 2013-1-26 11:07

还有就是数据准确性问题，相对技术而言，数据准确性更重要，哪怕系统差点，数据只要是准确的，用户也是认可的。这就需要对数据和业务知识的理解，个人认为，这是最难的。数据准确性是任何数据应用的灵魂。解决办法是基于逻辑的，即数据无论从哪里加工的，它的源头是业务系统，一层层核对直到对明细。

xgghxkhuang · 发表于 2013-1-26 11:13

还有就是数据应用和业务系统是有依赖性的，一旦业务系统有业务架构上的变动，对数据应用改造影响十分巨大，白白消耗了人力，在一个业务系统业务架构相对稳定的环境下，数据分析和报表能提供更大的作用。

xgghxkhuang · 发表于 2013-1-26 11:20

另外，建议想入数据集市的同学注意
集市没有你们想象的那么完美，其实工作是整天和业务数据打交道，然后开发，对数据，查问题，
有时需要很大的耐心的。而且，得数据准确后才有什么挖掘和分析的。
如果想立竿见影的出成绩，交易系统可能更适合，因为交易系统直接创造价值，不允许任何出错，做好了，收效马上见。

fk1987614 · 发表于 2013-1-26 21:10

你们在工作中有没有遇到数据治理？
原来在做运维的时候遇到过，主要是ETL(informatic),来处理数据。
数据治理的基本流程是什么？
1.根据需求来制定一些转换清理规则来进行处理。
需求--规则--清理--治理
2.通过配置一些阈值来制定转换规则。
阈值-规则--转换--治理
3、在2013数据库大会上你期待听到有关数据治理的那些内容？
主要是未来数据发展的一个方向。以及对于大数据是否还是需要治理？

【话题讨论】谈话题 得门票 数据治理要面临的问题

浏览过的版块

【话题讨论】谈话题得门票数据治理要面临的问题