【话题讨论】谈话题 得门票 数据治理要面临的问题

草上飞2008

kelsoncong 发表于 2013-1-23 15:43
这个话题很大啊, 可能放到数据仓库板块去讨论更好，下面是自己的一些认识，

1、你们在工作中有没有用到数 ...

。
做为一个重要的模块来处理.甚至于还衍生出了类似于专门的MDM(主数据管理）系统来单独开发。

还衍生出了 元数据管理、数据质量、血缘分析系统等等......

LuiseDalian

1、你们在工作中有没有用到数据治理？
答：刚刚开始入手这方面的工作。

2、数据治理项目的基本流程是什么?
答：
    以下内容来自网络文章。
    这里的难点是大数据的数据治理流程是全新事物。Chisholm说：“大数据还不成熟，而且大多数管理员对此还一无所知。”

    大数据也包括大量的结构化事务数据，它拥有非常特殊的性质。它通常按照3个V进行定义：容量(volume)、种类(variety)和更新速度(velocity)。Forrester又给它的定义增加了变化性(variability )，
    而它的竞争对 手Gartner公司还为它添加了复杂性(complexity)。

    此外，数据通常来自外部来源，因此准确性不一定能够得到保证;此外，文本数据的含义和上下文并不一定能够自证。而且，在许多情况下，它存储在Hadoop文件系统或NoSQL数据库中，而非传统的数据仓库。
     对于许多组织而言，大数据要求所有相关人员都经过一个较长时间的学习曲线，其中包括：IT经理、程序员、数据架构师、数据建模人员和数据管理人员

    我的理解：
    数据源，也可称为元数据
    建模，确定数据的标准格式
    进行数据的抽取，形成标准数据
    对数据进行进一步的分析，达到最终的治理目标

3、在2013数据库大会上你期待听到有关数据治理的那些内容？
答：需要倾听的内容很多。
    1.实际项目中的数据治理流程
    2.数据治理的常用或者比较成熟的工具软件
    3.数据治理过程中的建模问题
    4.最好能有实际的项目，以项目为基础，穿插介绍上述方面在实际项目中的具体展开。
    5.数据治理工作的具体的工作职责及前景
    6.国内外在这方面的最新研究进展和差距
    7.推荐几本有关数据治理的入门和深入研究的好书（中英文均可）
    8.国内在数据治理理论研究和实际应用的当前状况。

xieg_sky

后续的工作中，会用到。 应该在业务模型设计及系统设计时将数据的规范做好。

xieg_sky

“确保数据的有效性、可访问性、高质量、一致性、可审计和安全性”  ，如果事前没有约束，事后整合的，花费的成本就比较大

tolilong

第一次听说数据治理，支持。

buptdream

1、你们在工作中有没有用到数据治理？
   对于资讯行业，我们就在进行数据治理的工作。其实引发的缘由就是如何在大量历史数据中提取有效，重要的信息，清洗一些没有价值的数据。这部分工作是非常难的，对于领导来说，对于数据质量管理和一些元数据管理，数据标准，数据生命周期管理等一些数据治理方面不够关注，也没有一些非常成熟的资讯方面的公司给予指导，在公司内部也没有专门的部门来研究这些核心价值，只是随着公司的进一步发展，业务上需要对历史的一些资讯信息进行聚类，汇总，才引起重视。就工作来讲，也仅局限在一些相关技术部门内，全公司上下没有一个统一的流程和组织架构。别家的企业也没有非常好的案例来进行学习，只能靠我们自己来进行摸索。在技术上来说，缺乏一些工具来管理这些数据的治理，前期只能依靠手工进行完成。
    经过一年的发展，各种流程和平台也逐渐建立，数据治理也有了一个良好的规范。从业务上规定了数据的核心价值，缩小数据治理与企业战略目标 差距，确定策略重点，从元数据管理，数据质量管理，数据标准，数据生命周期，数据安全，主数据管理等方面规划公司数据管控体系的建设方案，并有专门的部门来跟踪方案的实施情况，通过讨论，不断的去修正方案中不合理的地方。数据治理的责任落实到具体部门和个人，细化公司的目标，将治理方法规范化，手段流程化，实施细则制度化，规范各个相关部门和角色的具体职能。开发了一套元数据管理平台，对业务数据进行梳理，将分散的业务数据进行统一管理，实现了信息的内部共享，同时，将相关技术元数据也纳入了管理平台，提供数据分析，为数据质量管理提供保障。
2、数据治理项目的基本流程是什么?
  1：要进行前期调研，了解数据治理的现状。结合业务需求，进行数据防范标准。
  2：与业务目标一致 数据治理要从组织目标和信息化战略中抽取信息需求和功能需求，形成总体的数据治理框架和系统整体模型，为进一步系统设计和实施奠定基础，保证信息技术跟上持续变化的业务目标。
  3:有效利用信息资源 目前信息化工程超期、IT客户的需求没有满足、1T平台不支持业务应用等问题较为突出，通过数据治理可以对信息资源的管理职责进行有效管理，保证投资的回收，并支持业务决策。
  4:对风险进行管理 由于企业越来越依赖于信息技术和网络，新的风险不断涌现，例如，新出现的技术没有管理，不符合现有法律和规章制度、没有识别对IT服务的威胁等。数据治理强调风险管理，通过制定信息资源的保护级别，强调关键的信息技术资源，有效实施监控，事故处理。数据治理使企业适应外部环境变化，为企业内部实现对业务流程中资源的有效利用，从而达到改善管理效率和水平的重要手段。
  5：数据固然有技术的成分，但数据更是一个管理问题，而且是一个综合管理问题。因此，如果仅依靠信息技术部门，仅采用技术的手段是难以彻底解决数据问题的。解决数据问题应当综合分析产生问题的原因，采用系统解决方案。关键是应当将数据管理纳入公司系统管理，并成为系统管理的重要组成。所以，解决数据问题需要公司高层的高度重视，需要公司各个方面的共同参与和密切配合，需要综合治理和协调推动。
  6：解决数据问题要靠组织、制度和投入。数据问题包括了：数据管理、数据技术和数据应用三个方面的内容，而这三个方面是相互联系、相互支持的。分析数据问题的一个重要原因是公司内部的多头管理、政出多门，因此，应当设立专门的数据管理机构，整合职能，统一管理和协调数据工作。此外，数据管理作为一项基础性的工作需要一系列制度作为保障，特别是标准以及标准的执行，形成一个公司数据管理的内部法制环境，做到有法可依、有法必依，执法必严、违法必纠。同时，要通过数据审计，确保各项制度的执行。再者，数据管理需要投入，包括了基础建设方面的投入和日常维护方面的投入，而且，这种投入应当是持续、充分的。
7：能够实现数据治理平台化，建立一套统一的管理系统，对各个数据管控提供支撑。
3、在2013数据库大会上你期待听到有关数据治理的那些内容？
数据治理是未来一个大数据发展的方向，希望能够在数据库大会上听到一下主题：
  1：自动化数据治理的案例。
  2：数据治理安全方面的一些具体解决方案，比如权限，一些敏感数据的处理方法。
  3：企业内部数据治理一些非常好的流程规范。
  4：数据治理平台的一些架构和模块分析
  5：在ERP领域，一些企业的数据治理方案和面临的问题
  6：一些比较大型公司，比如：IBM,在数据治理项目上的经验
  7：数据治理和未来人才需求方面的分析

buptdream

foreversunyao 发表于 2013-1-25 14:17
版主有什么好的自动化方式么？

现在能够自动化的比较少，非常困难，业务都不是很好梳理

buptdream

foreversunyao 发表于 2013-1-25 14:17
版主有什么好的自动化方式么？

现在能够自动化的比较少，非常困难，业务都不是很好梳理

buptdream

xgghxkhuang 发表于 2013-1-26 10:52
现在我所在的团队就在做这些事情，
大家不要灰心，真的做数仓和集市，一定是内部人和外购项目组一起做的。 ...

文思不是外包的公司吗？有没有好的效果，可以介绍一下a

yibu

1、你们在工作中有没有用到数据治理？
有用到,数据治理针对数据分四类:
1)举措提升:数据本身质量就不好,需要通过各项举措来提升,如客户信息可以通过客户回访,多系统多渠道收集汇总分析加规则判定来提升;
2)清洗提升类:将模糊的不可用的信息通过清洗变的可使用,可统计.常用在地址电话等信息
3)程序提升:根据逻辑规则判定,找出it处理过程中产生的错误,通过it手段纠正.
4)其他提升:如管理手段,错误数据人工修整等.
2、数据治理项目的基本流程是什么?
长篇大论就不详细描述了,个人认为的理想过程离不开这三方面:目标标准化-过程规则化-操作自动化
3、在2013数据库大会上你期待听到有关数据治理的那些内容？
针对数据治理,在集团范围内,跨子公司或着跨部门的合作管理模式;大数据下的数据管理手段;某行业下数据标准化的建立及推动案例