ITPUB技术论坛_专业的IT技术社区

八个领悟：我在数据管理中的挑战与反思！

数据管理工作充满曲折和挑战，今天就来聊聊我当前面临的八大困境，分别是：大模型瓶颈、责权利不对等、组织架构缺陷、达摩克利斯之剑、扁平化悖论、数据不owner、完美的“坑”、冲动是魔鬼。同时也给出了我的一些思考，与大家共勉。

qing_yun

数据治理

2024-05-07 09:32

如何开展特定数据域的数据治理

特定数据域的数据治理最近成为各个行业的焦点。

架构师修行手册

数据治理

2024-04-29 10:07

如何构建高效的ETL/ELT 数据交付方案

在高级分析、商业智能、人工智能和机器学习领域，数据交付的重要性怎么强调都不为过。这不仅仅是建立一条管道；精心设计的流程包含一系列关键步骤，从数据提取和转换到数据治理和质量保证。无论是启动新的实施还是增强现有的数据平台，都必须注意本文中概述的步骤和技术。通过优先考虑有效的数据交付策略，组织可以确保高质量数据的无缝流动，以支持其分析工作并推动明智的决策过程。

张哥说技术

数据治理

2024-04-28 10:47

浅谈数据治理之主数据识别（水利水电行业）

水利水电工程是个庞大的工程，涉及多个系统，如水库调度系统、大坝安全监测系统、水闸控制系统、水文监测系统等。这些系统之间需要共享数据，以便进行统一的工程管理和决策。

qing_yun

数据治理

2024-04-26 11:41

制定数据策略的注意事项

在日益数据驱动的世界中，精心设计的数据策略对于旨在在数字经济中健康发展的企业来说是必要的。但从哪儿开始呢？更重要的是，如何确保数据策略不仅仅存在于纸面上，而是转化为有形的商业价值？

带你聊技术

数据治理

2024-04-26 09:26

晓谈数据工程6-数据架构

内容： 1. 什么是数据架构 2. Lambda vs Kappa 架构 3. 实际项目

张哥说技术

数据治理

2024-04-15 09:39

晓谈数据工程4-数据管道

内容： 1. 数据管道 2. 数据管道的类型 3. 如何实现数据管道 4. 如何防止数据管道破损 5. Apache Kafka

带你聊技术

数据治理

2024-04-09 09:27

晓谈数据工程3-数据质量和治理

内容： 1. 数据质量 2. 如何实施数据质量 3. 数据治理 4. 如何实施数据治理

带你聊技术

数据治理

2024-04-09 09:24

晓谈数据工程2-数据存储

内容： 1.数据仓库 2.数据湖 3.数据Lakehouse 4.数据网格 5.数据虚拟化 6.DataFabric 数据工程概念：第1部分，数据建模

带你聊技术

数据治理

2024-04-08 13:49

晓谈企业数据管理四：大数据和数据存储

本文是由 4 部分组成的系列文章中的第二篇文章，该系列文章简要介绍了不同的数据解决方案以提供总体概述。它完全与工具无关，并讨论了可以根据其功能由不同工具处理的数据管理概念。

张哥说技术

数据治理

2024-04-08 11:25

晓谈数据工程4-数据管道

这是数据工程概念系列 10 部分中的第 4 部分。在这一部分中，我们将讨论数据管道。内容包括：数据管道、数据管道的类型、如何实现数据管道、如何防止数据管道破损、Apache Kafka

qing_yun

数据治理

2024-04-08 09:21

企业数据管理三：元数据、主数据、参考数据

本文是由 4 部分组成的系列文章中的第一篇，该系列文章简要介绍了不同的数据解决方案以提供总体概述。本系列完全与工具无关，讨论了可以根据其功能由不同工具处理的数据管理概念。

张哥说技术

数据治理

2024-04-07 09:44

企业数据管理三：元数据、主数据、参考数据

本系列完全与工具无关，讨论了可以根据其功能由不同工具处理的数据管理概念。在本文中，我们将讨论：元数据和参考数据管理、主数据管理

qing_yun

数据治理

2024-04-03 09:27

晓谈企业数据管理二：识别数据问题

这里我主要讲一下数据的识别、分类和量化问题。我们将看到数据问题的不同分类、衡量数据质量的参数和分析数据源的参数。

带你聊技术

数据治理

2024-04-02 09:15

数据清洗，通常也称为数据清理，实际上不是对数据库的单个活动，而是涉及多种技术使用的整个过程。他们的目标是：拥有一个干净、可靠、一致和完整的数据库。干净的数据无非就是高质量的数据，我们可以信任的数据，并可以根据这些数据做出正确的决策。在商业领域，据估计每年有25%的数据已过时，而受污染的数据会导致收入减少多达20%，这一点尤其重要。作为一家每天处理客户贸易登记册和各种业务数据库中聚合数据清理工作的数据软件公司，我们今天将告诉您实践中的数据库清理是什么，数据清理和处理的各个阶段是什么？它们都是关于什么的。不过，首先让我们提供一些好的论据来解释为什么值得关注这个问题。

带你聊技术

数据治理

2024-03-28 10:05