ITPUB技术论坛_专业的IT技术社区

2万字揭秘阿里数据治理建设实践

面对大数据平台众多数据治理问题的挑战，我们用1套组织架构，1部数据治理方法论，1套全链路治理平台来满足各类数据治理的需求。

danny_2018

数据分析

2024-02-02 14:18

在大型项目中，抖音集团如何“用活”数据？

数据消费是数据飞轮的核心驱动力，也是企业数字化转型的核心。消费繁荣可以促进数据资产的建设，消费繁荣能促进业务的发展。

danny_2018

数据分析

2024-02-02 10:29

随着信息化的不断发展，数据的数量和质量都呈现了爆发式的增长，数据已经成为核心资源。数据治理是银行实现数字化转型、提升核心竞争力的重要手段，也是银行信息化建设的重要组成部分。数据治理体系是银行构建数据质量和数据标准的组织体系，包含组织、制度、流程等，为银行提供统一的数据标准和规范。银行应从战略层面出发，制定并实施一套完整的、规范的、有效的数据治理体系，保障数据治理工作能够有效实施。一、构建数据治理体

yueshu_graph

数据挖掘

2024-02-01 14:41

基于云原生架构的新一代数据仓库平台

数据仓库作为金融机构的数据基础设施，对于技术的高要求表现在两个方面：一方面需要集群具备较高的运行效率，良好的可扩展性、稳定性和系统兼容性。

danny_2018

数据分析

2024-02-01 14:21

大模型微调，长尾场景下的数据如何清洗？

如果模型基于错误的、无意义的数据建立，那么这个模型也会出错。因此，如果源数据带有缺失值(NaN)，就需要在数据预处理中进行清洗。

danny_2018

数据分析

2024-02-01 11:40

百川终入海，一站式海量数据迁移工具 X2Doris 正式发布

在大数据分析领域，Apache Doris 作为广受认可的开源实时数据仓库，已经在越来越多行业用户的真实业务场景中得到广泛应用，成为许多企业数据分析基础设施的重要基座。尤其在过去一年多的时间里，越来越多企业选择基于 Apache Doris 进行升级，将过去基于 Hadoop 体系的离线数据仓库进行实时化改造，或者基于 Apache Doris 统一 OLAP 技术栈。在这一过程中，如何将海量历史

SelectDB

数据分析

2024-01-31 14:40

数据要素为什么可以发挥数乘效果？

数据要素通过优化资源配置、提升生产效率，实现质的飞跃和赋能新经济，发挥着重要作用。

danny_2018

数据分析

2024-01-30 10:50

写在2024年国际数据保护日之际：如何保护数据安全和隐私？

本文结合网上资料及对专家的采访，梳理了2024数据安全和数据隐私的发展趋势和挑战，以及专家对企业和个人保护数据安全和隐私的建议。

qing_yun

数据分析

2024-01-30 09:21

ThreadPool 模式设计与流程演示

ThreadPool 模式能够提高系统资源的使用效率，通过重复利用已创建线程避免频繁创建和销毁线程对系统资源的消耗，可保持系统执行大量高并发任务时的性能稳定，通过 ThreadPool 模式可实现统一资源管理，简化编程接口。

KaiwuDB

数据分析

2024-01-29 15:28

数据治理始终没有发挥成效，原因何在？

数据中台增速骤降，企业也不再像囤积土地资源一样囤积数据，开始更多关注数据本身能够带来的价值。同时，也开始更加关注基于数据中台的数据治理应该如何开展。

danny_2018

数据分析

2024-01-29 10:16

一文读懂数据平台的发展历史

数据平台的发展历史经历了多个阶段。最早的阶段是使用关系型数据库构建星型模型的数据仓库。这种方式通过将数据存储在规范化的关系型数据库中，并使用星型模型来建立数据关联，实现了数据的集中存储和快速查询。

danny_2018

数据分析

2024-01-29 09:38

Celeborn 真的能对 shuffle 提速吗？(上)

也不知道是从哪听说的这个名字，可能是某篇文章，或者是群里哪个小伙伴偶然提到了这么一嘴，第一次看到时，把我愣了一下，因为之前用过一款可以用来管理和监控 Elasticsearch 的软件，叫「Cerebro」，这两长的那叫一个像啊，第一反应还以为这玩意推出新功能了呢。定睛一看，原来是搞错了，网上一查，说 Celeborn 是一款专门为计算引擎的「shuffle」功能提速的软件，居然还可以这样。这一下子就激发了我想测试一把的冲动。

大数据技术前线

数据分析

2024-01-26 11:14

vivo 海量基础数据计算架构应用实践

本文介绍了vivo在万亿级数据增长驱动下，基础数据架构建设的演进过程，在实时和离线计算过程中，如何基于业务发展，数据质量，计算成本等方面的挑战，构建稳定，可靠，低成本、高性能的双活计算架构。

vivo互联网技术

数据挖掘

2024-01-25 11:09

ClickHouse在B站直播公会业务分析场景的应用实践

直播公会是指从事网络直播表演的组织、制作、营销等经营活动和主播的签约、推广、代理等经纪活动的机构。 B站为外部公会提供了主播全生命周期的管理系统，包含主播的入退会管理、主播营收数据分析、主播开播看播数据分析、直播监控、营收账单结算等功能子模块。同时为了鼓励、引导外部公会有针对性的对潜力主播进行孵化扶持，公会系统协同B站内部多业务方，提供一系列业务激励、流量策略，满足公会日常运营需求。

大数据技术前线

数据分析

2024-01-25 09:52

大数据技术发展史：大数据的前世今生

大数据技术的发展历程展示了人类智慧的薪火相传。从关系型数据库到分布式计算、分布式存储，再到数据处理和分析工具的涌现，每一次突破都推动着大数据的发展。然而随着大数据的不断演进，仍面临着诸多挑战，如数据质量、隐私保护和伦理道德等。未来我们期待更多创新的技术和方法出现，助力大数据技术持续发展，为人类创造更美好的未来。

大数据技术前线

数据分析

2024-01-24 09:34