ITPUB技术论坛_专业的IT技术社区

谈谈数据仓库中的数据建模

在本文中，我们将深入概述数据建模，特别关注 Kimball 的方法。此外，还将介绍用于以用户友好且直观的方式呈现数据的其他技术。现代数据仓库的一项特别有趣的技术是将数据存储在一个宽表中，尽管这种方法可能并不适合所有查询引擎。我们还将介绍可在数据仓库、数据湖、数据湖屋等中使用的技术。但是，为特定用例和查询引擎选择适当的方法非常重要。什么是维度建模

码农谈IT

数据分析

2023-08-15 09:39

Apache Doris 2.0.0 版本正式发布：盲测性能 10 倍提升，更统一多样的极速分析体验

Apache Doris 2.0.0 版本正式发布：盲测性能 10 倍提升，为用户提供性能更佳、稳定性更高、易用性更好的数据分析体验

SelectDB

数据分析

2023-08-14 11:39

Flink cdc读取mysql数据，需要mysql开启哪些配置

介绍Flink CDC 是一个用于从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件。它可以实现 Flink SQL 采集+计算+传输（ETL）一体化。开启配置开启 binlog 功能，并设置 binlog 格式为 row 模式。binlog 是 MySQL 的二进制日志文件，它记录了数据库中的所有变更操作，Flink CDC 会通过 binlog

元亨利贞

Hadoop

2023-08-14 10:37

Apache Paimon 在同程旅行的实践进展

本文整理自同程旅行大数据计算组负责人吴祥平，在 Apache Paimon Meetup 的分享。

大数据技术前线

数据分析

2023-08-14 10:17

如何让ES低成本、高性能？滴滴落地ZSTD压缩算法的实践分享

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级，写入压力和业务成本压力大，为了提升ES的写入性能，我们让ES支持ZSTD压缩算法，本篇文章详细展开滴滴在落地ZSTD压缩算法上的思考和实践。

大数据技术前线

数据挖掘

2023-08-11 13:12

OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案

本文整理自 OceanBase 架构师周跃跃，在 Flink Forward Asia 2022 实时湖仓专场的分享。

大数据技术前线

数据分析

2023-08-11 13:03

解锁滴滴ES的性能潜力：JDK 17和ZGC的升级之路

前文介绍了滴滴自研的ES强一致性多活是如何实现的，其中也提到为了提升查询性能和解决查询毛刺问题，滴滴ES原地升级JDK17和ZGC，在这个过程中我们遇到了哪些问题，怎样解决的，以及最终上线效果如何，这篇文章就带大家深入了解。

大数据技术前线

数据分析

2023-08-10 10:46

硅谷著名投资人：OpenAI的核心竞争力是“极致”

当谈及OpenAI核心竞争力时，Sam将他们的核心竞争力归为“极致”：“我们注重细节的企业文化，努力做到每个细节都完美;我们专注于找到最有效的方法;我们敢于将大部分资源投到看中的项目。”

danny_2018

数据分析

2023-08-09 14:47

袋鼠云数栈 DataOps 数据生产力实践，实现数据流程的自动化和规范化

袋鼠云产品团队在帮助企业进行数字化转型实践的过程中，发现很多企业在数据生产链路上都有着相同的问题。包括数据团队聚焦于业务需求短期内的快速交付，内部缺少自顶向下的数据生产管理制度，在数据标准、数据生产流程到研发规范的各个层面均存在不完善与不规范之处；很多环节依赖人工操作，团队协作效率低，业务需求影响慢，存在大量的重复数据建设；先开发后治理的模式也往往导致历史债越来越沉重。数字化转型实践走在前列的企业

数栈DTinsight

Hadoop

2023-08-09 14:17

芒果 TV 基于 Flink 的实时数仓建设实践

芒果 TV 实时数仓的建设共分为三个阶段，14-19 年为第一阶段，技术选型采用 Storm/Flink Java+Spark SQL。20-22 年上半年为第二阶段，技术选型采用 Flink SQL+Spark SQL 。

danny_2018

数据分析

2023-08-09 12:31

探索ES高可用：滴滴自研跨数据中心复制技术详解

Elasticsearch 是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎，其每个字段均可被索引，且能够横向扩展至数以百计的服务器存储以及处理TB级的数据，其可以在极短的时间内存储、搜索和分析大量的数据。

大数据技术前线

数据分析

2023-08-08 10:18

芒果 TV 基于 Flink 的实时数仓建设实践

芒果 TV 实时数仓的建设共分为三个阶段，14-19 年为第一阶段，技术选型采用 Storm/Flink Java+Spark SQL。20-22 年上半年为第二阶段，技术选型采用 Flink SQL+Spark SQL 。22 年下半年-至今为第三阶段，技术选型采用 Flink SQL+StarRocks。每一次升级都是在原有基础上进行迭代，以求更全面的功能，更快的速度，能更好的满足业务方的需求。接下来逐一介绍。

大数据技术前线

数据分析

2023-08-08 10:17