ITPUB技术论坛_专业的IT技术社区

一文了解袋鼠云在实时数据湖上的探索与实践

近日，袋鼠云大数据引擎专家郝卫亮，为大家带来了《袋鼠云在实时数据湖上的探索与实践》主题分享，帮助大家能了解到什么是实时数据湖、如何进行数据湖选型及数据平台建设数据湖的经验。如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据处理能力，来应对数据查询、数据处理、数据挖掘、数据展示以及多种计算模型并行的挑战。因此，袋鼠云基于自研的一站式大数据基础软件——数栈提出相应的实时数据湖解决方

数栈DTinsight

Hadoop

2023-09-14 16:08

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

本文整理自 SmartNews 数据平台架构师 Apache Iceberg Contributor 戢清雨，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为五个部分：

大数据技术前线

数据分析

2023-09-14 09:31

数据研发“新人”如何快速落地？

以“如何快速落地”、“快速适应新环境”为出发点，探讨数据研发“新人”如何快速了解公司业务、领域模型和业务系统，然后快速高效的推进相关工作，赢得合作伙伴的信任和支持。

danny_2018

可视化

2023-09-13 15:19

什么让 Apache Kafka 如此快速？

Kafka 支持高吞吐量、高度分布式、容错性强的平台，能够以低延迟传递消息。

大数据技术前线

数据分析

2023-09-13 14:33

大数据实时链路备战——数据双流高保真压测

在企业的业务经营中，实时数据是营销、运维、决策的重要支撑，实时数据链路基本是所有大公司所拥有的，无论是否采用了中台模式，本文从如何建设实时数据双流、数据双流的建设标准，以及数据双流的压测备战三方面进行了详细的论述。

大数据技术前线

数据分析

2023-09-13 10:06

实时分析融合统一云原生，现代化数据仓库未来发展必经之路｜专访飞轮科技 CEO 马如悦

Apache Doris 历经近十年的发展，为何还能持续保持竞争力和活力？其背后的核心推动力又是什么？

SelectDB

数据分析

2023-09-12 11:05

从 Clickhouse 到 Apache Doris：有赞业务场景下性能测试与迁移验证

从 Clickhouse 到 Apache Doris 迁移实践：有赞查询提速近 10 倍，OLAP 分析更实时高效！

SelectDB

数据分析

2023-09-11 11:38

Hadoop主要是用来做什么的呢？

Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下开发分布式程序。主要解决海量数据存储与计算的问题，是大数据技术中的基石。 Hadoop用途：海量数据存储HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（High throughput）来访问数据，适合那些有着超大数据集（large data se

候鸟之恋

Hadoop

2023-09-08 15:09

ClickHouse 存算分离改造：小红书自研云原生数据仓库实践

ClickHouse 作为业界性能最强大的 OLAP 系统，在小红书内部被广泛应用于广告、社区、直播和电商等多个业务领域。然而，原生 ClickHouse 的 MPP 架构在运维成本、弹性扩展和故障恢复方面存在较大局限性。为应对挑战，小红书数据流团队基于开源 ClickHouse 自主研发了云原生实时数据仓库 RED ClickHouse（以下简称“REDck”）。

大数据技术前线

数据分析

2023-09-07 10:12