ITPUB技术论坛_专业的IT技术社区

通过 EMR Serverless Spark 提交 PySpark 流任务

本文将指导您使用EMR Serverless Spark提交PySpark流式任务，展示其在流处理方面的易用性和可运维性。

数据分析

2024-07-19 10:19

MySQL如何优雅的执行DDL

一、前言关于MySQL DDL表结构变更，各个工单平台基本上都支持了pt-osc及Online DDL的方式，但是，我相信仍然有一大部分人，不太了解这两种方式各自的优缺点是啥，以至于实际当中，会稀里糊涂的随机选一种去执行，选对了固然好，选错了，自然免不了领导的一顿K，这......当然是开玩笑的哈。在各搜索平台上，介绍关于pt-osc及Online DDL工作原理的文章，不计其数，但是，对于非专

京东技术

数据分析

2024-07-18 15:07

阿里云 EMR StarRocks VS 开源版本功能差异介绍

阿里云 E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务，提供高性能、全场景、极速统一的数据分析体验，具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。

阿里云大数据AI技术

数据分析

2024-07-18 09:33

Hologres+Flink企业级实时数仓核心能力介绍

阿里云大数据AI技术

数据分析

2024-07-12 09:30

Apache Doris + Apache Hudi 快速搭建指南｜Lakehouse 使用手册（一）

作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一

SelectDB

数据分析

2024-07-11 14:38

Kafka如何保证消息不被重复消费？

Kafka如何保证消息不被重复消费，这是生产环境经常面临的问题，也是大厂重点考察内容，下面我就全面来详解Kafka如何保证消息不被重复消费

大数据技术前线

数据分析

2024-07-11 10:22

9 张图带你理解 Kafka 中高水位ＨＷ

Kafka 高水位（简称 HW）是 Kafka 中非常重要的一个概念，今天来聊一聊 HW。

大数据技术前线

数据分析

2024-07-09 10:15

Hudi 背后公司 Onehouse 完成3500万美元 B 轮融资

通用数据湖仓一体公司 Onehouse 今天宣布已获得由 Craft Ventures 领投的 3500 万美元 B 轮融资。

danny_2018

数据分析

2024-07-08 10:58

数据仓库如何升级成为湖仓一体数据平台？

湖仓一体平台结合了数据湖的灵活性和数据仓库的治理能力，能够提供统一的数据存储和分析解决方案，支持从批量处理到实时分析的多种数据处理模式。

danny_2018

数据分析

2024-07-05 10:09

构建数据湖仓的开源技术栈有哪些？

湖仓一体架构是一种新兴的数据管理方式，它融合了数据湖和数据仓库的优势，提供了统一的数据存储、事务支持、数据治理、实时与批处理能力以及弹性和可扩展性。

danny_2018

数据分析

2024-07-03 09:33

森马基于MaxCompute+Hologres+DataWorks构建数据中台

本次案例主要分享森马集团面对多年自建的多套数仓产品体系，通过阿里云MaxCompute+Hologres+DataWorks统一数仓平台，保障数据生产稳定性与数据质量，减少ETL链路及计算时间，每年数仓整体费用从300多万降到180万。

阿里云大数据AI技术

数据分析

2024-07-01 09:43

Apache Doris 2.1.4 版本正式发布

在 2.1.4 版本中，我们对数据湖分析场景进行了多项功能体验优化，重点修复了旧版本中异常内存占用的问题，同时提交了若干改进项以及问题修复，进一步提升了系统的性能、稳定性及易用性，欢迎大家下载使用。

danny_2018

数据分析

2024-06-27 10:17

Doris 的点查询优化功能，实测结果吓你一跳

一般对于数据库来说，如果你查询的条件走了索引，且符合条件的目标数据量很小的话，那么这个查询效率就会非常高。至于说在已经利用了索引的基础上，还能玩出什么花来，Doris 宣称，它可以通过额外的一些设置，进一步实现查询加速。

大数据技术前线

数据分析

2024-06-26 14:43

抖音集团基于 Apache Doris 的实时数据仓库实践

作者：字节跳动数据平台在直播、电商等业务场景中存在着大量实时数据，这些数据对业务发展至关重要。而在处理实时数据时，我们也遇到了诸多挑战，比如实时数据开发门槛高、运维成本高以及资源浪费等。此外，实时数据处理比离线数据更复杂，需要应对多流 JOIN、维度表变化等技术难题，并确保系统的稳定性和数据的准确性。本文将分享基于 Apache Doris 的实时数仓架构在不同业务场景的实践经验，以及该架构带来的

SelectDB

数据分析

2024-06-26 11:59

揭秘Kafka：大数据和流计算领域的高可用利器

Kafka凭借其高可用、高效和可伸缩的特性，成为了大数据和流计算领域的明星组件。它的分区和副本机制确保了系统的高可用性和容错能力，而批处理和异步处理的设计则使其在高吞吐量场景中表现出色。

danny_2018

数据分析

2024-06-25 14:10