ITPUB技术论坛_专业的IT技术社区

基于 Flink CDC 打造企业级实时数据集成方案

本篇内容主要分为三部分： 1. CDC 数据实时集成的挑战 2. Flink CDC 核心技术解读 3. 阿里云基于 Flink CDC 的企业级实时数据集成方案

大数据技术前线

数据分析

2023-11-15 09:41

Kafka 正在成为新一代数据湖？

数据湖将成为管理大量原始、非结构化和半结构化数据的基础。它可以将历史数据存储为单一事实来源，这对于在不同部门和团队之间保持数据一致性、完整性和可信度是至关重要的。

danny_2018

数据分析

2023-11-13 10:22

Spark跟Flink的JDBC，都不靠谱

别误会，这个不靠谱，说的是不论Spark还是Flink，都不能通过JDBC的方式，支持真正意义上的流式读取，而不是它不可用。

大数据技术前线

数据分析

2023-11-13 10:06

如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路

在本篇文章中，将通过实时入湖和物化视图两个方面，介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。

数栈DTinsight

Hadoop

2023-11-10 13:53

LLM大模型向量数据库技术架构浅析

AI 智能时代，开发者需要一个真正的向量数据库吗?答案很简单，这取决于开发者的应用场景。举个例子，晚饭选择去一家五星级餐厅用餐或是是快餐店，往往和你的胃口和期望有关。

danny_2018

数据分析

2023-11-10 11:13

Kafka 在分布式系统中的 7 大应用场景

Kafka 最初是为分布式系统中海量日志处理而设计的。它可以通过持久化功能将消息保存到磁盘直到过期，并让消费者按照自己的节奏提取消息。与它的前辈不同(RabbitMQ、ActiveMQ)，Kafka 不仅仅是一个消息队列，它还是一个开源的分布式流处理平台。

danny_2018

数据分析

2023-11-10 10:55

Flink的mysql CDC，好使不？

其实从Flink官网来看，flink读取mysql，还有一种jdbc的方式，只不过CDC这个概念被Flink宣传的过于火热，咱还是决定从它先开始。

大数据技术前线

数据分析

2023-11-09 10:07

DataOps是现代数据栈的未来吗？

与 DevOps将 CI/CD 应用于软件开发和运维的方式类似，DataOps需要一种类似于CI/CD、自动化优先的方法来构建和扩展数据产品。同时， DataOps使数据工程团队更容易为分析师和其他下游使用人员提供可靠的数据来驱动决策。

danny_2018

数据分析

2023-11-07 15:04

Elasticsearch 8.X 如何生成 TB 级的测试数据 ?

我只想插入大量的测试数据，不是想测试性能，有没有自动办法生成TB级别的测试数据？有工具？还是说有测试数据集之类的东西？

大数据技术前线

数据分析

2023-11-07 11:34

Clickhouse的MySQL外部表，坑货！

要说高效，其实用CK自带的外部表+物化视图的方式一定是最快的、最省事的。因为之前用过kafka的外部表+物化视图的方式，就可以很方便把外部数据给导入到CK内部，确实很好用，可是这一次，我们把kafka换成MySQL之后，到底还能不能好使呢？那么这篇文章，咱就来看看，CK支持的mysql外部表，到底能不能行。

大数据技术前线

数据分析

2023-11-07 11:23

事件流处理 (ESP) 与 Kafka 简介

Kafka是一个开源项目。它具有分布式、弹性的架构，并且容忍故障（您可以对其进行修补和维护，而无需关闭整个系统）。Kafka具有横向扩展性。该项目旨在提供一个统一的、高吞吐量、低延迟（低于10毫秒）的平台，用于处理实时数据流。

大数据技术前线

数据分析

2023-11-06 09:57

NineData帮助开发者用好数据和云

数据库工具是指用于创建、设计、管理、开发、维护和优化数据库的一系列软件工具，包括数据库设计工具、数据库迁移与复制、数据库管理工具、数据安全工具等，这些工具可以帮助数据库管理员和开发人员更高效地管理、使用和开发数据库，减少人工维护和管理的成本，因此被广泛使用于各种企业和应用中。

网络通信频道

数据分析

2023-11-03 09:15

用DataX导数据到Clickhouse遇到的坑

这两天在帮一个项目部署 Clickhouse (下称CK)，并且需要将上游的数据给导入到其中。

大数据技术前线

数据分析

2023-11-02 10:26

Doris2.0的Analyze功能，能让查询变快不？

虽然说Doris在2.0的版本中，加入了一些试图加速查询的「黑科技」，但即便如此，就如我之前说的，这些玩意到底实不实用，还必须得在真刀真枪的真实环境中经受住考验才行。

大数据技术前线

数据分析

2023-10-31 09:48

树莓派基金会近日发布了新版基于 Debian 的树莓派操作系统

树莓派基金会（Raspberry Pi Foundation）近日发布了新版基于 Debian 的树莓派操作系统（Raspberry Pi OS），为树莓派单板电脑带来了新的书虫基础和一些重大变化。新版 Raspberry Pi OS 的最大变化是它现在基于最新的 Debian GNU/Linux 12 “书虫 “操作系统系列。在此之前的 Raspberry Pi OS 版本都是基于 D

linuxprobe1314

可视化

2023-10-28 01:18