ITPUB技术论坛_专业的IT技术社区

分析型数据库与事务型数据库？核心差异与选型指南

本文讨论了在数据驱动的业务环境中，事务型数据库和分析型数据库的核心差异与选型问题。

数据挖掘

2025-04-22 19:52

IDC预计，2028年中国大数据总体市场规模将超621亿美元

国际数据公司(IDC)近日发布了2025年V1版本《全球大数据支出指南》(IDC Worldwide Big Data and Analytics Spending Guide)。IDC最新数据显示，2024年全球大数据IT总投资规模约为3,540亿美元，2028年预计接近6,441亿美元，五年复合增长率(CAGR)约为16.8%。

qing_yun

数据分析

2025-04-21 13:47

Spark on K8s 在vivo大数据平台的混部实战

本文将从在离线混部中的离线任务的角度，讲述离线任务是如何进行容器化、平台上的离线任务如何平滑地提交到混部集群、离线任务在混部集群中如何调度的完整实现以及过程中的问题解决。

vivo互联网技术

Spark

2025-04-17 11:29

ETL多源数据集成架构设计：到底选择专用管道，还是通用管道？

不管是选择每个数据源的专用管道，还是具有集成层、核心层和接收器层的通用管道，两种方法各有利弊，适用于不同的场景和用户需求。

danny_2018

ELK

2025-02-25 18:11

数据无界、湖仓无界，Apache Doris 湖仓一体典型场景实战指南（下篇）

导读：湖仓一体是将数据湖和数据仓库的优势相结合的数据管理系统。Apache Doris 结合自身特性，提出了【数据无界】和【湖仓无界】核心理念。上篇文章已介绍了 Apache Doris 湖仓一体完整方案，本文将聚焦典型应用场景，进一步深入，帮助读者更好地理解和应用 Apache Doris 湖仓一体。在数据驱动决策的时代，湖仓一体架构以统一存储、统一计算、统一管理的创新形式，补齐了传统数据仓库

SelectDB

数据分析

2025-02-21 12:19

数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）

导读：湖仓一体架构融合了数据湖的低成本、高扩展性，以及数据仓库的高性能、强数据治理能力，高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设，Apache Doris 提出了数据无界和湖仓无界核心理念，并结合自身特性，助力企业加速从 0 到 1 构建湖仓体系，降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。在过去的数年间，数据分析技术栈经历了许

SelectDB

数据分析

2025-02-19 11:20

官宣｜Apache Paimon 1.0 发布公告

在后续计划中，我们重点投入 RESTCatalog 的建设，并且推动 REST Server 的发展，在未来，我们希望通过 REST 元数据服务极大的提升整个湖仓的体验、可用性和易用性。

danny_2018

数据分析

2025-02-11 18:16

DeepSeek等AI产品如何重塑数据分析师的工作

近年来，以ChatGPT为代表的AI产品正在深刻改变数据分析领域的工作方式。这个春节又被DeepSeek刷屏，这些智能工具不仅能够自动化处理海量数据，还能通过机器学习算法发现数据中的潜在规律，为决策提供支持。

qing_yun

数据分析

2025-02-08 09:53

搭建数据运营体系：从“跑数机”到“增长引擎”

当所有部门在部门例会上共识目标，跟踪进度，反馈问题，协同工作的时候，这套机制就算正常运转起来了。这样能保证整体目标的最大化落地，也能提醒各小组关键任务是什么——不要被自己一亩三分地发生的破事淹没了。

qing_yun

数据分析

2025-01-26 09:14

数据分析，你的Insight是什么？

不管是给老板汇报还是给客户汇报，最核心的一点就是你的Insight（洞察或结论是什么）。在做数据数据分析或业务研究时，你不仅要给出数据结果的事实，还需要给出你自己基于数据得到的结论和建议，这才是你的价值，也就是需要具备描述数据是什么，数据怎么样，为什么会这样

qing_yun

数据分析

2025-01-23 09:57

PB 级大规模日志平台：中信银行信用卡中心从 ES 到 Apache Doris 的先进实践

导读：中信银行信用卡中心每日新增日志数据 140 亿条（80TB），全量归档日志量超 40PB，早期基于 Elasticsearch 构建的日志云平台，面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch，实现资源投入降低 50%、查询速度提升 2～4 倍，同时显著提高了运维效率。本文转录自陈地长（中信信用卡中心

SelectDB

数据分析

2025-01-21 11:30

大数据已死？

在过去的十年里，"大数据"一词几乎成为了科技创新的代名词。然而，随着技术的发展和实践的深入，越来越多的声音开始质疑：我们是否过分夸大了大数据的重要性?大数据是否真的已经"泯然众人矣"?

qing_yun

数据分析

2025-01-21 09:43

信创、湖仓一体化、AI+DB，2024年数据库&湖仓发展总结与展望

作者：吴炳锡时光荏苒，转眼间 2025 年已然来临，这又是我从传统 OLTP 数据库领域转向云原生湖仓 Databend 的第三个年头，这段转变恰如一场快速的旅程，让我深感这一年如飞箭般迅速。展望未来，我意识到，尽管数据库行业正面临明显的瓶颈，湖仓领域却蕴藏着无尽的潜力，而 AI 的崛起将进一步提高从业门槛。以下，我将从四个方面与大家分享我对 2024 年数据库&湖仓的回顾与思考：1. 数

Databend

数据分析

2025-01-07 14:11

数据仓库、数据湖以及湖仓一体优缺点对比

在数字化时代，数据无疑扮演着重要角色。新时期的“石油”、“黄金”，甚至是电力……这些比喻形象地揭示了数据在现代社会中的巨大价值。

danny_2018

数据分析

2025-01-06 17:47