大数据

Context “上下文”争夺战打响,微软把 Fabric 推上 AI 基石位置

企业该如何部署自己的数据底座,让Context真正与业务结合,实现跨资产的流转链路?微软给出的答案是 Fabric——一个从数据分析平台进化而来的企业级AI运营底座!

danny_2018
数据分析
2026-09-30 09:45

以 Harness 重构数据工程:Agent 时代的新范式

当数据平台的用户从人逐渐扩展到Agent,真正需要改变的可能并不是数据工具,而是数据工程的组织方式。过去十年,数据工程经历了一轮高度专业化的演进。传统的大型数据平台逐渐被拆解成由数据库、计算引擎、数据集成、数据转换、数据治理、数据编排和BI等工具组成的Modern Data Stack。工具的专业化极大提升了数据工程的效率,也让数据工程从“大系统建设”走向了更加灵活的组合式架构。但随着Agenti

DolphinScheduler
可视化
2026-09-10 15:41

自研、采购还是开源?Apache SeaTunnel 如何降低企业数据集成的真实成本

在企业数字化建设过程中,数据集成一直是一项基础能力,但也是最容易被低估长期成本的环节之一。很多企业在选择数据集成方案时,通常首先关注的是项目启动阶段的投入:是投入研发团队自建,还是采购商业产品,或者选择开源方案降低成本。但随着数据规模增长和业务复杂度提升,企业最终面对的问题往往并不是“如何完成一次数据同步”,而是如何持续维护一个稳定、高效、可扩展的数据流动体系。这也是为什么数据集成平台的真实成本不

SeaTunnel
数据分析
2026-07-29 17:17

SeaTunnel AI CLI Benchmark:7 款大模型、100 个 ETL 任务实测,谁真正能跑起来?

作者 | 张鑫,Apache SeaTunnel Contributor摘要: 大模型正在快速进入数据工程领域,承担理解自然语言需求、生成 ETL 任务配置、校验配置,以及在执行失败后协助定位和修复问题等工作。对团队而言,真正困难的并不是让模型“生成一份配置”,而是避免选到一个只会生成看似正确、却无法在生产环境中稳定运行的模型。对 ETL 来说,配置能够生成、甚至通过静态校验,都不等价于数据管道能

SeaTunnel
数据分析
2026-07-22 14:42

基于腾讯音乐 SuperSonic SPI 机制集成 DolphinScheduler CLI 的联动实战

SuperSonic 是腾讯音乐开源的下一代 ​AI+BI 平台​,统一了 ​Chat BI​(由 LLM 驱动)和 ​Headless BI​(由语义层驱动)两种范式。

DolphinScheduler
数据挖掘
2026-07-10 15:26

秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率

过去十年,数仓从"上云"走向"云原生"。然而在资源管理层面,一个根本性矛盾依然存在:业务负载具有波动性,而资源规格通常只能依据峰值提前锁定。很多数据团队都经历过类似场景:为保障上午的 BI 报表高峰购买了 64 核计算资源,但实际高负载时间每天仅有 3-4 小时,其余时间 8 核即可满足需求。按全天 24 小时计算,超过 70% 的计算资源处于空转状态。反之

SelectDB
数据分析
2026-06-23 11:35

基于 SeaTunnel 与 DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步

本次演示将结合 Apache SeaTunnel 与 Apache DolphinScheduler,实现一个典型的离线增量同步场景:通过 DolphinScheduler 获取目标端同步位点,并将该位点作为参数传递给 SeaTunnel,从而实现 MySQL 到 Doris 的增量数据同步。

SeaTunnel
数据分析
2026-06-17 15:55

Agentic Analytics 时代,AI Agent 真正需要怎样的数据基座?

作者:马如悦,飞轮科技创始人每个数据团队都熟悉这样的期待:业务用户用自然语言问一句:"上季度亚太区月活用户数是多少?"或"为什么华东仓的履约时效在过去两周下降了?"系统就能立即给出准确、可追溯、可行动的答案。这正是 Agentic Analytics 正在描绘的下一代分析体验。相比传统 BI,Agentic Analytics 的变化不只是把问题换成对话框。

SelectDB
数据分析
2026-06-09 14:42

未来十年的数据工程:从 Modern Data Stack 到 Data Engineering Harness

过去十年,数据工程的主线,是 Modern Data Stack 对传统数仓体系的一次拆解与重组。

SeaTunnel
数据分析
2026-05-27 15:43

与时俱进的Greenplum

Greenplum 的核心创新,是基于 PostgreSQL 的 shared-nothing MPP 架构,它彻底解决了 PG 的 OLAP 扩展痛点。

qing_yun
数据分析
2026-05-25 17:40

vivo 万台规模 YARN 集群升级实践

本文主要介绍了vivo大数据架构的演进历程中YARN服务的升级事项,从整体方案出发剖析每个环节遇到的问题难点并逐一分析讲解,对于研究调度器性能和从事大数据运维工作的同学具有较大的参考借鉴价值。

vivo互联网技术
Hadoop
2026-05-14 13:11

PostgreSQL + Apache Doris:构建用于实时分析的 HTAP 架构

像 PostgreSQL 和 MySQL 这样的 OLTP(在线事务处理)数据库,凭借其强一致性和高并发事务处理能力,已成为行业标准。为应对更大规模的工作负载,许多团队还会引入分库分表方案,将数据分布到多个实例和表中,以此突破单节点瓶颈。然而,这种对事务行之有效的方案,在实时分析需求(实时运营仪表盘、多维业务报告、用户行为分析和实时监控)面前却暴露出明显短板。问题的关键不在于将 PostgreSQ

SelectDB
数据分析
2026-03-18 15:09

湖仓架构重构:Iceberg+Spark实现 HBase + Elasticsearch 替代

企业在现代技术栈演进时,通常会遇到遗留系统问题。以审计系统为例,如何利用Apache Iceberg、Spark、Trino 和 Doris等关键能力替代过去HBase + Elasticsearch遗留系统?需要结合具体的业务场景进行分析!

danny_2018
数据分析
2026-03-16 16:17

Apache DolphinScheduler 2 月社区动态:功能升级与优化齐飞

2026 年 2 月,Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。

DolphinScheduler
数据分析
2026-03-05 11:45

数据仓库被淘汰了吗?

数据仓库将继续演化为更实时、更智能的“数据核心”,而数据中台将成长为连接数据与业务的“智能中枢”。当市场人员能实时获取客户洞察、运营人员能预测设备故障、决策者能模拟战略选择时,企业才真正实现了从“拥有数据”到“驾驭数据”的蜕变。

danny_2018
数据分析
2026-03-03 10:24