ITPUB技术论坛_专业的IT技术社区

Apache Paimon 统一大数据湖存储底座

Paimon 最初在Flink社区中以 Flink Table Store 的名称出现，开始在 Flink 社区内孵化。直到 2023 年，Paimon 发展成为一个公共的、与具体引擎无关的湖式(Lakehouse)架构，从 Flink 社区独立出来，转变成一个 Apache 项目。

danny_2018

数据分析

2024-06-25 10:22

大数据平台框架选型分析方案

城市大数据平台，首先是作为一个数据管理平台，核心需求是数据的存和取，然后因为海量数据、多数据类型的信息需要有丰富的数据接入能力和数据标准化处理能力，有了技术能力就需要纵深挖掘附加价值更好的服务，如信息统计、分析挖掘、全文检索等。

danny_2018

数据挖掘

2024-06-24 16:32

OpenAI收购搜索分析初创公司Rockset 帮助客户筛选数据

OpenAI决心提高AI驱动的海量数据检索和实时数据分析能力，领跑谷歌等一众竞争对手。

danny_2018

数据分析

2024-06-24 10:15

Kafka可视化工具最全详解(4大常见可视工具)

Kafka是非常重要的消息中间件，也是大型架构必备技能，今天详解4大Kafka可视化工具

大数据技术前线

数据分析

2024-06-21 11:38

海量数据处理利器 Roaring BitMap 原理介绍

本文结合个人理解梳理了BitMap及Roaring BitMap的原理及使用，分别主要介绍了Roaring BitMap的存储方式及三种container类型及Java中Roaring BitMap相关API使用。

vivo互联网技术

数据分析

2024-06-20 10:42

讲师：阿里云Hologres PD丁烨一、产品定位随着技术的进步，大数据正从规模化转向实时化处理。用户对传统的T+1分析已不满足，期望获得更高时效性的计算和分析能力。例如实时大屏，城市大脑的交通监控、风控和实时的个性化推荐，各行各业、各种业务都在试图从实时分析中寻找、洞察和创造业务价值。在典型业务场景中，数据会从交易系统和日志实时同步到数仓。明细数据被实时加工，对于应用和BI提供交互式探索式的分析

阿里云大数据AI技术

数据分析

2024-06-20 09:46

深入浅出流批一体理论篇——数据架构的演进

流批一体当然也能用在其他架构中，以Flink为例，利用Flink CDC技术还能有更多玩法，但Lambda架构这一案例在我看来是能够最直观展示流批一体这一技术在数据架构中的位置和作用的

danny_2018

数据分析

2024-06-18 16:13

大数据平台的两种建设路径对比

一个完善的大数据平台要如何构建？我们立刻会想到各种组件Hive、Spark、Flink……大数据平台涉及的组件众多，上下游关系复杂，需要支持的业务可以说是多种多样，如果团队强大，有实力、有时间，选择自己构建一定不会错！

danny_2018

数据分析

2024-06-18 14:51

如何高效管理和监控 Elasticsearch 别名及索引？

通过本文，我们了解了如何使用不同的方法在 Elasticsearch 中列出别名和索引。无论是用于日常管理还是自动化监控，这些方法都能帮助我们更好地掌控 Elasticsearch 集群的状态。

大数据技术前线

数据分析

2024-06-17 14:35

请不要将数据中台做成BI！

笔者在为企业做数据中台设计规划时，经常有客户这样叮嘱。话里话外都是对“数据中台”满满的期待和对“BI”的内心的失望！

danny_2018

数据分析

2024-06-17 09:52

Elasticsearch index 设置 false，为什么还可以被检索到？

本文将详细探讨这个问题，并引入列式存储的概念，帮助大家更好地理解 Elasticsearch 的存储和查询机制。

ITPUB社群

数据分析

2024-06-14 09:51

Doris 跟 Clickhouse，选谁？

估计很多做数据库选型的同学们，都纠结过这个问题。那些 Doris 阵营的同学，一定会告诉你：选 Doris，我们是多么多么牛逼，吧啦吧啦之类。而那些偏爱 Clickhouse(下称CK) 的同学，也一定会告诉你：选 CK 吧，我们快，吧啦吧啦之类。如果这两个声音同时出现，你会听谁的？是不是就懵逼了。

大数据技术前线

数据分析

2024-06-14 09:49

动态线程池思想学习及实践

相关文档美团线程池实践：https://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html线程池思想解析：https://www.javadoop.com/post/java-thread-pool引言在后台项目开发过程中，我们常常借助线程池来实现多线程任务，以此提升系统的吞吐率和响应性；而线程池的参数配置却是一个难以

京东技术

数据挖掘

2024-06-13 15:38

金融行业大数据容器化混部难点分析

关于大数据平台物理部署和容器化部署，在系统运行稳定性方面，很多人自然会理解物理部署系统稳定性肯定会好于容器化部署，其实只要容器化大数据作业管理组件设计好HA机制，在稳定性层面和传统部署并没有什么区别。只有容器化提供同样的稳定性，业务才愿意迁移作业到容器化集群里。

danny_2018

数据分析

2024-06-13 09:51

实时数仓Hologres V2.2发布，Serverless Computing降本20%

Highlight新发布Serverless Computing，提升大任务稳定性，同时可降低20%计算成本引擎性能优化，TPC-H 1TB测试相对V1.X 提升100%实时湖仓加速架构升级，支持Paimon，直读ORC、Parquet数据性能提升5倍以上新增实例监控指标，可观测性全面提升，新增SQL指纹、Query洞察、SQL 与表索引诊断等流量分析场景新增路径函数，支持跨可用区容灾、OpenA

阿里云大数据AI技术

数据分析

2024-06-12 09:46