ITPUB技术论坛_专业的IT技术社区

数据中台为什么需要数据服务？

为什么中台提供数据服务，而不是按照业务系统的要求和格式各自开发数据服务了?

danny_2018

数据分析

2024-03-25 09:32

Doris 亿级大表非导出不可，有哪些可行办法？

今天，我决定分别用 Doris 内置的数据导出方式，以及通过 Flink 调整参数后的方式，来再次进行测试，看问题到底是不是出现在这里。

大数据技术前线

数据分析

2024-03-22 09:49

Flink 支持将 Kafka 偏移量保存在外部系统

自 1.11 版本起，Flink 提供了与 Kafka 集成的官方 Connector，使得 Flink 能够消费 Kafka 数据。在 Flink 1.14.4 版本中，确实支持将 Kafka 偏移量保存在外部系统，如Kafka本身，并且可以手动维护这些偏移量。

danny_2018

数据分析

2024-03-21 16:23

Doris跟Clickhouse亿级数据导出，谁更费劲？

想到这，既然 Doris 满足不了这个大数据量的导出，那试试用 Clickhouse(下称CK) 呢，是不是也会这么矬？

大数据技术前线

数据分析

2024-03-21 09:19

看似简单的SQL，实则就是简单

昨天加班遇到一个SQL问题，本想把别人的SQL改下成SparkSQL，在YARN上运行，然而数据一直对不上，然后故事就来了。

大数据技术前线

数据分析

2024-03-21 09:16

小红书离线数仓提效新思路，提升百倍回刷性能

数据处理效率一直是大数据时代的核心话题，它推动着各类数据执行引擎持续迭代产品。从早期的 MapReduce，到今天的 Spark，各行业正不断演进其离线数仓技术架构。

大数据技术前线

数据分析

2024-03-20 11:03

clickhouse使用心得

clickhouse目前用在实时BI后台，只要数据稳定落库了，出报表很快，临时查询也很快，在使用过程中，对它的一些优点和不足也是深有体会，这里总结一下，不能做到面面俱到，但尽可能详细的介绍实际应用需要注意的问题和应用技巧。

大数据技术前线

数据分析

2024-03-20 11:01

数据仓库赛道中的前三架马车，要向客户交付“真正的大数据愿景”

单看云原生的理念，或许不算最新颖的idea。毕竟，和云概念相辅相成的"存算分离"，早被视为降本增效的代表。而且，早在云原生数据仓库公司Snowflake2020年上市时，资本市场已为此买单。

danny_2018

数据分析

2024-03-20 10:54

Elasticsearch 悬挂索引解析与管理指南

今天，我将分享一次处理集群状态为RED，原因为DANGLING_INDEX_IMPORTED 的实战经验，深入探讨悬挂索引的定义、产生原因、管理方法，以及如何有效处理它们，确保读者能够明白并解决自己面临的问题。

大数据技术前线

数据分析

2024-03-19 09:57

用 Python 优雅地玩转 Elasticsearch：实用技巧与最佳实践

Elasticsearch，这个开源的分布式搜索与数据分析引擎，因其强大的全文搜索功能而广受欢迎。尽管Elasticsearch的核心是用Java编写的，它提供了REST API，让各种编程语言的开发者都能轻松与之交互，Python当然也不例外。今天，我们将深入探讨如何将 Elasticsearch 与 Python 结合使用，提升我们的项目到新的高度。

大数据技术前线

数据分析

2024-03-18 10:03

kafka 三高架构设计剖析

简单讲下 Kafka 的架构？ Kafka 是推模式还是拉模式，推拉的区别是什么？ Kafka 如何广播消息？ Kafka 的消息是否是有序的？ Kafka 是否支持读写分离？ Kafka 如何保证数据高可用？ Kafka 中 zookeeper 的作用？是否支持事务？分区数是否可以减少？

ITPUB社群

数据分析

2024-03-15 10:15

用 Python 优雅地玩转 Elasticsearch：实用技巧与最佳实践

Elasticsearch，这个开源的分布式搜索与数据分析引擎，因其强大的全文搜索功能而广受欢迎。尽管Elasticsearch的核心是用Java编写的，它提供了REST API，让各种编程语言的开发者都能轻松与之交互，Python当然也不例外。今天，我们将深入探讨如何将 Elasticsearch 与 Python 结合使用，提升我们的项目到新的高度。

大数据技术前线

数据分析

2024-03-15 10:04