ITPUB技术论坛_专业的IT技术社区

注意：Kafka 的这 6 个场景会丢失消息！

我们使用 Kafka 的时候，怎样能保证不丢失消息呢？今天来聊一聊这个话题。

数据挖掘

2024-04-15 09:45

Apache Doris 基于 Job Scheduler 实现秒级触发任务调度能力

作者｜SelectDB 技术团队在数据管理愈加精细化的需求背景下，定时调度在其中扮演着重要的角色。它通常被应用于以下场景：定期数据更新，如周期性数据导入和 ETL 操作，减少人工干预，提高数据处理的效率和准确性。结合 Catalog 实现外部数据源数据定期同步，确保多源数据高效、准确的整合到目标系统中，满足复杂的业务分析需求。定期清理过期/无效数据，释放存储空间，避免过多过期/无效数据对系统性能产

SelectDB

ELK

2024-04-10 10:37

Kafka架构最全详解(图文全面总结)

Kafka是非常重要的消息中间件，在大型架构、以及大厂都有非常广泛的应用，本篇就重点谈谈Kafka的架构

大数据技术前线

数据分析

2024-04-10 09:35

Flink跟Spark流状态聚合这个坑，你趟过没？

由于上次测试的数据有四百多万条，虽然量不大，但是如果想彻查出问题，并把问题通过文章给大家演示出来，难度依然比较大。于是，就想着，既然只是体现最终聚合的结果不准，那咱把测试的数据量再给减少点演示，效果是一样的。

大数据技术前线

数据分析

2024-04-10 09:31

基于“知己知彼”理念，选型适配的数据库工具

本文作为《数据库工具选型指南》系列的一部分，通过对话一线技术专家，旨在帮助用户了解选型的重要性和方法，提供关键因素和考虑要点。通过比较和评估不同工具，读者可以深入了解每种工具的性能和成本差异。近日，我们有幸采访到某数据库高级主管林老师，围绕数据库工具的需求分析、选型策略、用户反馈等话题进行深入探讨。

网络通信频道

数据分析

2024-04-07 18:00

Flink 流批一体在模型特征场景的使用

用户既要学习 Spark 又要学 Flink 。尤其是 Flink 里面很多语法和现在的 Spark 稍微有些不一样。大部分开发同学都是从离线的模型转到实时。那它其实是有比较高的学习成本，或者是比较高的转换成本。

danny_2018

数据分析

2024-04-03 09:27

Spark 对比 Flink 写 Elasticsearch，谁更牛逼？

对于这次将8亿+的 HDFS 数据全部写入到 ES，Flink 跟 Spark 的执行时间如下： 1. Flink 总耗时：14小时24分； 2. Spark batch 总耗时：17小时54分； 3. Spark streaming 总耗时：17小时48分。从对比结果来看，基于当前场景，Flink 的执行效率，明显要比 Spark 高一些。

大数据技术前线

数据分析

2024-04-01 10:14

钱大妈生鲜如何利用 CCR 实现 Apache Doris 集群读写分离

钱大妈是社区生鲜连锁品牌的开拓者，经过十一年的稳健运营，已成为行业内的领军品牌，截至 2023 年 7 月已全国布局超 30 多座城市，门店总数 3000 余家，服务家庭超 1000 万。近年来，随着业务的高速发展以及门店的快速扩张，钱大妈需要对生鲜产品的采购、销售、库存等数据进行实时监控和分析，以保障食品的新鲜度及品质。同时需要管理众多门店与供应链信息，以了解各区域销售趋势和顾客偏好，从而优化商

SelectDB

ELK

2024-03-29 10:52

开源大模型王位易主，Databricks开源了1320亿参数大模型DBRX

相比商用大模型，开源大模型则具有广泛的参与性和开放性，其代码和算法可以公开获取和修改。这使得开源大模型在技术创新和适应性方面具有显著优势。

danny_2018

数据分析

2024-03-29 10:18

数据挖掘终篇！一文学习模型融合！从加权融合到stacking, boosting

模型融合：通过融合多个不同的模型，可能提升机器学习的性能。这一方法在各种机器学习比赛中广泛应用，也是在比赛的攻坚时刻冲刺Top的关键。而融合模型往往又可以从模型结果，模型自身，样本集等不同的角度进行融合。数据及背景零基础入门数据挖掘 - 二手车交易价格预测_学习赛_赛题与数据_天池大赛-阿里云天池的赛题与数据（阿里天池-零基础入门数据挖掘）模型融合如果你打算买一辆车，你会直接走进第一

阿里云天池

数据挖掘

2024-03-28 15:32

2024年最值得尝试的8款数据库文档工具

数据库文档在组织内部的有效协作和知识传承中占据着举足轻重的地位。缺乏适当的文档，新加入的团队成员难以迅速把握数据库的结构与内容，这不仅容易导致操作失误，还会影响整体工作效率。本文旨在深入探讨数据库文档的重要性，并介绍一系列能够助您提升工作效率的实用工具。

网络通信频道

数据分析

2024-03-27 15:48

Flink写ES，SQL跟DataStream API，哪个更恼火？

今天，咱就准备把这份8亿+的 HDFS 数据，尝试用 Flink 给写入到 ES 中，看整个过程又会不会出现什么幺蛾子？这不出意外的话，意外，它就来了。

大数据技术前线

数据分析

2024-03-27 09:39

Gartner发布2024年影响技术提供商的重大趋势

Gartner执行副总裁Eric Hunter表示：“生成式人工智能(GenAI)开始主导几乎所有技术提供商的技术和产品发展进程。从增长和产品战略到员工平时所用工具，GenAI令技术提供商发生了‘脱胎换骨’的变化。

danny_2018

数据分析

2024-03-26 15:16

5款好用的SQL工具推荐，建议收藏！

鉴于市面上数据库工具种类繁多，选择一款适合自己的SQL工具并非易事。本文列举了5款SQL工具，其中包括开源(免费)和商业(付费)软件，涉及功能特性、优缺点及价格等多维度分析，大家可以根据自身预算与具体需求进行挑选。

网络通信频道

数据分析

2024-03-26 10:55

对话姚伟：数据库工具在数据分析和AI智能化方面亟需加强

在当今这个数字化飞速发展的时代，数据已经跃升为企业无可替代的核心资产。作为数据查询与分析的得力助手，数据库工具不仅助力DBA和开发人员以更高的效率管理、运用和开发数据库，还极大地简化了数据的迁移和同步流程，显著降低了人工维护与管理的成本，因此被广泛应用于企业之中。然而，在众多软件中，寻找一款真正适合自己的数据库工具并非易事。

网络通信频道

数据分析

2024-03-26 09:29