大数据

大数据架构平台架构设计和技术分析

云原生要考虑到分布式技术、编排、上云方式等,稳定性和上云集成是目前的挑战。目前云上不是特别稳定,需要继续观察。高性能的硬件设施,例如高性能 CPU 以及超大规模的内存的结合。

danny_2018
数据分析
2024-05-27 14:32

客户案例|博睿数据助力上海证券App实现业务增长

  在当前数智化转型时代,金融领域正迎来前所未有的机遇与挑战。政府工作报告中明确提出要“大力发展科技金融、绿色金融、普惠金融、养老金融、数字金融”,这不仅是时代的呼唤,更是金融业未来发展的必由之路。

云计算频道
数据挖掘
2024-05-23 17:07

4种大数据技术及其管理工具

随着像亚马逊、Meta(原Facebook)和谷歌这样的技术公司不断发展和融入我们的生活,它们正在利用大数据技术来监控销售、提高供应链效率和客户满意度,并预测未来的商业成果。目前,大数据的数量非常庞大,IDC预测,全球数据总量到2025年将从2019年的33ZB增长到175ZB,复合年增长率为61%。

网络通信频道
数据分析
2024-05-22 16:59

Apache Doris 2.1.3 版本正式发布

亲爱的社区小伙伴们,Apache Doris 2.1.3 版本已于 2024 年 5 月 20 日正式发布。该版本在功能特性上对数据湖、物化视图、负载管理等方面进行了多项更新,进一步简化湖仓一体架构、加速了查询性能;同时提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。官网下载: https://doris.apache.org/download/GitHub 下载:

SelectDB
数据分析
2024-05-22 15:24

Doris 的 variant 对比 CK 的 json,谁更优?

那么这一次,咱就用 Doris 的 variant type 针对同一份需求数据,对比 CK 的 json type,看在功能的使用上,两者的差异如何。

大数据技术前线
数据分析
2024-05-22 09:50

Elasticsearch 8.X 最新学习路线图——一图在手,进阶跟我走!

在大数据时代,Elasticsearch 作为一款强大的搜索和分析引擎,被广泛应用于各种场景。无论是实时日志分析、全文搜索还是复杂数据的实时处理,Elasticsearch 都能胜任。

大数据技术前线
数据挖掘
2024-05-21 10:10

用 Doris Manager 升级 Doris 集群,好用不?

那这一次,我决定换一种更省事的升级方式,用上次我部署过的 Doris Manager,虽然部署之后就几乎没有用过,但希望在这次集群升级中,能发挥出它的价值。 下面,是记录我用 Doris Manager 将 Doris 集群从2.0.2升级到2.1.2的完整过程。

大数据技术前线
数据分析
2024-05-17 09:52

产品需求抽象需要如何抽象?

​产品经理要避免成为需求传声筒,就需要具备需求挖掘、需求转化、需求抽象的能力,很多产品新人经常会被问到如何做需求抽象,那么产品需求抽象究竟指的是什么呢?

qing_yun
数据分析
2024-05-16 14:50

Clickhouse 的 variant 类型,不能干啥?

从功能介绍来说,无论是 CK 还是 Doris,它们的目标都是在解决,对于一个「值类型不确定」的列,怎么样用一种比较合理的方式,把它作为一个数据库字段,给存储起来,以便后续的检索。

大数据技术前线
数据分析
2024-05-16 10:22

Elasticsearch 电商场景:明明有这个关键词,但是搜不出来,怎么办?

本文是基于实战问题的思路探讨。要说明的是:Ngram 的本质是空间换时间,可能会导致写入的延时以及存储的成倍增长,选型一定要慎重。只有高精准检索要求的场景才考虑 Ngram 分词。 普通业务场景实际是容许一些数据明明存在但就是无法召回的情况的,现在主流搜索引擎Google、Bing、baidu等都肯定无法召回全部数据的。所以,还得结合业务场景进行探讨。

大数据技术前线
数据分析
2024-05-14 09:43

Kafka最全详解(6大架构原理图解)

Kafka是非常重要的消息中间件,是构建高并发的基石,也是大厂重点考察内容,下面我就全面来详解Kafka

大数据技术前线
数据分析
2024-05-14 09:32

Kafka最全详解(6大架构原理图解)

Kafka是非常重要的消息中间件,是构建高并发的基石,也是大厂重点考察内容,下面我就全面来详解Kafka

大数据技术前线
数据分析
2024-05-13 11:17

Flink CDC 3.0.1,这次能雄起不?

那么今天这篇文章,咱就针对上次测试CDC 3.0.0时,遇到的3大槽点进行一一验证。 槽点1:不能以 on yarn 的集群方式运行; 槽点2:说好的可以兼容 Flink 1.15,但实测不行; 槽点3:用本地模式运行时,只能同步历史数据,增量变化数据感知不到。

大数据技术前线
数据分析
2024-05-10 09:19

大模型存储实践:性能、成本与多云

大模型应用领域的迅猛发展,也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。

danny_2018
数据分析
2024-05-08 09:39

监控 Kafka,这 10 个指标请考虑!

使用消息队列可以帮助我们实现系统解耦、流量管控等功能。但使用过程中可能会遇到各种各样的问题,比如系统资源使用率高、集群节点宕机等,进而影响我们生产业务正常开展。为了不让消息队列失控,增加监控是非常必要的。今天来聊一聊 Kafka 有哪些重要的监控指标。

ITPUB社群
数据分析
2024-04-30 09:12