打破Kafka带来的瓶颈?
降低IT基础设施成本、实现数据基础设施的现代化、达到或超过服务级别目标(SLO)以及加快上市时间是当今企业的一个关键重点,实施开源软件似乎很有吸引力。
danny_2018
- IT综合
- 1387
- 2022-10-28 09:51
面向未来的网关: Kubernetes Gateway API 和 Envoy Gateway
最近 Envoy Gateway 0.2 发布了,API 网关的生态系统迎来了新的变化。这篇文章将想你介绍 Kubernetes API 网关领域的新进展。
danny_2018
- Docker/K8
- 1481
- 2022-10-28 09:43
大数据时代,且看Flink如何叱咤风云
大数据计算引擎的发展经历了几个过程,从第1代的MapReduce,到第2代基于有向无环图的Tez,第3代基于内存计算的Spark,再到第4代的Flink。因为Flink可以基于Hadoop进行开发和使用,所以Flink并不会取代Hadoop,而是和Hadoop紧密结合。
danny_2018
- 数据分析
- 1377
- 2022-10-27 16:11
数字化转型对CTO/CIO提出的11个要求
数字化转型会逐步颠覆传统CTO/CIO的定义,因为他们不仅要关注技术、基础设施建设和IT运维,更要懂得让技术高度配合业务,推动企业数字化转型。
qing_yun
- 其他
- 1459
- 2022-10-27 14:42
Spark千亿级数据去重,性能优化踩坑之路
如果你的业务让你计算几个维度(广告位置、小时、广告类型等等吧,我就随便举个例子),每个维度的数据uv量级,方便业务评估和市场决策,数据精准度不要求完全精准,误差在1%以内就行了,你该如何做?
qing_yun
- 数据分析
- 1462
- 2022-10-27 14:39
Apache Kyuubi 高可用的云原生实现
在云原生场景中,额外部署和维护 ZooKeeper 代价很高,我们是否有云原生的方案可以替代?
danny_2018
- 虚拟化
- 1851
- 2022-10-27 11:16
到底为什么我们需要 Clickhouse?
Clickhouse 是现在最流行的 OLAP 数据库之一,虽然名声如雷贯耳,但在我们心目中总有一个疑问,到底为什么我们需要 Clickhouse,是哪些优点让字节、腾讯这些大公司都选择它作为最推荐的 OLAP 数据库,这篇文章将试图带我们找到答案。
danny_2018
- 数据库开发技术
- 1442
- 2022-10-27 10:46
Apache Druid 在 Shopee 的云原生架构演进
Druid 是一款高性能的、实时的、分析型数据库。它的高性能主要体现在这几方面:列式存储、Bitmap 倒排索引、数据压缩、SIMD 矢量化加速、缓存系统等等。
danny_2018
- 虚拟化
- 1366
- 2022-10-26 16:56
激活数据价值,探究DataOps下的数据架构及其实践
如果说数据中台的崛起代表着企业数字化转型从流程驱动走向数据驱动,从数字化走向智能化。那么DataOps,则是实现数据中台的一个优秀的理念或方法论。
danny_2018
- IT综合
- 1376
- 2022-10-26 16:41
开源DevOps工具在平台的未来
DevOps工具的开源根基是不可否认的,有预测称,到2026年,全球DevOps市场将达到178亿美元。不断变化的工作、安全和合规问题,以及风险投资公司,正在将市场推向DevOps平台,开发团队可以在云中访问完整的端到端DevOps工具链。
danny_2018
- IT综合
- 1397
- 2022-10-26 15:42
云计算架构设计6大原则遵循了哪些?
2006年,云计算(Cloud Computing)产品诞生,云计算的概念也被提出,现在云计算几乎已经渗入所有的行业和应用场景中。我们不一定能直接感受到云计算对日常生活、工作、学习的影响,但作为IT基础设施,它却悄然支撑着我们正在使用的各个应用。
danny_2018
- 虚拟化
- 1376
- 2022-10-26 15:35
数据仓库与大数据有哪些区别?
数据仓库发展了这么多年,技术与产品相对较为成熟,且有完整的建设方法论。技术上大多以大规模并行处理(MPP)、内存计算、列式存储为核心,产品上以 Teradata, Oracle, Vertica, Greenplum, SAP BW 等为代表。
danny_2018
- 数据挖掘
- 1421
- 2022-10-26 14:38
干货 | 疫情背景下的中长期月度预测方案
本文将分享一个基于疫情情况下的中长期月度间夜数据预测方法。传统的时间序列模型通过学习历史数据中趋势性和季节性的特征,能对月度数据做出相对有效的预测。而自从2020年以来,不时发生的疫情影响了历史数据相对规律的趋势性和季节性特征,也给基于传统时间序列模型的预测带来了难度。
qing_yun
- 数据分析
- 1438
- 2022-10-26 14:09
真正的HTAP对用户和开发者意味着什么?
真正的 HTAP(real-time operational analytics)要求先有高性能的 OLTP,且能够很好地支持实时分析。这种类型的 HTAP 系统天然具备实时数仓(real-time analytics)的能力,这也是为什么 Oracle Exadata、SQL Server MPP 架构被广泛用于实时数仓场景的原因。
danny_2018
- 数据库开发技术
- 1347
- 2022-10-26 14:07
如何处理缓存导致的无效曝光
用户在App上的行为都通过埋点记录了下来,那在统计部分行为相关指标时,比如曝光人数、点击率等相关指标,就会因为缓存的影响导致统计的结果并没有真实反应用户的情况。就会导致曝光人数偏高、点击率偏低,在进行分析对比时就有可能得出错误的结论,进而导致决策的失败。因此需要一个方案来解决缓存对埋点数据的干扰。
qing_yun
- 数据分析
- 1363
- 2022-10-26 13:52
数据库的存储引擎优化是一个扬长避短的过程
一说到存储引擎,可能很多朋友就会说,某某存储引擎技术比较先进,比传统数据库的好。实际上再先进的存储引擎也有其缺点,可能先进只是指出现的较晚而已
qing_yun
- 数据库开发技术
- 1401
- 2022-10-26 11:28
数据库圈周盘点:瀚高、成章数据获新融资;星环科技登陆科创板
过去两周资本市场相对活跃,星环科技登陆科创板,瀚高、成章数据获得新的融资;在产品层面,PostgreSQL 15正式发布,甲骨文推出了MySQL HeatWave Lakehouse,TigerGraph 宣布即将正式在 GSQL 中支持 openCypher……
qing_yun
- 数据库开发技术
- 1446
- 2022-10-25 18:29
FFA 议程上线!实时化浪潮下,Apache Flink 还将在大数据领域掀起怎样的变革?
Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线!
服务器频道
- 国内数据库
- 23427
- 2022-10-25 18:18
【SQL】Oracle数据库sql优化小技巧索引不管用怎么办01
【SQL】Oracle数据库sql优化小技巧索引不管用怎么办01
xysoul_云龙
- Oracle
- 585
- 2022-10-25 14:51
「数仓面试」如何确定主题域?
其实数据仓库建设的理论大家已经都知道了不少,也看过不少书,那么在实际建设数据仓库中,我们还是会遇到各种问题。
qing_yun
- 数据库开发技术
- 1408
- 2022-10-25 13:49