美团高性能终端实时日志系统建设,根除丢失和写满问题
你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况?或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境?本文介绍了美团是如何从0到1搭建高性能终端实时日志系统,从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。
陶然陶然
- 服务器/存储
- 1420
- 2022-11-24 11:28
字节跳动数据中台的Data Catalog系统搜索实践
Data Catalog 能够帮助大公司更好地梳理和管理自己的资产,是 Data-drvien 公司的重要平台。一个通用的 Data Catalog 平台通常包含元数据管理,搜索,血缘,标签,术语等功能。其中,搜索是 Data Catalog 的入口功能,承担着让用户“找到数”的主要能力。在字节跳动数据中台的 Data Catalog 系统中,每天有 70% 以上的用户会使用搜索功能。
陶然陶然
- 服务器/存储
- 1418
- 2022-11-24 10:19
数据库周盘点:OceanBase创始人获得“CCF王选奖”;NebulaGraph v3.3.0 发布
上周,Forrester发布2023年亚太技术市场预测,2023年云原生优先战略和 FinOps 将成为焦点;OceanBase首席科学家阳振坤博士获得2022 年度“CCF王选奖”;图数据库NebulaGraph v3.3.0 发布……
qing_yun
- 数据库开发技术
- 1433
- 2022-11-23 23:47
上海2021年人工智能产业规模达3057亿元
上海市经济信息化委总工程师张宏韬11月23日在上海市政府新闻发布会上表示,依托“3+6”新型产业体系,上海已经具备发展未来产业的扎实基础,在未来健康、未来智能、未来能源、未来空间、未来材料等五大领域集聚了一批行业领军企业和高水平研究机构。
lumin1020
- 人工智能
- 1372
- 2022-11-23 17:39
如何成为一名合格的数据产品经理?
近些年来,产品经理的一个新的分支—— 数据产品经理正在兴起。很多企业开始意识到大数据对于企业管理和精细化运营的重要性,着手招聘大量数据相关的从业人员,开发各种数据产品。
qing_yun
- 数据治理
- 1492
- 2022-11-23 15:58
纵横20年,我所经历的数据开放演化史
现在数据开放成了数据治理的热点,但数据开放是没法一步到位的,每个企业都要基于实际需要走出自己的路,下面就讲讲我所经历的数据开放演化史,整个过程长达近20年,大致经历了五个阶段
qing_yun
- 数据治理
- 1385
- 2022-11-23 15:54
我们常说的数据库优化,可以从哪些维度入手?
ITPUB社群
- SQL Server
- 478
- 2022-11-23 15:41
博客站的架构渐进升级优化,亿级日写量架构又是什么样呢?
ITPUB社群
- 软件结构
- 467
- 2022-11-23 15:38
Hadoop分布式文件系统(HDFS)会不会被淘汰?
ITPUB社群
- Hadoop
- 518
- 2022-11-23 15:36
关于Bonree ONE 2.0,那些运维人不知道的一切
近年来,伴随着数字经济的不断深入,以云原生、Devops等为代表的新技术快速发展。传统的IT监控工具多样、分散、庞杂,并且数据种类杂、缺乏关联性,导致整个IT系统不具备真正的可观测性。那么,如何快速发现并定位问题,大幅提升运维效率,助力数字化转型,成为企业迫切需要思考和面对的问题。
网络通信频道
- 网络通信/物联网
- 1421
- 2022-11-23 11:50
网易云音乐数据治理实践
本篇是第二届网易数据治理大赛一等奖作品分享,来自于网易云音乐数仓团队。将分享他们近一年在数据治理上的实践,具体内容将从数据背景、治理思路,项目方案、治理实践、项目成果及未来展望几个方面展开。
陶然陶然
- 服务器/存储
- 1450
- 2022-11-23 10:45
Redis cluster故障复盘,预案、工具、判断一样都不能少!
最近从ELK日志分析发现:有很多应用连接redis 超时;监控平台出现”redis 集群不健康“告警;结合之前的经验,我们一般的应处理手段为:重启连接redis超时的应用,原因有以下两点:由于redis cluster 发生主从切换,这部分应用没有重连机制,从而导致连接超时;
网络通信频道
- 大规模网络运维
- 1529
- 2022-11-23 10:07
直播混沌工程之故障演练实践总结
近年来,随着系统架构逐渐向微服务架构演进,开发效率以及系统扩展性大幅提高,服务之间的依赖所带来的不确定性也成指数级增长,在这样的服务调用网中,任何一环出现的正常或者异常的变化,都有可能对其他服务造成类似蝴蝶效应一般的影响。
陶然陶然
- 服务器/存储
- 1600
- 2022-11-23 09:42
解构现代数据栈之数据集成
ETL 是一种数据集成技术,其中数据从源系统中提取、转换并加载到统一的目标中。在云数据仓库兴起之前,ETL 是首选方法。
danny_2018
- 数据治理
- 1444
- 2022-11-23 09:37
分布式存储架构知识,一篇讲清楚!
本文介绍了分布式存储的架构类型、分布式理论、不同的分布式文件系统和分布式键值系统等,较为系统详尽。全文约2万字,可收藏。
ITPUB社群
- SQL Server
- 677
- 2022-11-22 16:38
百亿级数据 分库分表 后怎么分页查询?
随着数据的日益增多,在架构上不得不分库分表,提高系统的读写速度,但是这种架构带来的问题也是很多,这篇文章就来讲一讲跨库/表分页查询的解决方案。
ITPUB社群
- SQL Server
- 497
- 2022-11-22 16:02
MySQL为什么莫名其妙的断开连接以及解决方案!
数据库连接自动断开的问题确实是在第二天发生了,也就是在一个晚上没有对数据库进行操作(显然超过了8小时)的情况下发生的这个问题
ITPUB社群
- MySQL
- 1132
- 2022-11-22 15:21
深度解析单线程的 Redis 如何做到每秒数万 QPS 的超高处理能力!
飞哥有鹅厂、搜狗 10 年多的开发工作经验。通过本号,我把多年中对于性能的一些深度思考分享给大家。
ITPUB社群
- NoSQL
- 428
- 2022-11-22 14:24