架构设计

Lambda和Kappa架构的区别是什么?

从大数据架构演进的角度看,Lambda和Kappa架构本质上是不同阶段下,行业对“数据处理的实时性与准确性如何平衡”这一核心问题的两种解法。作为经历过Hadoop生态野蛮生长、流处理技术从边缘走向核心的老数据人,我见过太多团队在这两种架构间纠结、踩坑,甚至试图融合二者。要理解它们的区别,得先回到架构诞生的时代背景,再拆解设计思路、落地痛点和适用场景,最后看技术演进如何模糊二者的边界。一、Lambd

danny_2018
数据架构
2025-09-28 09:48

不画一张架构图讲透架构思维

好的架构能够让各种业务用例用恰当的模块分工落地,让利益相关者在付出最小的使用和维护成本的前提下,得到最高的生产力,创造最多的核心价值。这需要架构的所有利益相关者(用户、维护者)的一致认可,最后我们只能在力所能及的时间周期里,以成败论英雄。

danny_2018
软件结构
2025-09-02 10:31

Dify父子模式分段解决普通分段的什么问题?

我们在使用Dify的时候在构建知识库的时候,有两种文本分段方式,一种是普通的分段模式,一种是父子分段模式,本文介绍了父子分段模式解决普通分段的什么问题,以及推荐的配置参数。

danny_2018
数据架构
2025-08-18 16:45

金融行业大数据平台备份方案如何实现成本优化?

随着金融业数据量爆发式增长(日均增量超数十TB),大数据安全与业务连续性面临严峻挑战。《银行业信息系统灾难恢复管理规范》要求核心系统RTO≤2小时、RPO≤15分钟。

danny_2018
数据架构
2025-07-03 17:36

三方系统集成(低代码)平台实践

本文从作者实际痛点出发,到产生愿景,最后再到落地的全过程,并结合实例案例,介绍了一些核心设计思路,希望读者阅读后对vivo分销业务,能有一些了解,也希望能对读者在应用的认证鉴权、流程编排、低代码等方面有所启发。

vivo互联网技术
基础设施
2025-06-26 11:17

Spring Boot 启动优化实践

本文系统性分析并优化了一个Spring Boot项目启动耗时高达 280 秒的问题。通过识别瓶颈、优化分库分表加载逻辑、异步初始化耗时任务等手段,最终将启动耗时缩短至 159 秒,提升近 50%。文章涵盖启动流程分析、性能热点识别、异步初始化设计等关键技术细节,适用于大型Spring Boot项目的性能优化参考。

vivo互联网技术
设计模式
2025-06-19 10:43

vivo 互联网研发效能关键技术与实践

本文介绍了vivo互联网研发效能平台建设与最佳实践的话题,将分为4个部分与大家分享,分别是研发效能提升的背景与挑战、关键场景技术,以及在项目案例中的实践与效果,最后也将和大家探讨未来在研发效能提升上的一些规划与思考。

vivo互联网技术
软件结构
2025-05-15 16:03

Full GC 频率优化实战

本文介绍了游戏业务使用MAT和GC日志等工具对 Full GC频率进行优化的过程。

vivo互联网技术
操作系统
2025-04-24 11:10

构建性能测试知识体系

在性能测试领域,有很多名词(缩略词),像TPS、响应时间、并发数、线程数等等。不同人眼中对于这些名词的定义并不一样。比如开发看中的可能是线程数(服务端),产品希望得到的是并发数(用户侧),但这二者并不是等同的。还有,TPS和QPS虽然在某些场景下是等同的,但更多时候又不是等同的,因为现在的事务更加复杂,一个T(事务)往往需要多次的Q(查询)来完成。(参考:TPS、并发数与线程数,傻傻分不清楚?)

CKL的思考空间
操作系统
2024-09-23 15:40

CPU vs GPU:为什么GPU更适合深度学习?

作为一种基于人工神经网络(ANN)的技术,深度学习能够从庞大的数据集中提取出高度精确的预测。这种能力使得深度学习在各个行业中得到了广泛应用,无论是自动驾驶、医疗诊断,还是金融预测,都离不开深度学习模型的支持。

danny_2018
基础设施
2024-09-09 10:36

TimeWheel算法介绍及在应用上的探索

本文从追溯时间轮算法的出现,介绍了时间轮算法未出现前,基于队列的定时任务实现,以及基于队列的定时任务实现所存在的缺陷。接着我们介绍了时间轮算法的算法思想及其数据结构,详细阐述了三种时间轮模型的数据结构...

vivo互联网技术
软件结构
2024-08-29 12:20

公司新来一个架构师, 将消费金融系统重构了

对于老系统的重构,新系统上线过度期也至关重要,因为采用了新的表结构进行重新设计,涉及到数据的同步,我们采用单向数据同步,逐渐弃用老系统数据,如果灰度期间需要回滚,首先对数据进行回滚,优先保证线上服务稳定。

danny_2018
基础设施
2024-08-08 18:20

国产中间件技术在信创项目中的应用与实践

东方通多年来深耕信创中间件产品,并从生态适应性、应用开发部署阶段和应用性能优化阶段以及应用上线后运维阶段,全方位助力国家重点行业信创应用。

danny_2018
设计模式
2024-08-01 09:27

Java开发者LLM实战——使用LangChain4j构建本地RAG系统

1、引言由于目前比较火的chatGPT是预训练模型,而训练一个大模型是需要较长时间(参数越多学习时间越长,保守估计一般是几个月,不差钱的可以多用点GPU缩短这个时间),这就导致了它所学习的知识不会是最新的,最新的chatGPT-4o只能基于2023年6月之前的数据进行回答,距离目前已经快一年的时间,如果想让GPT基于近一年的时间回复问题,就需要RAG(检索增强生成)技术了。此外,对于公司内部

京东技术
操作系统
2024-07-02 10:17

进程还在,JSF接口不干活了,这你敢信?

1、问题背景:应用在配合R2m升级redis版本的过程中,上游反馈调用接口报错,RpcException:[Biz thread pool of provider has been exhausted],通过监控系统和日志系统定位到现象只出现在一两个节点,并持续出现。第一时间通过JSF将有问题的节点下线,保留现场,业务恢复。报错日志如下:24-03-13 02:21:20.188&nbs

京东技术
操作系统
2024-06-14 10:12