从离线到实时:无锡锡商银行基于 Apache Doris 的数据仓库演进实践
作者:武基鹏,无锡锡商银行 大数据技术经理编辑整理:SelectDB 技术团队导读:为实现数据资产的价值转化以及全面数字化、智能化的风险管理,无锡锡商银行大数据平台经历从 Hive 离线数据仓库到 Apache Doris 实时数据仓库的演进,目前已接入数百张实时表、上百数据服务接口 ,接口 QPS 达到数百万级别,解决了离线数据仓库时效性不足、成本高昂、效率低下等问题,查询提速超 10 倍,为用
SelectDB
- 数据分析
- 828
- 2024-05-08 14:51
MySQL:关于RR的一些实验及拓展(二)
从简单的增删改查角度,了解了一下锁,那么从视图角度是怎样的呢?概念锁的类型共享锁(S Lock):允许拥有共享锁的事务读取该行行数据。 当一个事务拥有一行的共享锁时,另外的事务可以在同一行数据也获得共享锁, 但另外的事务无法获得同一行数据上的排他锁排他锁(X Lock):允许拥有排它锁的事务修改或删除该行数据。 当一个事务拥有一行的排他锁时, 另外的事务在此行数据上无法获得共享锁和排它锁,只能等待
Ryan_Bai
- MySQL
- 793
- 2024-05-08 11:07
新旧机房一起管,3000点桌面的“云”化之旅
提到机房管理的“痛”,相信各高职院校信息中心的老师们都深有感触。 云南现代职业技术学院(下文简称“学院”)是一所国家公办的高等职业院校。随着教育数字化浪潮席卷而来,计算机机房成为教学中不可或缺的一环。除了承接计算机课程的公共机房外,几乎每个学院都有多个自己的教学机房。各学院的需求越来越多,计算机数量也随之攀升,面临的挑战也日益严峻。 来自五湖四海的“老家伙” 由于学院机房建设时间不一,计算机
丸喵喵
- 网络通信/物联网
- 7654
- 2024-05-08 10:49
微服务架构中的挑战及应对方式:Outbox 模式
如果您的系统满足事务性 Outbox 模式的要求,那么它可以是解决双写问题的一种简单有效的方法。与其他选项(例如事件溯源或监听自己模式)相比,这种方法采用事件优先的方法,使用 Kafka 实时通知微服务变更,保持系统一致性。但是,诸如订单履行之类的组件可能需要编排,无法运行。
码农谈IT
- 服务器/存储
- 774
- 2024-05-08 10:45
制定数据战略的终极指南
作为一名数据专业人士,我亲眼目睹了新技术的诱惑以及追随行业最新、最伟大趋势的诱惑。尽管追逐最新热点可能很有吸引力,但重要的是要记住,在有效利用数据方面,技术只是难题的一小部分。这就是为什么我决定创建一个参考数据战略——该文档提供了除了技术之外数据战略的关键要素,作为公认的行业最佳实践。参考数据战略以易于理解的格式为业务领导者、数据专家和 IT 专业人员提供最佳实践,指导数据战略的设计和实施。它旨在成为设计和实施您自己的数据战略的骨架。重要的不仅仅是技术,还有人员和文化、流程和治理框架、合作伙伴关系以及共同创造成功的战略。通过遵循此参考数据战略,您可以设计和实施自己的定制数据战略,并确保您充分利用数据并推动对业务真正重要的结果。
张哥说技术
- 数据治理
- 785
- 2024-05-08 10:43
戴尔液冷:为AI这颗“种子”注入可持续发展动力
本期,我们有幸采访到了戴尔科技集团大中华区信息基础架构解决方案事业部资深总监席与琛,跟席老师一起畅聊了关于液冷服务器的技术趋势、机遇挑战、创新产品等多个方向,分享了戴尔科技在液冷服务器方面的最新进展。
陶然陶然
- 服务器/存储
- 1632
- 2024-05-08 10:05
大模型存储实践:性能、成本与多云
大模型应用领域的迅猛发展,也推动着基础技术领域持续探索和进步。文件存储服务在 AI 基础设施中成为不可或缺的重要部分。
danny_2018
- 数据分析
- 1659
- 2024-05-08 09:39
【玩转香橙派Orange Pi】香橙派(Orange Pi AIpro)踩坑第一弹
在科技迅速发展的今天,智能硬件设备如香橙派(Orange Pi AIpro)的开发板因其强大的功能和便捷的操作受到广大电子爱好者和专业人士的青睐。然而,随着使用频率的增加,用户可能会遇到外机壳过热的问题,这不仅影响设备的稳定性和使用寿命,还可能对用户的安全造成威胁。
人工智能频道
- 人工智能
- 5958
- 2024-05-08 09:29
聊聊数据库的IO丢失问题
数据库面对复杂的底层环境,所以无法确保其基础理论的实现,这个可能会出乎一些朋友的意料。Michael Stonebraker老爷子要搞DBOS,其目的是为数据库提供一个完全以数据库的设计理念为基础的底层环境。
qing_yun
- 数据库开发技术
- 1608
- 2024-05-08 09:28
Redis Cluster on K8s 大揭密
在 Redis 容器化的过程中,KubeBlocks 遇到了哪些问题,又是如何解决的呢?今天这篇文章将带领大家一起捏一捏这个“柿子”。
小猿姐聊技术
- 数据库开发技术
- 785
- 2024-05-07 15:15
得物质量管理体系的建设与应用
质量保障是一门基于软件测试的系统化工程,遵循渐进式的发展规律。通过因地制宜地制定落地策略,设计场景方案,获取试验结果,并加以循环往复。最终,在每一位得物测试工程师的共同努力下,积累出一套适应得物技术的质量保障方法论,即本文介绍的得物质量管理体系。
陶然陶然
- 服务器/存储
- 1627
- 2024-05-07 14:47
先进制造业数字化转型,为什么基于传统存储无法完成?
本文是 XSKY 智能存储方案助力先进制造数字化转型系列文章中的第一篇,重点分享先进制造行业数字化转型过程中,对于数据存储的需求,以及为何传统存储架构无法很好满足这些需求。
云计算频道
- 服务器/存储
- 1654
- 2024-05-07 11:48
Advanced RAG 06:生成结果的相关性低? 快用 Query Rewriting 优化技术
在现实生活中,普通用户很难编写合适的提示词(prompt)来指示 LLM 完成期望任务。用户提出的 queries 往往存在词汇不准确、缺乏语义信息等问题,导致 LLM 难以理解并生成相关的模型响应。因此,如何优化 queries ,增强 LLM 对各类 query 信息的精准理解能力,是当前亟待攻克的重要课题。 本文将探讨一些主流 Query Rewriting 技术,优化检索增强生成(RAG)系统的性能。
Baihai_IDP
- 人工智能
- 815
- 2024-05-07 11:28
MediaTek举办天玑开发者大会MDDC2024,携手产业伙伴共创生成式AI新生态
MediaTek今日举办天玑开发者大会2024(MDDC 2024),本届大会以“AI予万物”为主题,深入研讨生成式AI技术为移动生态带来的变革与全新机遇……
老鱼笔记
- IT综合
- 1627
- 2024-05-07 11:26
阿里云服务器centos系统SCC版本和UEFI版本区别?
在云计算时代,选择合适的服务器配置与操作系统版本成为了企业与开发者们关注的焦点。阿里云,作为全球领先的云计算服务提供商,其丰富的云服务器ECS产品线满足了不同场景下的需求。
danny_2018
- 开源云工具
- 1626
- 2024-05-07 11:09
一次 K8s Pod 频繁被“驱逐”,结果竟是这样的?
问题描述某天下午运维反馈说我们这一个pod一天重启了8次,需要排查下原因。一看 Kibana 日志,jvm 没有抛出过任何错误,服务就直接重启了。显然是进程被直接杀了,初步判断是 pod 达到内存上限被 K8s oomkill 了。 pod 达到内存上限被 K8s 杀了。因此得出结论是生产环境暂时先扩大下 pod 的内存限制,让服务稳住。然后再排查为啥 pod 里会有这么多的堆外内存占用
Linksla
- Docker/K8
- 709
- 2024-05-07 09:50
数据中台的灵魂是什么?
BI驱动派观点:BI是数据运用的重要场景,数据中台要建得好、用得好,是离不开BI的。关于这个观点其中有网友的留言十分到位:“对于大部分企业的数据中台团队而言,BI是唯一的业务,BI不仅是数据中台脸面也是数据中台的灵魂。” 治理先行派观点:数据中台建设的关键还是要看数据治理,没有治理的数据,就是“垃圾级、垃圾出”,BI做的再漂亮,也是个“然并卵”! 这两派的观点各有各的道理,说的都很在理。那么,有人就问了:数据中台的灵魂到底是什么?今天针对这个话题,聊一聊我的想法和思考。
ITPUB社群
- 数据治理
- 770
- 2024-05-07 09:47
数据共享挑战:隐私和安全|数据入表及资产化合规
数据共享可以给公司带来很多好处,但也带来了一系列问题。公司经常遇到的两个主要问题是隐私和安全。
张哥说技术
- 数据治理
- 805
- 2024-05-07 09:40