最新文章

京东百万级调度系统(Buffalo)架构解密

一、调度系统简介Buffalo调度是一款京东自主研发的分布式DAG作业调度系统。为京东的数据开发工程师、算法工程师、数据分析师等用户提供了离线作业的编排&调试、监控运维、DAG调度等系统能力,致力于打造行业领先的稳定高效、产品简洁高体验、任务监控全面、资源容器化、系统能力开放化的ETL调度系统。在京东调度系统核心面临的挑战有以下几个:1.业务复杂带来的依赖关系复杂:复杂的数据链路,使得部分

京东技术
IT综合
2024-07-24 14:47

字节跳动基于Parquet格式的降本增效实践

字节跳动离线数仓默认使用Parquet格式进行数据存储。Parquet作为一种列式存储的开源文件格式,在大数据领域被广泛应用,它所提供的一系列特性,如高压缩率、高查询性能等都非常契合大数据领域。

陶然陶然
服务器/存储
2024-07-24 14:35

苹果、Mistral AI、英伟达、OpenAI加入小模型争霸赛!|AI日报

文章推荐万字长文年中盘点,2024上半年大模型技术突破与应用展望今日热点由10万个英伟达H100 GPU打造,马斯克宣布“全球最大AI训练集群”投入使用马斯克宣布,孟菲斯超级计算机集群(Memphis Supercluster)于7月22日凌晨4:20开始进行训练,并在X上特别感谢xAI团队、X团队、英伟达及其支持公司所做的贡献。马斯克介绍,该集群配备了10万个英伟达H100 GPU,采用液冷散热

OpenSPG知识图谱
人工智能
2024-07-24 10:31

汽车长翅膀:GPU 是如何加速深度学习模型的训练和推理过程的?

深度学习的飞速发展离不开硬件技术的突破,而 GPU 的崛起无疑是其中最大的推力之一。但你是否曾好奇过,为何一行简单的“.to(‘cuda’)”代码就能让模型的训练速度突飞猛进?本文正是为解答这个疑问而作。

Baihai_IDP
人工智能
2024-07-24 10:15

智慧城市扩张,威胁也在增加

对于技术专家来说,建设智慧城市不是一个雄心勃勃的目标,而是一个必要的问题。世界银行估计,到2050年,世界人口的70%将生活在城市地区,高于目前的56%。这种大规模的人口转移将给城市基础设施和用于管理城市地区的技术带来越来越大的压力。自动化程度的提高也将带来新的威胁。

网络通信频道
网络通信/物联网
2024-07-24 09:49

客户案例 | 识货基于向量检索服务 Milvus 版搭建电商领域的向量数据检索平台

阿里云的Milvus服务以其性能稳定和功能多样化的向量检索能力,为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠,而且能够适应日益增长的数据规模。一、客户介绍识货,成立于2012年6月,致力于为广大用户提供专业的网购决策指导,为喜欢追求性价比的网购用户带来及时的运动、潮流、生活、时尚等网购优惠资讯,产品覆盖国内外主流购物商城。识货提供了全球范围内的

阿里云大数据AI技术
数据分析
2024-07-24 09:39

广告在线模型系统负载均衡策略实践

一、背景简介1.1、现状•实际生产环境中,复杂业务系统对分布式服务集群架构的依赖。•服务集群异质化节点的容器化部署,机器性能超卖现象不可避免、性能不均情况时有发生。•服务集群各硬件组件出错率不可避免[1],上层业务相关的应用软件系统需考虑容错设计。•大促流量分布变化难以准确预见,系统服务稳定性与机器资源成本之间需进行妥善权衡。1.2、问题•集群内负载不均,整体资源利用率低。•单节点过载容易触

京东技术
IT综合
2024-07-23 14:15

万字长文年中盘点,2024上半年大模型技术突破与应用展望

本文作者介绍:苑爱泉,阿里本地生活算法专家,负责本地生活的AI算法团队。团队工作涉及搜索、认知图谱、LLM大模型、图片视频等方向,过往几年,发表过多个专利,多篇论文入选WSDM、CIKM、ICASSP等会议。文章推荐没想到你是这样的AI!AI漫画合集大赏,直击灵魂的雷点...等你来看!一、业界有哪些新鲜事儿?上半年可以说是各大厂商轮番上台秀肌肉,我们先回顾下上半年部分的业界大会,以及几个重点会议都

OpenSPG知识图谱
人工智能
2024-07-23 11:02

实时分析,OceanBase可能是更好的选择

近日,在2024 中国国际金融展上,OceanBase重磅推出V4.3.2版本,标志着其在“关键业务负载”一体化战略上迈出了重要一步。其中,基于列存引擎的AP性能增强是新版本的重点和亮点,OceanBase由此极大提升了OLAP实时分析能力,打造近PB级实时分析数据库。

qing_yun
数据库开发技术
2024-07-23 09:54

第6期 MySQL数据库内存使用率过高

现象描述数据库 MySQL 出现内存突增,内存持续增长不释放的情况。具体表现在实例监控的内存利用率监控图表中,如下图所示:在突增之后,或者长期缓慢增长的过程中,最终达到一个过高的水平(>96%),且在一定范围内小幅度变动,有可能会经常性的触发自定义的可观测平台内存告警。故障风险低效的 SQL 语句或数据库参数设置不当都可能会导致内存利用率升高,若您使用的是云数据库 MySQL 双节点、三节点

pxbibm
MySQL
2024-07-23 09:49

​锐捷重磅发布三擎云办公3.0,重塑未来办公新体验

随着数字化转型浪潮的推进,企业纷纷寻求降低成本、提升效率与增强竞争力的新路径。特别在后疫情时代,远程与混合办公模式的普及,使得员工能够随时随地,无缝接入工作环境,这些变化提升了企业的效率,但也带来了数据安全的挑战。一旦关键信息泄露,企业可能会遭受重大的损失。

网络通信频道
网络通信/物联网
2024-07-23 09:41

分析性能提升40%,阿里云Hologres流量场景最佳实践

文章探讨了流量数据分析在互联网时代对企业决策的重要性,指出流量数据源于用户在APP、网站等平台的操作,经数据埋点采集、清洗和存储,成为实时数据仓库的基础。

阿里云大数据AI技术
数据分析
2024-07-23 09:39

为什么说AI大模型救了云计算的命?

任何一次技术革命的到来,都会引发整个产业链的洗牌和重构。在这个过程中,最先从中获益的,也许并不是直接参与技术创新的企业,而是那些为创新企业提供基础设施和底层支撑的公司。

danny_2018
公有云实践
2024-07-22 17:35

数据库管理-第222期 RDMA&CPU(20240722)

本期算是RDMA相关的最后一期,一个总结。

yhw1809
数据库开发技术
2024-07-22 14:39

《软件设计哲学》:新“代码整洁之道”

工作三年以来一直对写出设计优雅且可读性较好的代码抱有执念,最初接触到的关于代码整洁和软件设计的书是《代码整洁之道》,这本书大概在我入职半年时读完,并在很长的一段时间内将其中谈到的“每个方法只做一件事”、“方法长度最多不要超过 5 行”和“优秀的代码都是自解释的,很少会有注释”等等观点奉为圭臬,但是由于其成书较早,其中的一些观点显然已经不再使用当前业务开发环境了。就拿前两点来说,看上去能让每

京东技术
IT综合
2024-07-22 12:20