ITPUB技术论坛_专业的IT技术社区

降本70%！金融支付公司 Yuno 的数据湖实践

Yuno 如何利用 Apache Hudi 实现数据基础架构转型，优化数据湖性能，将成本降低 70%，并实现实时数据洞察。了解 Hudi 的高级功能(如时间旅行、索引和自动文件管理)如何提高效率和可扩展性，从而彻底改变 Yuno 的数据管理策略。

danny_2018

数据分析

2024-09-23 17:33

亲爱的社区小伙伴们，Apache Doris 2.1.6 版本已于 2024 年 9 月 10 日正式发布。2.1.6 版本在 Lakehouse、异步物化视图、半结构化数据管理持续升级改进，同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复。欢迎大家下载使用。官网下载：https://doris.apache.org/GitHub 下载：https://gith

SelectDB

数据分析

2024-09-20 11:25

湖仓一体Lakehouse大数据架构模式创新

湖仓一体数据架构为AIGC提供了一个高效、灵活且安全的数据管理和处理平台，特别是在多模态数据推理和微调的应用场景中，其优势尤为明显。通过这一架构，企业能够更好地利用大数据和AI技术，推动业务创新和智能决策。

danny_2018

数据分析

2024-09-18 16:46

查询提升 10 倍、存储节省 65%，Apache Doris 半结构化数据分析方案

随着业务的蓬勃发展，各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下，JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然而，传统关系型数据库结构严格，难以应对半结构化数据的复杂性及多样性。为有效存储及分析这些数据，Apache Doris 针对不同应用场景提供了 Array、Map、Struct、JSON、VARIANT半结构化数据存储分析解决方案。本文我们

SelectDB

数据分析

2024-09-13 11:07

NGINX 正式迁移至 GitHub，迎接开放协作新纪元

NGINX 团队宣布其官方开源开发仓库已从 Mercurial 迁移至 GitHub。这一举措标志着 NGINX 正式拥抱更加现代化的开源协作方式，并将进一步促进开发者社区的互动与贡献。

danny_2018

数据分析

2024-09-10 11:08

面对一个不太熟悉的数据库你如何做优化

这个话题似乎有点不大靠谱，去优化一个不太懂的数据库，是不是有点忽悠。事实上，我第一次帮用户优化ORACLE数据库，也是面临这样的窘境。当时对Oracle数据库，也只懂了点启动关闭，sqlplus连接跑几条SQL这样的简单操作。不过当时不知道怎么回事就答应了，最后把BUFFER_CACHE减小了一半，问题就解决了，这是我做数据库服务的第一笔收入。

jVaKaPqF

数据挖掘

2024-09-04 00:39

数据集成和数据接入的区别与挑战

平台以产品管理理念管理数据，通过数据集成和接入，彻底解放数据，全面提升数据价值，帮助数据工程师将数据转换为数据产品，在安全、可信的前提下使用数据，同时持续敏捷的优化，提升数据运营效率，解决用户数字化数据业务应用最后一公里的搭建和开发问题

danny_2018

数据分析

2024-08-30 10:49

金融行业实时湖仓建设实践与思考

金融行业数据平台的技术演进是一个复杂且持续发展的过程，主要经历了数据库、数据仓库、数据湖以及湖仓一体四个阶段，并在近年来随着AI大模型的兴起而进一步发展。1. 数仓与数据湖的发展数据仓库（数仓）是早期的数据管理架构，主要面向结构化数据的存储和分析。由于数据仓库的容量有限，在应用过程中容易产生数据孤岛。对于数据规模较为庞大的企业来说，若完全依赖于数据仓库，通常要面对不小的成本。数据湖则在数仓的基础上

镜舟科技

数据分析

2024-08-16 09:41

常见的渠道归因分析模型及应用场景

渠道归因模型通过一定的逻辑和方法，将广告效果归因于不同的营销渠道，从而帮助企业优化营销策略，提升投资回报率。

qing_yun

数据分析

2024-08-13 15:30

阿里云实时计算Flink在多行业的应用和实践

本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践，对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术，并且提供一些在技术架构上的参考建议。

阿里云大数据AI技术

数据分析

2024-08-02 09:38

准备自建大数据平台了，有哪些开源组件推荐？

当前针对大数据平台/数据中台并没有完整的可用的开源产品。这里说的开源软件，更多的是数据中台依赖的一些开源组件。

danny_2018

数据分析

2024-07-26 17:49

Apache RocketMQ 中文社区全新升级！

Apache RocketMQ 社区的持续发展和不断壮大，离不开创始团队和众多开发者多年来的努力。为了回馈众多优秀的小伙伴们一直以来积极参与社区建设、对社区的发展作出杰出的贡献，现Apache RocketMQ 社区重大升级。

danny_2018

数据分析

2024-07-26 16:49

客户案例 | 识货基于向量检索服务 Milvus 版搭建电商领域的向量数据检索平台

阿里云的Milvus服务以其性能稳定和功能多样化的向量检索能力，为识货团队在电商领域的向量检索场景中搭建业务系统提供了强有力的支持。该服务的分布式扩展能力不仅可靠，而且能够适应日益增长的数据规模。一、客户介绍识货，成立于2012年6月，致力于为广大用户提供专业的网购决策指导，为喜欢追求性价比的网购用户带来及时的运动、潮流、生活、时尚等网购优惠资讯，产品覆盖国内外主流购物商城。识货提供了全球范围内的

阿里云大数据AI技术

数据分析

2024-07-24 09:39