ITPUB技术论坛_专业的IT技术社区

阿里的业务是怎么被中台玩坏的？

在大型企业里，如果有一项职能是共有的，被多个部门依赖。那么这种共有的职能就可以独立出来作为服务平台。在很多大型企业例如苹果、三星等这种公司早早就诞生了类似的部门。

danny_2018

数据分析

2023-10-27 17:35

AIGC时代的算力基石，未来的数据平台将如何演进？

想象一下，未来我们所有的行为、所有的数据都被记录在智能化的数据平台里。甚至在不久的将来，利用AIGC的技术，可以合成生动的数字人。就好像流浪地球二一样，我们甚至可以通过AI和死去的亲人进行逼真的对话。

danny_2018

数据挖掘

2023-10-27 17:13

数据湖在爱奇艺数据中台的应用

作为爱奇艺的数据中台团队，我们的核心任务是管理和服务公司内的大量数据资产。在实施数据治理的过程中，我们不断吸收新的理念，引入尖端的工具，以精细化我们的数据体系管理。

danny_2018

数据挖掘

2023-10-27 17:06

专为小白打造—Kafka一篇文章入门

Kafka 是MQ消息队列作为最常用的中间件之一，其主要特性有：解耦、异步、限流/削峰。

大数据技术前线

数据分析

2023-10-26 11:07

Kafka 在分布式系统中的 7 大应用场景

Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 的核心组件包括生产者（Producer），消费者（Consumer），主题（Topic），分区（Partition），副本（Replica），日志（Log），偏移量（Offset）和代理（Broker）。Kafka 的主要特点有：

大数据技术前线

数据分析

2023-10-25 09:29

从理论到实践，实时湖仓功能架构设计与落地实战

实时湖仓是「实时计算」和「数据湖」的一种结合应用场景，并不是具体指一个产品模块。本文主要介绍了平台通过相关功能的设计，让数据开发可以更简单更直观地了解 Flink Catalog、数据湖、流批一体等概念，并在实际业务场景中更方便地去落地实践。

数栈DTinsight

Hadoop

2023-10-19 15:20

Flink OLAP 在字节跳动的查询优化和落地实践

本文整理自字节跳动基础架构工程师何润康在 Flink Forward Asia 2022 核心技术专场的分享。Flink OLAP 是数据仓库系统的重要应用，支持复杂的分析型查询，广泛应用于数据分析、商业决策等场景。本次分享将围绕字节 Flink OLAP 整体介绍、查询优化、集群运维和稳定性建设、收益以及未来规划五个方面展开介绍。

大数据技术前线

数据分析

2023-10-19 13:52

亿级数据量——Clickhouse 单表与分布式表大PK

用Clickhouse(以下称CK)，别用分布式表，它的单表(本地表)查询才是无敌的。虽然我此前没有专门针对具体的查询场景，对比过CK单表跟分布式表的查询效率，但以我玩过这么多数据库的经验来看，自觉告诉我，这个说法显然是不严谨的。

大数据技术前线

数据分析

2023-10-18 13:58

谈谈数据治理与数据要素、数据交易、数据入表的关系及作用

当前是一个概念频出的时代，数据要素、数据交易、数据入表、数据治理、数据管理、数据合规等叫法在数据管理人员耳边回响，很多朋友困惑的是这些名词之间是什么关系呢，怎么又会都扯上关系，下面我们试着谈一谈。

qing_yun

数据分析

2023-10-18 09:24

快速建立数据分析框架

对于专业且经验丰富的数据人来说，结合业务场景和工作经历大部分都已经建立了一套完备的分析思路。就算换了新的工作内容也能结合分析框架轻松适应业务需求。这次想探讨的是针对一线业务同学以及刚接触数据的同学，当接触全新的分析议题时帮助快速建立数据分析框架。

qing_yun

数据分析

2023-10-17 09:44

大型数据集处理之道：深入了解Hadoop及MapReduce原理

在大数据时代，处理海量数据是一项巨大挑战。而Hadoop作为一个开源的分布式计算框架，以其强大的处理能力和可靠性而备受推崇。本文将介绍Hadoop及MapReduce原理，帮助您全面了解大型数据集处理的核心技术。1. Hadoop简介Hadoop是一个基于Google MapReduce论文和Google文件系统的分布式计算框架，它能够同时处理大规模数据集。Hadoop由以下两个核心组件组成：-

金木大大大

数据分析

2023-10-13 09:54

在大数据时代的今天，爬虫系统成为了获取和分析海量数据的重要工具。本文将介绍如何使用Scrapy框架来构建一个高效的分布式爬虫系统，以加速数据采集过程和提高系统的可扩展性。1. Scrapy框架简介Scrapy是一个基于Python的强大的开源网络爬虫框架，它提供了方便的API和工具，帮助开发者快速、高效地构建可扩展的网络爬虫系统。Scrapy框架具有以下特点：- 基于异步IO的设计，支持高并发的请

金木大大大

数据分析

2023-10-12 10:32