ITPUB技术论坛_专业的IT技术社区

Flink CDC 3.0 耍起来到底怎么样？

这不前不久 Flink 官方发出喜讯，说Flink CDC 3.0 release 了，从官方介绍来看，相较以往的版本有比较大的改变。

大数据技术前线

数据分析

2024-01-04 09:25

多点冯光普：主流数据库工具在集成和扩展方面需要改进

随着信息技术的快速发展，特别是大数据和云计算的兴起，数据库已成为企业信息化建设的核心。有效地管理数据库对于保证数据的安全、提高企业运营效率和支持决策制定至关重要。在这样的背景下，选择合适的数据库工具成为了企业和技术人员面临的重要任务。

网络通信频道

可视化

2024-01-03 18:05

请不要将数据中台做成BI！

不论是传统BI还敏捷BI，要能够让其用起来的一个重要前提是：数据的及时性、完整性和准确性，而数据中台为保障数据的及时、完整和准确提供了能力支撑。数据中台建设成败的一个衡量标准，就是是否为业务用户提供了自助分析能力，以及业务自助分析的灵活度。

danny_2018

数据分析

2024-01-03 10:33

Paimon 跟 Spark 是否也能玩得来

至于 Paimon 跟 Spark 之间配合的默契程度如何，咱们今天就给它“跑起来”，看看实际效果如何？还是老规矩，咱通过 Spark structured streaming 实时读取 kafka 数据，然后以流方式写入 Paimon 表来进行测试。

大数据技术前线

数据分析

2023-12-29 10:40

Elasticsearch “指纹”去重机制，你实践中用到了吗？

在 Elasticsearch 中，Fingerprint（指纹）通常指的是一种机制，用于为数据生成一个唯一的标识符或指纹。这个指纹是基于数据内容的一个哈希值，可用于识别和区分数据项。

大数据技术前线

数据分析

2023-12-28 09:56

Paimon VS Hudi 写入效率大PK

当然，这可能跟 Hudi 与 Spark 的关系更为亲密有关，下次有机会，咱再用 Spark 测试一次看看(期待真正的反转)。那么对于本次测试的结论，你怎么看？

大数据技术前线

数据分析

2023-12-27 11:34

如何筑基破限提升数据中台能力新高度？

重庆银行数字化转型目标明确，任重道远，数据中台是数字化转型的关键基石。重庆银行将积极把握金融科技的蓬勃发展趋势，将数据中台塑造成一个充满生机与活力的生态沃土。

danny_2018

数据分析

2023-12-27 10:10

大数据湖仓一体架构对分布式存储有哪些技术需求？

分布式存储作为湖仓一体技术的重要支撑，也随着湖仓一体技术在不断演进。作为存储系统，除了提供原有的数据共享访问、灵活扩展、快照、克隆、容灾等功能外，还需要为湖仓一体的上层应用提供特定的服务能力。

danny_2018

数据分析

2023-12-22 09:47

浅谈G行数据湖平台建设

数据湖平台在统一数据管理、数据链路治理等方面将日趋完善和健壮，持续助力数据价值的挖掘，不断赋能G行业务的发展。

danny_2018

数据分析

2023-12-21 17:39

ByteHouse 查询优化器的设计与实现

ByteHouse能够正常跑完 TPC-DS的全部99 条查询，而且它的性能也是比较不错的。在之前同样都能支持的26 个查询中，它的性能也得到了极大的提升。

danny_2018

数据分析

2023-12-21 14:20

ES索引误删的名场面

虽然发布故障有点出其不意，但是团队在处理上还算体面妥当；所以，魔幻的职场不重要，重要的是有魔幻的队友。

大数据技术前线

数据挖掘

2023-12-21 09:21

最近几个典型 Elasticsearch 线上易出错难排查问题汇集，咱们得避免！

使用 Elasticsearch 自动生成的ID不仅有助于提升性能，还能确保数据的一致性和唯一性，同时简化系统的设计和维护。这些优点使得在大多数情况下，使用系统生成的ID成为了一个更明智的选择。

大数据技术前线

数据挖掘

2023-12-20 09:29

Flink：下一代实时计算的新进展、新挑战、新未来

在大数据领域，Flink是中国开源技术的典范，引领实时计算走向不断创新的前沿!

danny_2018

数据分析

2023-12-19 10:49

穿越时间的引擎：解密 Kafka 消息的时序之谜

无论你的应用是金融交易、监控、日志记录还是其他领域，这些建议和最佳实践都将帮助你更好地处理 Kafka 消息延迟和时序性的挑战，确保数据的可靠性和一致性。

大数据技术前线

数据挖掘

2023-12-19 10:02

Hudi 在 vivo 湖仓一体的落地实践

在增效降本的大背景下，vivo大数据基础团队引入Hudi组件为公司业务部门湖仓加速的场景进行赋能。主要应用在流批同源、实时链路优化及宽表拼接等业务场景。

vivo互联网技术

Spark

2023-12-14 11:21