Debezium 博客

许多从事数据流工作的工程师都不是 SQL 专家。所以你可能会问自己:什么是 CTE?更重要的是,什么是 CTE 查询,它们有什么用,以及它们如何帮助你处理 Debezium?

在本文中,我们将回答这些问题,探讨 Debezium Oracle 连接器如何利用 CTE 查询,并讨论涉及的优点和权衡。

Debezium 3.2.1.Final 现已发布,为您的 CDC 流水线带来更快的性能、更智能的资源利用和稳固的稳定性。此版本改进了 PostgreSQL TOAST 处理、原生 MariaDB 向量数据类型支持,以及 Oracle LogMiner 的主要弹性改进,所有这些都旨在保持您的数据平稳高效地流动。

当我开始研究 Debezium 时,我脑海中浮现出两个问题:能否构建 Debezium 的原生版本?我能否在不依赖额外基础设施的情况下,直接在我的微服务中接收变更数据捕获 (CDC) 事件?

这促使我们开发了一个新的 Debezium 流:我很高兴地宣布 **Debezium Extensions for Quarkus** 的第一个版本!

Debezium 3.3.0.Alpha1 带来了一系列激动人心的新创新,包括核心连接器的精确一次语义,以及社区主导的全新 CockroachDB 连接器。凭借对新兴数据类型的支持、更深入的 Quarkus 集成以及增强的工具,此版本为现代变更数据捕获解决方案设定了新标准。准备好看看有什么新内容了吗?让我们深入了解。

还记得调试数据流管道就像在证据不断移动的犯罪现场玩侦探游戏吗?现在,拿起你的放大镜,因为我们将把你变成流媒体世界的夏洛克·福尔摩斯。在我们介绍了 Debezium 与 OpenLineage 的集成 后,是时候卷起袖子,深入进行一些真正的侦探工作了。我们将构建一个完整的订单处理管道,使用 Debezium 捕获数据库更改,通过 Apache Flink 处理它们,并使用 OpenLineageMarquez 跟踪每一条数据血缘信息——因为丢失数据就像丢失钥匙,在生产环境中只会更令人尴尬。

案例定义

在此次展示中,我们演示了如何利用血缘元数据来排除数据管道中的问题。我们的电子商务订单处理管道,尽管简单,但有效地说明了血缘元数据在操作监控和调试方面的优势。我们将模拟 Debezium 连接器中的配置更改,该更改导致订单处理作业跳过记录。使用血缘图,我们将遍历管道组件以确定问题的根本原因,并了解元数据跟踪如何实现更快的故障排除。

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×