Debezium 博客

欢迎阅读 Debezium 社区新闻通讯,在此我们将分享与 CDC 相关的所有信息,包括博客文章、小组讨论以及对我们的用户社区有用的 StackOverflow 问题。

历史正在被书写,Debezium 开始冲刺其 1.0 里程碑。我很高兴地宣布 Debezium 1.0.0.Beta1 的发布!

此新 Debezium 版本包含一些值得注意的新功能、增强功能和修复。

  • ExtractNewDocumentState 和 EventRouter SMTs 传播心跳和模式更改消息(DBZ-1513)。

  • 通过 interval.handling.mode 提供 INTERVAL 列的替代映射(DBZ-1498)。

  • 确保消息键具有正确的列顺序(DBZ-1507)。

  • 在连接器日志中警告表锁定问题(DBZ-1280)。

让我们谈谈 TOAST。吐司?不,TOAST!

那是什么?TOAST (The Oversized-Attribute Storage Technique,超大属性存储技术) 是 Postgres 中的一种机制,它将大型列值存储在多个物理行中,从而绕过了 8 KB 的页面大小限制。

TOAST!

通常,TOAST 存储对用户是透明的,所以您真的不必关心它。但是有一个例外:如果表行已更改,则使用 TOAST 机制存储的任何*未更改*值都不会包含在 Debezium 从数据库收到的消息中,除非它们是表复制身份的一部分。因此,这种未更改的 TOAST 列值将不会包含在发送到 Apache Kafka 的 Debezium 数据变更事件中。在本文中,我们将讨论处理这种情况的不同策略。

我谨代表 Debezium 社区,非常高兴地宣布 Debezium 0.10.0.Final 的发布!

正如您所料,自上周的 CR2 版本以来变化不大,一个例外是 Postgres 连接器的 pgoutput 插件的性能修复,在处理大量小型事务时可能会出现处理缓慢的情况(DBZ-1515)。

此版本完成了八个预览版本的总工作。我们在之前的公告中已详细讨论了新功能和更改,但这里有一些 Debezium 0.10 的亮点。

业务应用程序通常需要维护某种形式的审计日志,即应用程序数据所有更改的持久化跟踪。如果仔细看,带有 Debezium 数据更改事件的 Kafka 主题与之非常相似:它源自数据库事务日志,描述了应用程序记录的所有更改。所缺少的只是一些元数据:数据为何、何时以及由谁更改?在本博文中,我们将探讨如何通过变更数据捕获 (CDC) 提供和公开这些元数据,以及如何使用流处理来丰富实际的数据更改事件以包含此类元数据。

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×