我们很高兴地宣布Debezium 0.5.0现已可与Kafka Connect 0.10.2.0一起使用。此版本还包括对MySQL 连接器的一些修复。有关这些更改的详细信息,请参阅发行说明,并务必查看Kafka 文档以了解与您正在使用的 Kafka broker 版本的兼容性。

Kafka Connect 0.10.2.0 带来了一个名为单消息转换(Single Message Transforms)的重要新功能,现在您可以将其与 Debezium 连接器一起使用。SMT 允许您在消息写入 Kafka 之前修改由 Debezium 连接器和任何其他 Kafka Connect 源连接器生成的消息。SMT 也可以与 Kafka Connect sink 连接器一起使用,在 sink 连接器处理消息之前修改它们。您可以使用 SMT 来过滤掉或屏蔽特定字段,添加新字段,修改现有字段,更改消息写入的主题和/或主题分区,甚至更多。您甚至可以将多个 SMT 链接在一起。

Kafka Connect 附带了许多内置 SMT,您可以直接配置和使用它们,但您也可以创建自己的 SMT 实现来执行更复杂和有趣的操作。例如,尽管 Debezium 连接器通常将每个表(或集合)中的所有更改映射到单独的主题,但您可以编写一个自定义 SMT,它使用表和主题之间完全不同的映射,甚至向消息键和/或值添加字段。使用新的 SMT 也非常简单 - 只需将其放在 Kafka Connect 类路径中,并更新连接器配置以使用它。

我们还添加了标记为 0.5latestDebezium Docker 镜像,我们在教程中使用它们。

感谢 Sanjay 和社区中的所有人为此版本、问题、讨论、贡献和提问提供的帮助!

下一步

我们将继续改进 MongoDB、MySQL 和 PostgreSQL 连接器,并发布包含修复的 0.5.x 版本。我们还在开发 SQL ServerOracle 的连接器。敬请关注并参与进来!

Randall Hauch

Randall 是 Red Hat 的开源软件开发者,近 20 年来一直从事数据集成工作。他是 Debezium 的创始人,并参与过其他几个开源项目。他住在伊利诺伊州爱德华兹维尔,靠近圣路易斯。

     


关于 Debezium

Debezium 是一个开源的分布式平台,可以将现有数据库转变为事件流,使应用程序能够几乎即时地看到并响应数据库中已提交的每个行级更改。Debezium 构建在 Kafka 之上,并提供了 Kafka Connect 兼容的连接器,用于监控特定的数据库管理系统。Debezium 将数据更改的历史记录在 Kafka 日志中,这样您的应用程序可以随时停止和重新启动,并可以轻松地消费在未运行时错过的所有事件,确保所有事件都被正确且完整地处理。Debezium 在 Apache 许可证 2.0 下是 开源 的。

参与进来

我们希望您觉得 Debezium 有趣且有用,并希望尝试一下。在 Twitter @debezium 上关注我们,在 Zulip 上与我们聊天,或加入我们的 邮件列表 与社区交流。所有代码都在 GitHub 上开源,因此请在本地构建代码,帮助我们改进现有连接器并添加更多连接器。如果您发现问题或有改进 Debezium 的想法,请告诉我们或 记录一个问题

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×