我们很高兴地宣布Debezium 0.5.0现已可与Kafka Connect 0.10.2.0一起使用。此版本还包括对MySQL 连接器的一些修复。有关这些更改的详细信息,请参阅发行说明,并务必查看Kafka 文档以了解与您正在使用的 Kafka broker 版本的兼容性。
Kafka Connect 0.10.2.0 带来了一个名为单消息转换(Single Message Transforms)的重要新功能,现在您可以将其与 Debezium 连接器一起使用。SMT 允许您在消息写入 Kafka 之前修改由 Debezium 连接器和任何其他 Kafka Connect 源连接器生成的消息。SMT 也可以与 Kafka Connect sink 连接器一起使用,在 sink 连接器处理消息之前修改它们。您可以使用 SMT 来过滤掉或屏蔽特定字段,添加新字段,修改现有字段,更改消息写入的主题和/或主题分区,甚至更多。您甚至可以将多个 SMT 链接在一起。
Kafka Connect 附带了许多内置 SMT,您可以直接配置和使用它们,但您也可以创建自己的 SMT 实现来执行更复杂和有趣的操作。例如,尽管 Debezium 连接器通常将每个表(或集合)中的所有更改映射到单独的主题,但您可以编写一个自定义 SMT,它使用表和主题之间完全不同的映射,甚至向消息键和/或值添加字段。使用新的 SMT 也非常简单 - 只需将其放在 Kafka Connect 类路径中,并更新连接器配置以使用它。
我们还添加了标记为 0.5 和 latest 的Debezium Docker 镜像,我们在教程中使用它们。
感谢 Sanjay 和社区中的所有人为此版本、问题、讨论、贡献和提问提供的帮助!
下一步
我们将继续改进 MongoDB、MySQL 和 PostgreSQL 连接器,并发布包含修复的 0.5.x 版本。我们还在开发 SQL Server 和 Oracle 的连接器。敬请关注并参与进来!
关于 Debezium
Debezium 是一个开源的分布式平台,可以将现有数据库转变为事件流,使应用程序能够几乎即时地看到并响应数据库中已提交的每个行级更改。Debezium 构建在 Kafka 之上,并提供了 Kafka Connect 兼容的连接器,用于监控特定的数据库管理系统。Debezium 将数据更改的历史记录在 Kafka 日志中,这样您的应用程序可以随时停止和重新启动,并可以轻松地消费在未运行时错过的所有事件,确保所有事件都被正确且完整地处理。Debezium 在 Apache 许可证 2.0 下是 开源 的。