我很高兴地宣布 Debezium 1.6.0.Final 发布!
此版本充满了大量新功能,包括支持通过新的 Signal API 切换的增量快照。基于 Netflix 工程师 Andreas Andreakis 和 Ioannis Papapanagiotou 的优秀论文 DBLog: A Watermark Based Change-Data-Capture Framework,增量快照的概念解决了 Debezium 社区反复出现的关于快照的几个需求。
-
在连接器重启后恢复正在进行的快照的能力
-
在流式传输过程中重新快照选定的表,例如,以重新引导特定表的更改事件的 Kafka 主题
-
更改过滤器配置后,快照新添加到已捕获表列表中的表
-
在初始快照运行时开始流式传输更改
增量快照是 Debezium 1.6 的一项孵化功能,我们期待您对该功能的反馈。要了解更多关于此功能的信息,请参考各个连接器的文档,例如 Debezium MySQL 连接器。我们已经在进行一些后续改进,例如使用 MySQL GTID 来设置此快照方法所需的高/低水位标记,这将避免连接器需要写权限来访问数据库。您可以期望这些改进将在即将发布的 1.7 预览版本中推出。
除了增量快照之外,Debezium 1.6 中的其他新功能包括两个全新的 Debezium Server sink,一个用于 Apache Kafka,另一个用于 Pravega,以及对 Debezium Oracle 连接器 的几项重要增强,包括响应 DDL 模式更改和一项选择加入的孵化功能,用于发出 BLOB 和 CLOB 列数据类型。此外,对社区驱动的 Vitess 和 Apache Cassandra 连接器也有改进,以及大量的错误修复和其他小型改进。我们还升级了用于实现 outbox 模式的 Debezium Quarkus 扩展 到 Quarkus 2.0。
在所有 1.6 预览版和最终版本中,总共 188 个问题得到了解决。
更多详情,请参阅之前关于 1.6.0 Alpha1、Beta1、Beta2 和 CR1 版本发布的公告。
自 CR1 发布以来,我们主要专注于文档改进和一些错误修复。但还有一个最后一刻的功能添加,它允许您为 Oracle 连接器指定归档日志位置(DBZ-3661)。
请参阅 Debezium 1.6.0.Final 的发行说明,了解已解决问题的完整列表以及从早期版本升级的步骤。
一如既往,非常感谢社区中所有为此次发布做出贡献的成员,无论是通过代码贡献、错误报告、测试、提供见解和专业知识等。向为 Debezium 1.6 做出贡献的以下社区成员致敬,使 Debezium 核心存储库的总贡献者人数达到 277 人。
Anisha Mohanty、Bingqin Zhou、Bob Roldan、Camile Sing、Cao Manh Dat、Chris Collingwood、Derek Moore、Eric Slep、Gilles Vaquez、Hossein Torabi、Hyunjin Oh、Jakub Cechacek、JapuDCret、Jiri Novotny、Kevin Pullin、Mike、Olivier Jacquemart、Patrick Chu、Robert Roldan、Sara Fonseca、Sergei Morozov、SiuFay、Stefan Miklosovic、Teo Stocco、Thomas Aregger,以及 Vadzim Ramanenka!
展望
一如既往,Debezium 将遵循其正常的季度发布周期,Debezium 1.7 计划在九月底发布。在此版本期间,我们将重点处理一些关键问题,包括支持 MongoDB 和 Oracle 连接器的增量快照。此外,我们还计划探索 Oracle 连接器基于 LogMiner 的实现的一些新缓冲选项,开发一个用于压缩大型模式历史主题的工具,扩展 Debezium UI 的功能集,以及更多内容。
关于 Debezium
Debezium 是一个开源的分布式平台,可以将现有数据库转变为事件流,使应用程序能够几乎即时地看到并响应数据库中已提交的每个行级更改。Debezium 构建在 Kafka 之上,并提供了 Kafka Connect 兼容的连接器,用于监控特定的数据库管理系统。Debezium 将数据更改的历史记录在 Kafka 日志中,这样您的应用程序可以随时停止和重新启动,并可以轻松地消费在未运行时错过的所有事件,确保所有事件都被正确且完整地处理。Debezium 在 Apache 许可证 2.0 下是 开源 的。