我非常高兴地宣布 Debezium 1.7.0.CR1 的发布!

在此版本中,我们重新设计了快照期间处理列过滤器的方式,Debezium 容器镜像已更新为使用 Fedora 34 作为其基础,支持 MySQL INVISIBLE 列,以及更多内容。

快照期间的列过滤

尽管不同的 Debezium 连接器已经具备了将捕获表中的特定列排除在更改事件之外的能力,但这些过滤器仅在连接器处理数据时应用。对于初始快照,现在实现了一种更有效的方法:将执行定制的 SQL SELECT 语句来仅获取实际包含的列(DBZ-2525)。这允许在排除大型 BLOB 列等情况下的更改事件时,显著提升性能。

更新了容器镜像基础

适用于 Apache Kafka、Kafka Connect 和 Apache ZooKeeper 的 Debezium 容器镜像基于 Fedora 34 最小容器基础镜像(DBZ-3939)。此更改是必要的,因为之前使用的基础镜像(源自 CentOS 7)已不再维护。虽然此更改对大多数 Debezium 用户来说是透明的,但对于那些从 Debezium 镜像派生自己自定义镜像的用户,可能需要进行一些调整,例如在使用操作系统包管理器安装其他软件包时。有关更多详细信息,请参阅发布说明

其他修复

随着我们接近 1.7 最终版,大部分更改都集中在错误修复和代码库成熟方面。一些已解决的问题包括:

  • 支持 MySQL 8.0.23 及更高版本提供的 INVISIBLE 列(DBZ-3623);我们借此机会也将 Debezium 的 MySQL 示例镜像更新至 8.0 版本(DBZ-3936)。

  • SQL Server 支持使用自定义连接工厂(DBZ-4001)。

  • MySQL(DBZ-3969, DBZ-3984)和 Oracle(DBZ-3892, DBZ-3962)的 DML 和 DDL 解析进行了多项修复。

展望未来,我们计划在几天内发布另一个 CR(候选版本),然后在月底发布 Debezium 1.7.0.Final。我们将主要专注于错误修复和一些精选的性能优化。Debezium UI 也会有一些令人兴奋的改进,这些改进应该会在 1.7 最终版完成:支持单消息转换(SMT)的配置,以及配置主题创建设置的功能。

同时,我们正在为计划在年底发布的 Debezium 1.8 制定路线图。如果您想为这个版本提出特定的功能请求,请在下方的评论区或在邮件列表中联系我们。

Gunnar Morling

Gunnar 是一位软件工程师,内心是一个开源爱好者,目前在 Confluent 担任技术专家。此前,他曾帮助构建一个基于 Apache Flink 的实时流处理平台,并领导了 Debezium 项目,这是一个用于变更数据捕获的分布式平台。他是 Java Champion,并创立了多个开源项目,如 JfrUnit、kcctl 和 MapStruct。Gunnar 是一位热情的博主 (morling.dev),并曾在 QCon、Java One 和 Devoxx 等各种会议上发表演讲。他居住在德国汉堡。

   


关于 Debezium

Debezium 是一个开源的分布式平台,可以将现有数据库转变为事件流,使应用程序能够几乎即时地看到并响应数据库中已提交的每个行级更改。Debezium 构建在 Kafka 之上,并提供了 Kafka Connect 兼容的连接器,用于监控特定的数据库管理系统。Debezium 将数据更改的历史记录在 Kafka 日志中,这样您的应用程序可以随时停止和重新启动,并可以轻松地消费在未运行时错过的所有事件,确保所有事件都被正确且完整地处理。Debezium 在 Apache 许可证 2.0 下是 开源 的。

参与进来

我们希望您觉得 Debezium 有趣且有用,并希望尝试一下。在 Twitter @debezium 上关注我们,在 Zulip 上与我们聊天,或加入我们的 邮件列表 与社区交流。所有代码都在 GitHub 上开源,因此请在本地构建代码,帮助我们改进现有连接器并添加更多连接器。如果您发现问题或有改进 Debezium 的想法,请告诉我们或 记录一个问题

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×