我非常高兴地宣布 Debezium 1.5.0.Beta1 发布!

此版本添加了一个全新的组件——基于 Web 的 Debezium UI --,MySQL 连接器的事务元数据支持,Debezium Oracle 连接器的基于 LogMiner 的捕获实现的大量改进,对 Vitess 9.0 的支持,以及更多内容。让我们在下面探讨一些新功能。

Debezium UI

Debezium 提供了多种数据库的变更数据捕获(CDC)连接器,功能强大且灵活。但这种灵活性也需要付出一定的时间来理解所有选项及其含义。另一个关键方面是连接器的运维,即了解其当前状态和指标,能够对连接器故障做出反应等。

基于社区的反馈,我们在过去几个月里 探索 了图形用户界面(UI)如何能在这方面提供帮助。最初的概念验证非常有前景,因此我们决定将其作为 Debezium 项目的官方组件。UI 仍处于积极开发中,您现在就可以尝试使用它(可通过 Docker Hub 上的容器镜像 使用),并用它来在 Kafka Connect 集群中配置 Debezium 连接器。

我们将在接下来的几天内发布另一篇博客文章,详细介绍 Debezium UI 的当前状态、未来路线图等更多信息。

改进基于 LogMiner 的 CDC 实现

继续我们对 Oracle 的 LogMiner-based CDC 实现的重点关注,我们为此连接器修复了大量问题。其中包括:

  • 显著提升 DML 解析性能 (DBZ-3078);新的手写 LogMiner DML 语句解析器可提高连接器吞吐量,现有的外部解析器实现将很快被移除。

  • 支持从多个 schema 捕获更改 (DBZ-3009)

  • 支持列过滤 (DBZ-3167)

  • 正确的事务元数据 (DBZ-3090)

  • 与日志文件切换等相关的多项错误修复 (DBZ-2754, DBZ-3001, DBZ-3153 等)

Vitess 连接器

在社区成员 Kewei Shang 的带领下,Debezium 的 Vitess 连接器现已支持 Vitess 9.0 (DBZ-3100)。该连接器还支持捕获 JSON 和 ENUM 列的更改 (DBZ-3115, DBZ-3124),并实现了 Kafka Connect 的配置验证 API (DBZ-3117)。

其他功能

本次发布还包含其他一些修复和改进,包括:

  • Debezium MySQL 连接器可暴露关于事务边界的元数据 (DBZ-3114);这是将此连接器重新集成到通用 Debezium 连接器框架中所获得的首批益处之一,如 1.5.0.Alpha1 版本公告中所述。

  • Debezium Postgres 连接器已针对 PG 13 进行测试和验证 (DBZ-3022)

  • 使用 Debezium 嵌入式 API 时,能够自定义 offset (DBZ-2897)

  • 在将 MySQL 连接器与 MariaDB 一起使用时,支持 CREATE OR REPLACE INDEX DDL (DBZ-3067)

  • Postgres 支持无限时间戳值 (DBZ-2614)

总计,本次发布解决了 78 个问题

Gunnar Morling

Gunnar 是一位软件工程师,内心是一个开源爱好者,目前在 Confluent 担任技术专家。此前,他曾帮助构建一个基于 Apache Flink 的实时流处理平台,并领导了 Debezium 项目,这是一个用于变更数据捕获的分布式平台。他是 Java Champion,并创立了多个开源项目,如 JfrUnit、kcctl 和 MapStruct。Gunnar 是一位热情的博主 (morling.dev),并曾在 QCon、Java One 和 Devoxx 等各种会议上发表演讲。他居住在德国汉堡。

   


关于 Debezium

Debezium 是一个开源的分布式平台,可以将现有数据库转变为事件流,使应用程序能够几乎即时地看到并响应数据库中已提交的每个行级更改。Debezium 构建在 Kafka 之上,并提供了 Kafka Connect 兼容的连接器,用于监控特定的数据库管理系统。Debezium 将数据更改的历史记录在 Kafka 日志中,这样您的应用程序可以随时停止和重新启动,并可以轻松地消费在未运行时错过的所有事件,确保所有事件都被正确且完整地处理。Debezium 在 Apache 许可证 2.0 下是 开源 的。

参与进来

我们希望您觉得 Debezium 有趣且有用,并希望尝试一下。在 Twitter @debezium 上关注我们,在 Zulip 上与我们聊天,或加入我们的 邮件列表 与社区交流。所有代码都在 GitHub 上开源,因此请在本地构建代码,帮助我们改进现有连接器并添加更多连接器。如果您发现问题或有改进 Debezium 的想法,请告诉我们或 记录一个问题

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×