Debezium 博客

Debezium 3.3.1.Final 是一个关键的维护版本,解决了重要问题。

Debezium 3.2.4.Final 现已发布,包含对 Oracle 连接器用户的重要的修复和对多个数据库连接器的稳定性改进。

Debezium 团队很高兴地宣布 Debezium 3.3.0.Final 现已可用。此版本包含大量新功能,包括新的 Debezium Quarkus 扩展,为 Debezium 与 Quarkus 中的 PostgreSQL 提供无缝集成,支持 Apache Kafka 4.1,为所有核心连接器提供精确一次语义支持,为 MongoDB 和 JDBC sink 连接器提供 OpenLineage 支持,以及更多内容!

我们很高兴地宣布 Debezium 3.3.0.CR1 的发布,它在可靠性、创新性和兼容性方面带来了显著的改进。此版本基于 Kafka 4.1.0,并引入了几个关键增强功能,将简化您的变更数据捕获工作流。

尽管夏末将至,Debezium 团队带来了一个最新鲜的预览版本,包含一批新的改进和增强功能。通过 Debezium 3.3.0.Beta1,此版本为连接器生态系统带来了各种稳定性修复、性能优化和用户体验改进。让我们来看看这些是什么。

Debezium 3.2.2.Final 带来了关键的稳定性改进,包括修复了在失败的临时阻塞快照期间潜在的数据丢失问题,解决了令人困惑的连接器启动错误,并增强了 Oracle LogMiner 的 JMX 吞吐量指标。

Debezium 3.3.0.Alpha2 已发布,带来了关键修复和强大的增强功能!

亮点包括心跳处理修复、从精确的 oplog 位置开始 MongoDB 流式传输的能力、更快的 PostgreSQL TOAST 性能、JDBC sink 中扩展的 TSVECTOR 支持,以及 PostgreSQL 中改进的发布 DDL 处理。Debezium Platform 也通过更清晰的错误消息、细粒度的 UI 日志记录以及更好的源/目标定义获得了主要的可用性提升。

许多从事数据流工作的工程师都不是 SQL 专家。所以你可能会问自己:什么是 CTE?更重要的是,什么是 CTE 查询,它们有什么用,以及它们如何帮助你处理 Debezium?

在本文中,我们将回答这些问题,探讨 Debezium Oracle 连接器如何利用 CTE 查询,并讨论涉及的优点和权衡。

Debezium 3.2.1.Final 现已发布,为您的 CDC 流水线带来更快的性能、更智能的资源利用和稳固的稳定性。此版本改进了 PostgreSQL TOAST 处理、原生 MariaDB 向量数据类型支持,以及 Oracle LogMiner 的主要弹性改进,所有这些都旨在保持您的数据平稳高效地流动。

Debezium 3.3.0.Alpha1 带来了一系列激动人心的新创新,包括核心连接器的精确一次语义,以及社区主导的全新 CockroachDB 连接器。凭借对新兴数据类型的支持、更深入的 Quarkus 集成以及增强的工具,此版本为现代变更数据捕获解决方案设定了新标准。准备好看看有什么新内容了吗?让我们深入了解。

如果您正在使用 Debezium 的 Oracle 连接器,很可能您已经遇到过关于“在事务日志中找不到 SCN”的臭名昭著的异常。在这篇博文中,我们将不仅讨论这个异常的含义,还会探讨其原因以及您应该采取的故障排除步骤。

在准备本季度的发布期间,Debezium 团队在这个季度非常忙碌,我们很高兴地宣布 Debezium 3.2.0.Final 现已可用。此版本包含大量新功能,包括与 OpenLineage 的集成、新的 Quarkus DevService/GraalVM 扩展、Qdrant 向量数据库 sink 支持、对 Debezium Platform 和 AI 的改进,以及更多内容!

又一个发布周期完成,我们很高兴地宣布 Debezium 的下一个预览版本已发布,即 3.2.0.Alpha1。此版本基于 Kafka 4.0 构建,包含一些重大更改以及许多改进和错误修复。

让我们花点时间深入了解所有这些更改。

自我们发布 Debezium 3.1.0.Final 以来仅三周,很高兴地报告第一个维护版本已发布,即 3.1.1.Final。此版本包含一些关键的性能改进和各种错误修复。

Debezium 项目以一个极其有趣且充满活力的 Debezium 3.1.0.Final 版本开启了 2025 年。此版本在多个连接器中包含大量新功能,支持 WebAssembly 和 Go 的转换,我们发布了首个官方的 Debezium 管理平台,两个全新的 Debezium Server sink 用于向量数据库和大语言模型,一个新的人工智能模块,以及更多!

我们很高兴地宣布 Debezium 3.1 的候选版本,即 3.1.0.CR1

此新版本包括对 JDBC sink 和 MySQL 连接器的多项改进,对 Vitess 的 ISO 字符串时间值和 Keyspace 心跳的支持,对 RabbitMQ 的基于密钥的路由,以及更多。让我们深入了解这些新功能和改进。

我们很高兴地宣布 Debezium 3.1 的第一个 Beta 版本,即 3.1.0.Beta1

此版本包含大量新功能和改进,包括但不限于:首个官方发布的 Debezium Server UI、CloudEvent traceparent 支持、Debezium 的 PubSub 和 RabbitMQ sink 的新功能、WASM 转换中的 Schema 访问,以及更多内容。让我们深入了解所有这些新功能和改进。

虽然团队一直在努力开发 Debezium 3.1,但我们很高兴地宣布 Debezium 3.0.8.Final 的新维护更新。

虽然我们的维护版本通常主要关注稳定性改进,但我们很高兴地分享,在此维护版本中我们还包含了一些新功能,以改善整体用户体验。

我们很高兴地宣布 Debezium 3.1 的下一个预发布版本,即 3.1.0.Alpha2。此版本包含一些重大更改、新功能和改进。

新年伊始,新开发周期也随之而来,我很高兴地宣布 Debezium 3.1 的第一个预发布版本,即 3.1.0.Alpha1。此版本包含各种新功能,包括 PostgreSQL 和 MySQL 在 JDBC sink 中的向量数据类型支持、新的自适应时间精度模式、MariaDB SSL 支持等。废话不多说,让我们直接深入了解这些新功能和改进。

新年伊始,Debezium 团队很高兴地宣布 Debezium 3.0 流的最新维护更新,即 3.0.7.Final。此维护版本不引入任何新功能,但确实解决了一些待处理的错误。请花点时间查看发行说明以了解更多详细信息。

大家好,我是 René,一家瑞士保险公司的数据工程师。大约四年以来,我一直在多个项目中使用 Debezium。由于我不是 Java 开发者,所以这些年来我没有机会为 Debezium 贡献代码。尽管如此,或者正是因为如此,我认为至少可以写几行文字,来讨论一个可能不仅对我而言,而且对很多人都非常重要的话题……

恰逢节日,我很高兴地宣布 Debezium 3 的第五个维护版本,**3.0.5.Final**。此版本包含一些小的改进、错误修复以及一些重大更改。让我们花点时间深入了解细节…

我很高兴地宣布 Debezium 3 版本流的第二个维护版本,即 3.0.2.Final。此维护版本引入了许多功能,让我们花点时间深入了解亮点。

我很高兴地宣布 Debezium 3 版本流的第一个维护版本,即 3.0.1.Final。此维护版本引入了一些新功能,包括对 Cassandra 5、PostgreSQL 17 和 MySQL 9.1 的支持。此外,Debezium Server 支持 YAML 的一些配置改进。

我怀着无比的喜悦和荣幸宣布 Debezium 3.0.0.Final 的可用性!

我们发布 Debezium 2.0 已近 2 年,在此期间,该平台不断发展,引入了 sink 连接器、新的社区主导连接器,以及对核心平台和连接器的广泛功能和改进。在社区的帮助下,Debezium 仍然是 CDC 的事实领导者。

3.0 版本标志着 Debezium 的又一个里程碑,这是我们迫不及待想分享的。

正如我上周提到的,我们正处于下一个主要版本的最后冲刺阶段。我们很高兴地宣布下一个候选版本,Debezium **3.0.0.CR2**!让我们快速了解一下这个新版本中的更改和改进…

我很高兴地宣布 Debezium 2.7 系列的第三个维护版本,**2.7.3.Final**。此维护版本侧重于解决稳定性和回归问题,并包含多项改进。让我们深入了解这些更改…

社区正朝着 Debezium 的下一个主要里程碑迈进,我们很高兴地宣布 Debezium 3.0.0.CR1 的可用性!

除了连接器的多项错误修复外,此版本还为 MySQL、Oracle 和 Vitess 连接器带来了一些改进。除非出现任何重大回归,否则我们可以预期 Debezium 3 将在不久的将来发布。

我很高兴地宣布 Debezium 2.7 版本流的第二个维护版本,即 2.7.2.Final。此维护版本侧重于解决稳定性和回归问题,并带来了一些改进,例如对 Informix 的 DECIMAL(p) 数据类型支持,以及修复了 JsonConverterTruncateColumn 处理器的回归。

即使夏日的热浪仍在持续,Debezium 团队也有一些令人振奋的新消息要分享。我们很高兴地宣布 Debezium 3 的第一个 Beta 预览版本,即 3.0.0.beta1

此版本包含大量新功能和改进,包括每个表的创建、更新和删除的详细指标、复制槽创建超时、PostgreSQL 的 PgVector 数据类型支持、基于 Ehcache 的新 Oracle 嵌入式缓冲区实现等。让我们花点时间深入了解这些新功能以及如何利用它们来改进您的 Debezium 3!

我很高兴地宣布 Debezium 2.7 的第一个维护版本,**2.7.1.Final**。此维护版本侧重于解决一系列稳定性问题,包括对临时快照的改进、嵌入式引擎中转换器的关闭、Oracle LogMiner 实现的改进、Vitess 纪元计算等等…

让我们深入了解这些更改…

随着夏天气温的持续升高,Debezium 社区很高兴地宣布 Debezium 3.0.0.Alpha2 现已可供测试。

此版本包含大量新功能和改进,包括基于 Kafka 3.8 构建、JDBC sink 连接器迁移、Debezium Server 支持自定义转换器,以及对我们社区主导的连接器的多项改进。

我们很高兴地宣布 Debezium 3 的第一个预发布版本,即 3.0.0.Alpha1。此版本虽然比我们常规的预发布版本小,但高度专注于几个关键点,例如测试 Java 17/21 的发布流程;然而,它也包含了几项新功能。让我们花点时间来深入探讨即将推出的重大更改以及您将找到的新功能。

随着团队进入第三季度,我们很高兴地宣布我们第二季度的工作成果,Debezium 2.7.0.Final 现已全面可用。此版本包括对 140 个问题的更改,来自超过 51 位贡献者的贡献。让我们花点时间回顾所有更改。

尽管 2024 年已过半,团队很高兴地宣布 Debezium 的第一个 Beta 预览版本,即 2.7.0.Beta1

此版本包括对 Db2 on z/OS 的孵化支持、NATS JetStream 的身份验证和加密、MariaDB JDBC sink 方言的改进、Debezium Server 映像的 JMX Exporter、Debezium Operator 中可配置的指标等。

让我们一起回顾所有亮点并更深入地讨论…

我很高兴地宣布 Debezium 2.6.2.Final 现已可用。此版本是第二个维护版本,侧重于解决 2.6.1.Final 版本的一些关键稳定性问题,支持 Oracle 数据库查询超过一千个表的过滤,修复了 PostgreSQL 偏移量刷新的竞争条件,修复了 Avro 兼容性,等等。

让我们花点时间深入了解这些以及更多内容…

俗话说“四月雨水带来五月花”;然而,在这种情况下,似乎一款新的 Debezium 版本如雨后春笋般涌现,充满了许多新功能。我们很高兴地宣布 Debezium 2.7 流的下一个预发布版本 Debezium 2.7.0.Alpha2 现已可供测试。

此版本包括 Oracle 连接器的新 ROW_ID 序列化、JDBC sink 连接器的 PostgreSQL 数组支持、Debezium Server 的 NATs 身份验证、Oracle LogMiner 和大型表的性能改进等。让我们回顾一下此版本中的亮点,并深入讨论这些以及更多内容…

随着夏天气温持续升高,我很高兴地宣布 Debezium 有一些非常棒的消息,Debezium **2.7.0.Alpha1** 现已可供测试。此版本包含各种连接器(如 MongoDB、MariaDB、MySQL、Oracle、Vitess 和 Kubernetes Operator)的各种新更改和改进,以及整个 Debezium 产品组合的大量细微修复和改进。让我们花点时间深入了解一些亮点…

我很高兴地宣布 Debezium 2.6.1.Final 现已可用。此版本是第一个维护版本,侧重于解决 2.6.0.Final 版本的一些关键稳定性问题,包括 Debezium Server 的类路径加载问题、MongoDB 静默停止收集更改,以及 Oracle Infinispan 缓冲区实现的竞争条件。

让我们花点时间深入了解这些以及更多内容…

随着团队投入到春天般的行动中,春天已经来临,我们带着夏天的精神,很高兴地宣布 Debezium 2.6.0.Final 现已发布。此版本包含数十项新功能、错误修复和改进,这些都源于团队和社区贡献者的英勇努力。总共有 249 个问题已解决,有超过 56 位贡献者参与。让我们花点时间回顾所有更改。

距离 Debezium 2.6.0.Final 发布还有一周时间,我很荣幸地宣布 Debezium 2.6.0.CR1,这是 2.6 版本流的第一个候选版本。此版本包含多项改进,包括 Oracle OpenLogReplicator 适配器的 XML 支持、Debezium Server 的 TRACE 级别日志记录支持、Cassandra 的可配置分区模式、MongoDB 和 Db2 的新快照 API 等。

此外,此版本还包含各种错误修复和一些重大更改。

让我们更详细地了解 Debezium 2.6.0.CR1 中包含的所有这些更改和改进;一如既往,您可以在 发行说明中找到此版本的完整更改列表。请记住,请特别注意任何可能影响您升级路径的重大更改。

我们很高兴地宣布 Debezium 2.5 系列的第三个维护版本,**Debezium 2.5.3.Final**。此版本包含一些改进和大量错误修复,让我们马上开始吧…

我们很高兴地宣布 Debezium 2.6.0.Beta1 的发布。我们正朝着这个版本迈进,其中包含了许多改进、增强功能、错误修复,当然还有一个全新的用于 iSeries 的 Db2 连接器。这个版本有很多内容需要涵盖,所以让我们深入了解!重大更改 团队的目标是避免小版本之间的任何潜在重大更改;然而,这种更改有时是不可避免的。Oracle 在早期版本的 Debezium 中,用户……

我们很高兴地宣布 Debezium 2.5 系列的第二个维护版本,**Debezium 2.5.2.Final**。此版本包含一些改进和大量错误修复,让我们马上开始吧…

随着我们进入季度中期,团队很高兴地宣布 Debezium 2.6 系列的第二部分,**Debezium 2.6.0.Alpha2**。此版本充满了新功能、改进和错误修复,让我们深入了解一下…

虽然我们仍按计划进行即将发布的 Debezium 2.6 版本,但我们一直在关注已做的改进和修复,以确保旧版本能够继续提供最佳体验。因此,团队很高兴地宣布 Debezium 2.5 的第一个维护版本,**Debezium 2.5.1.Final**。让我们深入了解此版本包含的内容以及升级时应注意的事项…

新年新预览版本,一如既往的 Debezium 风格。团队很高兴地宣布 Debezium 2.6 系列的第一部分,**Debezium 2.6.0.Alpha1**。让我们花点时间了解这些新功能,了解如何使用它们来改善您的变更数据捕获体验…

随着冬季寒冷的降临,我们正值节日季节,我们敬业的团队一直忙于为 Debezium 社区准备一份特别的礼物。我很高兴地宣布 Debezium 2.5.0.Final 现已发布,正是为了节日庆典。准备好拆开这个最新的次要版本,它充满了节日气氛和令人兴奋的新功能!

让我们花点时间回顾一下 Debezium 2.5 中包含的所有新功能、更改和改进,包括 181 个问题的解决,来自 37 位独特贡献者。

距离 Debezium 2.5 最终版本发布只有一步之遥,我很高兴地宣布 Debezium 2.5.0.CR1 现已发布。此版本包含多项改进,如 Debezium Server 的 AWS SQS sink、用于增量快照水位标记的 INSERT/DELETE 语义、ReselectColumnsPostProcessor、统一的 Oracle LOB 行为。

此外,此版本还包含各种错误修复和一些重大更改。

让我们更详细地了解 Debezium 2.5.0.CR1 中包含的所有这些更改和改进;一如既往,您可以在 发行说明中找到此版本的完整更改列表。请记住,请特别注意任何可能影响您升级路径的重大更改。

随着我们逐渐接近 Debezium 2.5 的最终发布阶段,我很高兴地宣布 Debezium 2.5.0.Beta1 现已发布。此版本包含多项改进,如对 MariaDB GTID 的支持、Debezium Server EventHub sink 的分区、原生的 RabbitMQ streams Debezium Server sink、从 PostgreSQL 16 备用数据库流式传输、MySQL 高精度源时间戳、JDBC sink 的字段包含/排除,以及一些初始快照的其他通知,以及 Debezium Operator CRDs 的服务帐户支持。此外,此版本包含各种错误修复和几项重大更改。

让我们更详细地了解 Debezium 2.5.0.Beta1 中包含的所有这些更改和改进;一如既往,您可以在 发行说明中找到此版本的完整更改列表。请记住,请特别注意任何可能影响您升级路径的重大更改。

随着一年接近尾声,我很高兴地宣布 Debezium 2.4 系列的第一个维护版本,即 Debezium 2.4.1.Final

虽然我们的维护版本主要侧重于错误修复和稳定性改进,但我们从最新的 Debezium 2.5 开发系列中回溯了一些新功能。所有这些新功能都侧重于 Kubernetes 的 Debezium Operator,所以让我们快速深入了解这些细节。一如既往,您可以在 发行说明中找到此版本的完整更改列表。

虽然距离我们发布 Debezium 2.5 系列的第一个预览版本仅两周时间,但我很高兴地宣布下一个预览版本 Debezium 2.5.0.Alpha2 现已发布。

此版本包含多项改进,JDBC Sink 连接器的批量支持,对超过 16MB 限制的 MongoDB 文档的无缝支持,MySQL 8.2 兼容性,以及 SQL Server 的信号改进。此外,此版本还包含各种错误修复和几项重大更改。

让我们更详细地了解 Debezium 2.5.0.Alpha2 中包含的这些更改和改进;一如既往,您可以在 发行说明中找到此版本的完整更改列表。请记住,请特别注意任何可能影响您升级路径的重大更改。

距离我们发布 Debezium 2.4 大约三周了,在此期间,团队一直在努力开发 Debezium 的下一步演进。我很高兴地宣布,今天我们发布了 Debezium 2.5.0.Alpha1,这是 Debezium 2.5 系列的第一个预览版本。此版本包含许多令人兴奋的新功能以及错误修复,例如:全新的 IBM Informix 连接器、对 MariaDB 的预览支持(使用……

随着夏季的结束,我们进入秋季,天气转凉,团队辛勤地准备着 Debezium 的下一个主要里程碑。我很荣幸地宣布下一个次要版本的发布,即 Debezium 2.4.0.Final

随着团队开始新的开发迭代之旅,让我们花点时间回顾一下 Debezium 2.4 中包含的所有新功能、更改和改进,包括 231 个问题的解决,来自 68 位独特贡献者的贡献。

随着北半球的夏季即将结束,我们正等待着秋色,团队一直忙于准备 Debezium 2.4 的下一个主要版本。我很荣幸地宣布,今天我们发布了 Debezium 2.4.0.CR1,标志着我们离最终发布又近了一步。此版本的重点主要是稳定性;然而,我们也有一些最后添加的功能需要强调,所以让我们开始吧……

距离我们上次发布 Debezium 2.4 系列的预览版本已经将近两周了,我很高兴地宣布该系列的下一个版本,Debezium 2.4.0.Beta2

虽然 Beta 版本通常侧重于稳定性和错误修复,但此版本包含许多值得注意的改进和新功能,包括 Oracle 的新 Oracle OpenLogReplicator 摄取方法、用于处理时区转换的新单消息转换器、MongoDB 的自定义身份验证支持、MongoDB 聚合管道的可配置顺序,以及对 MongoDB 7 的支持。

让我们花点时间更详细地深入了解所有这些新功能、改进和更改。

我很荣幸地宣布 Debezium 2.3.3.Final 现已发布。

此版本包含多项错误修复,以解决回归、稳定性和文档更新问题。如果您目前正在考虑升级到 Debezium 2.3.x 版本流,我们强烈建议您考虑使用此版本。让我们快速看一下回归和错误修复。

虽然开发仍然稳步进行,我们继续推进 Debezium 2.4,我很兴奋地宣布 Debezium 2.4.0.Beta1 现已发布。

虽然此版本主要侧重于稳定性和错误修复,但有几项值得注意的新功能,包括 TimescaleDB 支持、使用 JSON 载荷的 JMX 通知、Oracle 连接器指标和嵌入式 Infinispan 缓冲区实现的多个改进、SQL Server 心跳、Vitess 无分片策略,以及 JDBC sink 的 SQL Server 基于标识的插入,等等。让我们深入探讨所有这些新功能及更多内容。

尽管夏季已接近尾声,Debezium 贡献者们仍在努力工作,我很荣幸地宣布 Debezium 2.4 系列的下一个预览版本,即 2.4.0.Alpha2。此预览版本包含了一系列改进、错误修复和新功能,供 Debezium 社区测试并提供反馈。此版本的一些亮点包括临时阻塞快照、源到 sink 的列名传播、替代 MySQL 驱动程序的支持,以及 Debezium 中的所有 Cassandra 连接器……

我很荣幸地宣布 Debezium 2.3.2.Final 现已发布。

此版本包含多项错误修复,以解决回归、稳定性和文档更新问题。如果您目前正在考虑升级到 Debezium 2.3.x 版本流,我们强烈建议您考虑使用此版本。让我们快速看一下回归和错误修复。

自我们发布 Debezium 2.3 的第一个版本以来已经过去了几周,我很高兴地宣布 Debezium 2.3 的下一个迭代版本,即 2.3.1.Final。与任何微版本一样,重点是稳定性和错误修复,以及文档调整;然而,有一些值得注意的更改,我想花点时间重点介绍一下。

这个月 Debezium 领域非常忙碌,我很荣幸地宣布 Debezium 2.4 系列的第一个版本,即 2.4.0.Alpha1。此版本包含大量更改,确切地说是 59 项更改,涵盖了广泛的已解决问题、稳定性改进、新功能以及一些重大更改。让我们深入探讨每一项并更详细地讨论它们。重大更改 新功能 其他更改 重大更改 MongoDB MongoDB 连接器明确……

这篇博文是三部分系列文章的最后一部分,旨在探讨如何使用 Debezium 通过 Oracle LogMiner 从 Oracle 数据库摄取更改。如果您错过了,该系列的第一部分可以在 这里 找到,第二部分可以在 这里 找到。

在这第三也是最后一部分中,我们将在前两篇文章的基础上,重点关注以下领域:

在过去几个月里,团队一直非常忙碌,为 Debezium 2.3 的缩短发布时间表做准备,我很高兴地宣布下一个版本已发布,Debezium 2.3.0.Final 现已可用!尽管发布时间表有所缩短,但此版本仍然充满了大量新功能和改进。Debezium 2.3 包括一个全新的通知子系统,对信号子系统的重写,以支持向 Debezium 连接器发送其他信号的方式……

我很荣幸地宣布下一个 Debezium 2.3 版本,即 2.3.0.CR1

此版本的主要重点是稳定 Debezium 2.3 版本,为最终版本的发布做准备,这通常意味着我们专注于错误修复;然而,此版本包含两个新功能。让我们花点时间深入了解这些新功能和任何值得注意的错误修复!

我很荣幸地宣布 Debezium 2.3 系列的下一个版本,即 2.3.0.Beta1

虽然此版本主要侧重于错误修复和稳定性改进,但 PostgreSQL 连接器以及新的通知和通道子系统带来了一些新改进。此外,还有一些兼容性重大更改。

此版本包含对 22 个问题的更改,所以让我们花点时间深入了解新功能以及任何可能值得注意的错误修复或重大更改!

我很荣幸地宣布 Debezium 2.3 系列的第一个版本,即 2.3.0.Alpha1

此版本带来了许多令人兴奋的新功能和错误修复,包括 Debezium 状态通知、将 Debezium 状态存储到 JDBC 数据存储、可配置的信号通道、通过 Debezium UI 编辑连接器配置的功能、Vitess 分片处理的并行化,以及更多内容。

此版本包含对 59 个问题的更改,所以让我们花点时间深入了解其中几项新功能以及任何可能值得注意的错误修复或重大更改!

今天,我们怀着极大的喜悦宣布 Debezium 2.2.0.Final 的可用性!

许多人可能已经注意到,此发布周期比我们传统的三个月要长一些。虽然我们通常更喜欢保持我们一贯的发布周期,但这次调整给我们提供了一个独特的机会,发布包含大量新功能和错误修复的 Debezium 2.2,同时还对几个核心组件进行了重大升级。

Debezium 团队激动地宣布 Debezium 2.2 的第一个候选版本 Debezium 2.2.0.CR1

此版本主要专注于稳定性和错误修复;但也有一些新功能和重大更改。在此版本中,Debezium 迁移到了 Quarkus 3.0.0.Final,对 Debezium Server Pulsar sink 进行了性能改进,Jolokia 可以在 Debezium 的 Kafka Connect 容器镜像中启用,为 MongoDB 多副本和分片集群提供了增量快照的孵化支持,以及弃用了 Docker Hub 的镜像用法。

让我们花点时间深入了解其中一些内容以及它对未来的意义!

团队很高兴地宣布 Debezium 2.2 系列的第一个 beta 版本 Debezium 2.2.0.Beta1

此版本包含大量错误修复、改进以及一些新功能,包括但不限于:新的 JDBC sink 连接器实现、MongoDB 分片集群改进、Google Spanner PostgreSQL 方言支持,以及 Debezium Server 的 RabbitMQ sink 实现,仅举几例。

让我们花点时间深入了解一下有什么新内容!

今天,我很高兴地宣布 2.2 系列的第三个 alpha 版本 Debezium 2.2.0.Alpha3

此版本包含大量错误修复、改进、重大更改以及一些新功能,包括但不限于:可选的并行快照、服务器端 MongoDB 变更流过滤、增量快照的代理键,以及适用于 Cassandra Enterprise 的新 Cassandra 连接器,更多内容。

让我们花点时间深入了解一些新功能、改进和重大更改。

今天,我很高兴地宣布 2.2 系列的第二个 alpha 版本 Debezium 2.2.0.Alpha2。此版本包含大量错误修复、改进、重大更改以及一些新功能,包括但不限于:新的 ExtractRecordChanges 单条消息转换,Quarkus 的 Debezium Outbox 扩展的 Reactive 实现,Apache RocketMQ 的 Debezium Storage 模块,以及更多内容。让我们花点时间深入了解这些新功能、改进和重大更改。

Debezium 的发布节奏正处于如火如荼的进行中,我很高兴地宣布 Debezium 2.1.2.Final

此版本主要专注于错误修复和稳定性;它是所有用户从早期版本推荐更新的版本。此版本包含 28 个已解决的问题,让我们花点时间讨论一下关键的重大更改。

我很荣幸地宣布,不仅是 Debezium 2.2 系列的第一个版本,也是 Debezium 在 2023 年的第一个版本,2.2.0.Alpha

Debezium 2.2.0.Alpha1 版本包含一些重大更改、许多错误修复以及一些值得注意的改进和功能,包括但不限于:

  • [重大更改] - ZonedTimestamp 值将不再截断小数秒。

  • [新功能] - 支持从 Oracle 逻辑备用数据库摄取更改

  • [新功能] - 使用 Debezium Storage API 支持 Amazon S3 存储桶

  • [新功能] - 支持在连接器启动期间重试数据库连接

  • [新功能] - Debezium Server sink 连接器支持 Apache RocketMQ 和 Infinispan

今天,我非常高兴地宣布 Debezium 2.1.0.Final 已发布!

您可能最近注意到 Debezium 在过去几周里有些沉默。不,我们并没有离开。事实上,谷歌的精灵们辛勤工作,为您带来了圣诞树下的礼物——Debezium Spanner 连接器。

我很荣幸地宣布 Debezium 2.1 系列的第一个版本,2.1.0.Alpha1

Debezium 2.1.0.Alpha1 版本包含许多错误修复,但也包含一些值得注意的改进和新功能,包括但不限于:

  • 对 PostgreSQL 15 的支持

  • Debezium 引擎中的单条消息转换 (SMT) predicate 支持

  • 在 MySQL 表 topic 中捕获 TRUNCATE 作为变更事件

  • Oracle LogMiner 性能改进

  • 新的基于 Redis 的存储模块

我很高兴地宣布 Debezium 1.9.7.Final 发布!

此版本主要专注于错误修复和稳定性;它是所有用户从早期版本推荐更新的版本。此版本包含 22 个已解决的问题

今天,我非常高兴地宣布 Debezium 2.0.0.Final 已发布!

自 2019 年 12 月我们发布 1.0 版本以来,社区一直在努力构建一个全面的开源低延迟变更数据捕获 (CDC) 平台。在过去的三年里,我们扩展了 Debezium 的产品组合,包括稳定的 Oracle 连接器、社区驱动的 Vitess 连接器、增量快照的引入、多分区支持等等。在活跃的贡献者和提交者社区的帮助下,Debezium 已成为 CDC 领域的事实上领导者,并在众多行业的众多组织中投入生产,使用数百个连接器从数千个数据库平台流式传输数据更改。

2.0 版本标志着 Debezium 的一个新里程碑,这是我们很自豪能与大家分享的。

我很高兴地宣布 Debezium 2.0.0.CR1 发布!

此版本包含重大更改、稳定性修复和错误修复,所有这些都让我们更接近 2.0.0.Final。总的来说,此版本修复了 53 个问题

本文是三部分系列文章的一部分,旨在探讨如何使用 Debezium 和 Oracle LogMiner 从 Oracle 数据库摄取变更。如果您错过了第一部分,可以在 这里 查看。

在第二部分中,我们将基于第一部分的内容,使用 Zookeeper、Kafka 和 Kafka Connect 部署 Oracle 连接器。我们将讨论连接器的各种配置选项以及它们的重要性。最后,我们将实际演示连接器如何工作!

本文是三部分系列文章的一部分,旨在探讨如何使用 Debezium 和 Oracle LogMiner 从 Oracle 数据库摄取变更。在本系列文章中,我们将探讨设置 Debezium for Oracle 的概念验证 (POC) 部署的所有步骤。我们将讨论设置和配置,以及多租户的细微之处。我们还将深入探讨您可能需要了解的任何已知陷阱和注意事项,以及如何调试特定问题。最后,我们将讨论性能和监控,以维护健康的连接器部署。

通过本次演练,我们希望向您展示部署 Debezium for Oracle 的简单性。本系列的安装和设置部分可能看起来相当复杂,但其中许多步骤可能已经在现有的环境中存在。我们将逐一介绍每个步骤,解释如果您使用容器镜像部署,每个步骤的必要性。

我很高兴地宣布 Debezium 1.9.6.Final 发布!

此版本主要专注于错误修复和稳定性;它是所有用户从早期版本推荐更新的版本。此版本包含 78 个已解决的问题

我很高兴地宣布 Debezium 2.0.0.Beta2 发布!

此版本包含若干重大更改、稳定性修复和错误修复,所有这些都让我们更接近 2.0.0.Final。总的来说,此版本修复了 107 个问题

我非常激动地分享 Debezium 2.0.0.Beta1 已发布!

此版本包含几项新功能,包括可插拔的 topic 选择器,Oracle 变更事件中包含提交更改的数据库用户,以及对将表唯一索引作为主键的改进处理。此外,还有几项重大更改,例如将多分区模式设置为默认模式,以及引入 debezium-storage 模块及其实现。所以让我们更详细地看一下所有这些。

随着夏天的到来,团队很高兴地宣布 Debezium 1.9.5.Final 发布!

此版本主要专注于错误修复和稳定性;它是所有用户从早期版本推荐更新的版本。此版本包含 24 个已解决的问题

我非常激动地分享 Debezium 2.0.0.Alpha3 已发布!

虽然此版本包含大量错误修复,但有几项值得注意的改进,包括在事务元数据事件中提供时间戳,在 Oracle 的变更事件源块中添加了几个新字段,以及对 Oracle 连接器的 offset 进行了向后不兼容的更改。

让我们更详细地看一下这些。

我很高兴地宣布 Debezium 1.9.4.Final 发布!

此版本主要专注于错误修复和稳定性;它是所有用户从早期版本推荐更新的版本。此版本包含 32 个已解决的问题

我非常激动地分享 Debezium 2.0.0.Alpha2 已发布!

此版本包含大量的错误修复和改进,总共修复了 110 个问题。简直太棒了!

一些值得注意的更改包括增量快照增加了对正则表达式和新停止信号的支持。我们还进行了一些清理工作,并删除了许多已弃用的配置选项以及旧的 MongoDB oplog 实现。

让我们更详细地看一下这些。

随着夏天的临近,我很高兴地宣布 Debezium 1.9.3.Final 发布!

此版本主要专注于错误修复和稳定性;但是,也有一些值得注意的功能增强。让我们花点时间来详细了解一下这些新功能:)。

我很高兴地分享 Debezium 2.0.0.Alpha1 已发布!

这是 Debezium 2.0 在未来五个月内的几次计划预发布版本中的第一个。每次预发布版本都计划专注于战略性更改,希望能随着时间的推移,轻松测试更改并快速解决回归问题。

在此版本中,一些最值得注意的更改包括:使用 Debezium 或其任何组件需要 Java 11,移除了 PostgreSQL 的 wal2json 支持和旧的 MySQL 连接器实现,以及一些值得注意的功能,例如改进的 Debezium Server Google Pub/Sub sink 支持,以及大量的错误修复。让我们来看一下其中一些。

我很高兴地宣布 Debezium 1.9.1.Final 发布!

此版本主要关注 1.9.0.Final 版本发布后的错误修复和稳定性问题。

我很高兴地分享 Debezium 1.9.0.Final 已发布!

除了常规的错误修复和改进外,此版本的主要功能包括对 Apache Cassandra 4 的支持,Debezium SQL Server 连接器的多数据库支持,以及使用 Debezium Server 作为 Knative 事件源的能力,还有许多对 Debezium Server 与 Redis Streams 集成的改进。

社区为 1.9 版本修复了 276 个问题;非常感谢每一位帮助实现这一目标的人!

我很高兴地宣布 Debezium 1.9.0.CR1 发布!

除了各种错误修复外,此版本还带来了备受期待的 Apache Cassandra 4 支持!总的来说,为这个版本修复了 52 个问题

让我们更详细地了解 Cassandra 3 的更改和 Cassandra 4 的支持。

我很高兴地宣布 Debezium 1.9.0.Beta1 发布!

此版本包含 Debezium Server 的许多新功能,包括 Knative Eventing 支持和 Redis sink 的 offset 存储管理,SQL Server 连接器的多分区缩放,以及各种错误修复和改进。总的来说,为这个版本修复了 56 个问题

让我们更详细地了解其中的几个。

我很荣幸地宣布 Debezium 1.9 系列的第二个版本,1.9.0.Alpha2

此版本包括对 Oracle 21c 的支持,围绕 Debezium Server 的 Redis 改进,配置 kafka.query.timeout.ms 选项,以及围绕 DDL 解析器、构建基础设施等的许多错误修复。

总的来说,社区为这个版本修复了 51 个问题。让我们更详细地了解一些亮点。

我很荣幸地宣布 Debezium 1.9 系列的第一个版本,1.9.0.Alpha1

新的一年带来新的版本!Debezium 1.9.0.Alpha1 版本包含许多修复和改进,最值得注意的是改进的指标和 Oracle ROWID 数据类型支持。

我非常高兴地宣布 Debezium 1.8.0.Final 发布!

除了对 Debezium MongoDB 连接器进行的大力关注(下面将详细介绍)之外,1.8 版本还带来了对 Postgres 逻辑解码消息的支持,支持在 Debezium UI 中配置 SMT 和 topic 创建设置,以及更多内容。

总的来说,社区为这个版本修复了 242 个问题。非常感谢大家帮助按时完成这个版本,坚持我们的季度发布节奏!

我非常激动地宣布 Debezium 1.8.0.CR1 发布!

随着下周即将发布最终版本,此版本重点关注错误修复。然而,此版本包括对 MongoDB 的增量快照支持!总的来说,为这个版本修复了 不少于 34 个问题

让我们更详细地了解其中一些。

我非常高兴地宣布 Debezium 1.8.0.Beta1 发布!

此版本包含激动人心的新功能,如对 MongoDB 5.0 的支持,Debezium MongoDB 连接器的 outbox 事件路由器,以及对 Postgres 逻辑解码消息的支持,还有大量的错误修复和其他改进。总的来说,为这个版本修复了 不少于 63 个问题

让我们更详细地了解其中一些。

我很荣幸地宣布 Debezium 1.8 系列的第二个版本,1.8.0.Alpha2

随着节日季的临近,团队的发布计划依然坚定。虽然 Debezium 1.8.0.Alpha2 提供了大量错误修复和小的更改,但有几个值得注意的更改:

  • MySQL 对心跳操作查询的支持

  • 可配置的事务 topic 名称

此外,最新的 debezium/tooling 镜像的 1.2 标签也已可用。最新版本包含了所有最新的工具,包括 kcctl,一个非常简单、易用的 Apache Kafka Connect CLI。

我很荣幸地宣布 Debezium 1.8 系列的第一个版本,1.8.0.Alpha1

随着秋天的色彩渐浓,团队一直在努力为这个版本编写代码。Debezium 1.8.0.Alpha1 带来了许多改进,但最值得注意的是对原生 MongoDB 4.0 变更流的支持!

Debezium 从 1.6 版本开始的一个主要改进是支持 增量快照。在这篇博文中,我们将解释此功能背后的动机,深入探讨实现细节,并进行演示。

我非常高兴地宣布 Debezium 1.7.0.Final 发布!

此版本的主要功能包括对增量快照概念(在 Debezium 1.6 中引入)的重大改进,基于 Web 的 Debezium 用户界面,Debezium Server 中的 NATS 支持,以及支持通过 Debezium Kafka 容器镜像运行不带 ZooKeeper 的 Apache Kafka。

此外,在过去几个月里,Debezium 社区还发生了一些激动人心的事情;例如,我们看到了一个基于 Debezium 连接器框架的 ScyllaDB CDC 连接器 (基于 Debezium 连接器框架),并且正在开发一个 Debezium Server Apache Iceberg 连接器(更多细节即将在此博客的客座文章中发布)。

我们非常高兴地宣布 Debezium 1.7.0.CR2 的发布!

随着我们朝着最终版本迈进,我们主要包含错误修复。尽管如此,此版本包含重要的性能改进和一项用于读取-仅 MySQL 增量快照的新功能。

我非常高兴地宣布 Debezium 1.7.0.CR1 的发布!

在此版本中,我们重新设计了快照期间处理列过滤器的方式,Debezium 容器镜像已更新为使用 Fedora 34 作为其基础,支持 MySQL INVISIBLE 列,以及更多内容。

我很荣幸地宣布 Debezium 1.7 系列的第二个版本,1.7.0.Beta1

此版本为 Debezium Server 带来了 NATS Streaming 支持,以及许多其他修复和增强。此版本也是第一个与 Apache Kafka 2.8 一起测试的版本。

我很荣幸地宣布 Debezium 1.7 系列的第一个版本,1.7.0.Alpha1

随着夏天的如火如荼,此版本为 Debezium Oracle 连接器带来了额外的改进,同时也为其他连接器带来了改进。

我很高兴地宣布 Debezium 1.6.0.Final 发布!

此版本充满了大量新功能,包括支持通过新的 Signal API 切换的增量快照。基于 Netflix 工程师 Andreas Andreakis 和 Ioannis Papapanagiotou 的优秀论文 DBLog: A Watermark Based Change-Data-Capture Framework,增量快照的概念解决了 Debezium 社区反复出现的关于快照的几个需求。

我很高兴地宣布 Debezium 1.6.0.CR1 的发布!

此版本为 SQL Server 连接器增加了跳过的操作优化,为 Oracle 连接器引入了心跳支持,Oracle BLOB/CLOB 支持现在仅为可选,并为不同的 Debezium 连接器提供了一系列错误修复和其他改进。

我很高兴地宣布 Debezium 1.6.0.Beta2 的发布!

此版本为 Debezium Server 添加了 Pravega 支持,扩展了 Debezium Oracle 连接器的快照选项,并为不同的 Debezium 连接器提供了一系列错误修复和其他改进。

让我宣布 Debezium 1.5 的错误修复版本,1.5.2.Final

此版本使用 Java 8 重新构建了 1.5.1.Final。

让我宣布 Debezium 1.5 的错误修复版本,1.5.1.Final

此版本修复了自原始版本以来发现的一小组问题,并对文档进行了一些改进。

我很高兴地宣布 Debezium 1.6.0.Beta1 发布!

此版本为 SQL Server 和 Db2 引入了增量快照支持,对 SQL Server 进行了性能改进,支持 Oracle 的 BLOB/CLOB,以及更多内容。让我们花点时间来探索其中一些新功能。

我很荣幸地宣布 Debezium 1.6 系列的第一个版本,1.6.0.Alpha1

此版本为 MySQL 和 PostgreSQL 连接器带来了全新的增量快照功能,为 Debezium Server 带来了 Kafka sink,以及一系列广泛的错误修复和其他小功能添加。

我很高兴地宣布 Debezium 1.5.0.Final 发布!

通过 Debezium 1.5,基于 LogMiner 的 Oracle CDC 实现 从孵化状态转为稳定状态,并且还有一个全新的 MySQL 连接器实现,它带来了 事务元数据支持 等功能。其他主要功能包括支持新的“信号表”(Signalling Table),例如可用于实现 Oracle 连接器的 模式演进,以及支持 Postgres 的 TRUNCATE 事件。此外,社区驱动的 VitessApache Cassandra 连接器也有许多改进,以及一系列错误修复和其他较小的改进。

我很荣幸地宣布 Debezium 1.5.0.CR1 发布!

随着我们开始向 Debezium 1.5 发布流的最终确定迈进,Oracle 连接器已提升为稳定状态,并且 Cassandra 连接器在 TLS 方面进行了一些改进,以及大量的错误修复。总的来说,为这个版本解决了 50 个问题

我们非常高兴地宣布 Debezium 1.5.0.Beta2 发布!

此版本的主要功能是新的 Debezium 信号表支持,Vitess SET 类型支持,以及作为我们冲刺 1.5 版本终点线的持续对小改进、错误修复和完善的关注。

总的来说,社区自 Beta1 版本以来修复了 54 个问题,其中一些我们将在下面更深入地探讨。

我非常高兴地宣布 Debezium 1.5.0.Beta1 发布!

此版本添加了一个全新的组件——基于 Web 的 Debezium UI --,MySQL 连接器的事务元数据支持,Debezium Oracle 连接器的基于 LogMiner 的捕获实现的大量改进,对 Vitess 9.0 的支持,以及更多内容。让我们在下面探讨一些新功能。

我很荣幸地宣布 Debezium 1.5 系列的第一个版本,1.5.0.Alpha1

此版本为 Debezium Oracle 连接器的基于 LogMiner 的捕获实现带来了许多改进,对 MySQL 连接器进行了大量重构,以及一系列广泛的错误修复和其他小的功能添加。

我很高兴地宣布 Debezium 1.4.1.Final 发布!

我们强烈建议升级到 1.4.0.Final 及更早版本,因为此版本包含对多个 Debezium 连接器的错误修复和增强,包括以下一些内容:

我很高兴地宣布 Debezium 1.4.0.Final 发布!

此版本总结了过去三个月 Debezium 的主要工作。总的来说,社区在此期间修复了 117 个问题,包括以下关键功能和更改:

  • 新的 Vitess 连接器,由 Kewei Shang 在一篇深入的 博文中介绍

  • 可对快照的表进行精细选择

  • PostgreSQL Snapshotter 完成钩子

  • 分布式 追踪

  • MySQL 支持在快照期间发出的创建读取记录

  • Oracle Logminer 适配器的许多改进

  • 完全支持 Oracle JDBC 连接字符串

  • 改进了 DDL 错误的报告

我很高兴地宣布 Debezium 1.4.0.CR1 发布!

此版本主要侧重于完善 1.4 版本。

我很高兴地宣布 Debezium 1.4.0.Beta1 发布!

此版本包括对分布式追踪的支持,Db2 的小写表和 schema 命名,指定 MySQL 快照记录为创建或读取操作,以及对 Vitess 的可空和主键列的增强。

我很高兴地宣布 Debezium 1.4.0.Alpha2 发布!

1.4 发布线的第二个版本提供了一些有用的新功能:

  • PostgreSQL Snapshotter 接口的新 API 钩子

  • 使用 ExtractNewRecordState SMT 的 add.fieldsadd.headers 配置重命名字段

我很高兴地宣布 Debezium 1.3.1.Final 发布!

此版本主要关注 1.3 版本发布后报告的错误。最重要的是,由于 Debezium 社区的持续反馈,以下与 Debezium Oracle 连接器 LogMiner 适配器相关的错误已得到修复。

  • 使用 Oracle LogMiner 时抛出 SQLExceptions (DBZ-2624)

  • LogMiner 挖掘会话因 WorkerTask 被杀死而停止 (DBZ-2629)

我很高兴地宣布 Debezium 1.4.0.Alpha1 发布!

1.4 发布线的第一个版本提供了一些有用的新功能:

  • 新的 Vitess 连接器

  • 允许对快照的表进行精细选择

总的来说,社区为这个版本修复了 41 个问题。让我们更详细地了解一些亮点。

我非常高兴地宣布 Debezium 1.3.0.Final 发布!

根据 Debezium 的季度发布节奏,这结束了过去三个月的工作。总的来说,社区在此期间修复了 138 个问题,包括以下关键功能和更改:

  • 用于从 Oracle 摄取变更事件的新的孵化 LogMiner 实现

  • Debezium Server 中对 Azure Event Hubs 的支持

  • 升级到 Apache Kafka 2.6

  • 修订后的 过滤器选项名称

  • SQL Server 连接器的新快照模式 initial_only

  • SQL Server 的数据库过滤列支持

  • MongoDB 连接器的附加连接选项

  • 改进了 ByteBufferConverter 以使用 Avro 作为 payload 格式实现 outbox 模式

我非常高兴地宣布 Debezium 1.3.0.CR1 的发布!

随着我们接近 Debezium 1.3 Final 的最后冲刺,我们抓住了这个机会为 ByteBufferConverter 添加了代理转换器支持,并引入了一个 debezium-scripting 模块。此外,还有一系列错误修复和相当多的文档整理工作;总的来说,已为此版本解决了 不少于 15 个问题

我非常高兴地宣布 Debezium 1.3.0.Beta2 的发布!

在此版本中,我们改进了 MySQL 和 SQL Server 连接器对列过滤的支持,并为 Oracle 提供了一个全新的变更事件捕获实现,使用了 LogMiner 包。随着我们接近 Debezium 1.3 Final 的最后冲刺,还有大量的较小改进、错误修复和文档澄清;总的来说,已为此版本解决了 不少于 44 个问题

我很高兴地宣布 Debezium 1.3.0.Beta1 的发布!

此版本已升级到最近发布的 Apache Kafka 版本 2.6.0,修复了几个关键错误,并重命名了用于选择要捕获的表的连接器配置选项。我们还发布了 Debezium 1.2.2.Final,它是所有早期 1.2.x 版本用户的直接替代品。

我非常高兴地宣布 Debezium 1.2.0.Final 发布!

在过去的三个月里,社区解决了近 200 个问题。此版本的主要功能包括:

  • 用于基于内容的事件 路由过滤 的新 Kafka Connect 单条消息转换 (SMTs);升级到 Apache Kafka 2.5

  • Debezium SQL Server、Db2Oracle 连接器的模式更改 topic

  • Debezium 嵌入式引擎中对 SMT 和消息转换器的支持

  • Debezium Server,一个全新的运行时,允许将数据更改事件传播到各种消息基础设施,如 Amazon Kinesis、Google Cloud Pub/Sub 和 Apache Pulsar

  • 一种新的列掩码模式“一致性哈希”,允许在匿名化列值的同时保持它们的可关联性

  • MongoDB 连接器的新指标

  • SQL Server 连接器的改进重连能力

我非常高兴地宣布 Debezium 1.2.0.Beta1 发布!

此版本为 SQL Server、Db2 和 Oracle 连接器带来了面向用户的模式更改 topic,一个用于基于内容的内容变更事件路由的新消息转换,对 Postgres 的一系列数组列类型支持,以及更多内容。我们还将 Debezium 的 Apache Kafka 和 Kafka Connect 容器镜像升级到了 2.5.0 版本。

正如它是对生活中所有问题的答案一样,此版本修复的问题数量是 正好 42 个

我非常激动地宣布 Debezium 1.1.0.Final 发布!

在 1.0 版本发布约三个月后,这个新版本带来了许多激动人心的新功能,例如:

我很荣幸地宣布 Debezium 1.1.0.CR1 发布!

此版本带来了全新的 API 模块,包括用于覆盖特定列的 schema 和值转换的功能。Postgres 连接器获得了在连接丢失后重新连接到数据库的能力,MongoDB 连接器现在支持其他连接器已知的指标。

尽早发布,频繁发布!在早些时候的 1.1 Beta1 和 1.0.1 Final 版本之后,我今天很高兴地分享 Debezium 1.1.0.Beta2 发布的消息!

Beta2 的主要新增功能是对使用 Testcontainers 集成测试您的变更数据捕获 (CDC) 设置的支持。此外,用于实现 outbox 模式的 Quarkus 扩展以及用于提取变更事件的 after 状态的 SMT 已经过重新设计,现在提供了更多的配置灵活性。

今天我非常高兴地宣布 Debezium 1.0.0.Final 的可用性!

自 2015 年 11 月 首次提交以来,Debezium 社区一直在不懈努力,以实现构建全面的开源低延迟变更数据捕获 (CDC) 平台,支持各种数据库。

在这四年中,Debezium 的功能集得到了极大的增长:为 MySQL、Postgres、MongoDB 和 SQL Server 提供稳定、高度可配置的 CDC 连接器,为 Apache Cassandra 和 Oracle 提供孵化器连接器,提供转换和路由变更数据事件的设施,支持诸如 outbox 模式之类的设计模式,以及更多。一个非常活跃且受欢迎的用户、贡献者和提交者社区围绕该项目形成。Debezium 在许多不同行业的组织中得到生产部署,其中一些安装规模巨大,使用数百个连接器从数千个数据库流式传输数据变更。

1.0 版本标志着项目的一个重要里程碑:基于我们从 0.x 版本用户那里获得的所有生产反馈,我们认为是时候在版本号中也体现出四个稳定连接器的成熟度了。

我非常高兴地宣布 Debezium 0.10.0.CR2 的发布!

在 CR1 版本之后,我们决定进行另一次候选版本发布,因为不仅收到了大量错误修复,而且社区还提供了一些非常有用的功能实现,我们不想延迟它们。因此,我们稍微调整了原计划,现在目标是在下周发布 Debezium 0.10 Final 版本,除非出现任何意外的回归。

像往常一样,让我们仔细看看一些新功能和已解决的错误。

Debezium 社区正朝着 0.10 版本冲刺,我们很高兴地宣布 Debezium 0.10.0.CR1 的可用性!

除了对不同连接器的一系列错误修复外,此版本还为 Postgres 提供了初始快照方面的重大改进。除非出现任何主要的回归,否则最终的 0.10 版本应该很快就会发布。

夏季最热的时候慢慢过去,Debezium 社区很高兴地宣布 Debezium 0.10.0.Beta4 的发布。在此版本中,我们很高兴分享一些我们不经常分享的消息:随着 Apache Cassandra 的加入,Debezium 支持的数据库列表又增加了一个!

此外,我们完成了将现有的 Postgres 连接器重基到为 SQL Server 和 Oracle 连接器建立的 Debezium 框架结构的工作。这意味着这些连接器之间共享的代码更多,从而减少了开发团队未来的维护工作;但对您来说,也有一个直接的好处:Postgres 连接器现在公开了您从其他连接器已知的相同指标。

最后,新版本包含一系列错误修复和其他有用的改进。让我们在下面探索一些细节。

夏季正值高峰,但 Debezium 社区并未松懈努力,因此 Debezium 0.10.0.Beta3 已发布。

此版本不仅继续对 Debezium 进行渐进式改进,还带来了闪亮的新功能。

各位使用 PostgreSQL 10 及更高版本作为不同云提供商提供的服务的朋友们,在部署启用流式传输所需的逻辑解码插件时,肯定感受到过其中的复杂性。现在这不再是必需的了。Debezium 现在支持(DBZ-766pgoutput 复制协议,该协议自 PostgreSQL 10 起即可开箱即用。

我很高兴地宣布 Debezium 0.10.0.Beta2 的发布!

这进一步稳定了 0.10 版本系列,为不同连接器进行了大量错误修复。23 个问题已在此版本中修复;其中一些与 MySQL 连接器的 DDL 解析器有关,例如关于 RENAME INDEXDBZ-1329)、触发器中的 SET NEWDBZ-1331)以及带有 COLLATE 关键字的函数定义(DBZ-1332)。

对于 Postgres 连接器,我们修复了刷新已处理 LSN 到数据库时可能出现的潜在不一致性(DBZ-1347)。此外,“include.unknown.datatypes”选项现在快照期间按预期工作(DBZ-1335),并且连接器不再会在快照期间遇到物化视图(DBZ-1345)。

又一周,又一个 Debezium 版本 — 我很高兴地宣布 Debezium 0.10.0.Beta1 的发布!

除了升级到 Apache Kafka 2.2.1(DBZ-1316)之外,此版本主要是修复了一些错误,包括 MongoDB 连接器在 Alpha2 版本中引入的回归(DBZ-1317)。

一个非常受欢迎的可用性改进是,连接器现在如果未捕获到至少一个表(根据白名单/黑名单配置),将记录一个警告(DBZ-1242)。这有助于防止通过不正确的过滤器表达式意外排除所有表,在这种情况下,连接器“按预期工作”,但没有事件传播到消息代理。

请参阅发布说明了解此版本中已修复问题的完整列表。请务必在升级早期版本时检查 0.10.0.Alpha1 和 Alpha2 的升级指南。

非常感谢社区成员 Cheng PanChing Tsai 对此版本的贡献!

提早发布,频繁发布 — Alpha1 版本发布不到一周,我们宣布 Debezium 0.10.0.Alpha2 的发布!

这是一个增量版本,完成了 Alpha1 版本中开始的一些任务,并提供了一些错误修复以及我们的 Docker 镜像的质量改进。

snapshot 字段逻辑的更改已按 上一个公告中所述进行交付(DBZ-1295)。所有连接器现在都提供有关记录是快照阶段的最后一个记录的信息,以便下游消费者可以对此做出反应。

我非常高兴地宣布 Debezium 0.10.0.Alpha1 的发布!

Debezium 0.10 的主要主题是进行一些清理(这是您在这个时间该做的事情,对吗?);我们计划删除一些已弃用的功能,并简化 Debezium 连接器生成的 CDC 事件结构中的一些细节。

这意味着,与之前的升级相比,将 Debezium 0.10 升级到早期版本可能需要更多的计划和考虑,具体取决于您对 0.9 及更早版本中已标记为已弃用的功能和选项的使用情况。但不用担心,我们在本文和发布说明中详细描述了所有更改。

我很高兴地宣布 Debezium 0.9.5.Final 的发布!

这是推荐给所有早期版本用户更新的版本;除了错误修复,还提供了一些新功能。该版本总共包含 18 个已解决的问题

紧随上周 Debezium 0.9 发布之后,我今天很高兴地宣布 Debezium 0.9.1.Final 的发布!

此版本修复了 0.9 版本发布后报告的一些错误。最重要的是,新Debezium SQL Server 连接器有两处修复,涉及连接器重启后 LSN 的正确处理(DBZ-1128DBZ-1131)。该连接器还为 SQL Server JDBC 驱动程序使用了更合理的 selectMethodfetchSize 选项默认值(DBZ-1065),这有助于显著提高连接器的吞吐量并降低内存消耗。

使用新的基于 Antlr 的 DDL 解析器,MySQL 连接器现在支持 GENERATED 列(DBZ-1123),并且对于 Postgres 连接器,主键列定义更改的处理得到了改进(DBZ-997)。

我很高兴地宣布 Debezium 0.9 Final 的发布!

与上周的 CR1 版本相比,此版本仅增加了少量更改;最值得注意的是,SQL Server 连接器获得了一些额外的指标(落后主库、事务数量等),以及两个与 MySQL(DBZ-1113)和 Postgres(DBZ-1118)分区表处理相关的错误修复。

Debezium 0.9 在初始 Alpha 版本发布六个月后,随附了全新的SQL Server 连接器,对现有连接器进行了大量新功能和改进,更新至最新版本的 Apache Kafka 和支持的数据库,以及广泛的错误修复。

随着 Debezium 0.9 的临近尾声,我非常高兴地宣布 2019 年的第一个 Debezium 版本,0.9.0.CR1

在此版本中,我们主要专注于解决 Debezium SQL Server 连接器中剩余的问题;该连接器具有大大提高的性能,并已进行大量错误修复。

其他更改包括 Debezium 嵌入式引擎的事件处理程序的新接口,允许批量处理变更事件,一项将数字列的精度导出为模式参数的选项,以及 Debezium MySQL、Postgres 和 Oracle 连接器的一系列错误修复。

离年底只有几天了,是时候又一个 Debezium 版本了;因此,我非常高兴地宣布 Debezium 0.9.0.Beta2

此版本支持 MySQL 8 和 Oracle 11g;它包含了 SQL Server 和 Oracle 连接器监控的第一个指标集,对 MongoDB 事件展平 SMT 进行了一些改进,以及大量的错误修复。总的来说,已解决不少于 42 个问题;非常明显,这其中一定有更深层的含义;)

特别感谢以下 Debezium 社区成员为这个版本做出的贡献:Eero KoplimetsGrzegorz KołakowskiHanlin LiuLao MeiRenato MefiTautvydas JanuskeviciusWout ScheepersZheng Wang

接下来,让我们仔细看看 0.9 Beta2 版本带来的一些更改。

我很高兴地宣布 Debezium 0.9.0.Beta1 的发布!哦,还有,祝你们那些庆祝的人——感恩节快乐!

这个新的 Debezium 版本为我们正在开发的 SQL Server 连接器带来了一些很棒的改进。

  • 如果 DB 中启用了 snapshot 隔离级别,则可以执行初始快照(DBZ-941)。

  • 现在支持连接器设置后捕获的表的结构更改(DBZ-812)。

  • 新的连接器选项 decimal.handling.modeDBZ-953)以及将任何 database.* 选项传递给 JDBC 驱动程序(DBZ-964)。

我很高兴地宣布 Debezium 0.9.0.Alpha2 的发布!

虽然 SQL Server 和 Oracle 连接器的开发仍在继续,但我们决定进行另一次 Alpha 版本发布,因为已经积累了大量的修复和新功能——其中许多是由社区成员贡献的,我们希望尽快将它们交给您。

此版本支持 Apache Kafka 2.0,支持 Postgres 的 HSTORE 列类型,允许重命名和过滤 MongoDB 变更数据消息中的字段,并包含多项错误修复和性能改进。总体而言,此版本包含55 项修复(请注意,其中一些已合并到 0.8.x 中,并且也包含在早期的 0.8 版本中)。

非常感谢社区成员 Andrey PustovetovArtiship ArtishipCliff WheadonDeepak BarrIan AxelrodLiu HanlinMaciej BryńskiOri PopowskiPeng LyuPhilip SanetraSagar RaoSyed Muhammad Sufyian 对此版本的贡献。我们向您致敬!

距离 Debezium 0.8 发布仅两周,我很高兴地宣布 Debezium 0.9.0.Alpha1 发布!

新版本的主要功能是期待已久的 Debezium MS SQL Server 连接器的首个工作版本。新连接器基于 CDC 功能(可在 Enterprise 和 Standard 版本中使用),允许您从微软流行的 RDBMS 中流式传输数据更改。

此外,我们还继续致力于 Debezium Oracle 连接器。最值得注意的是,它现在支持对捕获的表进行初始快照。我们还将 Docker 镜像中的 Apache Kafka 升级到了 1.1.1 (DBZ-829)。

请查看更改日志以获取 0.9.0.Alpha1 的完整更改列表和通用升级说明。

注意: 在撰写本文时(2018-07-26),发布构件(连接器归档)可在 Maven Central 上找到。我们将尽快将 0.9.0.Alpha1 的 Docker 镜像上传到 Docker Hub Docker 镜像已上传并可使用,标签为 0.9.0.Alpha1 和滚动标签 0.9

我非常高兴地宣布 Debezium 0.8.0.Final 发布!

Debezium 0.8 的主要功能是我们 Oracle 连接器的第一个工作版本(基于 XStream API)以及一个全新的 MySQL DDL 语句解析器。此外,还有许多小型新功能(例如,将默认值传播到相应的 Connect schema,可选地将源查询传播到 CDC 消息,以及一个大大改进的 SMT,用于将 MongoDB 的更改同步到 RDBMS)以及大量的错误修复(例如,关于时间和数字列类型,以及 PostgreSQL 的大型事务)。

请参阅之前的公告(Beta 1CR 1)以更深入地了解所有更改。Final 版本在很大程度上与 CR1 相似;除了进一步改进 Oracle 连接器(DBZ-792)之外,Peter Goransson(Peter Goransson) 对 MySQL 连接器做了一个很棒的补充:在进行快照时,它现在将通过 JMX(DBZ-789) 暴露已处理行的信息,这在快照大型表时非常方便。

请查看更改日志以获取 0.8.0.Final 的完整更改列表和通用升级说明。

祝愿所有美国的 Debezium 用户节日快乐!但这并不是唯一的庆祝理由:我同样非常高兴地宣布 Debezium 0.8.0.CR1 发布!

遵循我们新的发布计划,本次 Debezium 0.8 的候选版本主要关注修复上周 Beta 版本报告的错误,并附带少量新实现的功能。

非常感谢所有测试 MySQL 连接器新的基于 Antlr 的 DDL 解析器的人;根据你们报告的问题,我们修复了其中的一些错误。如最近宣布的,对于 0.8 版本,旧解析器将继续是默认实现,但强烈建议您测试新解析器(通过将连接器选项 ddl.parser.mode 设置为 antlr),并报告任何发现。我们计划在 Debezium 0.9 中默认切换到新实现。

我非常激动地宣布 Debezium 0.8.0.Beta1 发布!

此版本带来了许多令人兴奋的新功能以及错误修复,例如:我们新的 Oracle 连接器的第一个版本,MySQL 连接器的一个全新 DDL 解析器,对 MySQL 默认值的支持,以及升级到 Apache Kafka 1.1。

由于更改数量庞大(总共42 个问题),我们决定稍微调整版本方案:今后,我们可能会进行一个或多个 Beta 和 CR(“候选发布”)版本,然后再发布最终版本。这将使我们能够及早获得社区的反馈,同时仍能完成和完善特定功能。最终(稳定)版本将命名为 0.8.0.Final 等。

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×