Debezium 博客
Debezium 团队很高兴地宣布 Debezium 3.3.0.Final 现已可用。此版本包含大量新功能,包括新的 Debezium Quarkus 扩展,为 Debezium 与 Quarkus 中的 PostgreSQL 提供无缝集成,支持 Apache Kafka 4.1,为所有核心连接器提供精确一次语义支持,为 MongoDB 和 JDBC sink 连接器提供 OpenLineage 支持,以及更多内容!
我们很高兴地宣布 Debezium 3.3.0.CR1 的发布,它在可靠性、创新性和兼容性方面带来了显著的改进。此版本基于 Kafka 4.1.0,并引入了几个关键增强功能,将简化您的变更数据捕获工作流。
尽管夏末将至,Debezium 团队带来了一个最新鲜的预览版本,包含一批新的改进和增强功能。通过 Debezium 3.3.0.Beta1,此版本为连接器生态系统带来了各种稳定性修复、性能优化和用户体验改进。让我们来看看这些是什么。
Debezium 3.2.2.Final 带来了关键的稳定性改进,包括修复了在失败的临时阻塞快照期间潜在的数据丢失问题,解决了令人困惑的连接器启动错误,并增强了 Oracle LogMiner 的 JMX 吞吐量指标。
Debezium 3.3.0.Alpha2 已发布,带来了关键修复和强大的增强功能!
亮点包括心跳处理修复、从精确的 oplog 位置开始 MongoDB 流式传输的能力、更快的 PostgreSQL TOAST 性能、JDBC sink 中扩展的 TSVECTOR 支持,以及 PostgreSQL 中改进的发布 DDL 处理。Debezium Platform 也通过更清晰的错误消息、细粒度的 UI 日志记录以及更好的源/目标定义获得了主要的可用性提升。
Debezium 3.2.1.Final 现已发布,为您的 CDC 流水线带来更快的性能、更智能的资源利用和稳固的稳定性。此版本改进了 PostgreSQL TOAST 处理、原生 MariaDB 向量数据类型支持,以及 Oracle LogMiner 的主要弹性改进,所有这些都旨在保持您的数据平稳高效地流动。
Debezium 3.3.0.Alpha1 带来了一系列激动人心的新创新,包括核心连接器的精确一次语义,以及社区主导的全新 CockroachDB 连接器。凭借对新兴数据类型的支持、更深入的 Quarkus 集成以及增强的工具,此版本为现代变更数据捕获解决方案设定了新标准。准备好看看有什么新内容了吗?让我们深入了解。
在准备本季度的发布期间,Debezium 团队在这个季度非常忙碌,我们很高兴地宣布 Debezium 3.2.0.Final 现已可用。此版本包含大量新功能,包括与 OpenLineage 的集成、新的 Quarkus DevService/GraalVM 扩展、Qdrant 向量数据库 sink 支持、对 Debezium Platform 和 AI 的改进,以及更多内容!
又一个发布周期完成,我们很高兴地宣布 Debezium 的下一个预览版本已发布,即 3.2.0.Alpha1。此版本基于 Kafka 4.0 构建,包含一些重大更改以及许多改进和错误修复。
让我们花点时间深入了解所有这些更改。
Debezium 项目以一个极其有趣且充满活力的 Debezium 3.1.0.Final 版本开启了 2025 年。此版本在多个连接器中包含大量新功能,支持 WebAssembly 和 Go 的转换,我们发布了首个官方的 Debezium 管理平台,两个全新的 Debezium Server sink 用于向量数据库和大语言模型,一个新的人工智能模块,以及更多!
我们很高兴地宣布 Debezium 3.1 的候选版本,即 3.1.0.CR1。
此新版本包括对 JDBC sink 和 MySQL 连接器的多项改进,对 Vitess 的 ISO 字符串时间值和 Keyspace 心跳的支持,对 RabbitMQ 的基于密钥的路由,以及更多。让我们深入了解这些新功能和改进。
我们很高兴地宣布 Debezium 3.1 的第一个 Beta 版本,即 3.1.0.Beta1。
此版本包含大量新功能和改进,包括但不限于:首个官方发布的 Debezium Server UI、CloudEvent traceparent 支持、Debezium 的 PubSub 和 RabbitMQ sink 的新功能、WASM 转换中的 Schema 访问,以及更多内容。让我们深入了解所有这些新功能和改进。
虽然团队一直在努力开发 Debezium 3.1,但我们很高兴地宣布 Debezium 3.0.8.Final 的新维护更新。
虽然我们的维护版本通常主要关注稳定性改进,但我们很高兴地分享,在此维护版本中我们还包含了一些新功能,以改善整体用户体验。
新年伊始,新开发周期也随之而来,我很高兴地宣布 Debezium 3.1 的第一个预发布版本,即 3.1.0.Alpha1。此版本包含各种新功能,包括 PostgreSQL 和 MySQL 在 JDBC sink 中的向量数据类型支持、新的自适应时间精度模式、MariaDB SSL 支持等。废话不多说,让我们直接深入了解这些新功能和改进。
新年伊始,Debezium 团队很高兴地宣布 Debezium 3.0 流的最新维护更新,即 3.0.7.Final。此维护版本不引入任何新功能,但确实解决了一些待处理的错误。请花点时间查看发行说明以了解更多详细信息。
我很高兴地宣布 Debezium 3 版本流的第一个维护版本,即 3.0.1.Final。此维护版本引入了一些新功能,包括对 Cassandra 5、PostgreSQL 17 和 MySQL 9.1 的支持。此外,Debezium Server 支持 YAML 的一些配置改进。
我怀着无比的喜悦和荣幸宣布 Debezium 3.0.0.Final 的可用性!
我们发布 Debezium 2.0 已近 2 年,在此期间,该平台不断发展,引入了 sink 连接器、新的社区主导连接器,以及对核心平台和连接器的广泛功能和改进。在社区的帮助下,Debezium 仍然是 CDC 的事实领导者。
3.0 版本标志着 Debezium 的又一个里程碑,这是我们迫不及待想分享的。
社区正朝着 Debezium 的下一个主要里程碑迈进,我们很高兴地宣布 Debezium 3.0.0.CR1 的可用性!
除了连接器的多项错误修复外,此版本还为 MySQL、Oracle 和 Vitess 连接器带来了一些改进。除非出现任何重大回归,否则我们可以预期 Debezium 3 将在不久的将来发布。
我很高兴地宣布 Debezium 2.7 版本流的第二个维护版本,即 2.7.2.Final。此维护版本侧重于解决稳定性和回归问题,并带来了一些改进,例如对 Informix 的 DECIMAL(p) 数据类型支持,以及修复了 JsonConverter 和 TruncateColumn 处理器的回归。
即使夏日的热浪仍在持续,Debezium 团队也有一些令人振奋的新消息要分享。我们很高兴地宣布 Debezium 3 的第一个 Beta 预览版本,即 3.0.0.beta1。
此版本包含大量新功能和改进,包括每个表的创建、更新和删除的详细指标、复制槽创建超时、PostgreSQL 的 PgVector 数据类型支持、基于 Ehcache 的新 Oracle 嵌入式缓冲区实现等。让我们花点时间深入了解这些新功能以及如何利用它们来改进您的 Debezium 3!
我很荣幸地宣布 Debezium 2.7 的第一个维护版本,即 2.7.1.Final。此维护版本侧重于解决许多稳定性问题,包括对临时快照的改进、嵌入式引擎中转换器的关闭、Oracle LogMiner 的改进、Vitess 的 epoch 计算等……
让我们深入了解这些更改……
随着夏天气温的持续升高,Debezium 社区很高兴地宣布 Debezium 3.0.0.Alpha2 现已可供测试。
此版本包含大量新功能和改进,包括基于 Kafka 3.8 构建、JDBC sink 连接器迁移、Debezium Server 支持自定义转换器,以及对我们社区主导的连接器的多项改进。
我们很高兴地宣布 Debezium 3 的第一个预发布版本,即 3.0.0.Alpha1。此版本虽然比我们常规的预发布版本小,但高度专注于几个关键点,例如测试 Java 17/21 的发布流程;然而,它也包含了几项新功能。让我们花点时间来深入探讨即将推出的重大更改以及您将找到的新功能。
随着团队进入第三季度,我们很高兴地宣布我们第二季度的工作成果,Debezium 2.7.0.Final 现已全面可用。此版本包括对 140 个问题的更改,来自超过 51 位贡献者的贡献。让我们花点时间回顾所有更改。
尽管 2024 年已过半,团队很高兴地宣布 Debezium 的第一个 Beta 预览版本,即 2.7.0.Beta1。
此版本包括对 Db2 on z/OS 的孵化支持、NATS JetStream 的身份验证和加密、MariaDB JDBC sink 方言的改进、Debezium Server 映像的 JMX Exporter、Debezium Operator 中可配置的指标等。
让我们来回顾所有亮点并更深入地讨论这些……
我很高兴地宣布 Debezium 2.6.2.Final 现已可用。此版本是第二个维护版本,侧重于解决 2.6.1.Final 版本的一些关键稳定性问题,支持 Oracle 数据库查询超过一千个表的过滤,修复了 PostgreSQL 偏移量刷新的竞争条件,修复了 Avro 兼容性,等等。
让我们花点时间深入探讨这些以及更多内容……
俗话说“四月雨水带来五月花”;然而,在这种情况下,似乎一款新的 Debezium 版本如雨后春笋般涌现,充满了许多新功能。我们很高兴地宣布 Debezium 2.7 流的下一个预发布版本 Debezium 2.7.0.Alpha2 现已可供测试。
此版本包括 Oracle 连接器的新 ROW_ID 序列化、JDBC sink 连接器的 PostgreSQL 数组支持、Debezium Server 的 NATs 身份验证、Oracle LogMiner 和大型表的性能改进等。让我们来回顾一下此版本中的亮点,并更深入地讨论这些内容……
随着夏天气温的持续升高,我很高兴地宣布 Debezium 有一个非常酷的消息,Debezium 2.7.0.Alpha1 现已可供测试。此版本包含各种新更改和改进,涵盖从 MongoDB、MariaDB、MySQL、Oracle、Vitess 和 Kubernetes Operator 等连接器,到整个 Debezium 产品组合的许多细微修复和改进。让我们花点时间深入了解一些亮点……
我很高兴地宣布 Debezium 2.6.1.Final 现已可用。此版本是第一个维护版本,侧重于解决 2.6.0.Final 版本的一些关键稳定性问题,包括 Debezium Server 的类路径加载问题、MongoDB 静默停止收集更改,以及 Oracle Infinispan 缓冲区实现的竞争条件。
让我们花点时间深入探讨这些以及更多内容……
随着团队投入到春天般的行动中,春天已经来临,我们带着夏天的精神,很高兴地宣布 Debezium 2.6.0.Final 现已发布。此版本包含数十项新功能、错误修复和改进,这些都源于团队和社区贡献者的英勇努力。总共有 249 个问题已解决,有超过 56 位贡献者参与。让我们花点时间回顾所有更改。
距离 Debezium 2.6.0.Final 发布还有一周时间,我很荣幸地宣布 Debezium 2.6.0.CR1,这是 2.6 版本流的第一个候选版本。此版本包含多项改进,包括 Oracle OpenLogReplicator 适配器的 XML 支持、Debezium Server 的 TRACE 级别日志记录支持、Cassandra 的可配置分区模式、MongoDB 和 Db2 的新快照 API 等。
此外,此版本还包含各种错误修复和一些重大更改。
让我们更详细地了解 Debezium 2.6.0.CR1 中包含的所有这些更改和改进;一如既往,您可以在 发行说明中找到此版本的完整更改列表。请记住,请特别注意任何可能影响您升级路径的重大更改。
我们很高兴地宣布 Debezium 2.6.0.Beta1 的发布。我们正朝着这个版本迈进,其中包含了许多改进、增强功能、错误修复,当然还有一个全新的用于 iSeries 的 Db2 连接器。这个版本有很多内容需要涵盖,所以让我们深入了解!重大更改 团队的目标是避免小版本之间的任何潜在重大更改;然而,这种更改有时是不可避免的。Oracle 在早期版本的 Debezium 中,用户……
虽然我们仍在按计划进行即将发布的 Debezium 2.6 版本,但我们一直在关注改进和修复,以确保旧版本能够继续提供最佳体验。为此,团队很高兴地宣布 Debezium 2.5 的第一个维护版本,即 Debezium 2.5.1.Final。让我们深入了解此版本包含的内容以及您在升级时应注意的事项……
新的一年,新的预览版本,一如既往的 Debezium 风格。团队很高兴地宣布 Debezium 2.6 版本流的第一个版本,即 Debezium 2.6.0.Alpha1。让我们花点时间深入了解这些新功能,了解如何使用它们来改进您的变更数据捕获体验……
随着冬季寒冷的降临,我们正值节日季节,我们敬业的团队一直忙于为 Debezium 社区准备一份特别的礼物。我很高兴地宣布 Debezium 2.5.0.Final 现已发布,正是为了节日庆典。准备好拆开这个最新的次要版本,它充满了节日气氛和令人兴奋的新功能!
让我们花点时间回顾一下 Debezium 2.5 中包含的所有新功能、更改和改进,包括 181 个问题的解决,来自 37 位独特贡献者。
距离 Debezium 2.5 最终版本发布只有一步之遥,我很高兴地宣布 Debezium 2.5.0.CR1 现已发布。此版本包含多项改进,如 Debezium Server 的 AWS SQS sink、用于增量快照水位标记的 INSERT/DELETE 语义、ReselectColumnsPostProcessor、统一的 Oracle LOB 行为。
此外,此版本还包含各种错误修复和一些重大更改。
让我们更详细地了解 Debezium 2.5.0.CR1 中包含的所有这些更改和改进;一如既往,您可以在 发行说明中找到此版本的完整更改列表。请记住,请特别注意任何可能影响您升级路径的重大更改。
随着我们逐渐接近 Debezium 2.5 的最终发布阶段,我很高兴地宣布 Debezium 2.5.0.Beta1 现已发布。此版本包含多项改进,如对 MariaDB GTID 的支持、Debezium Server EventHub sink 的分区、原生的 RabbitMQ streams Debezium Server sink、从 PostgreSQL 16 备用数据库流式传输、MySQL 高精度源时间戳、JDBC sink 的字段包含/排除,以及一些初始快照的其他通知,以及 Debezium Operator CRDs 的服务帐户支持。此外,此版本包含各种错误修复和几项重大更改。
让我们更详细地了解 Debezium 2.5.0.Beta1 中包含的所有这些更改和改进;一如既往,您可以在 发行说明中找到此版本的完整更改列表。请记住,请特别注意任何可能影响您升级路径的重大更改。
随着一年接近尾声,我很高兴地宣布 Debezium 2.4 系列的第一个维护版本,即 Debezium 2.4.1.Final。
虽然我们的维护版本主要侧重于错误修复和稳定性改进,但我们从最新的 Debezium 2.5 开发系列中回溯了一些新功能。所有这些新功能都侧重于 Kubernetes 的 Debezium Operator,所以让我们快速深入了解这些细节。一如既往,您可以在 发行说明中找到此版本的完整更改列表。
虽然距离我们发布 Debezium 2.5 系列的第一个预览版本仅两周时间,但我很高兴地宣布下一个预览版本 Debezium 2.5.0.Alpha2 现已发布。
此版本包含多项改进,JDBC Sink 连接器的批量支持,对超过 16MB 限制的 MongoDB 文档的无缝支持,MySQL 8.2 兼容性,以及 SQL Server 的信号改进。此外,此版本还包含各种错误修复和几项重大更改。
让我们更详细地了解 Debezium 2.5.0.Alpha2 中包含的这些更改和改进;一如既往,您可以在 发行说明中找到此版本的完整更改列表。请记住,请特别注意任何可能影响您升级路径的重大更改。
距离我们发布 Debezium 2.4 大约三周了,在此期间,团队一直在努力开发 Debezium 的下一步演进。我很高兴地宣布,今天我们发布了 Debezium 2.5.0.Alpha1,这是 Debezium 2.5 系列的第一个预览版本。此版本包含许多令人兴奋的新功能以及错误修复,例如:全新的 IBM Informix 连接器、对 MariaDB 的预览支持(使用……
随着夏季的结束,我们进入秋季,天气转凉,团队辛勤地准备着 Debezium 的下一个主要里程碑。我很荣幸地宣布下一个次要版本的发布,即 Debezium 2.4.0.Final。
随着团队开始新的开发迭代之旅,让我们花点时间回顾一下 Debezium 2.4 中包含的所有新功能、更改和改进,包括 231 个问题的解决,来自 68 位独特贡献者的贡献。
随着北半球的夏季即将结束,我们正等待着秋色,团队一直忙于准备 Debezium 2.4 的下一个主要版本。我很荣幸地宣布,今天我们发布了 Debezium 2.4.0.CR1,标志着我们离最终发布又近了一步。此版本的重点主要是稳定性;然而,我们也有一些最后添加的功能需要强调,所以让我们开始吧……
距离我们上次发布 Debezium 2.4 系列的预览版本已经将近两周了,我很高兴地宣布该系列的下一个版本,Debezium 2.4.0.Beta2。
虽然 Beta 版本通常侧重于稳定性和错误修复,但此版本包含许多值得注意的改进和新功能,包括 Oracle 的新 Oracle OpenLogReplicator 摄取方法、用于处理时区转换的新单消息转换器、MongoDB 的自定义身份验证支持、MongoDB 聚合管道的可配置顺序,以及对 MongoDB 7 的支持。
让我们花点时间更详细地深入了解所有这些新功能、改进和更改。
我很荣幸地宣布 Debezium 2.3.3.Final 现已发布。
此版本包含多项错误修复,以解决回归、稳定性和文档更新问题。如果您目前正在考虑升级到 Debezium 2.3.x 版本流,我们强烈建议您考虑使用此版本。让我们快速看一下回归和错误修复。
虽然开发仍然稳步进行,我们继续推进 Debezium 2.4,我很兴奋地宣布 Debezium 2.4.0.Beta1 现已发布。
虽然此版本主要侧重于稳定性和错误修复,但有几项值得注意的新功能,包括 TimescaleDB 支持、使用 JSON 载荷的 JMX 通知、Oracle 连接器指标和嵌入式 Infinispan 缓冲区实现的多个改进、SQL Server 心跳、Vitess 无分片策略,以及 JDBC sink 的 SQL Server 基于标识的插入,等等。让我们深入探讨所有这些新功能及更多内容。
尽管夏季已接近尾声,Debezium 贡献者们仍在努力工作,我很荣幸地宣布 Debezium 2.4 系列的下一个预览版本,即 2.4.0.Alpha2。此预览版本包含了一系列改进、错误修复和新功能,供 Debezium 社区测试并提供反馈。此版本的一些亮点包括临时阻塞快照、源到 sink 的列名传播、替代 MySQL 驱动程序的支持,以及 Debezium 中的所有 Cassandra 连接器……
我很荣幸地宣布 Debezium 2.3.2.Final 现已发布。
此版本包含多项错误修复,以解决回归、稳定性和文档更新问题。如果您目前正在考虑升级到 Debezium 2.3.x 版本流,我们强烈建议您考虑使用此版本。让我们快速看一下回归和错误修复。
自我们发布 Debezium 2.3 的第一个版本以来已经过去了几周,我很高兴地宣布 Debezium 2.3 的下一个迭代版本,即 2.3.1.Final。与任何微版本一样,重点是稳定性和错误修复,以及文档调整;然而,有一些值得注意的更改,我想花点时间重点介绍一下。
这个月 Debezium 领域非常忙碌,我很荣幸地宣布 Debezium 2.4 系列的第一个版本,即 2.4.0.Alpha1。此版本包含大量更改,确切地说是 59 项更改,涵盖了广泛的已解决问题、稳定性改进、新功能以及一些重大更改。让我们深入探讨每一项并更详细地讨论它们。重大更改 新功能 其他更改 重大更改 MongoDB MongoDB 连接器明确……
在过去几个月里,团队一直非常忙碌,为 Debezium 2.3 的缩短发布时间表做准备,我很高兴地宣布下一个版本已发布,Debezium 2.3.0.Final 现已可用!尽管发布时间表有所缩短,但此版本仍然充满了大量新功能和改进。Debezium 2.3 包括一个全新的通知子系统,对信号子系统的重写,以支持向 Debezium 连接器发送其他信号的方式……
我很荣幸地宣布下一个 Debezium 2.3 版本,即 2.3.0.CR1!
此版本的主要重点是稳定 Debezium 2.3 版本,为最终版本的发布做准备,这通常意味着我们专注于错误修复;然而,此版本包含两个新功能。让我们花点时间深入了解这些新功能和任何值得注意的错误修复!
我很荣幸地宣布 Debezium 2.3 系列的下一个版本,即 2.3.0.Beta1!
虽然此版本主要侧重于错误修复和稳定性改进,但 PostgreSQL 连接器以及新的通知和通道子系统带来了一些新改进。此外,还有一些兼容性重大更改。
此版本包含对 22 个问题的更改,所以让我们花点时间深入了解新功能以及任何可能值得注意的错误修复或重大更改!
我很荣幸地宣布 Debezium 2.3 系列的第一个版本,即 2.3.0.Alpha1!
此版本带来了许多令人兴奋的新功能和错误修复,包括 Debezium 状态通知、将 Debezium 状态存储到 JDBC 数据存储、可配置的信号通道、通过 Debezium UI 编辑连接器配置的功能、Vitess 分片处理的并行化,以及更多内容。
此版本包含对 59 个问题的更改,所以让我们花点时间深入了解其中几项新功能以及任何可能值得注意的错误修复或重大更改!
今天,我们怀着极大的喜悦宣布 Debezium 2.2.0.Final 的可用性!
许多人可能已经注意到,此发布周期比我们传统的三个月要长一些。虽然我们通常更喜欢保持我们一贯的发布周期,但这次调整给我们提供了一个独特的机会,发布包含大量新功能和错误修复的 Debezium 2.2,同时还对几个核心组件进行了重大升级。
Debezium 团队激动地宣布 Debezium 2.2 的第一个候选版本 Debezium 2.2.0.CR1。
此版本主要专注于稳定性和错误修复;但也有一些新功能和重大更改。在此版本中,Debezium 迁移到了 Quarkus 3.0.0.Final,对 Debezium Server Pulsar sink 进行了性能改进,Jolokia 可以在 Debezium 的 Kafka Connect 容器镜像中启用,为 MongoDB 多副本和分片集群提供了增量快照的孵化支持,以及弃用了 Docker Hub 的镜像用法。
让我们花点时间深入了解其中一些内容以及它对未来的意义!
团队很高兴地宣布 Debezium 2.2 系列的第一个 beta 版本 Debezium 2.2.0.Beta1。
此版本包含大量错误修复、改进以及一些新功能,包括但不限于:新的 JDBC sink 连接器实现、MongoDB 分片集群改进、Google Spanner PostgreSQL 方言支持,以及 Debezium Server 的 RabbitMQ sink 实现,仅举几例。
让我们花点时间深入了解一下有什么新内容!
今天,我很高兴地宣布 2.2 系列的第三个 alpha 版本 Debezium 2.2.0.Alpha3。
此版本包含大量错误修复、改进、重大更改以及一些新功能,包括但不限于:可选的并行快照、服务器端 MongoDB 变更流过滤、增量快照的代理键,以及适用于 Cassandra Enterprise 的新 Cassandra 连接器,更多内容。
让我们花点时间深入了解一些新功能、改进和重大更改。
今天,我很高兴地宣布 2.2 系列的第二个 alpha 版本 Debezium 2.2.0.Alpha2。此版本包含大量错误修复、改进、重大更改以及一些新功能,包括但不限于:新的 ExtractRecordChanges 单条消息转换,Quarkus 的 Debezium Outbox 扩展的 Reactive 实现,Apache RocketMQ 的 Debezium Storage 模块,以及更多内容。让我们花点时间深入了解这些新功能、改进和重大更改。
Debezium 的发布节奏正处于如火如荼的进行中,我很高兴地宣布 Debezium 2.1.2.Final!
此版本主要专注于错误修复和稳定性;它是所有用户从早期版本推荐更新的版本。此版本包含 28 个已解决的问题,让我们花点时间讨论一下关键的重大更改。
我很荣幸地宣布,不仅是 Debezium 2.2 系列的第一个版本,也是 Debezium 在 2023 年的第一个版本,2.2.0.Alpha!
Debezium 2.2.0.Alpha1 版本包含一些重大更改、许多错误修复以及一些值得注意的改进和功能,包括但不限于:
-
[重大更改] -
ZonedTimestamp值将不再截断小数秒。 -
[新功能] - 支持从 Oracle 逻辑备用数据库摄取更改
-
[新功能] - 使用 Debezium Storage API 支持 Amazon S3 存储桶
-
[新功能] - 支持在连接器启动期间重试数据库连接
-
[新功能] - Debezium Server sink 连接器支持 Apache RocketMQ 和 Infinispan
今天,我非常高兴地宣布 Debezium 2.1.0.Final 已发布!
您可能最近注意到 Debezium 在过去几周里有些沉默。不,我们并没有离开。事实上,谷歌的精灵们辛勤工作,为您带来了圣诞树下的礼物——Debezium Spanner 连接器。
我很荣幸地宣布 Debezium 2.1 系列的第一个版本,2.1.0.Alpha1!
Debezium 2.1.0.Alpha1 版本包含许多错误修复,但也包含一些值得注意的改进和新功能,包括但不限于:
-
对 PostgreSQL 15 的支持
-
Debezium 引擎中的单条消息转换 (SMT) predicate 支持
-
在 MySQL 表 topic 中捕获 TRUNCATE 作为变更事件
-
Oracle LogMiner 性能改进
-
新的基于 Redis 的存储模块
今天,我非常高兴地宣布 Debezium 2.0.0.Final 已发布!
自 2019 年 12 月我们发布 1.0 版本以来,社区一直在努力构建一个全面的开源低延迟变更数据捕获 (CDC) 平台。在过去的三年里,我们扩展了 Debezium 的产品组合,包括稳定的 Oracle 连接器、社区驱动的 Vitess 连接器、增量快照的引入、多分区支持等等。在活跃的贡献者和提交者社区的帮助下,Debezium 已成为 CDC 领域的事实上领导者,并在众多行业的众多组织中投入生产,使用数百个连接器从数千个数据库平台流式传输数据更改。
2.0 版本标志着 Debezium 的一个新里程碑,这是我们很自豪能与大家分享的。
我很高兴地宣布 Debezium 2.0.0.CR1 发布!
此版本包含重大更改、稳定性修复和错误修复,所有这些都让我们更接近 2.0.0.Final。总的来说,此版本修复了 53 个问题。
我很高兴地宣布 Debezium 2.0.0.Beta2 发布!
此版本包含若干重大更改、稳定性修复和错误修复,所有这些都让我们更接近 2.0.0.Final。总的来说,此版本修复了 107 个问题。
我非常激动地分享 Debezium 2.0.0.Beta1 已发布!
此版本包含几项新功能,包括可插拔的 topic 选择器,Oracle 变更事件中包含提交更改的数据库用户,以及对将表唯一索引作为主键的改进处理。此外,还有几项重大更改,例如将多分区模式设置为默认模式,以及引入 debezium-storage 模块及其实现。所以让我们更详细地看一下所有这些。
随着夏天的到来,团队很高兴地宣布 Debezium 1.9.5.Final 发布!
此版本主要专注于错误修复和稳定性;它是所有用户从早期版本推荐更新的版本。此版本包含 24 个已解决的问题。
我非常激动地分享 Debezium 2.0.0.Alpha3 已发布!
虽然此版本包含大量错误修复,但有几项值得注意的改进,包括在事务元数据事件中提供时间戳,在 Oracle 的变更事件源块中添加了几个新字段,以及对 Oracle 连接器的 offset 进行了向后不兼容的更改。
让我们更详细地看一下这些。
我非常激动地分享 Debezium 2.0.0.Alpha2 已发布!
此版本包含大量的错误修复和改进,总共修复了 110 个问题。简直太棒了!
一些值得注意的更改包括增量快照增加了对正则表达式和新停止信号的支持。我们还进行了一些清理工作,并删除了许多已弃用的配置选项以及旧的 MongoDB oplog 实现。
让我们更详细地看一下这些。
随着夏天的临近,我很高兴地宣布 Debezium 1.9.3.Final 发布!
此版本主要专注于错误修复和稳定性;但是,也有一些值得注意的功能增强。让我们花点时间来详细了解一下这些新功能:)。
我很高兴地分享 Debezium 2.0.0.Alpha1 已发布!
这是 Debezium 2.0 在未来五个月内的几次计划预发布版本中的第一个。每次预发布版本都计划专注于战略性更改,希望能随着时间的推移,轻松测试更改并快速解决回归问题。
在此版本中,一些最值得注意的更改包括:使用 Debezium 或其任何组件需要 Java 11,移除了 PostgreSQL 的 wal2json 支持和旧的 MySQL 连接器实现,以及一些值得注意的功能,例如改进的 Debezium Server Google Pub/Sub sink 支持,以及大量的错误修复。让我们来看一下其中一些。
我很高兴地分享 Debezium 1.9.0.Final 已发布!
除了常规的错误修复和改进外,此版本的主要功能包括对 Apache Cassandra 4 的支持,Debezium SQL Server 连接器的多数据库支持,以及使用 Debezium Server 作为 Knative 事件源的能力,还有许多对 Debezium Server 与 Redis Streams 集成的改进。
社区为 1.9 版本修复了 276 个问题;非常感谢每一位帮助实现这一目标的人!
我很高兴地宣布 Debezium 1.9.0.CR1 发布!
除了各种错误修复外,此版本还带来了备受期待的 Apache Cassandra 4 支持!总的来说,为这个版本修复了 52 个问题。
让我们更详细地了解 Cassandra 3 的更改和 Cassandra 4 的支持。
我很高兴地宣布 Debezium 1.9.0.Beta1 发布!
此版本包含 Debezium Server 的许多新功能,包括 Knative Eventing 支持和 Redis sink 的 offset 存储管理,SQL Server 连接器的多分区缩放,以及各种错误修复和改进。总的来说,为这个版本修复了 56 个问题。
让我们更详细地了解其中的几个。
我很荣幸地宣布 Debezium 1.9 系列的第二个版本,1.9.0.Alpha2!
此版本包括对 Oracle 21c 的支持,围绕 Debezium Server 的 Redis 改进,配置 kafka.query.timeout.ms 选项,以及围绕 DDL 解析器、构建基础设施等的许多错误修复。
总的来说,社区为这个版本修复了 51 个问题。让我们更详细地了解一些亮点。
我很荣幸地宣布 Debezium 1.9 系列的第一个版本,1.9.0.Alpha1!
新的一年带来新的版本!Debezium 1.9.0.Alpha1 版本包含许多修复和改进,最值得注意的是改进的指标和 Oracle ROWID 数据类型支持。
我非常高兴地宣布 Debezium 1.8.0.Final 发布!
除了对 Debezium MongoDB 连接器进行的大力关注(下面将详细介绍)之外,1.8 版本还带来了对 Postgres 逻辑解码消息的支持,支持在 Debezium UI 中配置 SMT 和 topic 创建设置,以及更多内容。
总的来说,社区为这个版本修复了 242 个问题。非常感谢大家帮助按时完成这个版本,坚持我们的季度发布节奏!
我非常激动地宣布 Debezium 1.8.0.CR1 发布!
随着下周即将发布最终版本,此版本重点关注错误修复。然而,此版本包括对 MongoDB 的增量快照支持!总的来说,为这个版本修复了 不少于 34 个问题。
让我们更详细地了解其中一些。
我非常高兴地宣布 Debezium 1.8.0.Beta1 发布!
此版本包含激动人心的新功能,如对 MongoDB 5.0 的支持,Debezium MongoDB 连接器的 outbox 事件路由器,以及对 Postgres 逻辑解码消息的支持,还有大量的错误修复和其他改进。总的来说,为这个版本修复了 不少于 63 个问题。
让我们更详细地了解其中一些。
我很荣幸地宣布 Debezium 1.8 系列的第二个版本,1.8.0.Alpha2!
随着节日季的临近,团队的发布计划依然坚定。虽然 Debezium 1.8.0.Alpha2 提供了大量错误修复和小的更改,但有几个值得注意的更改:
-
MySQL 对心跳操作查询的支持
-
可配置的事务 topic 名称
此外,最新的 debezium/tooling 镜像的 1.2 标签也已可用。最新版本包含了所有最新的工具,包括 kcctl,一个非常简单、易用的 Apache Kafka Connect CLI。
我很荣幸地宣布 Debezium 1.8 系列的第一个版本,1.8.0.Alpha1!
随着秋天的色彩渐浓,团队一直在努力为这个版本编写代码。Debezium 1.8.0.Alpha1 带来了许多改进,但最值得注意的是对原生 MongoDB 4.0 变更流的支持!
我非常高兴地宣布 Debezium 1.7.0.Final 发布!
此版本的主要功能包括对增量快照概念(在 Debezium 1.6 中引入)的重大改进,基于 Web 的 Debezium 用户界面,Debezium Server 中的 NATS 支持,以及支持通过 Debezium Kafka 容器镜像运行不带 ZooKeeper 的 Apache Kafka。
此外,在过去几个月里,Debezium 社区还发生了一些激动人心的事情;例如,我们看到了一个基于 Debezium 连接器框架的 ScyllaDB CDC 连接器 (基于 Debezium 连接器框架),并且正在开发一个 Debezium Server Apache Iceberg 连接器(更多细节即将在此博客的客座文章中发布)。
我很荣幸地宣布 Debezium 1.7 系列的第二个版本,1.7.0.Beta1!
此版本为 Debezium Server 带来了 NATS Streaming 支持,以及许多其他修复和增强。此版本也是第一个与 Apache Kafka 2.8 一起测试的版本。
我很荣幸地宣布 Debezium 1.7 系列的第一个版本,1.7.0.Alpha1!
随着夏天的如火如荼,此版本为 Debezium Oracle 连接器带来了额外的改进,同时也为其他连接器带来了改进。
我很高兴地宣布 Debezium 1.6.0.Final 发布!
此版本充满了大量新功能,包括支持通过新的 Signal API 切换的增量快照。基于 Netflix 工程师 Andreas Andreakis 和 Ioannis Papapanagiotou 的优秀论文 DBLog: A Watermark Based Change-Data-Capture Framework,增量快照的概念解决了 Debezium 社区反复出现的关于快照的几个需求。
我很高兴地宣布 Debezium 1.6.0.Beta1 发布!
此版本为 SQL Server 和 Db2 引入了增量快照支持,对 SQL Server 进行了性能改进,支持 Oracle 的 BLOB/CLOB,以及更多内容。让我们花点时间来探索其中一些新功能。
我很荣幸地宣布 Debezium 1.6 系列的第一个版本,1.6.0.Alpha1!
此版本为 MySQL 和 PostgreSQL 连接器带来了全新的增量快照功能,为 Debezium Server 带来了 Kafka sink,以及一系列广泛的错误修复和其他小功能添加。
我很高兴地宣布 Debezium 1.5.0.Final 发布!
通过 Debezium 1.5,基于 LogMiner 的 Oracle CDC 实现 从孵化状态转为稳定状态,并且还有一个全新的 MySQL 连接器实现,它带来了 事务元数据支持 等功能。其他主要功能包括支持新的“信号表”(Signalling Table),例如可用于实现 Oracle 连接器的 模式演进,以及支持 Postgres 的 TRUNCATE 事件。此外,社区驱动的 Vitess 和 Apache Cassandra 连接器也有许多改进,以及一系列错误修复和其他较小的改进。
我很荣幸地宣布 Debezium 1.5.0.CR1 发布!
随着我们开始向 Debezium 1.5 发布流的最终确定迈进,Oracle 连接器已提升为稳定状态,并且 Cassandra 连接器在 TLS 方面进行了一些改进,以及大量的错误修复。总的来说,为这个版本解决了 50 个问题。
我们非常高兴地宣布 Debezium 1.5.0.Beta2 发布!
此版本的主要功能是新的 Debezium 信号表支持,Vitess SET 类型支持,以及作为我们冲刺 1.5 版本终点线的持续对小改进、错误修复和完善的关注。
总的来说,社区自 Beta1 版本以来修复了 54 个问题,其中一些我们将在下面更深入地探讨。
我非常高兴地宣布 Debezium 1.5.0.Beta1 发布!
此版本添加了一个全新的组件——基于 Web 的 Debezium UI --,MySQL 连接器的事务元数据支持,Debezium Oracle 连接器的基于 LogMiner 的捕获实现的大量改进,对 Vitess 9.0 的支持,以及更多内容。让我们在下面探讨一些新功能。
我很荣幸地宣布 Debezium 1.5 系列的第一个版本,1.5.0.Alpha1!
此版本为 Debezium Oracle 连接器的基于 LogMiner 的捕获实现带来了许多改进,对 MySQL 连接器进行了大量重构,以及一系列广泛的错误修复和其他小的功能添加。
我很高兴地宣布 Debezium 1.4.1.Final 发布!
我们强烈建议升级到 1.4.0.Final 及更早版本,因为此版本包含对多个 Debezium 连接器的错误修复和增强,包括以下一些内容:
我很高兴地宣布 Debezium 1.4.0.Final 发布!
此版本总结了过去三个月 Debezium 的主要工作。总的来说,社区在此期间修复了 117 个问题,包括以下关键功能和更改:
-
可对快照的表进行精细选择
-
PostgreSQL
Snapshotter完成钩子 -
分布式 追踪
-
MySQL 支持在快照期间发出的创建或读取记录
-
Oracle Logminer 适配器的许多改进
-
完全支持 Oracle JDBC 连接字符串
-
改进了 DDL 错误的报告
我很高兴地宣布 Debezium 1.4.0.Beta1 发布!
此版本包括对分布式追踪的支持,Db2 的小写表和 schema 命名,指定 MySQL 快照记录为创建或读取操作,以及对 Vitess 的可空和主键列的增强。
我很高兴地宣布 Debezium 1.4.0.Alpha2 发布!
1.4 发布线的第二个版本提供了一些有用的新功能:
-
PostgreSQL
Snapshotter接口的新 API 钩子 -
使用
ExtractNewRecordStateSMT 的add.fields和add.headers配置重命名字段
我很高兴地宣布 Debezium 1.3.1.Final 发布!
此版本主要关注 1.3 版本发布后报告的错误。最重要的是,由于 Debezium 社区的持续反馈,以下与 Debezium Oracle 连接器 LogMiner 适配器相关的错误已得到修复。
我很高兴地宣布 Debezium 1.4.0.Alpha1 发布!
1.4 发布线的第一个版本提供了一些有用的新功能:
-
新的 Vitess 连接器
-
允许对快照的表进行精细选择
总的来说,社区为这个版本修复了 41 个问题。让我们更详细地了解一些亮点。
我非常高兴地宣布 Debezium 1.3.0.Final 发布!
根据 Debezium 的季度发布节奏,这结束了过去三个月的工作。总的来说,社区在此期间修复了 138 个问题,包括以下关键功能和更改:
-
用于从 Oracle 摄取变更事件的新的孵化 LogMiner 实现
-
Debezium Server 中对 Azure Event Hubs 的支持
-
升级到 Apache Kafka 2.6
-
修订后的 过滤器选项名称
-
SQL Server 连接器的新快照模式
initial_only -
SQL Server 的数据库过滤列支持
-
MongoDB 连接器的附加连接选项
-
改进了
ByteBufferConverter以使用 Avro 作为 payload 格式实现 outbox 模式
我很高兴地宣布 Debezium 1.3.0.Alpha1 发布!
1.3 发布线中的这个初始版本提供了一些有用的新功能:
-
Azure Event Hubs 的新 Debezium Server sink 适配器
-
SQL Server 连接器的新快照模式
initial_only -
MongoDB 连接器的其他连接超时选项
总的来说,社区为这个版本修复了 不少于 31 个问题。让我们在本文的其余部分更详细地了解其中的一些。
我非常高兴地宣布 Debezium 1.2.0.Final 发布!
在过去的三个月里,社区解决了近 200 个问题。此版本的主要功能包括:
-
用于基于内容的事件 路由和 过滤 的新 Kafka Connect 单条消息转换 (SMTs);升级到 Apache Kafka 2.5
-
Debezium 嵌入式引擎中对 SMT 和消息转换器的支持
-
Debezium Server,一个全新的运行时,允许将数据更改事件传播到各种消息基础设施,如 Amazon Kinesis、Google Cloud Pub/Sub 和 Apache Pulsar
-
一种新的列掩码模式“一致性哈希”,允许在匿名化列值的同时保持它们的可关联性
-
MongoDB 连接器的新指标
-
SQL Server 连接器的改进重连能力
我很荣幸地宣布 Debezium 1.2.0.CR1 发布!
此版本包含若干值得注意的功能、增强和修复:
-
PostgreSQL 在使用 pgoutput 时可以限制具有 publication 的表集 (DBZ-1813)。
-
如果平台 MBean 服务器不存在,则会跳过指标 MBean 注册 (DBZ-2089)。
-
SQL Server 在关机和连接重置期间的重连得到改进 (DBZ-2106)。
-
EventRouter SMT 现在可以传递非 String 类型的键 (DBZ-2152)。
-
PostgreSQL
include.unknown.datatypes现在可以返回字符串而不是哈希值 (DBZ-1266)。 -
Debezium Server 现在支持 Google Cloud PubSub (DBZ-2092)。
-
Debezium Server 现在支持 Apache Pulsar sink (DBZ-2112)。
您可以在 发布说明 中找到已解决问题的完整列表、升级程序以及有关任何向后兼容性更改的说明。
我非常高兴地分享 Debezium 1.2.0.Beta2 已发布!
此版本的主要核心功能是 *Debezium Server*,这是一个专用的独立运行时,将 Debezium 的开源变更数据捕获功能开放给 Amazon Kinesis 等消息基础设施。
总的来说,社区自 Beta1 版本以来修复了 25 个问题,其中一些我们将将在本文的其余部分更详细地探讨。
我非常高兴地宣布 Debezium 1.2.0.Beta1 发布!
此版本为 SQL Server、Db2 和 Oracle 连接器带来了面向用户的模式更改 topic,一个用于基于内容的内容变更事件路由的新消息转换,对 Postgres 的一系列数组列类型支持,以及更多内容。我们还将 Debezium 的 Apache Kafka 和 Kafka Connect 容器镜像升级到了 2.5.0 版本。
正如它是对生活中所有问题的答案一样,此版本修复的问题数量是 正好 42 个!
我非常激动地宣布 Debezium 1.1.0.Final 发布!
在 1.0 版本发布约三个月后,这个新版本带来了许多激动人心的新功能,例如:
-
一个用于促进 outbox 模式的 Quarkus 扩展
-
对 CloudEvents 规范的支持
-
一个用于 IBM Db2 数据库的孵化 连接器
-
事务标记事件
-
通过 Testcontainers 支持 CDC 集成测试
-
一个全新的 API Debezium 模块,包含一个经过重新设计的 嵌入式引擎 API 以及一个用于自定义变更事件的 schema 和值的 SPI
我很荣幸地宣布 Debezium 1.1.0.CR1 发布!
此版本带来了全新的 API 模块,包括用于覆盖特定列的 schema 和值转换的功能。Postgres 连接器获得了在连接丢失后重新连接到数据库的能力,MongoDB 连接器现在支持其他连接器已知的指标。
我们为与 Db2 的使用开发了一个 Debezium 连接器,该连接器现已作为 Debezium 孵化器的一部分可用。在这里,我们描述了变更数据捕获 (CDC) 的用例、Db2 生态系统中已有的各种方法,以及我们如何转向 Debezium。此外,我们还论证了我们实现 Db2 Debezium 连接器所采取的方法。
尽早发布,频繁发布!在早些时候的 1.1 Beta1 和 1.0.1 Final 版本之后,我今天很高兴地分享 Debezium 1.1.0.Beta2 发布的消息!
Beta2 的主要新增功能是对使用 Testcontainers 集成测试您的变更数据捕获 (CDC) 设置的支持。此外,用于实现 outbox 模式的 Quarkus 扩展以及用于提取变更事件的 after 状态的 SMT 已经过重新设计,现在提供了更多的配置灵活性。
我很荣幸地宣布 Debezium 1.1.0.Beta1 发布!
此版本增加了对事务标记事件的支持,一个用于 IBM Db2 数据库的孵化连接器,以及一系列广泛的错误修复。由于 1.1 版本仍在积极开发中,我们已将一系列错误修复回溯到 1.0 分支,并发布了 Debezium 1.0.1.Final。
在撰写本文时,并非所有连接器归档都已同步到 Maven Central;这应该会在接下来的几个小时内完成。