Debezium 博客

我非常高兴地宣布 Debezium 1.3.0.Beta2 的发布!

在此版本中,我们改进了 MySQL 和 SQL Server 连接器对列过滤的支持,并为 Oracle 提供了一个全新的变更事件捕获实现,使用了 LogMiner 包。随着我们接近 Debezium 1.3 Final 的最后冲刺,还有大量的较小改进、错误修复和文档澄清;总的来说,已为此版本解决了 不少于 44 个问题

Create new topics / pipes

当您使用Kafka Connect分布式模式时,您可能会发现一旦启动Kafka Connect,就会自动创建一些与Kafka Connect相关的内部主题。

$ kafka-topics.sh --bootstrap-server $HOSTNAME:9092 --list

connect_configs
connect_offsets
connect_statuses

这是由Kafka Connect自动为您完成的,使用了合理的、定制化的默认主题配置,以满足这些内部主题的需求。

当您启动一个Debezium连接器时,捕获事件的主题将由Kafka代理根据默认(可能经过定制)的代理配置创建,前提是代理配置中启用了auto.create.topics.enable = true

auto.create.topics.enable = true
default.replication.factor = 1
num.partitions = 1
compression.type = producer
log.cleanup.policy = delete
log.retention.ms = 604800000  ## 7 days

但是,在生产环境中,当您使用Debezium和Kafka时,通常会选择禁用Kafka的主题自动创建功能(设置auto.create.topics.enable = false),或者您希望连接器主题的配置与默认值不同。在这种情况下,您必须提前为Debezium的捕获数据源创建主题。
但是,有个好消息!从Kafka Connect版本2.6.0开始,由于KIP-158的实现,可以通过Kafka Connect实现可定制的主题创建,这使得这一过程自动化成为可能。

我很高兴地宣布 Debezium 1.3.0.Beta1 的发布!

此版本已升级到最近发布的 Apache Kafka 版本 2.6.0,修复了几个关键错误,并重命名了用于选择要捕获的表的连接器配置选项。我们还发布了 Debezium 1.2.2.Final,它是所有早期 1.2.x 版本用户的直接替代品。

我很高兴地宣布 Debezium 1.3.0.Alpha1 发布!

1.3 发布线中的这个初始版本提供了一些有用的新功能:

  • Azure Event Hubs 的新 Debezium Server sink 适配器

  • SQL Server 连接器的新快照模式 initial_only

  • MongoDB 连接器的其他连接超时选项

总的来说,社区为这个版本修复了 不少于 31 个问题。让我们在本文的其余部分更详细地了解其中的一些。

大家好,我叫 René Kerner,我最近加入了 Red Hat 和 Debezium 团队。

我自 2011 年起在 trivago 工作,2016 年我们开始使用 Debezium 0.4/0.5 版本,将点击流数据捕获到 Kafka 并将其聚合到中心集群。我们在一年内大大加强了 Debezium 的使用,并在 2017 年也将其用于 trivago 的主要数据。

2014 年,我首次对 Composer(PHP 的依赖管理工具)进行了开源贡献,并在 Developer Conference(现称为 code.talks)上就此发表了第一次演讲。然后,在 2017 年,我首次为 Debezium 贡献了代码,完成了 MySQL 快照过程的工作并修复了一个 MySQL TIME 数据类型的问题。

2018 年,我离开了 trivago,开始在 Codecentric 担任软件架构和开发(主要侧重 JVM)以及 Apache Kafka 的顾问,为德国“财富 500 强”公司(保险、工业领域、媒体)进行了大量培训和研讨会。那时我进行了大量的网络交流,在那里我了解到 Kafka 周围的社区有多么棒。我一直很遗憾没有更多时间专注于开源项目。

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×