Debezium UI 团队将继续支持更多功能,让用户更轻松地配置连接器。在本文中,我们将描述并演示 UI 对 Topic 自动创建的支持。请继续阅读以获取更多信息,包括视频演示!

Topic 自动创建

当您启动 Debezium 连接器时,Kafka Broker 会根据默认的、可能经过自定义的 Broker 配置(如果 auto.create.topics.enable = true)来创建捕获事件的 Topic。但通常情况下,当您在生产环境中使用 Debezium 和 Kafka 时,您可能会选择禁用 Kafka 的 Topic 自动创建功能(auto.create.topics.enable = false),或者您希望连接器 Topic 的配置方式与默认方式不同。在这种情况下,您需要提前为 Debezium 捕获的数据源创建 Topic。

从 Kafka 2.6.0 开始,Kafka Connect 提供了定制 Debezium 等源连接器创建的特定 Topic 设置的方法(KIP-158)。如果启用了 Kafka Connect Topic 创建(topic.creation.enable = true),Debezium UI 现在允许您通过 UI 配置连接器 Topic。

Kafka Connect Topic 创建

Kafka Connect Topic 创建与分组协同工作。有一个 default 分组,当没有其他匹配 Topic 的分组定义时,将使用该分组。

您还可以定义多个自定义 Topic 分组,每个分组都有自己的配置。每个分组都可以指定其配置参数,以定制该分组匹配的 Topic 的创建方式。自定义分组将回退到 replication.factorpartitions 属性的默认分组设置。如果自定义 Topic 分组的配置未定义其他属性,则不会应用默认分组中指定的值。

有关 Debezium Topic 自动创建的更多详细信息,请参阅参考文档。您还可以参考这篇博客文章以获取完整示例。观看以下视频,快速了解 Debezium UI 中的 Topic 创建演示。

自包含示例

您可以通过我们的自包含示例 UI demo 来尝试 Topic 自动创建(以及更多功能)。该示例包含在 GitHub 上的 debezium-examples 中。UI demo 包含一个 Docker Compose 文件,该文件可以启动多个带有数据的源以及 UI。请参阅 README 文件,了解运行 Debezium UI demo 的更多详细信息。

要了解有关 Debezium UI 的更多信息,请参阅参考文档

更多内容即将推出!

敬请期待后续版本中 UI 的进一步改进和新功能。SQL Server 和 Oracle 连接器的支持即将推出!

非常感谢团队的贡献:Ashique Ansari、Indra Shukla、René Kerner 和 Gunnar Morling!

Mark Drilling

Mark 是 Red Hat 的一名软件开发人员。他在 Red Hat 工作的大部分时间都致力于各种数据虚拟化项目,现在他从事 Debezium 的工作。他居住在美国密苏里州 O'Fallon。

 


关于 Debezium

Debezium 是一个开源的分布式平台,可以将现有数据库转变为事件流,使应用程序能够几乎即时地看到并响应数据库中已提交的每个行级更改。Debezium 构建在 Kafka 之上,并提供了 Kafka Connect 兼容的连接器,用于监控特定的数据库管理系统。Debezium 将数据更改的历史记录在 Kafka 日志中,这样您的应用程序可以随时停止和重新启动,并可以轻松地消费在未运行时错过的所有事件,确保所有事件都被正确且完整地处理。Debezium 在 Apache 许可证 2.0 下是 开源 的。

参与进来

我们希望您觉得 Debezium 有趣且有用,并希望尝试一下。在 Twitter @debezium 上关注我们,在 Zulip 上与我们聊天,或加入我们的 邮件列表 与社区交流。所有代码都在 GitHub 上开源,因此请在本地构建代码,帮助我们改进现有连接器并添加更多连接器。如果您发现问题或有改进 Debezium 的想法,请告诉我们或 记录一个问题

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×