Debezium UI 团队将继续支持更多功能,让用户更轻松地配置连接器。在本文中,我们将描述并演示 UI 对 Topic 自动创建的支持。请继续阅读以获取更多信息,包括视频演示!
Topic 自动创建
当您启动 Debezium 连接器时,Kafka Broker 会根据默认的、可能经过自定义的 Broker 配置(如果 auto.create.topics.enable = true)来创建捕获事件的 Topic。但通常情况下,当您在生产环境中使用 Debezium 和 Kafka 时,您可能会选择禁用 Kafka 的 Topic 自动创建功能(auto.create.topics.enable = false),或者您希望连接器 Topic 的配置方式与默认方式不同。在这种情况下,您需要提前为 Debezium 捕获的数据源创建 Topic。
从 Kafka 2.6.0 开始,Kafka Connect 提供了定制 Debezium 等源连接器创建的特定 Topic 设置的方法(KIP-158)。如果启用了 Kafka Connect Topic 创建(topic.creation.enable = true),Debezium UI 现在允许您通过 UI 配置连接器 Topic。
Kafka Connect Topic 创建
Kafka Connect Topic 创建与分组协同工作。有一个 default 分组,当没有其他匹配 Topic 的分组定义时,将使用该分组。
您还可以定义多个自定义 Topic 分组,每个分组都有自己的配置。每个分组都可以指定其配置参数,以定制该分组匹配的 Topic 的创建方式。自定义分组将回退到 replication.factor 和 partitions 属性的默认分组设置。如果自定义 Topic 分组的配置未定义其他属性,则不会应用默认分组中指定的值。
自包含示例
您可以通过我们的自包含示例 UI demo 来尝试 Topic 自动创建(以及更多功能)。该示例包含在 GitHub 上的 debezium-examples 中。UI demo 包含一个 Docker Compose 文件,该文件可以启动多个带有数据的源以及 UI。请参阅 README 文件,了解运行 Debezium UI demo 的更多详细信息。
要了解有关 Debezium UI 的更多信息,请参阅参考文档。
更多内容即将推出!
敬请期待后续版本中 UI 的进一步改进和新功能。SQL Server 和 Oracle 连接器的支持即将推出!
非常感谢团队的贡献:Ashique Ansari、Indra Shukla、René Kerner 和 Gunnar Morling!
关于 Debezium
Debezium 是一个开源的分布式平台,可以将现有数据库转变为事件流,使应用程序能够几乎即时地看到并响应数据库中已提交的每个行级更改。Debezium 构建在 Kafka 之上,并提供了 Kafka Connect 兼容的连接器,用于监控特定的数据库管理系统。Debezium 将数据更改的历史记录在 Kafka 日志中,这样您的应用程序可以随时停止和重新启动,并可以轻松地消费在未运行时错过的所有事件,确保所有事件都被正确且完整地处理。Debezium 在 Apache 许可证 2.0 下是 开源 的。