Debezium 博客

当 Debezium 连接器部署到 Kafka Connect 实例时，有时需要对 Connect API 的其他用户隐藏数据库凭据。

让我们回顾一下 MySQL Debezium 连接器的连接器注册请求是什么样的：

最后更新于 2018年11月21日 (已更新至新的 KSQL Docker 镜像).

去年，我们见证了一个新的开源项目在 Apache Kafka 生态系统中诞生，那就是 KSQL，它是一个构建在 Kafka Streams 之上的流式 SQL 引擎。在这篇文章中，我们将尝试使用 Debezium 从 MySQL 数据库生成的数据更改事件来查询 KSQL。

我们将使用 教程 中的数据库和设置作为数据源。这次练习的结果应该与最近关于将事件聚合为 领域驱动聚合 的 文章 类似。

我们祝 Debezium 社区 2018 年一切顺利！

在我们忙于 0.7.2 版本的同时，我们想发布另一篇博文，描述一个基于 Debezium 的端到端数据流用例。我们几周前已经展示了如何设置更改数据流到下游数据库。在这篇博文中，我们将采用相同的方法，将数据流式传输到 Elasticsearch 服务器，以利用其出色的全文搜索能力。但为了让事情更有趣一点，我们将把数据流式传输到 PostgreSQL 数据库和 Elasticsearch，这样我们就可以通过 SQL 查询语言以及全文搜索来优化数据访问。

在这篇博文中，我们将创建一个简单的流式数据管道，以连续捕获 MySQL 数据库中的更改，并近乎实时地将其复制到 PostgreSQL 数据库。我们将展示如何不编写任何代码，而是通过使用和配置 Kafka Connect、Debezium MySQL 源连接器、Confluent JDBC sink 连接器以及一些单消息转换（SMT）来完成此操作。

通过 Kafka 复制数据的方法本身就非常有用，但当我们可以将近乎实时的数据更改流与​​其他流、连接器和流处理应用程序结合使用时，它的优势会更加明显。最近的 Confluent 博客系列展示了一个类似的流式数据管道，但使用了不同的连接器和 SMT。Kafka Connect 的优点在于您可以混合搭配连接器来移动不同系统之间的数据。

我们还将演示 Debezium 0.6.0 (Debezium 0.6.0) 发布的一个新功能：用于CDC 事件展平的单消息转换。