Debezium 博客

在数据更改后更新外部全文搜索索引（例如 Elasticsearch）是变更数据捕获 (CDC) 非常流行的用例。

正如我们在一段时间前的 博客文章 中讨论过的，Debezium 的 CDC 源连接器与 Confluent 的 Elasticsearch 接收器连接器 的结合，可以轻松地在 MySQL、Postgres 等数据库中捕获数据更改，并近乎实时地将它们推送到 Elasticsearch。这导致源数据库中的表与 Elasticsearch 中的相应搜索索引之间存在 1:1 的关系，对于许多用例来说是完全可以的。

但是，如果您想将整个聚合数据放入单个索引中，情况会更具挑战性。例如，一个客户及其所有地址；这些通常存储在关系型数据库的两个单独的表中，通过外键连接，而您只想在 Elasticsearch 中有一个索引，其中包含具有嵌入式地址的客户文档，从而允许您根据地址高效地搜索客户。

继我们最近讨论的 基于 KStreams 的解决方案 之后，我们想在本文中介绍一个通过应用程序层驱动物化此类聚合视图的替代方案。

随着气温逐渐转凉，Debezium 团队又重新投入工作，我们很高兴地宣布 Debezium 0.8.3.Final 的发布！

这是当前 Debezium 稳定版本系列 0.8.x 的一个错误修复版本，同时 Debezium 0.9 的开发也在并行进行。此版本共有14 项修复。与早期的 0.8.x 版本一样，我们进一步改进了 MySQL 连接器使用的新基于 Antlr 的 DDL 解析器（参见 DBZ-901、DBZ-903 和 DBZ-910）。

Postgres 连接器在数据库有很多自定义类型的启动时间方面得到了巨大改进（DBZ-899）。报告此问题的用户在 pg_catalog.pg_type 中有近 200K 条记录，由于 Postgres 驱动程序本身存在 N + 1 SELECT 问题，这导致连接器启动需要 24 分钟。通过使用自定义查询获取类型元数据，我们将此时间缩短到 5 秒！现在我们正在与 Postgres 驱动程序的维护者合作，以便在 upstream 也修复此问题。

大多数情况下，Debezium 用于将数据更改流式传输到 Apache Kafka。但如果您使用的是其他流式传输平台，例如 Apache Pulsar，或者云原生解决方案，例如 Amazon Kinesis、Azure Event Hubs 等等呢？您仍然可以受益于 Debezium 强大的变更数据捕获 (CDC) 功能，并从 MySQL、Postgres、SQL Server 等数据库中摄取更改吗？

事实证明，只需一点粘合代码，就可以做到！接下来，我们将讨论如何使用 Debezium 捕获 MySQL 数据库中的更改，并将更改事件流式传输到 Kinesis，这是一个在 Amazon 云中提供的完全托管的数据流服务。

Debezium 团队已从夏季假期归来，我们很高兴地宣布 Debezium 0.8.2 的发布！

这是当前 Debezium 稳定版本系列 0.8.x 的一个错误修复版本，同时 Debezium 0.9 的工作仍在继续。

注意：偶然地，发布工件的版本是0.8.2而不是*0.8.2.Final*。这不符合我们最近确立的始终以限定词（如*Alpha1*、*Beta1*、*CR1*或*Final*）结尾的版本号的约定。0.8 系列的下一个版本将是*0.8.3.Final*，我们将改进我们的发布流程，以确保这种情况不再发生。

0.8.2 版本总共包含10 项修复，其中大部分处理与 Debezium MySQL 连接器进行的 DDL 解析相关的问题。例如，使用新的基于 Antlr 的 DDL 解析器，隐式非空主键列现在将得到正确处理（DBZ-860）。此外，MongoDB 连接器也得到了一个错误修复（DBZ-838）：当连接器被请求停止时（例如，在关闭 Kafka Connect 时），初始快照现在将被中断。与错误修复相比，更多的是一个有用的改进，即Postgres 连接器的能力，它可以在发出的 CDC 事件的 source 块中添加表、模式和数据库名称（DBZ-866）。

非常感谢社区成员 Andrey Pustovetov、Cliff Wheadon 和 Ori Popowski 为此版本做出的贡献！

距离 Debezium 0.8 发布仅两周，我很高兴地宣布 Debezium 0.9.0.Alpha1 发布！

新版本的主要功能是期待已久的 Debezium MS SQL Server 连接器的首个工作版本。新连接器基于 CDC 功能（可在 Enterprise 和 Standard 版本中使用），允许您从微软流行的 RDBMS 中流式传输数据更改。

此外，我们还继续致力于 Debezium Oracle 连接器。最值得注意的是，它现在支持对捕获的表进行初始快照。我们还将 Docker 镜像中的 Apache Kafka 升级到了 1.1.1 (DBZ-829)。

请查看更改日志以获取 0.9.0.Alpha1 的完整更改列表和通用升级说明。

注意： 在撰写本文时（2018-07-26），发布构件（连接器归档）可在 Maven Central 上找到。我们将尽快将 0.9.0.Alpha1 的 Docker 镜像上传到 Docker Hub。 Docker 镜像已上传并可使用，标签为 0.9.0.Alpha1 和滚动标签 0.9。