Debezium 博客

变更数据捕获 (CDC) 是现代云原生架构的基石,能够实现实时事件驱动型应用程序。Debezium 作为领先的 CDC 平台,提供强大的单消息转换 (SMT),可在数据流到达目标之前对其进行过滤、路由和修改。

虽然 Debezium 是一个基于 Java 的项目,但许多云原生应用程序是用 Go 编写的。通过此最新增强功能,您现在可以使用 Go 编写 SMT 过滤器和路由器,使 Go 开发人员能够在一个 Java 技术中微调数据处理,这得益于 TinyGoWebAssembly

这篇博文将探讨如何在 Debezium 中使用 Go 插件,演示此功能如何增强云原生团队的灵活性和定制性。

我们祝 Debezium 社区 2018 年一切顺利!

在我们忙于 0.7.2 版本的同时,我们想发布另一篇博文,描述一个基于 Debezium 的端到端数据流用例。我们几周前已经展示了如何设置更改数据流到下游数据库。在这篇博文中,我们将采用相同的方法,将数据流式传输到 Elasticsearch 服务器,以利用其出色的全文搜索能力。但为了让事情更有趣一点,我们将把数据流式传输到 PostgreSQL 数据库和 Elasticsearch,这样我们就可以通过 SQL 查询语言以及全文搜索来优化数据访问。

在这篇博文中,我们将创建一个简单的流式数据管道,以连续捕获 MySQL 数据库中的更改,并近乎实时地将其复制到 PostgreSQL 数据库。我们将展示如何不编写任何代码,而是通过使用和配置 Kafka Connect、Debezium MySQL 源连接器、Confluent JDBC sink 连接器以及一些单消息转换(SMT)来完成此操作。

通过 Kafka 复制数据的方法本身就非常有用,但当我们可以将近乎实时的数据更改流与​​其他流、连接器和流处理应用程序结合使用时,它的优势会更加明显。最近的 Confluent 博客系列展示了一个类似的流式数据管道,但使用了不同的连接器和 SMT。Kafka Connect 的优点在于您可以混合搭配连接器来移动不同系统之间的数据。

我们还将演示 Debezium 0.6.0 (Debezium 0.6.0) 发布的一个新功能:用于CDC 事件展平的单消息转换。

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×