Debezium 博客
变更数据捕获 (CDC) 是现代云原生架构的基石,能够实现实时事件驱动型应用程序。Debezium 作为领先的 CDC 平台,提供强大的单消息转换 (SMT),可在数据流到达目标之前对其进行过滤、路由和修改。
虽然 Debezium 是一个基于 Java 的项目,但许多云原生应用程序是用 Go 编写的。通过此最新增强功能,您现在可以使用 Go 编写 SMT 过滤器和路由器,使 Go 开发人员能够在一个 Java 技术中微调数据处理,这得益于 TinyGo 和 WebAssembly。
这篇博文将探讨如何在 Debezium 中使用 Go 插件,演示此功能如何增强云原生团队的灵活性和定制性。
我们祝 Debezium 社区 2018 年一切顺利!
在我们忙于 0.7.2 版本的同时,我们想发布另一篇博文,描述一个基于 Debezium 的端到端数据流用例。我们几周前已经展示了如何设置更改数据流到下游数据库。在这篇博文中,我们将采用相同的方法,将数据流式传输到 Elasticsearch 服务器,以利用其出色的全文搜索能力。但为了让事情更有趣一点,我们将把数据流式传输到 PostgreSQL 数据库和 Elasticsearch,这样我们就可以通过 SQL 查询语言以及全文搜索来优化数据访问。
在这篇博文中,我们将创建一个简单的流式数据管道,以连续捕获 MySQL 数据库中的更改,并近乎实时地将其复制到 PostgreSQL 数据库。我们将展示如何不编写任何代码,而是通过使用和配置 Kafka Connect、Debezium MySQL 源连接器、Confluent JDBC sink 连接器以及一些单消息转换(SMT)来完成此操作。
通过 Kafka 复制数据的方法本身就非常有用,但当我们可以将近乎实时的数据更改流与其他流、连接器和流处理应用程序结合使用时,它的优势会更加明显。最近的 Confluent 博客系列展示了一个类似的流式数据管道,但使用了不同的连接器和 SMT。Kafka Connect 的优点在于您可以混合搭配连接器来移动不同系统之间的数据。
我们还将演示 Debezium 0.6.0 (Debezium 0.6.0) 发布的一个新功能:用于CDC 事件展平的单消息转换。