Debezium 博客

如今,为分析、报告或机器学习需求构建数据湖已是普遍做法。

在这篇博文中,我们将描述一种构建数据湖的简单方法。该解决方案使用基于 Debezium 的实时数据管道,支持 ACID 事务、SQL 更新,并且高度可扩展。而且,无需 Apache Kafka 或 Apache Spark 应用程序即可构建数据源,从而降低了整体解决方案的复杂性。

Debezium 从 1.6 版本开始的一个主要改进是支持 增量快照。在这篇博文中,我们将解释此功能背后的动机,深入探讨实现细节,并进行演示。

我非常高兴地宣布 Debezium 1.7.0.Final 发布!

此版本的主要功能包括对增量快照概念(在 Debezium 1.6 中引入)的重大改进,基于 Web 的 Debezium 用户界面,Debezium Server 中的 NATS 支持,以及支持通过 Debezium Kafka 容器镜像运行不带 ZooKeeper 的 Apache Kafka。

此外,在过去几个月里,Debezium 社区还发生了一些激动人心的事情;例如,我们看到了一个基于 Debezium 连接器框架的 ScyllaDB CDC 连接器 (基于 Debezium 连接器框架),并且正在开发一个 Debezium Server Apache Iceberg 连接器(更多细节即将在此博客的客座文章中发布)。

我们非常高兴地宣布 Debezium 1.7.0.CR2 的发布!

随着我们朝着最终版本迈进,我们主要包含错误修复。尽管如此,此版本包含重要的性能改进和一项用于读取-仅 MySQL 增量快照的新功能。

在 ScyllaDB,我们开发高性能的 NoSQL 数据库 Scylla,它与 Apache Cassandra、Amazon DynamoDB 和 Redis API 兼容。今年早些时候,我们在 Scylla 4.3 中引入了对 变更数据捕获 (CDC) 的支持。这项新功能似乎与 Apache Kafka 生态系统集成非常契合,因此我们使用 Debezium 框架开发了 Scylla CDC 源连接器。在这篇博文中,我们将介绍 Scylla CDC 的基本结构,我们选择 Debezium 框架的原因以及我们做出的设计决策。

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×