Debezium 博客
如今,为分析、报告或机器学习需求构建数据湖已是普遍做法。
在这篇博文中,我们将描述一种构建数据湖的简单方法。该解决方案使用基于 Debezium 的实时数据管道,支持 ACID 事务、SQL 更新,并且高度可扩展。而且,无需 Apache Kafka 或 Apache Spark 应用程序即可构建数据源,从而降低了整体解决方案的复杂性。
我非常高兴地宣布 Debezium 1.7.0.Final 发布!
此版本的主要功能包括对增量快照概念(在 Debezium 1.6 中引入)的重大改进,基于 Web 的 Debezium 用户界面,Debezium Server 中的 NATS 支持,以及支持通过 Debezium Kafka 容器镜像运行不带 ZooKeeper 的 Apache Kafka。
此外,在过去几个月里,Debezium 社区还发生了一些激动人心的事情;例如,我们看到了一个基于 Debezium 连接器框架的 ScyllaDB CDC 连接器 (基于 Debezium 连接器框架),并且正在开发一个 Debezium Server Apache Iceberg 连接器(更多细节即将在此博客的客座文章中发布)。
我们非常高兴地宣布 Debezium 1.7.0.CR2 的发布!
随着我们朝着最终版本迈进,我们主要包含错误修复。尽管如此,此版本包含重要的性能改进和一项用于读取-仅 MySQL 增量快照的新功能。
在 ScyllaDB,我们开发高性能的 NoSQL 数据库 Scylla,它与 Apache Cassandra、Amazon DynamoDB 和 Redis API 兼容。今年早些时候,我们在 Scylla 4.3 中引入了对 变更数据捕获 (CDC) 的支持。这项新功能似乎与 Apache Kafka 生态系统集成非常契合,因此我们使用 Debezium 框架开发了 Scylla CDC 源连接器。在这篇博文中,我们将介绍 Scylla CDC 的基本结构,我们选择 Debezium 框架的原因以及我们做出的设计决策。