Debezium 博客

自推出 Debezium Management Platform (Debezium Platform) 以来,我们的目标一直是让构建 CDC 数据管道变得容易,这样您就可以专注于您的数据如何从源流向目的地。许多用户已经在 Kafka Connect 或 Debezium Server 上运行 Debezium 连接器。为了进一步简化入门和快速启动流程,我们引入了重用 Kafka Connect 或...

SQL Server 通过 更改表 提供变更数据捕获 (CDC) - 这些是记录选定“普通”表修改的特殊系统表集。如果您想实时监控更改,可以定期查询这些更改表。这正是 Debezium 目前的工作方式:它以配置好的间隔轮询 SQL Server 的更改表,并将结果转换为连续的 CDC 记录流。这种方法效果很好,但我们可以做得更好吗?

捕获的表由 SQL Server Agent 填充,该代理读取事务日志,提取更改,并将它们存储在更改表中。理论上,我们可以跳过中间人,直接解析事务日志。像 OpenLogReplicator 这样的工具就是这样为 Oracle 数据库处理 CDC 的。让我们深入了解 SQL Server 的内部机制,并稍微探索一下它是如何工作的以及如何存储记录的。

在本文中,我们将

  • 准备一个本地 SQL Server 实例用于实验

  • 探索 SQL Server 事务日志的内部结构

  • 了解记录是如何存储在磁盘上的

尽管夏末将至,Debezium 团队带来了一个最新鲜的预览版本,包含一批新的改进和增强功能。通过 Debezium 3.3.0.Beta1,此版本为连接器生态系统带来了各种稳定性修复、性能优化和用户体验改进。让我们来看看这些是什么。

Debezium 3.2.2.Final 带来了关键的稳定性改进,包括修复了在失败的临时阻塞快照期间潜在的数据丢失问题,解决了令人困惑的连接器启动错误,并增强了 Oracle LogMiner 的 JMX 吞吐量指标。

Debezium 3.3.0.Alpha2 已发布,带来了关键修复和强大的增强功能!

亮点包括心跳处理修复、从精确的 oplog 位置开始 MongoDB 流式传输的能力、更快的 PostgreSQL TOAST 性能、JDBC sink 中扩展的 TSVECTOR 支持,以及 PostgreSQL 中改进的发布 DDL 处理。Debezium Platform 也通过更清晰的错误消息、细粒度的 UI 日志记录以及更好的源/目标定义获得了主要的可用性提升。

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×