Debezium 博客

当 Debezium 连接器部署到 Kafka Connect 实例时,有时需要对 Connect API 的其他用户隐藏数据库凭据。

让我们回顾一下 MySQL Debezium 连接器的连接器注册请求是什么样的:

您知道 12 月 12 日是全国叮当铃节吗?那是给久未联系的老朋友打电话的日子。所以我们想联系一下(不是说已经**那么**久了)我们的朋友,也就是您,并分享 Debezium 1.0.0.CR1 发布的消息!

这是第一个,也理想情况下是唯一一个候选版本;所以 Debezium 1.0 应该很快就会发布。不少不错的功能已经加入到 CR1 中。

  • 用于在 Kafka Streams 中处理 JSON 格式变更数据事件的 SerDe(序列化器/反序列化器)(DBZ-1533)。

  • Postgres 的高级类型支持:期待已久的枚举类型(DBZ-920)、域类型(DBZ-1413)和 UUID 数组(DBZ-1637)。

  • 对 MongoDB 4.0 事务事件的优雅处理(DBZ-1215)。

  • 完全支持 Java 11,包括将 Debezium 容器镜像升级到 Java 11 以支持 Apache Kafka 和 Connect(DBZ-969DBZ-1402)。

秋季天气如火如荼,Debezium 社区并没有被异常低的寒冷天气压倒。我很高兴地宣布 Debezium 1.0.0.Beta3 的发布!

此新 Debezium 版本包含一些值得注意的新功能、增强功能和修复。

  • 基于 Kafka Connect 2.3.1 构建(DBZ-1612)。

  • drop_on_stop 配置参数重命名为 drop.on.stopDBZ-1595)。

  • 标准化 Cassandra 连接器的源信息(DBZ-1408)。

  • 将 MongoDB 复制器异常传播,使其在 Kafka Connect 的状态端点可见(DBZ-1583)。

  • Envelope 方法应接受 Instant 而不是 long 值作为时间戳(DBZ-1607)。

  • 错误地报告未捕获到任何表(DBZ-1519)。

  • 避免 Oracle 连接器尝试分析表(DBZ-1569)。

  • before 中的 Toasted 列应包含 null 而不是 __debezium_unavailable_valueDBZ-1570)。

  • 使用 pgoutput 解码器支持 PostgreSQL 11+ 的 TRUNCATE 操作(DBZ-1576)。

  • PostgreSQL 连接器在具有大量表的数据库的模式发现中超时(DBZ-1579)。

  • 在快照处理期间 ts_ms 的值不正确(DBZ-1588)。

  • 对于非白名单表,不生成心跳(DBZ-1592)。

我很高兴地宣布 Debezium 1.0.0.Beta2 的发布!

此新 Debezium 版本包含一些值得注意的新功能、增强功能和修复。

  • 使用逻辑数据类型支持 PostgreSQL LTREE 列(DBZ-1336)。

  • 支持 PostgreSQL 12(DBZ-1542)。

  • 验证配置的 PostgreSQL 复制槽不包含任何无效字符(DBZ-1525)。

  • 添加 MySQL DDL 解析器以支持索引创建 VISIBLEINVISIBLE 关键字(DBZ-1534)。

  • 添加 MySQL DDL 解析器以支持授予 SESSION_VARIABLES_ADMINDBZ-1535)。

  • 修复 MongoDB collection 源结构字段,当集合名称包含点时(DBZ-1563)。

  • 执行 PostgreSQL 快照后关闭空闲事务(DBZ-1564)。

作为近期 使用变更数据捕获和流处理构建审计日志 博客文章的后续,我们希望通过管理功能扩展此示例,使其能够捕获和修复任何缺失的事务数据。

在上述博客文章中,有一个日志增强服务,用于将“Vegetable”数据库表中插入或更新的数据与事务上下文数据(例如

  • 事务 ID

  • 执行操作的用户名

  • 实际更改背后的用例,例如“创建蔬菜”

只要所有更改都通过蔬菜服务进行,这一切都能很好地工作。但情况总是如此吗?

那么维护活动或直接在数据库级别执行的迁移脚本呢?仍然存在大量此类活动,无论是故意的,还是因为这是我们正在努力改变的老习惯……

版权所有 © Debezium 及其作者。保留所有权利。有关我们的商标详情,请访问我们的 商标政策商标列表。第三方商标属于其各自所有者,在此提及并不表示任何认可或关联。
×