Debezium 博客
当 Debezium 连接器部署到 Kafka Connect 实例时,有时需要对 Connect API 的其他用户隐藏数据库凭据。
让我们回顾一下 MySQL Debezium 连接器的连接器注册请求是什么样的:
您知道 12 月 12 日是全国叮当铃节吗?那是给久未联系的老朋友打电话的日子。所以我们想联系一下(不是说已经**那么**久了)我们的朋友,也就是您,并分享 Debezium 1.0.0.CR1 发布的消息!
这是第一个,也理想情况下是唯一一个候选版本;所以 Debezium 1.0 应该很快就会发布。不少不错的功能已经加入到 CR1 中。
秋季天气如火如荼,Debezium 社区并没有被异常低的寒冷天气压倒。我很高兴地宣布 Debezium 1.0.0.Beta3 的发布!
此新 Debezium 版本包含一些值得注意的新功能、增强功能和修复。
-
基于 Kafka Connect 2.3.1 构建(DBZ-1612)。
-
将
drop_on_stop配置参数重命名为drop.on.stop(DBZ-1595)。 -
标准化 Cassandra 连接器的源信息(DBZ-1408)。
-
将 MongoDB 复制器异常传播,使其在 Kafka Connect 的状态端点可见(DBZ-1583)。
-
Envelope 方法应接受
Instant而不是long值作为时间戳(DBZ-1607)。 -
错误地报告未捕获到任何表(DBZ-1519)。
-
避免 Oracle 连接器尝试分析表(DBZ-1569)。
-
before中的 Toasted 列应包含null而不是__debezium_unavailable_value(DBZ-1570)。 -
使用
pgoutput解码器支持 PostgreSQL 11+ 的TRUNCATE操作(DBZ-1576)。 -
PostgreSQL 连接器在具有大量表的数据库的模式发现中超时(DBZ-1579)。
-
在快照处理期间
ts_ms的值不正确(DBZ-1588)。 -
对于非白名单表,不生成心跳(DBZ-1592)。
我很高兴地宣布 Debezium 1.0.0.Beta2 的发布!
此新 Debezium 版本包含一些值得注意的新功能、增强功能和修复。
-
使用逻辑数据类型支持 PostgreSQL
LTREE列(DBZ-1336)。 -
支持 PostgreSQL 12(DBZ-1542)。
-
验证配置的 PostgreSQL 复制槽不包含任何无效字符(DBZ-1525)。
-
添加 MySQL DDL 解析器以支持索引创建
VISIBLE和INVISIBLE关键字(DBZ-1534)。 -
添加 MySQL DDL 解析器以支持授予
SESSION_VARIABLES_ADMIN(DBZ-1535)。 -
修复 MongoDB
collection源结构字段,当集合名称包含点时(DBZ-1563)。 -
执行 PostgreSQL 快照后关闭空闲事务(DBZ-1564)。
作为近期 使用变更数据捕获和流处理构建审计日志 博客文章的后续,我们希望通过管理功能扩展此示例,使其能够捕获和修复任何缺失的事务数据。
在上述博客文章中,有一个日志增强服务,用于将“Vegetable”数据库表中插入或更新的数据与事务上下文数据(例如
-
事务 ID
-
执行操作的用户名
-
实际更改背后的用例,例如“创建蔬菜”
只要所有更改都通过蔬菜服务进行,这一切都能很好地工作。但情况总是如此吗?
那么维护活动或直接在数据库级别执行的迁移脚本呢?仍然存在大量此类活动,无论是故意的,还是因为这是我们正在努力改变的老习惯……