Debezium 博客
自推出 Debezium Management Platform (Debezium Platform) 以来，我们的目标一直是让构建 CDC 数据管道变得容易，这样您就可以专注于您的数据如何从源流向目的地。许多用户已经在 Kafka Connect 或 Debezium Server 上运行 Debezium 连接器。为了进一步简化入门和快速启动流程，我们引入了重用 Kafka Connect 或...
许多从事数据流工作的工程师都不是 SQL 专家。所以你可能会问自己：什么是 CTE？更重要的是，什么是 CTE 查询，它们有什么用，以及它们如何帮助你处理 Debezium？
在本文中，我们将回答这些问题，探讨 Debezium Oracle 连接器如何利用 CTE 查询，并讨论涉及的优点和权衡。
当我开始研究 Debezium 时，我脑海中浮现出两个问题：能否构建 Debezium 的原生版本？我能否在不依赖额外基础设施的情况下，直接在我的微服务中接收变更数据捕获 (CDC) 事件？
这促使我们开发了一个新的 Debezium 流：我很高兴地宣布 **Debezium Extensions for Quarkus** 的第一个版本！
如果您正在使用 Debezium 的 Oracle 连接器，很可能您已经遇到过关于“在事务日志中找不到 SCN”的臭名昭著的异常。在这篇博文中，我们将不仅讨论这个异常的含义，还会探讨其原因以及您应该采取的故障排除步骤。
变更数据捕获（CDC）在各种场景中被广泛使用，例如微服务通信、遗留系统现代化和缓存失效。此模式的核心思想是检测和跟踪数据源（例如数据库）中的更改，并将其实时或近实时地传播到其他系统。Debezium 是一个 CDC 平台，为大多数数据源提供了广泛的连接器。除了捕获更改之外，它还通过... 提供转换功能。
变更数据捕获 (CDC) 是现代云原生架构的基石，它支持实时事件驱动应用程序。Debezium 作为领先的 CDC 平台，提供了强大的单条消息转换 (SMT) 功能，可在数据流到达目的地之前对其进行过滤、路由和修改。
虽然 Debezium 是一个基于 Java 的项目，但许多云原生应用程序是用 Go 编写的。有了这个最新的增强功能，您现在可以用 Go 编写 SMT 过滤器和路由器，使 Go 开发人员能够通过 TinyGo 和 WebAssembly 在 Java 技术中进行精细的数据处理。
这篇博文探讨了如何在 Debezium 中使用 Go 插件，展示了此功能如何增强云原生团队的灵活性和定制化能力。
在复制用于分析的业务数据方面，变更数据捕获 (CDC) 是黄金标准。它提供了可伸缩性、近乎实时的性能，并捕获所有数据修改，确保您的分析数据集始终保持最新。Debezium 是该领域的领先工具，它可以连接到各种数据库，并以 JSON 和 Avro 等多种格式导出 CDC 事件，从而轻松与不同系统集成。
虽然 Debezium 本身是一个基于 Java 的项目，但数据工程领域越来越依赖 Python。这篇博文演示了如何利用 Debezium 在 Python 环境中使用 pydbzengine。我们将探讨如何使用这些技术来构建一个健壮且可扩展的 CDC 解决方案。
大家好，我是 René，一家瑞士保险公司的数据工程师。大约四年以来，我一直在多个项目中使用 Debezium。由于我不是 Java 开发者，所以这些年来我没有机会为 Debezium 贡献代码。尽管如此，或者正是因为如此，我认为至少可以写几行文字，来讨论一个可能不仅对我而言，而且对很多人都非常重要的话题……
在当今动态的数据环境中，检测和理解数据变异模式对于系统的可靠性至关重要。在这篇博文中，我们将探讨如何使用 Debezium 来为微服务架构提供全面的数据库活动日志记录和分析。我们将深入研究 Debezium 如何捕获行级更改并实时流式传输它们，从而能够即时了解数据库操作。通过与分析工具集成，我们将看到如何构建详细的活动仪表板，显示每个表的已执行操作的数量和性质。这些洞察对于识别意外模式非常有价值，例如由于部署了有 bug 的新微服务而导致插入量突然下降。您将学习如何设置 Debezium，为其进行此特定用例配置，并利用生成的数据创建可操作的仪表板。
大家好，我是 Jakub。您可能已经注意到 Debezium UI 最近没什么动静。然而，这只能部分说明事实。我们欠您一个解释，请您耐心听我讲。让我们从当前 UI 项目的状态开始。我们越来越清楚，虽然 Debezium 的 UI 是我们愿景的重要组成部分，但开发一个严格绑定到 Kafka Connect 的 UI 并不是正确的方向……
在本文中，我们将介绍和演示 Debezium 2.4 中提供的一项新功能——与 TimescaleDB 数据库的集成。
TimescaleDB 是一个开源数据库，旨在使 SQL 能够针对时间序列数据进行扩展。它是作为 PostgreSQL 数据库的扩展实现的。这一事实促使我们重用标准的 Debezium PostgreSQL 连接器，并将 TimescaleDB 支持实现为单个消息转换 (SMT)。
在数据流优化领域，即使是微小的改进也能产生显著的影响。本文重点介绍一项此类改进：在 Debezium 的 JDBC 连接器中引入批处理支持。我们将指导您完成启用批处理的过程，并分享我们的性能测试的实际成果。
在 Debezium 2.3 中，我们推出了一个全新的 Debezium Operator 的预览版，旨在为 Kubernetes (k8s) 集群提供无缝的 Debezium Server 部署。Debezium 2.4.0.Final 版本带来了向该组件全面支持迈出的下一步。在此版本中，我们很高兴地宣布 Debezium Operator 现在已包含在 Kubernetes 的 OperatorHub 目录以及 OpenShift 和 OKD 分发版中嵌入的社区 Operator 目录中。该 Operator 仍处于孵化阶段；然而，对该组件的全面支持正在快速到来。
欢迎阅读我们关于 Debezium 信号和通知系列的第三篇文章。在本文中，我们将继续探索 Debezium 信号和通知。特别是，我们将深入探讨如何使用 JMX 通道启用和管理这些功能。
我们还将探讨如何通过利用 Jolokia 的 REST API 发送信号和获取通知。
欢迎阅读我们关于 Debezium 信号和通知系列的专题文章！这篇博文是本系列的第二部分，我们将讨论如何在 Debezium 中自定义信号和通知通道。
Debezium 2.3 引入了信号和通知功能的最新改进。除了 Debezium 提供的预定义信号和通知通道外，您还可以设置新的信号和通知通道。此功能使用户能够根据其独特需求定制系统，并将其与现有基础设施或第三方解决方案结合使用。通过精确捕获和通信信号事件并通过首选通道触发通知，它可以实现有效的监控和对数据更改的积极响应。
本系列的的第一篇文章 Debezium 信号和通知 提供了 Debezium 中信号和通知功能的概述。它还讨论了可用的通道及其在各种场景中的用例。
欢迎来到这个关于 Debezium 信号和通知系列文章！本文是该系列的第一个篇章，我们将介绍 Debezium 提供的信号和通知功能，并讨论与平台交互的可用通道。
在后续的文章中，我们将深入探讨自定义信号通道，并探索 JMX 信号和通知等其他主题。
在本篇文章中，我们将讨论一个 CDC-CQRS 管道，它连接了一个规范化的关系型数据库（MySQL）作为命令数据库，以及一个反规范化的 NoSQL 数据库（MongoDB）作为查询数据库，通过 Debezium & Kafka-Streams 实现 DDD Aggregates 的创建。
本文是三部分系列文章的一部分，旨在探讨如何使用 Debezium 和 Oracle LogMiner 从 Oracle 数据库摄取变更。如果您错过了第一部分，可以在 这里 查看。
在第二部分中，我们将基于第一部分的内容，使用 Zookeeper、Kafka 和 Kafka Connect 部署 Oracle 连接器。我们将讨论连接器的各种配置选项以及它们的重要性。最后，我们将实际演示连接器如何工作！
本文是三部分系列文章的一部分，旨在探讨如何使用 Debezium 和 Oracle LogMiner 从 Oracle 数据库摄取变更。在本系列文章中，我们将探讨设置 Debezium for Oracle 的概念验证 (POC) 部署的所有步骤。我们将讨论设置和配置，以及多租户的细微之处。我们还将深入探讨您可能需要了解的任何已知陷阱和注意事项，以及如何调试特定问题。最后，我们将讨论性能和监控，以维护健康的连接器部署。
通过本次演练，我们希望向您展示部署 Debezium for Oracle 的简单性。本系列的安装和设置部分可能看起来相当复杂，但其中许多步骤可能已经在现有的环境中存在。我们将逐一介绍每个步骤，解释如果您使用容器镜像部署，每个步骤的必要性。
如今，为分析、报告或机器学习需求构建数据湖已成为一种常见做法。
在这篇博文中，我们将介绍一种构建数据湖的简单方法。该解决方案使用基于 Debezium 的实时数据管道，支持 ACID 事务、SQL 更新且高度可扩展。而且，构建数据源不需要 Apache Kafka 或 Apache Spark 应用程序，从而降低了整个解决方案的复杂性。
