Debezium 博客
如果您正在使用 Debezium 的 Oracle 连接器，很可能您已经遇到过关于“在事务日志中找不到 SCN”的臭名昭著的异常。在这篇博文中，我们将不仅讨论这个异常的含义，还会探讨其原因以及您应该采取的故障排除步骤。
在准备本季度的发布期间，Debezium 团队在这个季度非常忙碌，我们很高兴地宣布 Debezium 3.2.0.Final 现已可用。此版本包含大量新功能，包括与 OpenLineage 的集成、新的 Quarkus DevService/GraalVM 扩展、Qdrant 向量数据库 sink 支持、对 Debezium Platform 和 AI 的改进，以及更多内容！
偶尔评估整个项目——或至少其选定部分的性能——是非常有用的。当添加新功能或执行主要代码重构时，这一点尤其重要。然而，性能检查也可以临时进行，或者最好是定期进行。
在这篇博文中，我想演示一种快速识别和分析 Debezium 中特定类型性能问题的方法。文章将带您完成整个流程：设置一个轻量级的性能测试，分析结果，提出改进建议，并评估其影响。
如今的数据格局与过去集中式数据库和简单 ETL 流程已大不相同。当今的组织在多样化的数据源、实时流处理、微服务架构和多云部署的环境中运行。最初从运营系统到报告数据库的简单数据流，已经演变成复杂的互联管道、转换和依赖网络。从 ETL 到 ELT 模式的转变、数据湖的采用以及 Apache Kafka 等流媒体平台的普及，为数据处理带来了前所未有的灵活性。然而，这种灵活性也付出了代价：理解数据如何在这些系统中移动、转换和演变变得越来越具挑战性。
理解数据血缘
数据血缘是指跟踪数据从源头到最终目的地的流动和转换的过程。它本质上映射了数据的“生命周期”，显示了它的来源、如何被改变以及它在数据管道中的去向。这包括记录数据在其旅程中经历的所有转换、连接、拆分和其他操作。
其核心在于，数据血缘回答了关键问题：这些数据来自哪里？它们经历了哪些转换？哪些下游系统依赖于它？当问题出现时，团队应该将调查重点放在哪里？
我们最近遇到的一个问题是如何有效地将变更数据捕获（CDC）与 AI 工作负载集成——特别是对于关键的组织知识无法公开访问的场景。为了帮助您利用内部数据，Debezium 3.1 引入了面向 AI 的功能，例如 Embeddings SMT 和 Milvus sink，您可以将它们结合起来为 LLM 提供输入。您可以在 Debezium 3.1 发行说明中阅读有关这些增强功能的更多信息。
