pg-cdc

pg-cdc 是一款开源的 PostgreSQL 变更数据捕获（CDC）引擎，能够将 WAL 日志变更实时流式传输至 Apache Iceberg 和 Parquet 格式，并直接写入 Amazon S3。与传统的 CDC 管道不同，pg-cdc 以单一二进制文件运行，无需依赖 Kafka、Spark 或 JVM，极大地简化了部署和运维复杂度。其输出结果可立即被 Athena、DuckDB、Spark、Trino 等兼容 Iceberg 的查询引擎读取，让操作型 PostgreSQL 数据无缝进入分析及 AI 工作流。

核心功能

pg-cdc 的核心在于其高效的 WAL 解析与流式写入机制。它持续监听 PostgreSQL 的 WAL 日志，捕获插入、更新、删除等变更事件，并自动转换为 Iceberg 格式的列式存储文件，上传至 S3。整个过程无需中间件，降低了延迟和成本。

主要特性

• 极简部署：单一二进制文件，无外部依赖，快速启动。
• 实时同步：基于 WAL 的实时捕获，确保数据近实时可用。
• 格式优化：直接生成 Iceberg 表，支持 ACID 事务和快照隔离。
• 查询兼容：与主流查询引擎无缝集成，即写即查。
• 成本效益：无需维护额外集群，降低基础设施开销。

适用场景

pg-cdc 特别适合需要将 PostgreSQL 数据用于实时分析、数据湖构建或 AI 特征工程的企业。例如，将 OLTP 数据库中的订单数据实时同步至数据湖，供业务报表和机器学习模型训练使用。它也是数据仓库现代化和数据网格架构的理想选择。无论您是数据工程师、平台架构师还是 AI 开发者，pg-cdc 都能帮助您以更简单、更高效的方式释放数据价值。