欢迎使用 pg_mooncake

pg_mooncake 是一款 PostgreSQL 扩展，能够在数据库内部直接提供实时列存镜像表（USING mooncake）、基于 DuckDB 2.0 的向量化分析执行引擎（通过 pg_duckdb 与 duckdb_mooncake），以及开放的 Apache Iceberg v2 湖仓存储（由 moonlink 驱动）。

搭载 pg_mooncake 的 PostgreSQL 在 ClickBench 分析基准测试中名列前茅，同时完全保留原有的 PostgreSQL 事务写入路径。该扩展套件原由 Mooncake Labs 开发，现由 PGSTY 社区维护（包含 pg_mooncake v0.3.0、duckdb_mooncake v0.0.2 与 moonlink v0.0.1），全面支持 PostgreSQL 14–18。

传统方案的痛点

PostgreSQL 是极其优秀的事务型（OLTP）数据库，但其面向行的堆表存储与逐行执行器并非为大规模分析扫描（OLAP）而设计。长期以来，PostgreSQL 用户往往面临两难选择：

1. 引入外部独立分析引擎（ClickHouse、Snowflake、BigQuery） 需要额外部署并维护脆弱的 CDC 数据管道（Debezium + Kafka），被迫重构数据模型，承受最终一致性延迟，且无法在单条 SQL 中直接关联实时业务表与历史分析表。
2. 使用缺乏向量化引擎或高频 CDC 能力的库内列存扩展 传统库内列存方案要么缺乏现代向量化执行引擎，要么在面对高频 OLTP INSERT、UPDATE、DELETE 时产生海量微小的 Parquet 文件（小文件风暴），导致读写性能迅速劣化。

pg_mooncake 的解决之道

从 v0.2 架构重设计并在 PGSTY 维护的 v0.3.0 版本中进一步完善，pg_mooncake 采用了**实时列存镜像（Columnstore Mirror）**架构：

-- 1. 启用 pg_mooncake（自动加载依赖的 pg_duckdb 1.2.0）
CREATE EXTENSION IF NOT EXISTS pg_mooncake CASCADE;

-- 2. 现有的 OLTP 行存业务表保持 100% 原样不变
CREATE TABLE trades (
    id BIGINT PRIMARY KEY,
    symbol TEXT,
    price DOUBLE PRECISION,
    volume INT,
    traded_at TIMESTAMPTZ
);

-- 3. 仅需一条命令，创建实时同步的列存镜像表
CALL mooncake.create_table('trades_analytics', 'trades');

1. 写入行存表，查询列存表：业务应用继续向标准的 PostgreSQL trades 行存表执行 INSERT、UPDATE、DELETE，享受完整的 ACID 事务与行存索引性能。
2. 基于 Moonlink 的亚秒级逻辑复制：pg_mooncake 后台工作进程将 WAL 变更实时推送至 moonlink；最新写入在内存中缓冲为 Apache Arrow 列存批次，UPDATE 与 DELETE 通过 Roaring Bitmap 删除向量就地标记，并在后台异步刷盘与合并为 Parquet 文件。
3. DuckDB 2.0 向量化查询与 LSN 屏障：针对 trades_analytics 的分析查询由 pg_duckdb 1.2.0 与 duckdb_mooncake v0.0.2 接管，在等待目标 WAL LSN 同步屏障后，零拷贝融合扫描内存 Arrow 缓冲与磁盘 Parquet 文件。
4. 开放 Apache Iceberg v2 湖仓表：执行 CALL mooncake.create_snapshot('trades_analytics') 即可在本地磁盘、AWS S3 或 Cloudflare R2 上生成标准 Apache Iceberg v2 元数据快照，无需任何 ETL 即可供 Spark、Snowflake、DuckDB 或 PyIceberg 直接读取。

本章内容导航