工程与深度技术解析 on Mooncake

将 pg_mooncake 与 duckdb_mooncake 迁移至 DuckDB 2.0、pg_duckdb 1.2.0 与 pgrx 0.19.3

冯若航 — Thu, 05 Nov 2026 00:00:00 +0000

当 Mooncake Labs 在发布 v0.2.0 后暂停对 pg_mooncake 的公开更新时，该扩展停留在早期的 DuckDB 1.3.x / pg_duckdb 快照与 pgrx 0.12 上。与此同时，PostgreSQL 社区已经演进至 PostgreSQL 18、pgrx 0.19.3 以及基于 DuckDB v2.0.0 的 pg_duckdb 1.2.0。

Mooncake 正式加入 Databricks！

Mooncake Labs — Wed, 01 Oct 2025 00:00:00 +0000

十三个月前，我们创立了 Mooncake，旨在将支撑 OpenAI 等科技巨头的数据智能技术栈带给每一个现代应用与每一位开发者——从第一行 Prompt 直到公司上市（IPO）。

Mooncake 技术白皮书：面向 Apache Iceberg 的实时存储引擎

Mooncake Labs — Mon, 11 Aug 2025 00:00:00 +0000

这篇技术白皮书假设读者已对开放分析表格式 Apache Iceberg 有所了解。Iceberg 是现代“数据湖仓（Lakehouse）”运动的核心基石，它允许用户：

将大规模数据集以开放文件格式（Parquet + 元数据）存储在廉价对象存储中；
使用 Spark、Trino、Flink、DuckDB 等多种计算引擎通过 SQL 直接查询；
获得 Schema 演进与时间旅行（Time Travel）等数据库级特性；
实现近乎无限的弹性扩展，彻底摆脱单一供应商锁定。

然而，Iceberg 生来是为低频变更数据与批量分析处理而设计的。在批处理领域，随着各大引擎对开放格式读取能力的持续优化，这套体系已经非常成熟。

不，单靠 Iceberg 拯救不了你的数据栈

Zhou Sun — Mon, 21 Jul 2025 00:00:00 +0000

人生总是充满了“理想与现实的落差”。今天我们就来聊聊数据社区的新宠——Apache Iceberg 的理想与现实。

理想：Iceberg 能解决我所有的数据痛点

平心而论，Iceberg 的核心设计理念非常漂亮：

可是，我的 Postgres（+ 数据湖仓）是免费的呀

Zhou Sun — Fri, 13 Jun 2025 00:00:00 +0000

友情提示： 你的 Postgres 和数据湖仓（Lakehouse）同样是自由且开源的——你完全不需要成为（或者像巨头一样挥霍数亿美金）才能拥有它们。

为什么是 Postgres + Lakehouse？

原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈

AI 智能体需要记忆——既需要即时响应的工作记忆（Working Memory），也需要海量的长期知识（Long-Term Knowledge）。

HTAP 已死，精神长存

Zhou Sun — Mon, 05 May 2025 00:00:00 +0000

本文的灵感源自 Jordan Tigani 的经典博文《Big Data is Dead（大数据已死）》。事实上，Jordan 和我曾一起在 SingleStore 共事，联手打造过一套 HTAP 数据库。

黄金年代（1980 年代）

回到 80 年代，一套关系型数据库包揽了一切：白天跑在线事务（OLTP），下班后跑分析报表（OLAP）。像 Oracle V2 和 IBM DB2 这样的系统在同一台机器上同时承载 OLTP 和 OLAP——主要是因为当时的数据集还能装进几块磁盘里，而且计算硬件极其昂贵。

“在 Postgres 中做分析”究竟意味着什么？

Zhou Sun — Sun, 23 Mar 2025 00:00:00 +0000

当今数据库领域很少有方向比“扩展 Postgres 以支持分析查询”更炙手可热了。这其实也算不上什么全新的课题——在过去十年间，业界已经有过许多次尝试：

以下是我与大量客户交流后的核心总结——“Postgres 分析”对用户而言究竟意味着什么？以及为什么尽管我们在 pg_mooncake 第一阶段取得了一定成果，这个领域的终极难题在很长时间里依然悬而未决？

如何让 DuckDB 在 Parquet 文件上的查询性能再上一个台阶

Pranav Aurora — Wed, 22 Jan 2025 00:00:00 +0000

上周，我们在 PostgreSQL 上运行了 ClickBench 基准测试并成功闯入全球前十，证明了通过 pg_mooncake 扩展，Postgres 完全能够胜任严肃的大规模分析负载。

在成绩公布后，我们收到了许多开发者的提问：既然 pg_mooncake 内部嵌入了 DuckDB 并将数据存储为 Parquet 格式，为什么它在 Parquet 文件上的查询速度反而比直接使用 DuckDB 扫描还要快？

ClickBench 基准测试证明：Postgres 是一流的分析型数据库

Zhou Sun — Tue, 14 Jan 2025 00:00:00 +0000

太长不看版（TL;DR）： 经过几个月的深度优化，我们让 PostgreSQL 成功闯入了 ClickBench 全球前十——这个榜单长期以来一直被各种专门构建的 OLAP 分析数据库所统治。

更重要的是，所有计算均在 Postgres 进程内完成，所有表均由 PostgreSQL 直接管理——它绝不是一个简单的外部代理包装器。这就是 pg_mooncake 的故事。

S3 Tables 究竟是个啥？

Zhou Sun — Sun, 12 Jan 2025 00:00:00 +0000

亚马逊在去年的 re:Invent 大会上发布了 S3 Table Buckets（S3 表存储桶）。一个既是 S3 存储桶、同时又是一张数据库表的东西？这到底是什么意思？

太长不看版（TL;DR）： S3 Tables 让 Apache Iceberg 表可以脱离外部 Catalog（目录服务）独立存在。下面听我详细拆解。

pg_mooncake 🤝 Drizzle：用强类型 ORM 驱动分析查询

Pranav Aurora — Wed, 08 Jan 2025 00:00:00 +0000

在 pg_mooncake 发布之初，有一件事出乎我们的意料：开发者们非常关心能否在分析型负载中继续使用熟悉的 ORM。我们经常收到两类典型需求：

“我手头有一堆 Parquet 文件，我希望能在它们之上获得完整的 ORM 类型支持。”
“我在事务数据库里用了 Drizzle / Prisma，我也希望能直接用它来写分析报表和仪表盘查询。”

我们始终坚信，Postgres 中的列式存储在外观和使用体验上必须像一张普通堆表。这正是 pg_mooncake 列存表的核心创新所在：你可以对它执行事务、更新、删除，并与普通堆表直接关联（JOIN）。

pg_mooncake + Neon：PostgreSQL 中的 Serverless 实时分析

Pranav Aurora — Tue, 07 Jan 2025 00:00:00 +0000

pg_mooncake 在两个月前发布了 Beta 版，为 PostgreSQL 带来了列式存储与向量化查询执行引擎。

在过去两个月与早期用户的打磨过程中，我们突然意识到：我们无意间打造出了最优秀的 Serverless 分析数据库。故事是这样的：

pg_mooncake：基于列存表与 DuckDB 的 Postgres 极速分析引擎

Cheng Chen — Wed, 06 Nov 2024 00:00:00 +0000

pg_mooncake 将列存表（Columnstore Tables）与 DuckDB 向量化执行引擎引入 PostgreSQL，以实现极速分析查询。

它像普通 Postgres 表一样支持事务性的 INSERT、UPDATE 和 DELETE。底层数据以 Parquet 文件配合 Delta Lake（以及 v0.2+ 中的 Apache Iceberg）表元数据写入，因此也可以在 Postgres 外部直接查询。

Mooncake：下一代搜索与分析系统

Mooncake Labs — Wed, 30 Oct 2024 00:00:00 +0000

我们是 Zhou、Cheng 和 Pranav。过去十年里，我们一直在 MemSQL（现名 SingleStore）研发数据库内核。

我们热爱复杂系统、硬核工程技术，当然还有——物理学 🙂 数据系统就像物理学一样，建立在若干基本公理之上。这些原则必须自洽且持久。

Iceberg Meetup 参会随想

Zhou Sun — Tue, 08 Oct 2024 00:00:00 +0000

上个月，我在 Snowflake 总部举办的 Iceberg Meetup 上做了一场演讲。公开演讲从来都不是我的强项，而台下坐着 Snowflake CEO Sridhar 和 Tabular CEO Ryan 更是让人倍感压力。

那天是我创立 Mooncake Labs 的第 18 天，我在演讲中探讨了面向 Apache Iceberg 的通用索引框架（演讲幻灯片见这里）。以下是我从这次聚会中收获的几点启发：

我们学到的几条铁律

Pranav Aurora — Sun, 08 Sep 2024 00:00:00 +0000

这篇文章的标题其实应该叫《我们用惨痛代价学到的几条铁律》。

在开启这段全新旅程之际，我们花了一些时间思考当今数据领域的底层公理——这些规律无论我们还是任何人都无法回避。