iceberg
9 篇-
pg_mooncake 0.3.0 发布：PGSTY 首版发布，全面适配 DuckDB 2.0、pgrx 0.19.3 与 PostgreSQL 14–18
pg_mooncake 0.3.0（随同 duckdb_mooncake v0.0.2 与 moonlink v0.0.1 同步发布）是由 PGSTY 维护的 Mooncake 实时分析套件的首个正式版本： pgsty/pg_mooncake v0.3.0（MIT 许可证） pgsty/duckdb_mooncake v0.0.2（MIT 许可证） pgsty/moonlink v0.0.1（附带 PG_MOONCAKE LINKING & DISTRIBUTION EXCEPTION 的 …
pg_mooncake 0.3.0（随同 duckdb_mooncake v0.0.2 与 moonlink v0.0.1 同步发布）是由 PGSTY 维护的 Mooncake 实时分析套件的首个正式版本： pgsty/pg_mooncake v0.3.0（MIT 许可证） pgsty/duckdb_mooncake v0.0.2（MIT 许可证） pgsty/moonlink v0.0.1（附带 PG_MOONCAKE LINKING & DISTRIBUTION EXCEPTION 的 …
-
Mooncake 技术白皮书：面向 Apache Iceberg 的实时存储引擎
这篇技术白皮书假设读者已对开放分析表格式 Apache Iceberg 有所了解。Iceberg 是现代“数据湖仓（Lakehouse）”运动的核心基石，它允许用户： 将大规模数据集以开放文件格式（Parquet + 元数据）存储在廉价对象存储中； 使用 Spark、Trino、Flink、DuckDB 等多种计算引擎通过 SQL 直接查询； 获得 Schema 演进与时间旅行（Time Travel）等数据库级特性； 实现近乎无限的弹性扩展，彻底摆脱单一供应商锁定。 然而，Iceberg 生来 …
这篇技术白皮书假设读者已对开放分析表格式 Apache Iceberg 有所了解。Iceberg 是现代“数据湖仓（Lakehouse）”运动的核心基石，它允许用户： 将大规模数据集以开放文件格式（Parquet + 元数据）存储在廉价对象存储中； 使用 Spark、Trino、Flink、DuckDB 等多种计算引擎通过 SQL 直接查询； 获得 Schema 演进与时间旅行（Time Travel）等数据库级特性； 实现近乎无限的弹性扩展，彻底摆脱单一供应商锁定。 然而，Iceberg 生来 …
-
不，单靠 Iceberg 拯救不了你的数据栈
人生总是充满了“理想与现实的落差”。今天我们就来聊聊数据社区的新宠——Apache Iceberg 的理想与现实。 理想：Iceberg 能解决我所有的数据痛点 平心而论，Iceberg 的核心设计理念非常漂亮： 将所有数据以 Parquet 等开放文件格式存放在对象存储中； 让任何计算引擎（DuckDB、ClickHouse、Spark、Snowflake 等）把这些文件当作一张真正的数据库表，直接用 SQL 查询； [持续演进中] 无需将数据导入特定系统的私有格式，就能直接获得优异的查询性能 …
人生总是充满了“理想与现实的落差”。今天我们就来聊聊数据社区的新宠——Apache Iceberg 的理想与现实。 理想：Iceberg 能解决我所有的数据痛点 平心而论，Iceberg 的核心设计理念非常漂亮： 将所有数据以 Parquet 等开放文件格式存放在对象存储中； 让任何计算引擎（DuckDB、ClickHouse、Spark、Snowflake 等）把这些文件当作一张真正的数据库表，直接用 SQL 查询； [持续演进中] 无需将数据导入特定系统的私有格式，就能直接获得优异的查询性能 …
-
可是，我的 Postgres（+ 数据湖仓）是免费的呀
友情提示： 你的 Postgres 和数据湖仓（Lakehouse）同样是自由且开源的——你完全不需要成为（或者像巨头一样挥霍数亿美金）才能拥有它们。 为什么是 Postgres + Lakehouse？ 原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈 AI 智能体需要记忆——既需要即时响应的工作记忆（Working Memory），也需要海量的长期知识（Long-Term Knowledge）。 工作记忆必须像应用状态一样瞬时可达、可靠且精确。存放它的最佳位置是哪里 …
友情提示： 你的 Postgres 和数据湖仓（Lakehouse）同样是自由且开源的——你完全不需要成为（或者像巨头一样挥霍数亿美金）才能拥有它们。 为什么是 Postgres + Lakehouse？ 原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈 AI 智能体需要记忆——既需要即时响应的工作记忆（Working Memory），也需要海量的长期知识（Long-Term Knowledge）。 工作记忆必须像应用状态一样瞬时可达、可靠且精确。存放它的最佳位置是哪里 …
-
pg_mooncake v0.2 架构前瞻：开箱即用的实时列存与逻辑复制
在 v0.1 中，我们证明了 PostgreSQL 完全能够提供顶级的分析性能。通过将 DuckDB 向量化执行引擎与列存表相结合，pg_mooncake 成为了 Postgres 生态中唯一同时集成这两大能力的扩展。 实测成绩说明了一切：pg_mooncake 闯入了 ClickBench 全球前十，并打造出了最快的基于 Parquet 的执行引擎。 现在，在 v0.2 中，我们正在攻克下一个核心挑战——我们称之为**“开箱即用的分析（Out-of-the-Box Analytics）”**。 …
在 v0.1 中，我们证明了 PostgreSQL 完全能够提供顶级的分析性能。通过将 DuckDB 向量化执行引擎与列存表相结合，pg_mooncake 成为了 Postgres 生态中唯一同时集成这两大能力的扩展。 实测成绩说明了一切：pg_mooncake 闯入了 ClickBench 全球前十，并打造出了最快的基于 Parquet 的执行引擎。 现在，在 v0.2 中，我们正在攻克下一个核心挑战——我们称之为**“开箱即用的分析（Out-of-the-Box Analytics）”**。 …
-
S3 Tables 究竟是个啥？
亚马逊在去年的 re:Invent 大会上发布了 S3 Table Buckets（S3 表存储桶）。一个既是 S3 存储桶、同时又是一张数据库表的东西？这到底是什么意思？ 太长不看版（TL;DR）： S3 Tables 让 Apache Iceberg 表可以脱离外部 Catalog（目录服务）独立存在。下面听我详细拆解。 Iceberg vs Delta Lake 等等，Iceberg 和 Delta Lake 不都是开放表格式吗？为什么要比较它们的底层元数据实现方式？ 原因在于，由于元数据 …
亚马逊在去年的 re:Invent 大会上发布了 S3 Table Buckets（S3 表存储桶）。一个既是 S3 存储桶、同时又是一张数据库表的东西？这到底是什么意思？ 太长不看版（TL;DR）： S3 Tables 让 Apache Iceberg 表可以脱离外部 Catalog（目录服务）独立存在。下面听我详细拆解。 Iceberg vs Delta Lake 等等，Iceberg 和 Delta Lake 不都是开放表格式吗？为什么要比较它们的底层元数据实现方式？ 原因在于，由于元数据 …
-
pg_mooncake：基于列存表与 DuckDB 的 Postgres 极速分析引擎
pg_mooncake 将列存表（Columnstore Tables）与 DuckDB 向量化执行引擎引入 PostgreSQL，以实现极速分析查询。 它像普通 Postgres 表一样支持事务性的 INSERT、UPDATE 和 DELETE。底层数据以 Parquet 文件配合 Delta Lake（以及 v0.2+ 中的 Apache Iceberg）表元数据写入，因此也可以在 Postgres 外部直接查询。 为什么还需要另一个 Postgres 分析扩展？ PostgreSQL 是当 …
pg_mooncake 将列存表（Columnstore Tables）与 DuckDB 向量化执行引擎引入 PostgreSQL，以实现极速分析查询。 它像普通 Postgres 表一样支持事务性的 INSERT、UPDATE 和 DELETE。底层数据以 Parquet 文件配合 Delta Lake（以及 v0.2+ 中的 Apache Iceberg）表元数据写入，因此也可以在 Postgres 外部直接查询。 为什么还需要另一个 Postgres 分析扩展？ PostgreSQL 是当 …
-
Iceberg Meetup 参会随想
上个月，我在 Snowflake 总部举办的 Iceberg Meetup 上做了一场演讲。公开演讲从来都不是我的强项，而台下坐着 Snowflake CEO Sridhar 和 Tabular CEO Ryan 更是让人倍感压力。 那天是我创立 Mooncake Labs 的第 18 天，我在演讲中探讨了面向 Apache Iceberg 的通用索引框架（演讲幻灯片见这里）。以下是我从这次聚会中收获的几点启发： 1. 伟大的产品是其社区的映射 过去十年里，我一直在构建一款商业闭源数据库。每当收 …
上个月，我在 Snowflake 总部举办的 Iceberg Meetup 上做了一场演讲。公开演讲从来都不是我的强项，而台下坐着 Snowflake CEO Sridhar 和 Tabular CEO Ryan 更是让人倍感压力。 那天是我创立 Mooncake Labs 的第 18 天，我在演讲中探讨了面向 Apache Iceberg 的通用索引框架（演讲幻灯片见这里）。以下是我从这次聚会中收获的几点启发： 1. 伟大的产品是其社区的映射 过去十年里，我一直在构建一款商业闭源数据库。每当收 …
-
我们学到的几条铁律
这篇文章的标题其实应该叫《我们用惨痛代价学到的几条铁律》。 在开启这段全新旅程之际，我们花了一些时间思考当今数据领域的底层公理——这些规律无论我们还是任何人都无法回避。 1. 只要 Postgres 能做的事，最终都会由 Postgres 来做 这一幕我们已经见过太多次了——最早是 JSON，接着是地理空间数据（PostGIS），而现在则是向量检索（pgvector）。 过去，性能曾经是决胜的主战场。在之前的职业生涯里，我们打过无数场性能战役，而且赢下了绝大部分。但不知为何，我们赢了战役，却没能 …
这篇文章的标题其实应该叫《我们用惨痛代价学到的几条铁律》。 在开启这段全新旅程之际，我们花了一些时间思考当今数据领域的底层公理——这些规律无论我们还是任何人都无法回避。 1. 只要 Postgres 能做的事，最终都会由 Postgres 来做 这一幕我们已经见过太多次了——最早是 JSON，接着是地理空间数据（PostGIS），而现在则是向量检索（pgvector）。 过去，性能曾经是决胜的主战场。在之前的职业生涯里，我们打过无数场性能战役，而且赢下了绝大部分。但不知为何，我们赢了战役，却没能 …