postgresql
10 篇-
Mooncake 正式加入 Databricks！
十三个月前，我们创立了 Mooncake，旨在将支撑 OpenAI 等科技巨头的数据智能技术栈带给每一个现代应用与每一位开发者——从第一行 Prompt 直到公司上市（IPO）。 今天，我们正式加入 Databricks。 我们的使命一如既往：让 Lakebase（Postgres）与数据湖仓（Lakehouse）融为一体。 在过去整整十年里，我们曾以为数据库的终极形态是一个能包揽一切的单体系统——同时兼顾高频更新、分布式事务与极速分析。在数据库行业里，这被称为 HTAP。但它始终未能真正普及 …
十三个月前，我们创立了 Mooncake，旨在将支撑 OpenAI 等科技巨头的数据智能技术栈带给每一个现代应用与每一位开发者——从第一行 Prompt 直到公司上市（IPO）。 今天，我们正式加入 Databricks。 我们的使命一如既往：让 Lakebase（Postgres）与数据湖仓（Lakehouse）融为一体。 在过去整整十年里，我们曾以为数据库的终极形态是一个能包揽一切的单体系统——同时兼顾高频更新、分布式事务与极速分析。在数据库行业里，这被称为 HTAP。但它始终未能真正普及 …
-
可是，我的 Postgres（+ 数据湖仓）是免费的呀
友情提示： 你的 Postgres 和数据湖仓（Lakehouse）同样是自由且开源的——你完全不需要成为（或者像巨头一样挥霍数亿美金）才能拥有它们。 为什么是 Postgres + Lakehouse？ 原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈 AI 智能体需要记忆——既需要即时响应的工作记忆（Working Memory），也需要海量的长期知识（Long-Term Knowledge）。 工作记忆必须像应用状态一样瞬时可达、可靠且精确。存放它的最佳位置是哪里 …
友情提示： 你的 Postgres 和数据湖仓（Lakehouse）同样是自由且开源的——你完全不需要成为（或者像巨头一样挥霍数亿美金）才能拥有它们。 为什么是 Postgres + Lakehouse？ 原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈 AI 智能体需要记忆——既需要即时响应的工作记忆（Working Memory），也需要海量的长期知识（Long-Term Knowledge）。 工作记忆必须像应用状态一样瞬时可达、可靠且精确。存放它的最佳位置是哪里 …
-
HTAP 已死，精神长存
本文的灵感源自 Jordan Tigani 的经典博文《Big Data is Dead（大数据已死）》。事实上，Jordan 和我曾一起在 SingleStore 共事，联手打造过一套 HTAP 数据库。 黄金年代（1980 年代） 回到 80 年代，一套关系型数据库包揽了一切：白天跑在线事务（OLTP），下班后跑分析报表（OLAP）。像 Oracle V2 和 IBM DB2 这样的系统在同一台机器上同时承载 OLTP 和 OLAP——主要是因为当时的数据集还能装进几块磁盘里，而且计算硬件极 …
本文的灵感源自 Jordan Tigani 的经典博文《Big Data is Dead（大数据已死）》。事实上，Jordan 和我曾一起在 SingleStore 共事，联手打造过一套 HTAP 数据库。 黄金年代（1980 年代） 回到 80 年代，一套关系型数据库包揽了一切：白天跑在线事务（OLTP），下班后跑分析报表（OLAP）。像 Oracle V2 和 IBM DB2 这样的系统在同一台机器上同时承载 OLTP 和 OLAP——主要是因为当时的数据集还能装进几块磁盘里，而且计算硬件极 …
-
“在 Postgres 中做分析”究竟意味着什么？
当今数据库领域很少有方向比“扩展 Postgres 以支持分析查询”更炙手可热了。这其实也算不上什么全新的课题——在过去十年间，业界已经有过许多次尝试： 以下是我与大量客户交流后的核心总结——“Postgres 分析”对用户而言究竟意味着什么？以及为什么尽管我们在 pg_mooncake 第一阶段取得了一定成果，这个领域的终极难题在很长时间里依然悬而未决？ Level 0：直接在现有 Postgres 堆表上跑分析查询 只要配合合理的索引、统计信息、查询调优与物化视图，原生 Postgres 能 …
当今数据库领域很少有方向比“扩展 Postgres 以支持分析查询”更炙手可热了。这其实也算不上什么全新的课题——在过去十年间，业界已经有过许多次尝试： 以下是我与大量客户交流后的核心总结——“Postgres 分析”对用户而言究竟意味着什么？以及为什么尽管我们在 pg_mooncake 第一阶段取得了一定成果，这个领域的终极难题在很长时间里依然悬而未决？ Level 0：直接在现有 Postgres 堆表上跑分析查询 只要配合合理的索引、统计信息、查询调优与物化视图，原生 Postgres 能 …
-
ClickBench 基准测试证明：Postgres 是一流的分析型数据库
太长不看版（TL;DR）： 经过几个月的深度优化，我们让 PostgreSQL 成功闯入了 ClickBench 全球前十——这个榜单长期以来一直被各种专门构建的 OLAP 分析数据库所统治。 更重要的是，所有计算均在 Postgres 进程内完成，所有表均由 PostgreSQL 直接管理——它绝不是一个简单的外部代理包装器。这就是 pg_mooncake 的故事。 什么是 ClickBench？ ClickBench 是实时分析型数据库领域最权威的基准测试，最初由 ClickHouse 团队 …
太长不看版（TL;DR）： 经过几个月的深度优化，我们让 PostgreSQL 成功闯入了 ClickBench 全球前十——这个榜单长期以来一直被各种专门构建的 OLAP 分析数据库所统治。 更重要的是，所有计算均在 Postgres 进程内完成，所有表均由 PostgreSQL 直接管理——它绝不是一个简单的外部代理包装器。这就是 pg_mooncake 的故事。 什么是 ClickBench？ ClickBench 是实时分析型数据库领域最权威的基准测试，最初由 ClickHouse 团队 …
-
pg_mooncake 🤝 Drizzle：用强类型 ORM 驱动分析查询
在 pg_mooncake 发布之初，有一件事出乎我们的意料：开发者们非常关心能否在分析型负载中继续使用熟悉的 ORM。我们经常收到两类典型需求： “我手头有一堆 Parquet 文件，我希望能在它们之上获得完整的 ORM 类型支持。” “我在事务数据库里用了 Drizzle / Prisma，我也希望能直接用它来写分析报表和仪表盘查询。” 我们始终坚信，Postgres 中的列式存储在外观和使用体验上必须像一张普通堆表。这正是 pg_mooncake 列存表的核心创新所在：你可以对它执行事务、 …
在 pg_mooncake 发布之初，有一件事出乎我们的意料：开发者们非常关心能否在分析型负载中继续使用熟悉的 ORM。我们经常收到两类典型需求： “我手头有一堆 Parquet 文件，我希望能在它们之上获得完整的 ORM 类型支持。” “我在事务数据库里用了 Drizzle / Prisma，我也希望能直接用它来写分析报表和仪表盘查询。” 我们始终坚信，Postgres 中的列式存储在外观和使用体验上必须像一张普通堆表。这正是 pg_mooncake 列存表的核心创新所在：你可以对它执行事务、 …
-
pg_mooncake + Neon：PostgreSQL 中的 Serverless 实时分析
pg_mooncake 在两个月前发布了 Beta 版，为 PostgreSQL 带来了列式存储与向量化查询执行引擎。 在过去两个月与早期用户的打磨过程中，我们突然意识到：我们无意间打造出了最优秀的 Serverless 分析数据库。故事是这样的： 1. pg_mooncake 🤝 Neon 存储引擎 Neon 在其底层存储引擎上做出了重大创新（推荐阅读 Nikita 关于这一架构的技术长帖）。正是依靠这套存储引擎，Neon 实现了真正的存算分离，进而带来了数据库分支（Branching）、缩容 …
pg_mooncake 在两个月前发布了 Beta 版，为 PostgreSQL 带来了列式存储与向量化查询执行引擎。 在过去两个月与早期用户的打磨过程中，我们突然意识到：我们无意间打造出了最优秀的 Serverless 分析数据库。故事是这样的： 1. pg_mooncake 🤝 Neon 存储引擎 Neon 在其底层存储引擎上做出了重大创新（推荐阅读 Nikita 关于这一架构的技术长帖）。正是依靠这套存储引擎，Neon 实现了真正的存算分离，进而带来了数据库分支（Branching）、缩容 …
-
pg_mooncake：基于列存表与 DuckDB 的 Postgres 极速分析引擎
pg_mooncake 将列存表（Columnstore Tables）与 DuckDB 向量化执行引擎引入 PostgreSQL，以实现极速分析查询。 它像普通 Postgres 表一样支持事务性的 INSERT、UPDATE 和 DELETE。底层数据以 Parquet 文件配合 Delta Lake（以及 v0.2+ 中的 Apache Iceberg）表元数据写入，因此也可以在 Postgres 外部直接查询。 为什么还需要另一个 Postgres 分析扩展？ PostgreSQL 是当 …
pg_mooncake 将列存表（Columnstore Tables）与 DuckDB 向量化执行引擎引入 PostgreSQL，以实现极速分析查询。 它像普通 Postgres 表一样支持事务性的 INSERT、UPDATE 和 DELETE。底层数据以 Parquet 文件配合 Delta Lake（以及 v0.2+ 中的 Apache Iceberg）表元数据写入，因此也可以在 Postgres 外部直接查询。 为什么还需要另一个 Postgres 分析扩展？ PostgreSQL 是当 …
-
Mooncake：下一代搜索与分析系统
我们是 Zhou、Cheng 和 Pranav。过去十年里，我们一直在 MemSQL（现名 SingleStore）研发数据库内核。 我们热爱复杂系统、硬核工程技术，当然还有——物理学 🙂 数据系统就像物理学一样，建立在若干基本公理之上。这些原则必须自洽且持久。 仅仅打造一个“技术指标上更好”的系统是徒劳的。一个数据系统的成败取决于它所秉持的架构原则，而在中途改变基因几乎是不可能的：闭源商业公司不可能摇身一变成为真正受社区拥戴的开源项目；绑定了私有存储格式的数据库也不可能轻易放弃自己的存储引擎、 …
我们是 Zhou、Cheng 和 Pranav。过去十年里，我们一直在 MemSQL（现名 SingleStore）研发数据库内核。 我们热爱复杂系统、硬核工程技术，当然还有——物理学 🙂 数据系统就像物理学一样，建立在若干基本公理之上。这些原则必须自洽且持久。 仅仅打造一个“技术指标上更好”的系统是徒劳的。一个数据系统的成败取决于它所秉持的架构原则，而在中途改变基因几乎是不可能的：闭源商业公司不可能摇身一变成为真正受社区拥戴的开源项目；绑定了私有存储格式的数据库也不可能轻易放弃自己的存储引擎、 …
-
我们学到的几条铁律
这篇文章的标题其实应该叫《我们用惨痛代价学到的几条铁律》。 在开启这段全新旅程之际，我们花了一些时间思考当今数据领域的底层公理——这些规律无论我们还是任何人都无法回避。 1. 只要 Postgres 能做的事，最终都会由 Postgres 来做 这一幕我们已经见过太多次了——最早是 JSON，接着是地理空间数据（PostGIS），而现在则是向量检索（pgvector）。 过去，性能曾经是决胜的主战场。在之前的职业生涯里，我们打过无数场性能战役，而且赢下了绝大部分。但不知为何，我们赢了战役，却没能 …
这篇文章的标题其实应该叫《我们用惨痛代价学到的几条铁律》。 在开启这段全新旅程之际，我们花了一些时间思考当今数据领域的底层公理——这些规律无论我们还是任何人都无法回避。 1. 只要 Postgres 能做的事，最终都会由 Postgres 来做 这一幕我们已经见过太多次了——最早是 JSON，接着是地理空间数据（PostGIS），而现在则是向量检索（pgvector）。 过去，性能曾经是决胜的主战场。在之前的职业生涯里，我们打过无数场性能战役，而且赢下了绝大部分。但不知为何，我们赢了战役，却没能 …