lakehouse
8 篇-
Mooncake 正式加入 Databricks！
十三个月前，我们创立了 Mooncake，旨在将支撑 OpenAI 等科技巨头的数据智能技术栈带给每一个现代应用与每一位开发者——从第一行 Prompt 直到公司上市（IPO）。 今天，我们正式加入 Databricks。 我们的使命一如既往：让 Lakebase（Postgres）与数据湖仓（Lakehouse）融为一体。 在过去整整十年里，我们曾以为数据库的终极形态是一个能包揽一切的单体系统——同时兼顾高频更新、分布式事务与极速分析。在数据库行业里，这被称为 HTAP。但它始终未能真正普及 …
十三个月前，我们创立了 Mooncake，旨在将支撑 OpenAI 等科技巨头的数据智能技术栈带给每一个现代应用与每一位开发者——从第一行 Prompt 直到公司上市（IPO）。 今天，我们正式加入 Databricks。 我们的使命一如既往：让 Lakebase（Postgres）与数据湖仓（Lakehouse）融为一体。 在过去整整十年里，我们曾以为数据库的终极形态是一个能包揽一切的单体系统——同时兼顾高频更新、分布式事务与极速分析。在数据库行业里，这被称为 HTAP。但它始终未能真正普及 …
-
不，单靠 Iceberg 拯救不了你的数据栈
人生总是充满了“理想与现实的落差”。今天我们就来聊聊数据社区的新宠——Apache Iceberg 的理想与现实。 理想：Iceberg 能解决我所有的数据痛点 平心而论，Iceberg 的核心设计理念非常漂亮： 将所有数据以 Parquet 等开放文件格式存放在对象存储中； 让任何计算引擎（DuckDB、ClickHouse、Spark、Snowflake 等）把这些文件当作一张真正的数据库表，直接用 SQL 查询； [持续演进中] 无需将数据导入特定系统的私有格式，就能直接获得优异的查询性能 …
人生总是充满了“理想与现实的落差”。今天我们就来聊聊数据社区的新宠——Apache Iceberg 的理想与现实。 理想：Iceberg 能解决我所有的数据痛点 平心而论，Iceberg 的核心设计理念非常漂亮： 将所有数据以 Parquet 等开放文件格式存放在对象存储中； 让任何计算引擎（DuckDB、ClickHouse、Spark、Snowflake 等）把这些文件当作一张真正的数据库表，直接用 SQL 查询； [持续演进中] 无需将数据导入特定系统的私有格式，就能直接获得优异的查询性能 …
-
可是，我的 Postgres（+ 数据湖仓）是免费的呀
友情提示： 你的 Postgres 和数据湖仓（Lakehouse）同样是自由且开源的——你完全不需要成为（或者像巨头一样挥霍数亿美金）才能拥有它们。 为什么是 Postgres + Lakehouse？ 原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈 AI 智能体需要记忆——既需要即时响应的工作记忆（Working Memory），也需要海量的长期知识（Long-Term Knowledge）。 工作记忆必须像应用状态一样瞬时可达、可靠且精确。存放它的最佳位置是哪里 …
友情提示： 你的 Postgres 和数据湖仓（Lakehouse）同样是自由且开源的——你完全不需要成为（或者像巨头一样挥霍数亿美金）才能拥有它们。 为什么是 Postgres + Lakehouse？ 原因一：如果你相信 AI，这就是智能体（Agent）的标准技术栈 AI 智能体需要记忆——既需要即时响应的工作记忆（Working Memory），也需要海量的长期知识（Long-Term Knowledge）。 工作记忆必须像应用状态一样瞬时可达、可靠且精确。存放它的最佳位置是哪里 …
-
HTAP 已死，精神长存
本文的灵感源自 Jordan Tigani 的经典博文《Big Data is Dead（大数据已死）》。事实上，Jordan 和我曾一起在 SingleStore 共事，联手打造过一套 HTAP 数据库。 黄金年代（1980 年代） 回到 80 年代，一套关系型数据库包揽了一切：白天跑在线事务（OLTP），下班后跑分析报表（OLAP）。像 Oracle V2 和 IBM DB2 这样的系统在同一台机器上同时承载 OLTP 和 OLAP——主要是因为当时的数据集还能装进几块磁盘里，而且计算硬件极 …
本文的灵感源自 Jordan Tigani 的经典博文《Big Data is Dead（大数据已死）》。事实上，Jordan 和我曾一起在 SingleStore 共事，联手打造过一套 HTAP 数据库。 黄金年代（1980 年代） 回到 80 年代，一套关系型数据库包揽了一切：白天跑在线事务（OLTP），下班后跑分析报表（OLAP）。像 Oracle V2 和 IBM DB2 这样的系统在同一台机器上同时承载 OLTP 和 OLAP——主要是因为当时的数据集还能装进几块磁盘里，而且计算硬件极 …
-
S3 Tables 究竟是个啥？
亚马逊在去年的 re:Invent 大会上发布了 S3 Table Buckets（S3 表存储桶）。一个既是 S3 存储桶、同时又是一张数据库表的东西？这到底是什么意思？ 太长不看版（TL;DR）： S3 Tables 让 Apache Iceberg 表可以脱离外部 Catalog（目录服务）独立存在。下面听我详细拆解。 Iceberg vs Delta Lake 等等，Iceberg 和 Delta Lake 不都是开放表格式吗？为什么要比较它们的底层元数据实现方式？ 原因在于，由于元数据 …
亚马逊在去年的 re:Invent 大会上发布了 S3 Table Buckets（S3 表存储桶）。一个既是 S3 存储桶、同时又是一张数据库表的东西？这到底是什么意思？ 太长不看版（TL;DR）： S3 Tables 让 Apache Iceberg 表可以脱离外部 Catalog（目录服务）独立存在。下面听我详细拆解。 Iceberg vs Delta Lake 等等，Iceberg 和 Delta Lake 不都是开放表格式吗？为什么要比较它们的底层元数据实现方式？ 原因在于，由于元数据 …
-
pg_mooncake + Neon：PostgreSQL 中的 Serverless 实时分析
pg_mooncake 在两个月前发布了 Beta 版，为 PostgreSQL 带来了列式存储与向量化查询执行引擎。 在过去两个月与早期用户的打磨过程中，我们突然意识到：我们无意间打造出了最优秀的 Serverless 分析数据库。故事是这样的： 1. pg_mooncake 🤝 Neon 存储引擎 Neon 在其底层存储引擎上做出了重大创新（推荐阅读 Nikita 关于这一架构的技术长帖）。正是依靠这套存储引擎，Neon 实现了真正的存算分离，进而带来了数据库分支（Branching）、缩容 …
pg_mooncake 在两个月前发布了 Beta 版，为 PostgreSQL 带来了列式存储与向量化查询执行引擎。 在过去两个月与早期用户的打磨过程中，我们突然意识到：我们无意间打造出了最优秀的 Serverless 分析数据库。故事是这样的： 1. pg_mooncake 🤝 Neon 存储引擎 Neon 在其底层存储引擎上做出了重大创新（推荐阅读 Nikita 关于这一架构的技术长帖）。正是依靠这套存储引擎，Neon 实现了真正的存算分离，进而带来了数据库分支（Branching）、缩容 …
-
Mooncake：下一代搜索与分析系统
我们是 Zhou、Cheng 和 Pranav。过去十年里，我们一直在 MemSQL（现名 SingleStore）研发数据库内核。 我们热爱复杂系统、硬核工程技术，当然还有——物理学 🙂 数据系统就像物理学一样，建立在若干基本公理之上。这些原则必须自洽且持久。 仅仅打造一个“技术指标上更好”的系统是徒劳的。一个数据系统的成败取决于它所秉持的架构原则，而在中途改变基因几乎是不可能的：闭源商业公司不可能摇身一变成为真正受社区拥戴的开源项目；绑定了私有存储格式的数据库也不可能轻易放弃自己的存储引擎、 …
我们是 Zhou、Cheng 和 Pranav。过去十年里，我们一直在 MemSQL（现名 SingleStore）研发数据库内核。 我们热爱复杂系统、硬核工程技术，当然还有——物理学 🙂 数据系统就像物理学一样，建立在若干基本公理之上。这些原则必须自洽且持久。 仅仅打造一个“技术指标上更好”的系统是徒劳的。一个数据系统的成败取决于它所秉持的架构原则，而在中途改变基因几乎是不可能的：闭源商业公司不可能摇身一变成为真正受社区拥戴的开源项目；绑定了私有存储格式的数据库也不可能轻易放弃自己的存储引擎、 …
-
Iceberg Meetup 参会随想
上个月，我在 Snowflake 总部举办的 Iceberg Meetup 上做了一场演讲。公开演讲从来都不是我的强项，而台下坐着 Snowflake CEO Sridhar 和 Tabular CEO Ryan 更是让人倍感压力。 那天是我创立 Mooncake Labs 的第 18 天，我在演讲中探讨了面向 Apache Iceberg 的通用索引框架（演讲幻灯片见这里）。以下是我从这次聚会中收获的几点启发： 1. 伟大的产品是其社区的映射 过去十年里，我一直在构建一款商业闭源数据库。每当收 …
上个月，我在 Snowflake 总部举办的 Iceberg Meetup 上做了一场演讲。公开演讲从来都不是我的强项，而台下坐着 Snowflake CEO Sridhar 和 Tabular CEO Ryan 更是让人倍感压力。 那天是我创立 Mooncake Labs 的第 18 天，我在演讲中探讨了面向 Apache Iceberg 的通用索引框架（演讲幻灯片见这里）。以下是我从这次聚会中收获的几点启发： 1. 伟大的产品是其社区的映射 过去十年里，我一直在构建一款商业闭源数据库。每当收 …