musings
4 篇-
不，单靠 Iceberg 拯救不了你的数据栈
人生总是充满了“理想与现实的落差”。今天我们就来聊聊数据社区的新宠——Apache Iceberg 的理想与现实。 理想：Iceberg 能解决我所有的数据痛点 平心而论，Iceberg 的核心设计理念非常漂亮： 将所有数据以 Parquet 等开放文件格式存放在对象存储中； 让任何计算引擎（DuckDB、ClickHouse、Spark、Snowflake 等）把这些文件当作一张真正的数据库表，直接用 SQL 查询； [持续演进中] 无需将数据导入特定系统的私有格式，就能直接获得优异的查询性能 …
人生总是充满了“理想与现实的落差”。今天我们就来聊聊数据社区的新宠——Apache Iceberg 的理想与现实。 理想：Iceberg 能解决我所有的数据痛点 平心而论，Iceberg 的核心设计理念非常漂亮： 将所有数据以 Parquet 等开放文件格式存放在对象存储中； 让任何计算引擎（DuckDB、ClickHouse、Spark、Snowflake 等）把这些文件当作一张真正的数据库表，直接用 SQL 查询； [持续演进中] 无需将数据导入特定系统的私有格式，就能直接获得优异的查询性能 …
-
HTAP 已死，精神长存
本文的灵感源自 Jordan Tigani 的经典博文《Big Data is Dead（大数据已死）》。事实上，Jordan 和我曾一起在 SingleStore 共事，联手打造过一套 HTAP 数据库。 黄金年代（1980 年代） 回到 80 年代，一套关系型数据库包揽了一切：白天跑在线事务（OLTP），下班后跑分析报表（OLAP）。像 Oracle V2 和 IBM DB2 这样的系统在同一台机器上同时承载 OLTP 和 OLAP——主要是因为当时的数据集还能装进几块磁盘里，而且计算硬件极 …
本文的灵感源自 Jordan Tigani 的经典博文《Big Data is Dead（大数据已死）》。事实上，Jordan 和我曾一起在 SingleStore 共事，联手打造过一套 HTAP 数据库。 黄金年代（1980 年代） 回到 80 年代，一套关系型数据库包揽了一切：白天跑在线事务（OLTP），下班后跑分析报表（OLAP）。像 Oracle V2 和 IBM DB2 这样的系统在同一台机器上同时承载 OLTP 和 OLAP——主要是因为当时的数据集还能装进几块磁盘里，而且计算硬件极 …
-
“在 Postgres 中做分析”究竟意味着什么？
当今数据库领域很少有方向比“扩展 Postgres 以支持分析查询”更炙手可热了。这其实也算不上什么全新的课题——在过去十年间，业界已经有过许多次尝试： 以下是我与大量客户交流后的核心总结——“Postgres 分析”对用户而言究竟意味着什么？以及为什么尽管我们在 pg_mooncake 第一阶段取得了一定成果，这个领域的终极难题在很长时间里依然悬而未决？ Level 0：直接在现有 Postgres 堆表上跑分析查询 只要配合合理的索引、统计信息、查询调优与物化视图，原生 Postgres 能 …
当今数据库领域很少有方向比“扩展 Postgres 以支持分析查询”更炙手可热了。这其实也算不上什么全新的课题——在过去十年间，业界已经有过许多次尝试： 以下是我与大量客户交流后的核心总结——“Postgres 分析”对用户而言究竟意味着什么？以及为什么尽管我们在 pg_mooncake 第一阶段取得了一定成果，这个领域的终极难题在很长时间里依然悬而未决？ Level 0：直接在现有 Postgres 堆表上跑分析查询 只要配合合理的索引、统计信息、查询调优与物化视图，原生 Postgres 能 …
-
我们学到的几条铁律
这篇文章的标题其实应该叫《我们用惨痛代价学到的几条铁律》。 在开启这段全新旅程之际，我们花了一些时间思考当今数据领域的底层公理——这些规律无论我们还是任何人都无法回避。 1. 只要 Postgres 能做的事，最终都会由 Postgres 来做 这一幕我们已经见过太多次了——最早是 JSON，接着是地理空间数据（PostGIS），而现在则是向量检索（pgvector）。 过去，性能曾经是决胜的主战场。在之前的职业生涯里，我们打过无数场性能战役，而且赢下了绝大部分。但不知为何，我们赢了战役，却没能 …
这篇文章的标题其实应该叫《我们用惨痛代价学到的几条铁律》。 在开启这段全新旅程之际，我们花了一些时间思考当今数据领域的底层公理——这些规律无论我们还是任何人都无法回避。 1. 只要 Postgres 能做的事，最终都会由 Postgres 来做 这一幕我们已经见过太多次了——最早是 JSON，接着是地理空间数据（PostGIS），而现在则是向量检索（pgvector）。 过去，性能曾经是决胜的主战场。在之前的职业生涯里，我们打过无数场性能战役，而且赢下了绝大部分。但不知为何，我们赢了战役，却没能 …