标签：Parquet

排序：更新时间发布时间阅读数点赞数

数据引擎：从 Tushare 到 parquet

发布于 2026-09-16 更新于 2026-09-17 72 阅读 0 1879 字 · 约 7 分钟

把行情从 Tushare 搬成本地 parquet 的三个决策：按交易日拉控制调用成本（六倍差价）、写盘前校验挡住静默错误（分级：抛错/夹回/阈值）、增量合并让数据越积越安全（三态合并 + 哈希分桶躲开 OOM）。

#量化 #Parquet #数据拉取

【Hudi】数据怎么存 — Parquet + Avro + 两种表类型

发布于 2026-08-14 更新于 2026-08-17 112 阅读 0 1143 字 · 约 4 分钟

Hudi 没有发明新存储格式，它站在 Parquet 和 Avro 之上。这不是"技术选型"，而是刻意为之。为什么用两种格式 Parquet 是列式文件，读的时候只扫需要的列，跳过滤掉的不读。一张 100 列的表查 3 个字段，Parquet 只读 3% 的数据。 Avro 是行式文件，一行一行写

#大数据 #Hudi #数据湖 #Parquet #Avro #COW #MOR #存储