标签:数据拉取

数据引擎:从 Tushare 到 parquet

72 阅读 0 1879 字 · 约 7 分钟

把行情从 Tushare 搬成本地 parquet 的三个决策:按交易日拉控制调用成本(六倍差价)、写盘前校验挡住静默错误(分级:抛错/夹回/阈值)、增量合并让数据越积越安全(三态合并 + 哈希分桶躲开 OOM)。

为什么从 demo 到生产路还很长?一次数据拉取功能的复杂度演进复盘

129 阅读 0 3196 字 · 约 11 分钟

从 50 只 demo 到全市场生产,一个数据拉取功能长出了八套机制。回看演进链:规模 → 数据量 → 真实数据 → 失败 → 速度 → 成本 → 并发 → 接口限流 → 内存,每一层的解决都打开下一层。调用量靠估算暴露、内存靠崩溃、失败靠事故、并发靠推演、成本靠习惯、接口限流靠拒绝——demo 是单次的、小规模的、理想环境的,它把"功能正确"之外的所有维度都屏蔽了。