数据引擎:从 Tushare 到 parquet
把行情从 Tushare 搬成本地 parquet 的三个决策:按交易日拉控制调用成本(六倍差价)、写盘前校验挡住静默错误(分级:抛错/夹回/阈值)、增量合并让数据越积越安全(三态合并 + 哈希分桶躲开 OOM)。
把行情从 Tushare 搬成本地 parquet 的三个决策:按交易日拉控制调用成本(六倍差价)、写盘前校验挡住静默错误(分级:抛错/夹回/阈值)、增量合并让数据越积越安全(三态合并 + 哈希分桶躲开 OOM)。
从 50 只 demo 到全市场生产,一个数据拉取功能长出了八套机制。回看演进链:规模 → 数据量 → 真实数据 → 失败 → 速度 → 成本 → 并发 → 接口限流 → 内存,每一层的解决都打开下一层。调用量靠估算暴露、内存靠崩溃、失败靠事故、并发靠推演、成本靠习惯、接口限流靠拒绝——demo 是单次的、小规模的、理想环境的,它把"功能正确"之外的所有维度都屏蔽了。