标签:技术选型

配置文件格式选择指南:JSON、YAML、TOML、INI、ENV、XML 各自的代价与适用场景

78 阅读 0 4928 字 · 约 17 分钟

有个事在软件开发里反复发生:你花在纠结配置文件格式上的时间,比你花在写配置本身上的时间还多。 这不是你的问题。配置文件在任何一个项目里都长成痛点:一开始随手扔个 .env 就够,后来要分环境、要嵌套、要注释、要校验——每个需求冒出来时,先前的格式就有一项撑不住。于是你开始看别的格式,发现每种都有一帮

从内存到消息队列:数据交换的进化链

50 阅读 0 3277 字 · 约 11 分钟

一个系统刚开始的时候,所有数据都在一个进程里。函数调函数,变量传变量——快,简单,不会出错。这时候你不需要什么 REST,不需要什么消息队列,甚至不需要文件。 后来系统长大了。数据量撑破内存,业务逻辑要拆成多个进程,甚至要拆到不同的机器上。这时候你才意识到:数据要跨边界了。跨边界的代价,比你以为的大

实时数据湖技术选型:Hudi、Iceberg、Delta Lake、Paimon 怎么选

71 阅读 0 2370 字 · 约 8 分钟

实时数据湖技术选型:Hudi、Iceberg、Delta Lake、Paimon 怎么选 为什么需要数据湖格式? 传统数仓的痛点很明显:数据先入 Kafka 或 MySQL,再通过离线 ETL 写入 HDFS/Hive。这个链路里,更新和删除是老大难问题——Hive 不支持行级 UPDATE,只能全