标签

装备 Spark 大数据 面试 羽毛球 技巧 投资 Agent AI 失业 创业 Java 效率 游泳 反思 职场 时间管理 VibeCoding 生活 rust 量化 股票 回测 人性 认知 徒步 礼仪 健身 社会 科技 求职 教学 露营 运动 方法论 安全 健康 Linux 进程通信 并发 心态 精力管理 防骗 写作 思考 Hudi 数据湖 Iceberg Delta Lake Paimon 技术选型 Flink 实时数据 实战 Parquet Avro COW MOR 存储 File Group Index Bloom Filter 索引 Timeline 元数据 事务 并发控制 乐观锁 LockProvider 入门 概述 个人博客 杂思 学习路径 LLM RAG 分组 策略 FFI Python 编译原理 系统编程 跨语言调用 libffi C ABI PyO3 JNI Panama 内存管理 C GC 数据中台 工程思维 三十六计 量化投资 缓存 架构设计 架构 业务驱动 技术价值 信任 端到端对账 简单优先 MVP 复杂度 过度设计 案例 跑得稳 容错 可观测 灰度 成本意识 稳定性 跑得快 性能优化 二八法则 profiling 基础设施 数据 产品 技术史 模块化 数据拉取 科普 风险 收益 subagent 微服务 架构思维 校验 CRC 计算机科学 加密 AES RSA 密码学 定时任务 cron Airflow Kubernetes XXL-JOB 选型 后端 日志 DEBUG INFO WARN ERROR 分布式系统 分布式理论 复制 分区 路由 逻辑时钟 向量时钟 时间 一致性 CAP 共识 Paxos Raft ZAB 分布式事务 2PC Saga TCC 分布式锁 领导者选举 仓位管理 分布式 文件系统 TOCTOU 限流 重试 压缩算法 认证 鉴权 JWT OAuth RBAC 选择指南 技术债 波动率 标准差 思维 策略容量 冲击成本 消息队列 异步 因果 流处理 Arrow 开源项目 负载均衡 过拟合 幂等性 服务发现

全部文章

一个简单操作是怎么在分布式环境下变复杂的

49 阅读 0 2151 字 · 约 8 分钟

最近碰到一个问题,事后想想,很适合拿来讲分布式系统里一个很普遍的现象:一个在单节点上简单到不用过脑子的事,放到多节点环境下,复杂度会一层一层地叠上去,每加一层,就多一类你绕不开的问题。 单节点:两个 if 的事 需求是这样的:用户请求来了,需要从 S3 拉一份代码到本地,解压,然后执行。 为了避免同

复制:主从、多主、无主

53 阅读 0 1427 字 · 约 5 分钟

每台机器只有「部分的真相」。复制是把同一份数据放到多台机器上,让系统在单机挂掉时还能继续服务。 为什么需要复制 单机有物理上限。数据量可能超过单机磁盘,请求量可能超过单机 CPU,还有机器故障、机房断电这些不可抗力。复制把数据拷贝到多台机器,用冗余换可用性。这是分布式系统最原始的动力——如果一台机器