其实是并行和分布式（distribute） 概念 互斥锁和自选锁：Mutex vs Spinlock 悲观锁和乐观锁： Optimistic Lock vs Pessimistic Lock 信号量：Semaphore 条件变量：Condition Variable 事务：Transaction 两阶段锁：2PL 隐藏延迟：Shadow Latency 尾延迟：Tail Latency 分布式通信库 NCCL GLOO 大模型并行 SP TP