嘉宾 Reiner Pope 以 Roofline 模型为起点，揭示批次大小是影响推理延迟与成本的核心变量：单用户推理成本可达批处理的上千倍，而最优批次大小≈300× 稀疏度，这一常数跨硬件稳定。他提出 “火车模型”—— 每 20 毫秒固定发车一次，解释了流式输出的延迟下限与付费提速的本质。内存墙而非算力，才是上下文长度的真正枷锁：KV 缓存随长度线性增长，导致 Gemini 等模型在 20 万 token 后成本跃升 50%；通过公开 API 定价，可反推出每 token 约 2KB 的 KV 缓存大小、存储层级（HBM/DDR/硬盘）乃至架构分片方式。他还指出，流水线并行无法缓解 KV 内存瓶颈，而混合专家（MoE）部署受限于机架内 NVLink 带宽与机架间八倍降速的物理瓶颈。最后，他类比密码学与神经网络 —— 同为多层混合结构，目标却相反：一个制造雪崩式随机，一个学习结构化表征；可逆网络正是从密码学借来的 “用计算换内存” 的关键创新。