节目首先回顾了大模型架构从传统 Transformer 向线性注意力等方向演进的过程：研究目标已不再只是提升效果，也要兼顾部署成本、推理效率与长上下文能力。混合注意力、层间缓存共享以及计算与存储解耦，都是缓解 KV Cache 和上下文计算压力的重要思路；Kimi Linear 则通过循环计算与后期全注意力结合，在降低成本的同时保持较强能力。随后，围绕 Kimi K3 的技术报告，内容梳理了其如何在扩大模型规模、支持超长上下文的同时，引入线性注意力、门控机制和混合架构，以平衡性能与稳定性。报告还强调，模型能力的提升依赖架构、训练流程、后训练、推理系统和分布式基础设施的协同优化。K3 的意义因此不仅在于参数规模，更在于将渐进式架构创新与工程实践、实验方法结合起来。