节目中详细分析了 DeepSeek 的《原生稀疏注意力》论文，其提出的动态稀疏注意力机制在预训练阶段展现出显著优势，能够有效平衡全局与局部信息，同时提升硬件利用率。接着讨论了 Kimi 的《MoBA》论文，该方法通过简化架构提升了模型的简约性，但也在选择数量和训练损失等方面面临挑战。最后解析了 MiniMax 的《闪电注意力》论文，其 Hybrid 架构结合线性与稀疏注意力，在长序列任务中表现出色。整体来看，这三家公司在技术路线上各有侧重：DeepSeek 追求硬件对齐与高效训练，Kimi 注重极简设计，而 MiniMax 则通过硬件优化实现非平方复杂度训练。此外，节目还展望了未来架构优化的方向，如位置编码改进和长卷积的重新兴起。