177: 详解 Kimi K3：强到冲击 Anthropic 估值的模型什么样？

晚点聊 LateTalk

3 DAYS AGO

Overview Shownote Highlights Transcript Chapters Pins

本期播客深入解析了 Kimi K3 模型的技术报告与发布影响，邀请 RadixArk 创始成员赵晨阳和华盛顿大学博士生曾致远，从推理与算法两条线拆解 K3 的架构创新、开源争议及其对 AI 行业的影响。节目探讨了 K3 在长程任务中的表现、混合注意力机制、MoE 方案、优化器改进等核心技术，并讨论了开源模型真正开放的内容与保留的部分。

K3 作为首个 3T 级开放权重模型，在长程 Agent 任务中表现惊艳，但响应速度较慢。其架构采用 KDA 线性注意力与 MLA 混合注意力，通过 NoPE 和 Attention Residuals 优化信息流动，实现百万上下文下的 6.3 倍解码加速。Quantile Balancing 解决了近千专家的负载均衡问题，Per-Head Muon 优化器提升了训练稳定性。后训练采用 MOPD 多教师在线蒸馏，降低协作复杂度。开源争议聚焦于权重开放但环境、验证和算力未开放，真正的护城河在于这些未开源部分。K3 的发布冲击了闭源模型估值，但开源与闭源仍存在代差。未来持续学习与评测仍是挑战，模型发展将呈现平台期与突破交替的模式。