scripod.com
179: 蒸馏风暴：一场无人公开谈论的技术竞赛

Overview

Shownote

Highlights

Transcript

Chapters

Pins

179: 蒸馏风暴：一场无人公开谈论的技术竞赛

晚点聊 LateTalk

Aug 16
晚点聊 LateTalk

晚点聊 LateTalk

Aug 16
OverviewShownoteHighlightsTranscriptChaptersPins

Shownote

「关于蒸馏：误解、门槛与代价」 这期播客，又是一次 “编辑部” 节目：我和《晚点 LatePost》的主笔高洪浩一起来聊蒸馏。 这是一个所有人都在关注、却很少有人愿意公开谈论的话题，所以也很难邀请外部嘉宾。本期中，我们对蒸馏的讨论，来自过去一段时间，我们和数位来自不同中国 AI lab 的从业者的讨论以及一些公开资料。 相关文章蒸馏风暴：AI 公司不愿公开谈论的技术竞赛已在上周发布。 播客里，编辑了《晚点独家丨字节讨论训超 5 万亿参数模型，张一鸣：不蒸馏、别被 Coding 这种短期热点影响》的洪浩，...

Highlights

本期从模型训练实践出发，梳理了一种正在重塑人工智能竞争格局的技术路径，并讨论其能力边界、实现成本与潜在影响。
00:05
蒸馏不是抄答案，而是学习行为
03:49
蒸馏不是抄答案，而是系统性训练
06:15
蒸馏的核心是让学生模型接近教师行为
06:41
不构成蒸馏，也可能违反协议
08:05
推理过程成为高质量蒸馏数据
11:53
蒸馏正在从压缩能力走向增强能力
13:51
蒸馏能复制能力，却难以真正超越
17:50
低成本可能换来长期创新的停滞
26:53
判断蒸馏要看行为分布，而非模型自称
30:49
数据配比决定蒸馏工程的质量
34:08
蒸馏越大规模，暴露与合规风险越高
34:58
模型领先优势往往只能维持数月
37:30
蒸馏加速追赶，超越仍靠创新
42:13
蒸馏的边界最终由法律与成本共同塑造
45:56
智能过剩可能比蒸馏更具挑战

Chapters

蒸馏如何塑造模型行为
00:00
蒸馏不是 “抄答案”，蒸馏为何在 2026 年出圈
典型蒸馏：让学生模型逼近教师的输出行为
02:04
智能体轨迹蒸馏：可被 “蒸” 的数据越来越丰富
04:26
不是所有使用强模型输出的训练都是蒸馏，但都违反用户协议
06:41
蒸馏规模扩大的两个关键节点
08:05
从为了压缩，到为了变强
10:17
字节为什么不蒸馏？
张一鸣的判断：最多只能逼近，很难真正超越
13:51
一个运动员可以既嗑兴奋剂，也勤加训练吗？
17:44
其它公司的蒸馏讨论
24:41
蒸馏难在哪，如何实现？
账号、真实问题与数据管线：大规模蒸馏的 know-how
28:52
蒸馏行为可以被隐藏吗？
32:08
学生模型超越教师模型的可能性
34:56
一直逼近而不超越，问题是什么？
37:29
学生能否超过教师：技术、规则与更大的商业问题
蒸馏的红线与 “双标” 争议
38:35
更便宜的智能，如何改变前沿模型商业逻辑
44:05

Transcript

高洪浩: 那我可以理解为，它就是一个抄答案的过程。 程曼祺: 它肯定不是我们，原初意义理解的那种抄答案。就是你能直接有个答案，就抄过来。因为它还是一个训练的过程，包括这个过程中间，你也要防止自己被坑嘛。 高洪浩: 对我知道有某一家模型，就是用中转站，结果发现他其实蒸馏出来的是自己的，就自己在蒸馏自己。 程曼祺: 所以综合来说，就把技术和组织都考虑进来的话。那张一鸣说有可能很难超越，也许是一个真实的情况。张一鸣可能不是最懂技术的，但他大概率是最懂人性的。 高洪浩: 大家好欢迎收听晚点聊，我是洪浩，那今天又是我...