69. 与田渊栋的访谈：大模型的真问题、变局、AI 洪水与 the path not taken
卫诗婕｜漫谈Light the Star
Apr 06
69. 与田渊栋的访谈：大模型的真问题、变局、AI 洪水与 the path not taken
69. 与田渊栋的访谈：大模型的真问题、变局、AI 洪水与 the path not taken
卫诗婕｜漫谈Light the Star
Apr 06
Unprocessed episode, you can be the first!
本期嘉宾是华人 AI 学者田渊栋。
这个名字在社交网络上被广泛讨论，始于四个月前，时任 Meta 研究总监的田渊栋，通过社交网络宣布，自己将被 Meta 裁员。华人顶尖 AI 科学家失业的新闻，瞬时传遍网络。
2026 年的第一天，田渊栋发布了一篇对于 2025 的年度总结，再次引发全网热议—— 这篇通俗但深刻的 AI 总结，令许多普通人也能从中获得对于 AI 焦虑的启发和助益。
但有关田渊栋的思考和经历，其实还有许多未尽的部分 ——他曾任职的 Meta FAIR 实验室，是由图灵奖得主、深度学习三巨头之一的 Yann LeCun，一手创建的，那里曾是一个倡导自由学术氛围的创新引擎，但如何被激进的大模型竞速赛所改变。未来，当 AI 需要进一步进展，需要行业有怎样的突破？
这期访谈中，我们聊到了许多有关当下大模型的真相与真问题。
除此之外，我还特别喜欢田老师对于学术品位的定义 —— 在查阅他的论文时，我发现他的一些研究命名有来自于文学作品和诗歌的出处。他本人，也是科幻小说的创作者。这反驳了人们对于学术研究的刻板印象。
从技术延伸，一位学者的世界观呼之欲出，让人能够感受到科技之美。
总之，这是一期很有力量的播客，非常推荐。不过，当天因为录制场地和录制时间都有限制，所以本期访谈的节奏依然很快。希望大家见谅～
（本期节目获微博开屏～欢迎前往微博等视频平台，观看完整版视频。）
本期嘉宾：
田渊栋（华人 AI 科学家、前 Meta 人工智能实验室研究总监、科幻小说作家）
本期 Shownotes：
一、关于田渊栋
Part 1. 03:44 摆脱裁员羞耻：顶尖科学家被裁，离职就是向更广阔的天地进发～
被裁始末：因绩效被裁可能只是大公司的话术，顶尖 AI 科学家也不例外
CS 软件工程师的需求，未来会越来越少
大公司可能是让能力与心气「脱钩」的笼子
顶尖 AI 科学家、前大厂高管搞科研：靠的是家里一台 4090 显卡
「每个人自己就是一个小闭环」
Part 2. 09:55 中美 AI 的共性：焦虑
AI 的下一个方向是什么？
2025 年 12 月 - 2026 年 1 月：一个月的时间发生巨大变化
Coding Agent 飞速发展背后，技术上的进展是什么？基模还在快速进展吗？
基模成长的速度到底有没有放缓？
Part 3. 14:43 谷歌教会我：系统大于个人
CMU 读博，这是一个正反馈的过程
代码注释后，应该加几个空格？—— 不无聊，很震撼
商业系统不靠微雕算法改进，而靠系统过滤问题
Debug sucks， Testing works.
二、大模型的真相
Part 4. 19:19 关于 LeCun
一个很强的研究者，拥有极强的信仰
那时深度学习领域十分萧索，Lecun 坐了多年冷板凳
创立 Meta Fair ，他不想做管理，是一个精神领袖
人类数据标注是非常辛苦的，最好的办法是让数据自己学习自己
Part 5. 22:20 Llama：从爆红到落后
Llama 最初只是 FAIR 的一个尝试，最终成功了
FAIR 是一个自下而上的组织
「FAIR 擅长营造自由氛围，是吗？」「当时的 FAIR 是这样」
大模型榨干了所有资源：一个方向爆火，扼杀了行业的多元创新
Lecun 与 Alexander Wang：「You don' t tell researcher what to do , you certainly don' t tell researcher like me what to do.（不要命令研究员该如何做，尤其不要命令我这样的研究员该如何做）」
模型如何能真的学懂东西？可以有更好的办法来学习
Part 6. 29:49 年轻人 vs 老兵、「历史有轮回」、「坏消息是如何消失的」
一个浪潮不足以把我们送到 AGI
老兵见证过思维方式的变迁
Meta 全力追赶大模型的三年
竞争让 Llama 团队变得比较急，有很多压力
救火 Llama 4 带来的研究思路转变：不需要太多复杂调参，强化学习更重要的是稳定
从 Llama 3 到 Llama 4: 团队经历了几倍的扩充
层层汇报偏离本质，幻觉会在模型发布的那一天戳破
AI 变化越来越快，热点越来越多，技术人员才能透过本质有判断的能力
谷歌被誉为管理学奇迹
三、大模型的真问题
Part 7. 44:42 田渊栋的十年研究之路
从教 AI 下棋，到教 AI 思考，再到探索 AI 的大脑回路
逐渐形成一个长期的 Bet （押注）
Streaming LLM：让上下文窗口无限长，影响力深远
GaLore：训练时提升大模型的内存效率
如何让模型的 Scaling Law 更有效率？
隐空间推理：耗能更少，推理效果更好
和 ChatGPT5 合作：一个月完成了原本需要半年时间的论文
我们会迎来研究加速时代
Part 8. 54:04 如何提升大模型效率？
AI 应该像人一样，能遗忘，也能召回一段记忆
AI 为什么能学懂东西？本质靠数据本身的结构与关联性
符号表示 vs 神经表示：前者基于严格推理，后者更像是一种直觉
「 你可以说它（AI）是遗忘，但是它可能也从来没懂过」
过去都是人类定义的符号，以后会有 AI 定义的符号
Part 9. 01:06:59关于 Research taste：
「我很高兴这个名字被你挑出来」
the path not taken：科研品味是走你自己想走的路
这世界是非常复杂的，一个人必须要有信念，有能 bet on 的东西，这个 bet on 构成了人之价值所在
科研的目的和最后的影响力，其实不是一个东西，这个很有意思的
Part 10. 趋势预测：大模型的 next station
近 300 万亿的 TOKEN 被喂进大语言模型之后，怎么评估这场声势浩大的实验
我不认为 2026 的 AI 行业会回调
大模型领域的真问题：效率、持续学习、自进化、数据…
AI 时代的第谷与开普勒已经出现，但牛顿还没出现
Part 11. 01:18:55 AI 发展与人类处境：「遍地神灯，愿望才稀缺」
人类拼命灌水，等待 AI 的洪流有一天淹没自己？
人类社会的费米能级，就是「AI 洪水的水位线」
人 + AI > 人（or AI）本身
Research is product： 研究与产品的距离越来越近了
遍地神灯的时代，愿望会是最稀缺的
我写科幻小说：如果人类不再站在舞台中心，而成为旁观者呢？
加入听友群👇：
