69. 与田渊栋的访谈:大模型的真问题、变局、AI 洪水与 the path not taken
卫诗婕|漫谈Light the Star
Apr 06
69. 与田渊栋的访谈:大模型的真问题、变局、AI 洪水与 the path not taken
69. 与田渊栋的访谈:大模型的真问题、变局、AI 洪水与 the path not taken

卫诗婕|漫谈Light the Star
Apr 06
Unprocessed episode, you can be the first!
Shownote
Shownote
[https://image.xyzcdn.net/FjzudYkK1I0jlR8zgroIJavM5oyi.jpg]
本期嘉宾是华人 AI 学者田渊栋。
这个名字在社交网络上被广泛讨论,始于四个月前,时任 Meta 研究总监的田渊栋,通过社交网络宣布,自己将被 Meta 裁员。华人顶尖 AI
科学家失业的新闻,瞬时传遍网络。
2026 年的第一天,田渊栋发布了一篇对于 2025 的年度总结
[https://zhuanlan.zhihu.com/p/1990809161458540818?share_code = 1fssS0tuIeCb6 & utm_psn = 2024492352182427970],再次引发全网热议 —— 这篇通俗但深刻的
AI 总结,令许多普通人也能从中获得对于 AI 焦虑的启发和助益。
但有关田渊栋的思考和经历,其实还有许多未尽的部分 —— 他曾任职的 Meta FAIR 实验室,是由图灵奖得主、深度学习三巨头之一的 Yann
LeCun,一手创建的,那里曾是一个倡导自由学术氛围的创新引擎,但如何被激进的大模型竞速赛所改变。未来,当 AI 需要进一步进展,需要行业有怎样的突破?
这期访谈中,我们聊到了许多有关当下大模型的真相与真问题。
除此之外,我还特别喜欢田老师对于学术品位的定义 —— 在查阅他的论文时,我发现他的一些研究命名有来自于文学作品和诗歌的出处。他本人,也是科幻小说的创作者。这反驳了人们对于学术研究的刻板印象。
> 从技术延伸,一位学者的世界观呼之欲出,让人能够感受到科技之美。
总之,这是一期很有力量的播客,非常推荐。不过,当天因为录制场地和录制时间都有限制,所以本期访谈的节奏依然很快。希望大家见谅~
[https://image.xyzcdn.net/Ft84iG8IsPkBa6ZUCoQAuja9yz2Q.jpg]
(本期节目获微博开屏~欢迎前往微博等视频平台,观看完整版视频。)
本期嘉宾:
田渊栋(华人 AI 科学家、前 Meta 人工智能实验室研究总监、科幻小说作家)
本期 SHOWNOTES:
一、关于田渊栋
Part 1. 03:44 摆脱裁员羞耻:顶尖科学家被裁,离职就是向更广阔的天地进发~
> 被裁始末:因绩效被裁可能只是大公司的话术,顶尖 AI 科学家也不例外
> CS 软件工程师的需求,未来会越来越少
> 大公司可能是让能力与心气「脱钩」的笼子
> 顶尖 AI 科学家、前大厂高管搞科研:靠的是家里一台 4090 显卡
> 「每个人自己就是一个小闭环」
Part 2. 09:55 中美 AI 的共性:焦虑
> AI 的下一个方向是什么?
> 2025 年 12 月 - 2026 年 1 月:一个月的时间发生巨大变化
> Coding Agent 飞速发展背后,技术上的进展是什么?基模还在快速进展吗?
> 基模成长的速度到底有没有放缓?
Part 3. 14:43 谷歌教会我:系统大于个人
> CMU 读博,这是一个正反馈的过程
> 代码注释后,应该加几个空格?—— 不无聊,很震撼
> 商业系统不靠微雕算法改进,而靠系统过滤问题
> Debug sucks, Testing works.
二、大模型的真相
Part 4. 19:19 关于 LeCun
> 一个很强的研究者,拥有极强的信仰
> 那时深度学习领域十分萧索,Lecun 坐了多年冷板凳
> 创立 Meta Fair ,他不想做管理,是一个精神领袖
> 人类数据标注是非常辛苦的,最好的办法是让数据自己学习自己
Part 5. 22:20 Llama:从爆红到落后
> Llama 最初只是 FAIR 的一个尝试,最终成功了
> FAIR 是一个自下而上的组织
> 「FAIR 擅长营造自由氛围,是吗?」「当时的 FAIR 是这样」
> 大模型榨干了所有资源:一个方向爆火,扼杀了行业的多元创新
> Lecun 与 Alexander Wang:「You don' t tell researcher what to do , you certainly
> don' t tell researcher like me what to do.(不要命令研究员该如何做,尤其不要命令我这样的研究员该如何做)」
> 模型如何能真的学懂东西?可以有更好的办法来学习
Part 6. 29:49 年轻人 vs 老兵、「历史有轮回」、「坏消息是如何消失的」
> 一个浪潮不足以把我们送到 AGI
> 老兵见证过思维方式的变迁
> Meta 全力追赶大模型的三年
> 竞争让 Llama 团队变得比较急,有很多压力
> 救火 Llama 4 带来的研究思路转变:不需要太多复杂调参,强化学习更重要的是稳定
> 从 Llama 3 到 Llama 4: 团队经历了几倍的扩充
> 层层汇报偏离本质,幻觉会在模型发布的那一天戳破
> AI 变化越来越快,热点越来越多,技术人员才能透过本质有判断的能力
> 谷歌被誉为管理学奇迹
三、大模型的真问题
Part 7. 44:42 田渊栋的十年研究之路
> 从教 AI 下棋,到教 AI 思考,再到探索 AI 的大脑回路
> 逐渐形成一个长期的 Bet (押注)
> Streaming LLM:让上下文窗口无限长,影响力深远
> GaLore:训练时提升大模型的内存效率
> 如何让模型的 Scaling Law 更有效率?
> 隐空间推理:耗能更少,推理效果更好
> 和 ChatGPT5 合作:一个月完成了原本需要半年时间的论文
> 我们会迎来研究加速时代
Part 8. 54:04 如何提升大模型效率?
> AI 应该像人一样,能遗忘,也能召回一段记忆
> AI 为什么能学懂东西?本质靠数据本身的结构与关联性
> 符号表示 vs 神经表示:前者基于严格推理,后者更像是一种直觉
> 「 你可以说它(AI)是遗忘,但是它可能也从来没懂过」
> 过去都是人类定义的符号,以后会有 AI 定义的符号
Part 9. 01:06:59 关于 Research taste:
> 「我很高兴这个名字被你挑出来」
> the path not taken:科研品味是走你自己想走的路
> 这世界是非常复杂的,一个人必须要有信念,有能 bet on 的东西,这个 bet on 构成了人之价值所在
> 科研的目的和最后的影响力,其实不是一个东西,这个很有意思的
Part 10. 趋势预测:大模型的 next station
> 近 300 万亿的 TOKEN 被喂进大语言模型之后,怎么评估这场声势浩大的实验
> 我不认为 2026 的 AI 行业会回调
> 大模型领域的真问题:效率、持续学习、自进化、数据…
> AI 时代的第谷与开普勒已经出现,但牛顿还没出现
Part 11. 01:18:55 AI 发展与人类处境:「遍地神灯,愿望才稀缺」
> 人类拼命灌水,等待 AI 的洪流有一天淹没自己?
> 人类社会的费米能级,就是「AI 洪水的水位线」
> 人 + AI > 人(or AI)本身
> Research is product: 研究与产品的距离越来越近了
> 遍地神灯的时代,愿望会是最稀缺的
> 我写科幻小说:如果人类不再站在舞台中心,而成为旁观者呢?
加入听友群👇:
[https://image.xyzcdn.net/Fiuf_7m6LBx3JBgdO3nrm2PlGNBP.jpg]
Highlights
Highlights
Chapters
Chapters
Transcript
Transcript

Open in 小宇宙
