scripod.com
69.与田渊栋的访谈:大模型的真问题、变局、AI洪水与the path not taken

Highlights

Transcript

Chapters

Pins

69. 与田渊栋的访谈:大模型的真问题、变局、AI 洪水与 the path not taken

OverviewShownote
Unprocessed episode, you can be the first!

Shownote

[https://image.xyzcdn.net/FjzudYkK1I0jlR8zgroIJavM5oyi.jpg] 本期嘉宾是华人 AI 学者田渊栋。 这个名字在社交网络上被广泛讨论,始于四个月前,时任 Meta 研究总监的田渊栋,通过社交网络宣布,自己将被 Meta 裁员。华人顶尖 AI 科学家失业的新闻,瞬时传遍网络。 2026 年的第一天,田渊栋发布了一篇对于 2025 的年度总结 [https://zhuanlan.zhihu.com/p/1990809161458540818?share_code = 1fssS0tuIeCb6 & utm_psn = 2024492352182427970],再次引发全网热议 —— 这篇通俗但深刻的 AI 总结,令许多普通人也能从中获得对于 AI 焦虑的启发和助益。 但有关田渊栋的思考和经历,其实还有许多未尽的部分 —— 他曾任职的 Meta FAIR 实验室,是由图灵奖得主、深度学习三巨头之一的 Yann LeCun,一手创建的,那里曾是一个倡导自由学术氛围的创新引擎,但如何被激进的大模型竞速赛所改变。未来,当 AI 需要进一步进展,需要行业有怎样的突破? 这期访谈中,我们聊到了许多有关当下大模型的真相与真问题。 除此之外,我还特别喜欢田老师对于学术品位的定义 —— 在查阅他的论文时,我发现他的一些研究命名有来自于文学作品和诗歌的出处。他本人,也是科幻小说的创作者。这反驳了人们对于学术研究的刻板印象。 > 从技术延伸,一位学者的世界观呼之欲出,让人能够感受到科技之美。 总之,这是一期很有力量的播客,非常推荐。不过,当天因为录制场地和录制时间都有限制,所以本期访谈的节奏依然很快。希望大家见谅~ [https://image.xyzcdn.net/Ft84iG8IsPkBa6ZUCoQAuja9yz2Q.jpg] (本期节目获微博开屏~欢迎前往微博等视频平台,观看完整版视频。) 本期嘉宾: 田渊栋(华人 AI 科学家、前 Meta 人工智能实验室研究总监、科幻小说作家) 本期 SHOWNOTES: 一、关于田渊栋 Part 1.  03:44 摆脱裁员羞耻:顶尖科学家被裁,离职就是向更广阔的天地进发~ > 被裁始末:因绩效被裁可能只是大公司的话术,顶尖 AI 科学家也不例外 > CS 软件工程师的需求,未来会越来越少 > 大公司可能是让能力与心气「脱钩」的笼子 > 顶尖 AI 科学家、前大厂高管搞科研:靠的是家里一台 4090 显卡 > 「每个人自己就是一个小闭环」 Part 2. 09:55 中美 AI 的共性:焦虑 > AI 的下一个方向是什么? > 2025 年 12 月 - 2026 年 1 月:一个月的时间发生巨大变化 > Coding Agent 飞速发展背后,技术上的进展是什么?基模还在快速进展吗? > 基模成长的速度到底有没有放缓? Part 3. 14:43 谷歌教会我:系统大于个人 > CMU 读博,这是一个正反馈的过程 > 代码注释后,应该加几个空格?—— 不无聊,很震撼 > 商业系统不靠微雕算法改进,而靠系统过滤问题 > Debug sucks, Testing works. 二、大模型的真相 Part 4. 19:19 关于 LeCun > 一个很强的研究者,拥有极强的信仰 > 那时深度学习领域十分萧索,Lecun 坐了多年冷板凳 > 创立 Meta Fair ,他不想做管理,是一个精神领袖 > 人类数据标注是非常辛苦的,最好的办法是让数据自己学习自己 Part 5. 22:20 Llama:从爆红到落后 > Llama 最初只是 FAIR 的一个尝试,最终成功了 > FAIR 是一个自下而上的组织 > 「FAIR 擅长营造自由氛围,是吗?」「当时的 FAIR 是这样」 > 大模型榨干了所有资源:一个方向爆火,扼杀了行业的多元创新 > Lecun 与 Alexander Wang:「You don' t tell researcher what to do , you certainly > don' t tell researcher like me what to do.(不要命令研究员该如何做,尤其不要命令我这样的研究员该如何做)」 > 模型如何能真的学懂东西?可以有更好的办法来学习 Part 6.  29:49  年轻人 vs 老兵、「历史有轮回」、「坏消息是如何消失的」 > 一个浪潮不足以把我们送到 AGI > 老兵见证过思维方式的变迁 > Meta 全力追赶大模型的三年 > 竞争让 Llama 团队变得比较急,有很多压力 > 救火 Llama 4 带来的研究思路转变:不需要太多复杂调参,强化学习更重要的是稳定 > 从 Llama 3 到 Llama 4: 团队经历了几倍的扩充 > 层层汇报偏离本质,幻觉会在模型发布的那一天戳破 > AI 变化越来越快,热点越来越多,技术人员才能透过本质有判断的能力 > 谷歌被誉为管理学奇迹 三、大模型的真问题 Part 7.  44:42 田渊栋的十年研究之路 > 从教 AI 下棋,到教 AI 思考,再到探索 AI 的大脑回路 > 逐渐形成一个长期的 Bet (押注) > Streaming LLM:让上下文窗口无限长,影响力深远 > GaLore:训练时提升大模型的内存效率 > 如何让模型的 Scaling Law 更有效率? > 隐空间推理:耗能更少,推理效果更好 > 和 ChatGPT5 合作:一个月完成了原本需要半年时间的论文 > 我们会迎来研究加速时代 Part 8. 54:04 如何提升大模型效率? > AI 应该像人一样,能遗忘,也能召回一段记忆 > AI 为什么能学懂东西?本质靠数据本身的结构与关联性 > 符号表示 vs 神经表示:前者基于严格推理,后者更像是一种直觉 > 「 你可以说它(AI)是遗忘,但是它可能也从来没懂过」 > 过去都是人类定义的符号,以后会有 AI 定义的符号 Part 9. 01:06:59 关于 Research taste: > 「我很高兴这个名字被你挑出来」 > the path not taken:科研品味是走你自己想走的路 > 这世界是非常复杂的,一个人必须要有信念,有能 bet on 的东西,这个 bet on 构成了人之价值所在 > 科研的目的和最后的影响力,其实不是一个东西,这个很有意思的 Part 10. 趋势预测:大模型的 next station > 近 300 万亿的 TOKEN 被喂进大语言模型之后,怎么评估这场声势浩大的实验 > 我不认为 2026 的 AI 行业会回调 > 大模型领域的真问题:效率、持续学习、自进化、数据… > AI 时代的第谷与开普勒已经出现,但牛顿还没出现 Part 11. 01:18:55 AI 发展与人类处境:「遍地神灯,愿望才稀缺」 > 人类拼命灌水,等待 AI 的洪流有一天淹没自己? > 人类社会的费米能级,就是「AI 洪水的水位线」 > 人 + AI > 人(or AI)本身 > Research is product: 研究与产品的距离越来越近了 > 遍地神灯的时代,愿望会是最稀缺的 > 我写科幻小说:如果人类不再站在舞台中心,而成为旁观者呢? 加入听友群👇: [https://image.xyzcdn.net/Fiuf_7m6LBx3JBgdO3nrm2PlGNBP.jpg]

Highlights

Chapters

Transcript

小宇宙
Open in 小宇宙