scripod.com

108: 与马毅聊智能史:“DNA 是最早的大模型”,智能的本质是减熵

晚点聊 LateTalk

Shownote

香港大学计算与数据科学学院院长,看 35 亿年智能史。欲知未来,先知过去。 这期是《晚点聊》的一个新系列 「LongContext」“长语境” 的第 1 期。 封面:马毅上周五(3 月 14 日)在北大做分享(刚好是 π 日) 类似于现在的大模型需要 LongContext,我们去学习智能,也需要一个更全面的历史语境,让我们能在新东西不断涌现的此刻,找到一个更稳定的坐标。 在这个系列的开端,我邀请了香港大学计算与数据科学学院院长,马毅教授,来与我们聊智能和机器智能的历史。 马毅本科毕业于清华大学,2000 年在加州伯克利大学获得博士学位,先后任职于伊利诺伊大学香槟分校(UIUC)、微软亚研院、上海科技大学、伯克利大学和香港大学,是人工智能和计算机视觉领域的全球知名学者。 最近 5 年,马毅自己关心的课题之一,就是智能的历史。为了在港大推动面向所有学科本科生的 AI 通识教育,他也在撰写教材、设计课程,对智能的发展做了更全面和深入浅出的整理。 马毅对智能有一些 “少数派” 的理解,比如本系列的名称「LongContext」—— 当作为一个技术概念时,马老师认为与其一味追逐预训练模式下的更长 LongContext,更好的方法是找到一种机制,能让智能系统有闭环的、长久的、不会遗忘的记忆。这些理解本身与他对智能史的梳理和认知有关。 智能是如何在地球上诞生的?马毅认为,生命就是智能的载体:从 DNA 出现,到神经系统诞生和寒武纪物种大爆发,再到人类的语言与数学的诞生,智能有不同的表现形式,但不变的是,智能都是在学习外部世界的知识与规律,从而进行预测,使知识可以为我所用。智能是在寻找规律并利用规律,是一个对抗宇宙熵增的过程。 从智能的历史,我们进一步聊了机器智能的历史:大部分人会把 1956 年的达特茅斯会议视为人工智能的开端,而马毅认为,对机器智能的研究,要追溯到 1940 年代的维纳的控制论、香农的信息论等更早的源头。从那时到现在的 80 多年里,机器智能发展几经起伏。马毅也分享了自己亲历的部分变化:比如他刚博士毕业时,找不到对口方向的教职;他现在被引用最多的成果,一度没有任何会议接受。 马毅也分享了一个研究者的技术品味如何形成?“品味” 不仅是一种认知,也是认知被挑战时能继续坚持的自信。马毅的 taste,使他进入了一个目前在 AI 工业界眼中并不那么主流的方向:白盒大模型,和能实现 “闭环、反馈、纠错” 的机器智能。这两个方向在我们去年与马老师的访谈中有更详细的展开,具体内容可见《晚点聊》第 71 期节目。为加速这些方向的探索,马毅也创立了一家公司 “忆生科技”。 本期涉及的人物、理论、技术成果、术语,见 Shownotes 文末附录。 本期嘉宾: 马毅,香港大学计算与数据科学学院院长 时间线: 00:13 开场总结 & LongContext 系列说明 智能的历史 04:58 DNA、神经系统、语言、数学,智能有四种机制;知识本身不是智能,而是智能活动的结果 19:06 大模型在四种机制中的阶段 —— 类似靠 DNA 物竞天择的强化学习 24:53 智能在宇宙中诞生,也许是偶然中的必然;宇宙熵增(越来越混乱、随机),终有一天会无规律可学 机器智能的历史 29:02 AI 的起点不是达特茅斯会议 39:55 80 年机器智能史中的 “闪耀时刻” 46:57 神经网络的起伏,本质是机制不明确,一些成果靠经验性试错 56:51 Open o1 和 DeepSeek-R1,它们真的在做 “推理” 吗? 01:08:06 “DeepSeek” 们的出现,是一个 where and when 的问题,不是 if or not 的问题 技术 taste 的形成 01:11:21 探索未知的勇气和特立独行 + 严谨的学术培养 01:14:24 “做数学家,第一条是把自己训练成世界上最难说服的人” 01:18:53 在伯克利读博士时的氛围:自由跨组,学生互助 01:24:16 品味被挑战的时刻:现在被引用最多的成果,一度没有任何会议接收 01:27:58 没有接受系统教育的企业家、从业者,如何形成技术 taste? 港大 AI 通识教育实践 01:35:12 减少一门英语课,所有本科生增加一门 AI literacy:教授历史、技术概念、伦理;重要的是思维训练,而不是结论本身 01:45:50 机器降临派 or 人类堡垒派?—— 智能共存 白盒与闭环反馈纠错 01:52:15 闭环系统才能适应开放世界,具身是应用场景 01:54:05 VLA 端到端不一定是具身智能正确的解法,至少不是最高效的解法;人脑其实是一个并行结构 01:59:50 公司的意义,与学校要做的事形成互补 02:11:28 “我从不说 AGI”,不要笼统地理解智能 02:13:05 “焦虑就是来自不懂”,当 AI 的黑盒被利用,“迷信是这么产生的,权力也是这么产生的” 02:15:09 本期「连点成线」 相关链接: 晚点聊 71:“如果相信只靠 Scailng Laws 就能实现 AGI,你该改行了”,与香港大学马毅聊智能 (https://www.xiaoyuzhoufm.com/episode/6668d95ebb0f9563f6302495?s = eyJ1IjoiNjBkODRlZTVlMGY1ZTcyM2JiNzdiOGYwIn0%3D) 对话香港大学马毅:“如果相信只靠 Scaling Laws 就能实现 AGI,你该改行了” (https://mp.weixin.qq.com/s/YTLWgcsGds86lgW_druXBQ) 晚点聊 106:与真格戴雨森长聊 Agent:各行各业都会遭遇 “李世石时刻”,Attention is not all you need (https://www.xiaoyuzhoufm.com/episode/67cdb53f7ccfd410926b0c66) 晚点聊 103:用 Attention 串起大模型优化史,详解 DeepSeek、Kimi 最新注意力机制改进 (https://www.xiaoyuzhoufm.com/episode/67bf356952a6af799c558399?s = eyJ1IjoiNjBkODRlZTVlMGY1ZTcyM2JiNzdiOGYwIn0%3D) 晚点聊 101:与王小川聊 AIX 医疗:通向 “生命科学的数学原理” (https://www.xiaoyuzhoufm.com/episode/67aaefa541b8e4a63c93c03d?s = eyJ1IjoiNjBkODRlZTVlMGY1ZTcyM2JiNzdiOGYwIn0%3D) 附录: 诺伯特・维纳:控制论创始人,奠定 AI 与自动化理论基础。 图灵:计算机科学之父,提出图灵机与图灵测试,奠定 AI 理论基础。 冯・诺依曼架构:计算机体系结构基础,由冯・诺依曼于 1945 年提出,沿用至今。 达特茅斯会议:1956 年由麦卡锡、明斯基等人发起,首次定义 “人工智能”。 Perceptron:感知机,Frank Rosenblatt 于 1957 年提出的早期神经网络模型。 Yann Lecun:卷积神经网络先驱,2018 年图灵奖得主,Meta 首席 AI 科学家。 Geoffrey Hinton:深度学习先驱,反向传播算法(Back Propagation)联合提出者,2018 年图灵奖得主。 李飞飞:斯坦福大学教授,ImageNet 数据集发起人,推动计算机视觉发展。 卷积神经网络(CNN):Yann LeCun 于 1980 年代末提出的深度学习模型,专用于图像识别。 AlexNet:2012 年 ImageNet 竞赛冠军模型,由 Hinton 团队提出,推动深度学习复兴。 ResNet:微软 2015 年提出的残差网络,解决深层网络梯度消失问题。 VGG:牛津大学 2014 年提出的深度卷积网络,以结构简单高效著称。 ImageNet:李飞飞团队 2009 年发起的图像数据集,推动 AI 算法发展。 李泽湘:机器人技术专家,马毅在伯克利博士期间的师兄;他们的导师是 Shankar Sastry。 陶哲轩:数学家,研究涵盖机器学习理论,推动 AI 与数学交叉领域发展。 SFT Memorizes, RL Generalizes (https://tianzhechu.com/SFTvsRL/):(港大、UC Berkely、Google DeepMind、NYU 2025 年合作发表的论文),是本期中讨论提升模型推理时,SFT(监督微调)和 RL(强化学习)的相关但不同角色的那篇论文。 监督微调(Supervised Fine Tuning):基于标注数据调整预训练模型,适配特定任务。 强化学习(Reinforcement Learning):通过奖励机制优化策略,适用于动态决策任务。 伯克利 BAIR:加州大学伯克利分校人工智能研究所,成立于 2016 年,聚焦机器人、强化学习等前沿领域。 VLA:Vision-Language-Action Model 视觉 - 语言 - 动作模型,Google DeepMind 2023 年提出的一种让智能体在物理或数字环境中执行复杂任务的模型,应用于机器人、自动驾驶等领域 播客中提到的两位遭遇学生生涯挫折的诺贝尔奖得住:一位是 2024 年生理学或医学奖得主 Victor Ambros,曾未能获得哈佛大学终身教职;一位是 2023 年生理学或医学奖得主 Katalin Karikó,曾被宾夕法尼亚大学降级降薪。 剪辑制作:Nick 本期主播:小红书 @曼祺_火柴 Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token = YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw - EfCtqmFTkCIM2o=&xsec_source = app_share & xhsshare = CopyLink & appuid = 5dfa9e92000000000100626f & apptime = 1736682459 & share_id = 331aecb9ca7941f498d81fb9c32ea810),即刻 @曼祺_火柴 Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/% E6%92% AD% E5% AE% A2-% E7% BB%93% E5% B0% BE% E4% BD%9C% E8%80%85% E7% AD% BE% E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章: https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/% E6%92% AD% E5% AE% A2% E7% BB%93% E5% B0% BE% E6%88% AA% E5%9B% BE.png

Highlights

本期《晚点聊》新系列「LongContext」聚焦智能与机器智能的历史,邀请香港大学计算与数据科学学院院长马毅教授深入探讨。通过梳理 35 亿年的智能演化历程,节目揭示了生命作为智能载体的本质,并探讨了如何在技术快速发展的当下找到更稳定的认知坐标。
02:35
白盒大模型与闭环反馈机制具有深远潜力
17:44
智能的本质在于获取和更新对外部世界知识的能力
21:16
尽管大模型规模庞大,其智能水平仍不如猫狗。
26:57
智能系统需要消耗能量来对抗熵增
38:51
当前大模型与人脑结构差异显著,资源消耗巨大且发展不可控
45:47
ImageNet 数据集与 AlexNet 模型显著提升了分类识别性能
53:55
科学研究核心在于找到正确方向和机制
1:04:42
大模型在复杂任务中仍可能出现低级错误
1:09:21
大众对 AI 的认识不足,通识教育至关重要
1:12:29
通过实验和逻辑证据验证形成研究自信
1:15:38
成为最难被说服的人以确保逻辑严谨性
1:20:00
在伯克利,学生之间学到的东西比从老师那里学到的更多
1:27:53
阳光下未被察觉的事物改变认知
1:34:17
AI 教育应覆盖高中生、大众及行业领导者
1:44:16
AI 本质是数据压缩与生成的机械过程
1:49:07
智能技术本身是中性的,关键在于应用监管
1:52:15
闭环系统能够适应开放世界并具备自我学习能力
1:57:29
人类大脑的并行分层结构具有闭环反馈机制,为 AI 发展提供重要参考
2:07:11
学术研究结合商业组织能加速技术发展
2:11:29
早期学者如诺伯特・维纳已提出实现智能无需区分通用性
2:16:47
智能被定义为学习和发现新知识的能力

Chapters

智能历史与未来发展方向
00:00
智能的历史
DNA、神经系统、语言、数学,智能有四种机制;知识本身不是智能,而是智能活动的结果
04:58
大模型在四种机制中的阶段 —— 类似靠 DNA 物竞天择的强化学习
19:06
智能在宇宙中诞生,也许是偶然中的必然;宇宙熵增(越来越混乱、随机),终有一天会无规律可学
24:53
机器智能的历史
AI 的起点不是达特茅斯会议
29:02
80 年机器智能史中的 “闪耀时刻”
39:55
神经网络的起伏,本质是机制不明确,一些成果靠经验性试错
46:57
Open o1 和 DeepSeek-R1,它们真的在做 “推理” 吗?
56:51
“DeepSeek” 们的出现,是一个 where and when 的问题,不是 if or not 的问题
1:08:06
技术 taste 的形成
探索未知的勇气和特立独行 + 严谨的学术培养
1:11:21
“做数学家,第一条是把自己训练成世界上最难说服的人”
1:14:24
在伯克利读博士时的氛围: 自由跨组,学生互助
1:18:53
品味被挑战的时刻: 现在被引用最多的成果,一度没有任何会议接收
1:24:16
没有接受系统教育的企业家、从业者,如何形成技术 taste?
1:27:58
港大 AI 通识教育实践
减少一门英语课,所有本科生增加一门 AI literacy: 教授历史、技术概念、伦理;重要的是思维训练,而不是结论本身
1:35:12
机器降临派 or 人类堡垒派?—— 智能共存
1:45:50
白盒与闭环反馈纠错
闭环系统才能适应开放世界,具身是应用场景
1:52:15
VLA 端到端不一定是具身智能正确的解法,至少不是最高效的解法;人脑其实是一个并行结构
1:54:05
公司的意义,与学校要做的事形成互补
1:59:50
“我从不说 AGI”,不要笼统地理解智能
2:11:28
“焦虑就是来自不懂”,当 AI 的黑盒被利用,“迷信是这么产生的,权力也是这么产生的”
2:13:05

Transcript

曼祺: 预知未来,先知过去。欢迎收听晚点聊,我是曼琪,这期是晚点聊的一个新系列 LongContext,长与近的第一期,类似于现在的大模型需要 LongContext。我们每个人去学习理解智能,也需要一个更全面的历史语境,让我们能在新东西不断涌现的此刻,找到一个更稳定的坐标。LongContext 的系列就是希望结合不同从业者的亲身经历,去多角度展现人工智能的历史。在这个系列的开端,我邀请了香港大学计算与数据科学学院院长,马毅教授来与我们聊智能和机器智能的历史。马毅本科毕业于清华大学,2000 年在加州伯克...