71: “如果相信只靠 Scaling Laws 就能实现 AGI，你该改行了”，与香港大学马毅聊智能
晚点聊 LateTalk
2024/06/11
71: “如果相信只靠 Scaling Laws 就能实现 AGI，你该改行了”，与香港大学马毅聊智能
71: “如果相信只靠 Scaling Laws 就能实现 AGI，你该改行了”，与香港大学马毅聊智能
晚点聊 LateTalk
2024/06/11
本期节目聚焦于香港大学教授马毅对 AI 和深度学习的见解。作为计算机系主任，马毅提出深度学习的本质在于压缩而非简单依赖大规模参数模型实现通用人工智能。他批评了当前大模型仅基于记忆和统计的局限性，并强调通过数学方法解释 AI 过程的重要性。
马毅认为当前的 AI 模型缺乏因果推理及逻辑能力，过度依赖数据和算力，虽然在定量指标上有所提升，但本质上仍属‘高分低能’。他反对 AI 威胁论，主张政府应监管技术应用而非技术本身。为推动智能研究，马毅团队提出白盒大模型理论框架，试图用数学解释深度学习网络的压缩过程，寻找更高效的压缩方式。此外，他还强调智能的核心在于自主学习、总结规律和纠错能力，而不仅仅是应用已有知识。马毅提倡从黑盒到白盒、从开环到闭环、从人工到自主的发展路径，以实现真正的智能。同时，他认为教育应成为 AI 通识的一部分，港大正在推动相关课程，旨在培养跨学科人才。最后，他指出科学竞争的关键在于资源分配给正确的人才，推动技术创新与产业发展。
01:11
01:11
马毅不认同 AI 威胁论，担心过度监管影响技术发展
02:49
02:49
搭建从理论到实践的桥梁是艰辛困难的
06:11
06:11
人们常将 Scaling Law 中的性能增长与通用智能混淆
10:44
10:44
当前大模型只能机械记录数据，难以有创造性。
14:17
14:17
深度网络曾被冷落三四十年后又被过度追捧，反映人们对技术发展的认知偏差。
15:52
15:52
大模型未对数据结构代表的知识有本质理解
19:42
19:42
若只追逐热门发文章，是从众行为而非创新
22:16
22:16
当前神经网络的主要功能是对数据进行压缩
23:24
23:24
不同网络的本质都是对数据进行压缩
24:53
24:53
好想法常被重新发现，在科学领域，新背景下的再创造有价值
26:12
26:12
白盒模型能从统计数学角度优化压缩算法
26:51
26:51
知道网络压缩类型能去掉经验设计中的冗余
30:34
30:34
简约和自洽原则是形成智能的核心
33:41
33:41
GPT 模型本身无智能，仅具人赋予的知识
38:20
38:20
生成过程虽有损，但需保证内容自洽
44:49
44:49
无需与外部物理信号对比，只需保证预测自洽即可提升能力。
47:13
47:13
从第一性原理倒推必要内容是实现数据压缩的关键
55:14
55:14
白盒模型性能不逊于经验设计且更具可解释性
55:32
55:32
大模型无完整自主学习能力，没必要害怕
57:03
57:03
政府应规范技术最终用途，而非规范技术本身
57:35
57:35
机器、数据及算法不开源会形成垄断，强调技术原理公开不仅是兴趣问题，更是责任
59:07
59:07
大基础模型是对数据做压缩、记录并重新生成
1:03:50
1:03:50
理论框架需在真实数据和计算系统上实现并超越现有方法
1:05:10
1:05:10
闭环反馈是实现自洽自主学习的必经之路
1:07:16
1:07:16
学习是在大脑中对外部世界建模并纠错判断和预测
1:11:02
1:11:02
人类物理实现与自然界的节能差距达七八个数量级
1:14:25
1:14:25
GPT 解决数学推理问题并非本质高级智能
1:17:14
1:17:14
需从更系统的生物学和神经科学学习，注重研究整个大脑系统
1:18:13
1:18:13
AI 人脸识别方法将数据压缩到高维空间子空间
1:20:38
1:20:38
要对 AI 技术本质和现状有客观科学认识
1:26:10
1:26:10
若找不到所在领域现有方法的不足就应改行，学校不适合培养现有领域的添补型专家。
1:30:59
1:30:59
新框架将算力需求大幅降低，实现自主学习能力
1:38:56
1:38:56
大模型技术因公司宣传炒作导致同质化严重
1:43:21
1:43:21
智能发展可分三阶段，第一是生物阶段，第二从人开始。
1:51:27
1:51:27
GPT 等大模型在因果推理测试中表现近乎随机猜测
1:52:20
1:52:20
科学竞争关键是人才竞争，产业投资应将资源聚焦到真正有能力的人身上
