📝 本期播客简介 本期我们克隆了知名播客《The Dwarkesh Patel Podcast》中，主持人 Dwarkesh Patel 与 AI 领域思想领袖 Andrej Karpathy 的深度对话。Andrej Karpathy 是前特斯拉 AI 总监，也是 NanoGPT 等项目的创建者，他对 AI 的未来有着独到且常常是反主流的见解。 在这期访谈中，Andrej Karpathy 直言不讳地指出，强化学习 “其实烂透了”，并用 “用吸管吸取监督信号” 的生动比喻，揭示其低效和噪音。他认为，我们正处于 “智能体的十年”，而非 “智能体之年”，因为 AI 距离真正能像人类一样自主工作还有很长的路要走，缺乏持续学习、多模态能力和认知核心。他将 AI 比作 “召唤幽灵”，而非制造动物，强调 AI 通过模仿互联网数据形成独特的 “数字灵魂”。Karpathy 还深入探讨了模型 “塌陷” 的局限性，以及编程为何是 AI 最完美的第一个应用场景。他认为，AI 的进步是自动化进程的延续，而非跳跃式的 “智能爆炸”，并分享了自动驾驶 “从演示到产品” 的十年经验，警示软件工程同样面临高昂的失败代价。最后，Andrej Karpathy 介绍了他的教育项目 Eureka，旨在打造一个 “星际舰队学院”，通过 AI 辅助教育，帮助人类突破认知极限，实现 “人人皆超人” 的未来。这场对话将彻底刷新你对 AI 发展和人类学习潜能的认知。 翻译克隆自：Andrej Karpathy — “We’re summoning ghosts, not building animals” 勘误：原视频中提到的是 GPT-5-pro 并非 gpt4o，后续会修复这个问题 👨‍⚕️ 本期嘉宾 Andrej Karpathy，前特斯拉 AI 总监，NanoGPT 等项目的创建者，AI 领域思想领袖。 📒 文字版精华 见微信公众号（点击跳转） ⏱️ 时间戳 00:00 开场 & 播客简介 00:00:00 欢迎收听跨国串门计划 00:02:25 Andrej Karpathy 的开场白：强化学习烂透了，我们不是在造动物，智能爆炸早已发生 智能体：十年而非一年 00:03:32 “智能体的十年”：对行业夸大预测的回应 00:04:17 智能体发展瓶颈：缺乏持续学习、多模态能力和认知核心 00:05:08 为什么是十年：基于 AI 领域经验的直觉判断 00:06:13 AI 领域的 “地震级” 转变：从 AlexNet 到早期智能体探索 00:07:43 Atari 强化学习与 “Universe” 项目：早期智能体尝试的误区 00:08:54 早期智能体失败的原因：奖励信号稀疏，缺乏神经网络表征能力 AI 与人类智能：幽灵与动物 00:10:46 AI 是 “召唤幽灵”，而非制造动物：不同的优化过程与智能形态 00:12:04 人类智能不依赖强化学习：演化提供内置硬件，RL 多用于运动任务 00:13:01 演化与预训练：一种 “山寨版” 的演化，为 AI 提供知识起点 00:15:07 预训练的双重作用：吸收知识与发展智能，建议剥离部分知识保留 “认知核心” 00:16:47 上下文学习的本质：可能是神经网络内部的梯度下降循环 00:19:40 预训练与上下文学习：模糊记忆与工作记忆 00:21:52 AI 缺失的人类智能部件：海马体、杏仁核等认知核心 00:23:35 持续学习与 “蒸馏”：AI 缺乏人类睡眠中的知识固化过程 00:26:00 AI 架构的未来：仍是梯度下降训练的巨型神经网络，但全面提升 编程与 AI：完美的第一个应用 00:28:13 NanoChat 与学习编程：从零开始构建是理解知识的唯一途径 00:30:37 LLM 在编程中的局限性：不擅长创新代码，误解自定义风格，增加冗余 00:33:35 LLM 在编程中的优势：样板代码生成，降低学习新语言门槛 00:34:45 AI 爆炸与编程：LLM 不擅长写新代码，挑战 “AI 爆炸” 预测 00:37:07 AI 是计算的延伸：自动化进程的连续体，人类逐渐抽象化 强化学习的局限性 00:39:03 强化学习 “烂透了”：低效、噪音大，“用吸管吸取监督信号” 00:41:41 人类学习与 RL 的区别：反思与复盘，InstructGPT 的启发 00:43:34 过程监督的挑战：LLM 裁判易被 “钻空子”，产生对抗性样本 00:47:50 解决强化学习瓶颈的新思路：复盘、合成例子、元学习 00:49:08 LLM 缺失的 “白日梦” 与 “反思”：模型塌陷导致合成数据生成失效 00:51:14 模型塌陷：LLM 输出缺乏多样性和熵，长期训练会导致性能下降 00:52:22 梦境与熵：做梦防止过拟合，社交互动增加熵 00:53:01 人类记忆与 LLM 记忆：人类记忆力差反而是优点，迫使学习泛化模式 00:55:14 模型塌陷的解决方案：熵正则化，但需平衡多样性与分布偏离 AI 的规模与经济影响 00:57:06 “认知核心” 的规模：预测十年后 10 亿参数，更注重认知而非记忆 01:00:29 前沿模型的未来规模：务实平衡成本与效益，持续优化 01:02:02 AI 发展的连续性：数据集、硬件、软件、算法全面提升，无单一主导因素 01:03:15 通用人工智能的定义与范围：最初涵盖所有经济任务，现局限于数字知识工作 01:05:06 自动化与就业：放射科医生案例，呼叫中心员工的 “自主性滑块” 01:08:25 瓶颈与工资：自动化 99% 后，剩余 1% 人类工作的价值剧增 01:09:39 编程是 AI 的第一个杀手级应用：文本友好，基础设施完备 01:11:39 文本任务的挑战：代码结构化，文本熵更高，即使是语言任务也难获经济价值 01:13:14 超级智能：自动化进程的延续，而非质的飞跃 01:13:54 失去控制与理解：AI 系统复杂化，人类逐渐失去掌控 01:16:29 智能爆炸：GDP 曲线显示持续指数增长，AI 是加速的一部分，而非截然不同 01:19:02 GDP 与 AI：历史经验表明，重大技术创新不会在 GDP 曲线中产生离散跳跃 01:21:45 反驳 “智能爆炸”：Dwarkesh 认为 AI 作为劳动力本身，将带来质的飞跃 01:24:17 Andrej 的反驳：历史无离散跳跃先例，AI 仍是渐进式扩散 智能的演化与 AI 文明 01:25:58 智能的演化：一个罕见的事件，人类文化与知识积累令人惊讶 01:27:42 Sutton 的 “松鼠智能”：寒武纪大爆发后迅速出现，暗示动物智能算法可能相对简单 01:28:52 独立智能的出现：乌鸦、海豚等，生态位与激励机制的重要性 01:31:19 演化中的 “窄线”：激励生命周期内学习的适应性 01:31:19 文化脚手架与 AI 训练：人类文化积累漫长，AI 训练 “免费” 获得 01:32:35 AI 文化缺失：LLM 缺乏为自身目的不断增长的知识库 01:33:13 多智能体系统与 AI 文化：知识库与自我博弈是两大方向，但尚未实现 01:34:17 LLM 协作瓶颈：模型认知能力仍像 “幼儿园学生”，无法创造文化 01:35:26 自动驾驶的教训：从演示到产品耗时漫长，失败代价高昂，“九的征程” 01:38:22 演示的误导性：Andrej 对演示极度不感冒，产品化需要大量工作 01:39:18 软件安全与自动驾驶：软件错误后果无限糟糕，与 AD 有相似安全要求 01:40:02 AD 与 LLM 的类比：LLM 获得 “免费” 常识，但 AD 仍面临经济性与远程操作挑战 01:42:57 AI 部署经济学：数字世界比物理世界更容易适应，但知识工作也有延迟要求 01:44:36 “其他因素”：社会、法律、保险等非技术因素将影响 AI 部署 01:45:27 计算资源过度建设？Andrej 乐观，认为需求能消化资源，但警惕时间线误判 Eureka 与 AI 辅助教育 01:47:26 投身教育而非 AI 实验室：赋能人类，避免 “机器人总动员” 式未来 01:48:30 Eureka 的愿景：打造 “星际舰队学院”，精英技术教育机构 01:49:19 AI 辅助教育的未来：根本性变革，追求 “导师” 体验，精准匹配学生水平 01:51:04 自动化导师的挑战：当前 AI 能力不足，但 ChatGPT 仍有教育价值 01:52:14 Eureka 的首个产品：“LLM 101” 课程，Andrej 亲自设计，结合 AI 辅助 01:53:02 教育是技术问题：构建知识 “坡道”，实现 “尤里卡每秒” 01:54:49 Eureka 的演变：AI 助教处理基础问题，人类教员设计课程架构 01:56:11 扩展课程领域：雇佣各领域专家，实体与数字产品结合 01:57:10 重新发明大学：筛选有动力学生，解决学习动力问题 01:57:58 后通用人工智能时代的教育：为乐趣而学习，如去健身房 01:59:02 学习的本质：克服挫败感，通过技术解决学习障碍 02:00:26 人类认知潜能：通过 AI 导师，人人皆可成为 “超人” 02:01:16 长期愿景：认知 “举重” 成为运动，人类心智能力远未触及极限 02:02:21 Andrej 的个人动力：热爱学习，追求赋能与高效 02:03:16 在线课程失败原因：过于依赖动力，易卡住，缺乏个性化指导 02:03:45 教学技巧：物理学背景的启发，寻找一阶项，简化复杂概念 02:05:56 MicroGrad 的例子：百行代码展示反向传播核心，效率是次要问题 02:07:28 Transformer 教程：从查找表到复杂架构，循序渐进，展示痛点再给方案 02:08:03 提问式教学：先让学生尝试解决问题，再给出答案，最大化知识增量 02:08:55 知识的诅咒：专家难以向新手解释，Andrej 用 ChatGPT 模拟新手提问 02:09:59 口头解释与书面解释：口头更清晰准确，书面易抽象、 jargon 化 02:11:38 给学生的建议：按需学习，向他人解释以加深理解 02:12:57 结束语 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的 使用 AI 进行翻译，因此可能会有一些地方不通顺； 如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight