75. 和 OpenAI 前研究员吴翼解读 o1：吹响了开挖第二座金矿的号角
张小珺Jùn｜商业访谈录
2024/09/18
75. 和 OpenAI 前研究员吴翼解读 o1：吹响了开挖第二座金矿的号角
75. 和 OpenAI 前研究员吴翼解读 o1：吹响了开挖第二座金矿的号角
张小珺Jùn｜商业访谈录
2024/09/18
上集节目，广密在 OpenAI o1 问世之前，准确地预言了代号为 “Strawberry”（草莓）的项目走向，以及它背后暗示的 AGI 范式已经转移，强化学习开启了新赛道。
这集节目录制在 o1 问世之后，我第一时间和边塞科技创始人、清华叉院信息研究院助理教授，同时也是前 OpenAI 研究员的吴翼聊了聊。他的研究方向正是强化学习。吴翼从技术视角全方位地解读了 o1 模型，并且分享了只有内部视角才能看见的真实的 OpenAI。
我们的播客节目在腾讯新闻首发，大家可以前往关注哦，这样可以第一时间获取节目信息和更多新闻资讯：）
- 01:50 2019 年在 OpenAI 做研究员
- 03:04 那个年代所有 PHD 都希望去 Google Brain 和 DeepMind
- 03:46 OpenAI o1-preview 初体验，很意外在用户使用端做这么大规模的推理
- 07:20 pre-training（预训练）能挖的金矿越来越少，以强化学习为基础的 post-training（后训练）是另一个大金矿，使迈向 AGI 的梯子多了几节
- 09:00 o1-preview 版本是 GPT-3 时刻，到没到 ChatGPT 时刻要看正式版本
- 10:33 o1 应该核心关注两个要点和背后的技术原理
- 13:54 强化学习能否探索出 Scaling Law 有希望，但很复杂
- 15:06 强化学习三要素：reward model + 搜索和探索 + prompt，每一块都很难
- 16:42 2014 年开始，UC Berkeley 集体转向，押注强化学习
- 19:36 RL 算法的演进：从 DQN（Deep Q-Network）到 PPO（Proximal Policy Optimization）
- 23:45 相信会带来通用能力而不是垂类能力提升
- 24:47 长文本是实现 AGI 的第一步，推理能力是第二步
- 29:57 通过 o1-preview 能反向复原哪些技术细节？
- 34:00 reward model 不太可能有一个单独的小组闭着眼睛训练，是耦合的
- 38:30 思维链、安全、幻觉和算力
- 41:25 为什么这么项目叫 “Q*”？后来又叫 “草莓”？梗都很有意思
- 49:49 o1 不代表垂直模型，依然相信会出现全能的大统一模型
- 57:57 关于 Scaling Law，2019 年 OpenAI 内部讨论的细节
- 01:00:26 2019 年的 OpenAI 处于 “闭着眼睛挖矿的状态”
- 01:03:20 OpenAI 当年如何做管理：搞大新闻、发博客，KPI 是博客关注量
- 01:10:28 2020 年离开 OpenAI 后悔吗？
【更多信息】
联络我们：微博@张小珺 - Benita，小红书@张小珺 jùn
更多信息欢迎关注公众号：张小珺
