scripod.com

59. 和杨植麟聊大模型创业这一年:人类理想的增量、有概率的非共识和 Sora

今天的嘉宾是大模型公司月之暗面的创始人兼 CEO 杨植麟。
杨植麟是去年成立的这批国产大模型公司创始人中,最年轻的一位,也是学术、工作履历和通用 AI 有最直接相关的一位。他毕业于清华和 CMU,总计论文引用次数超过 22000 次。在人人喊 PMF(产品 / 市场契合)、人人喊商业化的中国 AI 生态里,这位 AI 研究员出身的创始人倒不那么着急。
国产大模型中,月之暗面是最坚定做 to C、且只做 to C 的一家公司(于去年 10 月推出了智能助手 Kimi),也是目前估值最高的一家中国大模型独角兽(投后估值超过 25 亿美元)。就在他们第三笔融资进行的过程中,我和杨植麟聊了聊他过去一年创业故事。
这期节目由两次访谈组成。我们主要的访谈是在 2024 年 1 月完成,不过过年期间,OpenAI 重磅发布 Sora,所以我们又在 2 月补充了一次访谈。由于杨植麟有大模型创业者和 AI 科学家的两重身份,所以节目中包含了许多他对于 AGI 技术演进的关键技术判断。
我的播客节目在腾讯新闻首发,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:)
  • 02:51 站在巨大技术变革的开端:前面是延绵而未知的雪山
  • 03:35 11 年本科、17 年收敛到大语言模型、和图灵得主合作论文:杨植麟的学术之路
  • 06:36 为什么 AGI 需要新组织?为什么科研机构、巨头的 AI lab 无法产生伟大系统?
  • 10:24 全球化 + AGI + 很大用户量的产品,最终可能是 AGI 的必要条件
  • 11:07 我们不想做 “中国的 OpenAI”,但应该学习 OpenAI 的技术理想主义
  • 13:15 我在 Google 学习到的最重要一课:从无限的雕花中把自己释放出来
  • 16:25 作为博士怎么与图灵奖得主合作?和学术大佬合作与和资本大佬合作,哪个更难?
  • 19:37 创业这一年时间轴:ChatGPT 激活资本、人才变量,我在硅谷做了一笔精确计算
  • 22:28 Timing 很重要,第一笔融资的窗口很短,只有一个月
  • 27:54 怎么搭建 AGI 团队?现在有 80 人
  • 30:21 卡的问题有很多 back and forth,接下来一两年不会成为很大瓶颈
  • 32:13 为什么月之暗面做 to C 且只做 to C?(long context 与 Kimi 智能助手背后的技术产品思考)
  • 37:39 你认可说 “国产大模型公司去年追赶 GPT-3.5,今年追赶 GPT-4,没有本质差异” 这种说法吗?—— 这句话是对的,但也是片面的
  • 39:17 追赶 GPT-4 是国产大模型的必经之路,但也要做非共识的新维度
  • 40:53 不认同 2023 年下半年大模型市场转冷的判断,我们下半年确实也完成了融资
  • 42:57 登月第一步是长文本,第二步呢?接下来会有两个最重大的技术 milestone
  • 44:21 只有一个颠覆性的东西,才配得上 AGI 这三个字,否则我们今天说的都没意义
  • 45:34 我对 PMF、落地场景和应用的看法(“应用” 不是个准确的词,听起来更像目的 —— 应该既是手段、也是目的)
  • 46:54 User 的 scaling 和 Model 的 scaling 这两件事应该同时做,降维打击发生过太多次
  • 48:54 为什么开源追不上闭源?现在开源的方式和以前不一样了,它本身还是中心化
  • 49:48 AI 不是这一两年找到什么 PMF,而是未来十年二十年能做什么改变世界
  • 51:48 怎么对抗国内的焦虑情绪?大模型创业中的长短期平衡 —— 如果没有长期,你会错过整个时代
  • 57:41 回顾 2023 年的曲折、变量和预料之外
  • 60:30 怎么看几个市场上的几个观点(包括 Yann LeCun、Geoffrey Hinton、陆奇)
  • 62:25 现在的大模型公司配比:一半实验室,一半商业公司
  • 64:20 怎么看大模型创业公司和巨头的关系
68:05 以上是对杨植麟的第一次访谈,接下来是过完年后的第二次。这次我们重点聊了 OpenAI 重磅发布 Sora 的技术观点和对 2024 年的全球大模型产业预测
  • 68:24 Sora 有多少在你的意料之中,多少在你的意料之外?
  • 69:17 Sora 解决掉的技术问题:能在一个比较长的时间窗口保持生成的一致性
  • 69:40 Sora 对于全球产业格局意义是什么?2024 年大模型会有哪些新叙事?
  • 71:57 视频生成之前的关键技术瓶颈,更 unified architecture(统一的架构)仍然没有被解决
  • 73:04 解读 OpenAI 关于 Sora 报告:《Video generation models as world simulators》
  • 74:30 怎么看 Yann LeCun 对生成式 AI 的新观点(“通过生成像素对世界进行建模是一种浪费,并且注定会失败”)
  • 77:45 Sora 是视频生成的 GPT-3.5 时刻
  • 78:37 为什么不同模态放在同一个模型里那么难?Sora + GPT 会出现什么?
  • 80:40 两个世界差得越来越远了吗?
  • 83:41 2024 年的全球大模型产业预测
【更多信息】
联络我们:微博@张小珺 - Benita
更多信息欢迎关注公众号:张小珺