scripod.com

59. 和杨植麟聊大模型创业这一年:人类理想的增量、有概率的非共识和 Sora

Shownote

[https://image.xyzcdn.net/Flo18nNUSP7OUNlTf8UgCdHxio6O.jpg] 今天的嘉宾是大模型公司月之暗面的创始人兼 CEO 杨植麟。 杨植麟是去年成立的这批国产大模型公司创始人中,最年轻的一位,也是学术、工作履历和通用 AI 有最直接相关的一位。他毕业于清华和 CMU,总计论文引用次数超过 22000 次。在人人喊 PMF(产品/市场契合)、人人喊商业化的中国 AI 生态里,这位 AI 研究员出身的创始人倒不那么着急。 国产大模型中,月之暗面是最坚定做 to C、且只做 to C 的一家公司(于去年 10 月推出了智能助手 Kimi),也是目前估值最高的一家中国大模型独角兽(投后估值超过 25 亿美元)。就在他们第三笔融资进行的过程中,我和杨植麟聊了聊他过去一年创业故事。 这期节目由两次访谈组成。我们主要的访谈是在 2024 年 1 月完成,不过过年期间,OpenAI 重磅发布 Sora,所以我们又在 2 月补充了一次访谈。由于杨植麟有大模型创业者和 AI 科学家的两重身份,所以节目中包含了许多他对于 AGI 技术演进的关键技术判断。 [https://image.xyzcdn.net/Fm2F9n8vMm_n-xafqMi98xs3T3K8.png][https://image.xyzcdn.net/Fm1_MA6yvqDXNbqPdEnU7Y7kB3Jy.png] > 我的播客节目在腾讯新闻首发 > [https://view.inews.qq.com/a/20240301A02V0Y00],大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) [https://image.xyzcdn.net/FvV-R5FBydYHGZAMyXAV1K1A9iJT.png] * 02:51 站在巨大技术变革的开端:前面是延绵而未知的雪山 * 03:35 11 年本科、17 年收敛到大语言模型、和图灵得主合作论文:杨植麟的学术之路 * 06:36 为什么 AGI 需要新组织?为什么科研机构、巨头的 AI lab 无法产生伟大系统? * 10:24 全球化 + AGI + 很大用户量的产品,最终可能是 AGI 的必要条件 * 11:07 我们不想做 “中国的 OpenAI”,但应该学习 OpenAI 的技术理想主义 * 13:15 我在 Google 学习到的最重要一课:从无限的雕花中把自己释放出来 * 16:25 作为博士怎么与图灵奖得主合作?和学术大佬合作与和资本大佬合作,哪个更难? * 19:37 创业这一年时间轴:ChatGPT 激活资本、人才变量,我在硅谷做了一笔精确计算 * 22:28 Timing 很重要,第一笔融资的窗口很短,只有一个月 * 27:54 怎么搭建 AGI 团队?现在有 80 人 * 30:21 卡的问题有很多 back and forth,接下来一两年不会成为很大瓶颈 * 32:13 为什么月之暗面做 to C 且只做 to C?(long context 与 Kimi 智能助手背后的技术产品思考) * 37:39 你认可说 “国产大模型公司去年追赶 GPT-3.5,今年追赶 GPT-4,没有本质差异” 这种说法吗?—— 这句话是对的,但也是片面的 * 39:17 追赶 GPT-4 是国产大模型的必经之路,但也要做非共识的新维度 * 40:53 不认同 2023 年下半年大模型市场转冷的判断,我们下半年确实也完成了融资 * 42:57 登月第一步是长文本,第二步呢?接下来会有两个最重大的技术 milestone * 44:21 只有一个颠覆性的东西,才配得上 AGI 这三个字,否则我们今天说的都没意义 * 45:34 我对 PMF、落地场景和应用的看法(“应用” 不是个准确的词,听起来更像目的 —— 应该既是手段、也是目的) * 46:54 User 的 scaling 和 Model 的 scaling 这两件事应该同时做,降维打击发生过太多次 * 48:54 为什么开源追不上闭源?现在开源的方式和以前不一样了,它本身还是中心化 * 49:48 AI 不是这一两年找到什么 PMF,而是未来十年二十年能做什么改变世界 * 51:48 怎么对抗国内的焦虑情绪?大模型创业中的长短期平衡 —— 如果没有长期,你会错过整个时代 * 57:41 回顾 2023 年的曲折、变量和预料之外 * 60:30 怎么看几个市场上的几个观点(包括 Yann LeCun、Geoffrey Hinton、陆奇) * 62:25 现在的大模型公司配比:一半实验室,一半商业公司 * 64:20 怎么看大模型创业公司和巨头的关系 > 68:05 以上是对杨植麟的第一次访谈,接下来是过完年后的第二次。这次我们重点聊了 OpenAI 重磅发布 Sora 的技术观点和对 2024 年的全球大模型产业预测 * 68:24 Sora 有多少在你的意料之中,多少在你的意料之外? * 69:17 Sora 解决掉的技术问题:能在一个比较长的时间窗口保持生成的一致性 * 69:40 Sora 对于全球产业格局意义是什么?2024 年大模型会有哪些新叙事? * 71:57 视频生成之前的关键技术瓶颈,更 unified architecture(统一的架构)仍然没有被解决 * 73:04 解读 OpenAI 关于 Sora 报告:《Video generation models as world simulators》 * 74:30 怎么看 Yann LeCun 对生成式 AI 的新观点(“通过生成像素对世界进行建模是一种浪费,并且注定会失败”) * 77:45 Sora 是视频生成的 GPT-3.5 时刻 * 78:37 为什么不同模态放在同一个模型里那么难?Sora + GPT 会出现什么? * 80:40 两个世界差得越来越远了吗? * 83:41 2024 年的全球大模型产业预测 【更多信息】 联络我们:微博 @张小珺 - Benita [https://weibo.com/u/6486678714] 更多信息欢迎关注公众号:张小珺 [https://image.xyzcdn.net/lhdvVIeUoR0RfFL22eCAKUulhbrj.jpg]

Highlights

本期播客邀请月之暗面创始人杨植麟,从 AI 研究员与创业者的双重身份出发,探讨 AGI 技术演进、创业选择与长期主义。访谈分为两次,首次聚焦创业历程与技术判断,第二次则围绕 OpenAI 发布的 Sora 展开讨论。
02:28
Sora 的突破推动了 AGI 判断
02:54
大模型产业初期充满巨大想象空间
05:32
AI 突破正加速走向产业界
08:43
真正的 AGI 必然是全球化的
10:27
AGI 公司的未来在于全球化
11:16
伟大公司必须兼具理想、产品与商业
13:20
能用规模解决的问题,不必依赖新算法
16:27
多元观点让新想法自然涌现
21:28
创业成败往往取决于时机
26:10
AGI 人才稀缺,招人是组织建设的核心
27:58
高人才密度支撑高资本效率
30:22
真正的优势是看清长期方向
35:49
真正的领先来自新的技术维度
37:42
追赶只是起点,独特能力才是价值
39:25
真正重要的是利用时间窗口
40:53
创业应回归用户需求,而非单纯竞争
42:59
智能增量才能创造 AGI 级价值
44:22
真实场景推动 AGI 进步
45:34
真正的大机会仍在 AGI
48:38
急于寻找 PMF 可能被技术进步降维打击
48:58
大模型持续解锁新应用
49:52
长期主义推动非共识创新
53:28
真实需求是长文本产品出圈的起点
59:24
解决幻觉仍需依靠规模化探索
1:02:06
目标不同,结局便不同
1:04:09
创业要勇往直前,也要坦然面对失败
1:06:34
数据规模化或是视频生成突破的关键
1:10:28
生成能力本质上是压缩能力的结果

Chapters

创业者如何判断 AGI 未来
00:00
站在巨大技术变革的开端:前面是延绵而未知的雪山
02:51
11 年本科、17 年收敛到大语言模型、和图灵得主合作论文:杨植麟的学术之路
03:35
为什么 AGI 需要新组织?为什么科研机构、巨头的 AI lab 无法产生伟大系统?
06:36
全球化 + AGI + 很大用户量的产品,最终可能是 AGI 的必要条件
10:24
我们不想做 “中国的 OpenAI”,但应该学习 OpenAI 的技术理想主义
11:07
我在 Google 学习到的最重要一课:从无限的雕花中把自己释放出来
13:15
作为博士怎么与图灵奖得主合作?和学术大佬合作与和资本大佬合作,哪个更难?
16:25
创业这一年时间轴:ChatGPT 激活资本、人才变量,我在硅谷做了一笔精确计算
19:37
Timing 很重要,第一笔融资的窗口很短,只有一个月
22:28
怎么搭建 AGI 团队?现在有 80 人
27:54
卡的问题有很多 back and forth,接下来一两年不会成为很大瓶颈
30:21
为什么月之暗面做 to C 且只做 to C?(long context 与 Kimi 智能助手背后的技术产品思考)
32:13
你认可说 “国产大模型公司去年追赶 GPT-3.5,今年追赶 GPT-4,没有本质差异” 这种说法吗?—— 这句话是对的,但也是片面的
37:39
追赶 GPT-4 是国产大模型的必经之路,但也要做非共识的新维度
39:17
不认同 2023 年下半年大模型市场转冷的判断,我们下半年确实也完成了融资
40:53
登月第一步是长文本,第二步呢?接下来会有两个最重大的技术 milestone
42:57
只有一个颠覆性的东西,才配得上 AGI 这三个字,否则我们今天说的都没意义
44:21
我对 PMF、落地场景和应用的看法(“应用” 不是个准确的词,听起来更像目的 —— 应该既是手段、也是目的)
45:34
User 的 scaling 和 Model 的 scaling 这两件事应该同时做,降维打击发生过太多次
46:54
为什么开源追不上闭源?现在开源的方式和以前不一样了,它本身还是中心化
48:54
AI 不是这一两年找到什么 PMF,而是未来十年二十年能做什么改变世界
49:48
怎么对抗国内的焦虑情绪?大模型创业中的长短期平衡 —— 如果没有长期,你会错过整个时代
51:48
回顾 2023 年的曲折、变量和预料之外
57:41
怎么看几个市场上的几个观点(包括 Yann LeCun、Geoffrey Hinton、陆奇)
1:00:30
现在的大模型公司配比:一半实验室,一半商业公司
1:02:25
怎么看大模型创业公司和巨头的关系
1:04:20
以上是对杨植麟的第一次访谈,接下来是过完年后的第二次。这次我们重点聊了 OpenAI 重磅发布 Sora 的技术观点和对 2024 年的全球大模型产业预测
1:08:05

Transcript

杨植麟: 如果所有人都觉得你很正常,那你肯定你就没有什么理想,因为你的理想肯定是大家都能想到的东西。那它就不是一个真正的理想,或者说它对人类理想的总量就没有增量。我觉得接下来会有两个大的 milestone。一个是一个真正的统一的世界模型,它能统一各种不同的模态,就是一个真正的 scalable 和 general 的 architecture。第二个就是能在没有人类数据输入的情况下,能够 AI 持续进化。 张小珺: Sora 这一次相对于,去年的 ChatGPT 来说,哪一个 milestone 更重大?...
小宇宙
Open in 小宇宙