scripod.com
关于 AI Infra 的一切 | 对谈阶跃星辰联创朱亦博

Overview

Shownote

Highlights

Transcript

Chapters

Pins

关于 AI Infra 的一切 | 对谈阶跃星辰联创朱亦博

42章经

2025/08/02
42章经

42章经

2025/08/02
OverviewShownoteHighlightsTranscriptChaptersPins

Shownote

活动预告：8 月 16 日，我们会办一场线上活动，嘉宾是 Luma AI 模型产品 Lead 戴高乐、爱诗科技联创谢旭璋、前 OpusClip 增长产品负责人谢君陶，大家记得翻到 shownotes 末尾查看报名信息！ 本期嘉宾朱亦博可以说是国内最懂 AI Infra 的人之一。 从微软、字节 AI Infra 负责人到谷歌、再到阶跃联创，他的职业经历几乎和 AI Infra 的发展并行，如他所说，贾扬清、李沐等人可能是 AI Infra 的开路者，而他则是紧随其后的第二批从业者。 在这期播客中，亦博...

Highlights

本期节目邀请到阶跃星辰联合创始人朱亦博，他长期深耕 AI Infra 领域，曾参与构建字节跳动的 AI 基础设施，并在微软、Google 等企业积累了丰富的实战经验。作为国内最早一批深入 AI Infra 实践的专家之一，他见证了这一领域从萌芽到爆发的全过程。本期内容深入探讨了 AI Infra 的核心价值、衡量标准、组织协作方式，以及其在大模型时代的关键作用。
01:08
AI Infra 包括 AI 芯片、IaaS、PaaS、SaaS 等基础架构
03:25
深度学习在工业界的大规模应用成为第二批从业者核心任务
04:13
大模型时代需要一流的 Infra 支撑，是 Infra 人才参与早期创业的好时机
06:21
AI Infra 以 GPU 为核心，强调定制化与极致优化
07:38
AI Infra 强调经验积累而非仅依赖年轻人才
08:40
所有业务产品都依赖 AI Infra，不同公司对其投入情况因自身对成本和领先水平的考量而异
12:26
AI Infra 需与硬件或模型方垂直整合以建立优势
14:22
懂硬件和模型的 Infra 人员若跨出一步，进行多核模型、垂直整合等，会有很多机会
17:16
DeepSeek 的实际训练 MFU 表现偏低
19:11
DeepSeek 模型做强化学习的速度比其他基模快好几倍
20:04
模型输出速度是当前最重要的优化指标
22:06
AI Infra 的核心是降本，但在大厂中常缺乏反向影响力
29:58
实现革命性模型或可获得图灵奖并构建商业壁垒
31:25
类比当前多模态模型状态与 2020 年 BERT 阶段，期待统一模型范式
33:32
Databricks 曾主导 Spark 分布式计算框架并转向 AI 数据服务
34:15
训练是核心竞争力，不宜过早开放给第三方
39:01
模型与芯片统一整合将对竞争对手形成巨大压力
40:45
视觉推理模型可直接看图推理，是端到端的
50:11
字节 AI Infra 团队受 Google 启发，主导 MOE 模型训练并实现早期落地
55:20
从业者需对代码设计有主观能动性

Chapters

朱亦博谈 AI Infra 的背景与实战经验
00:00
AI Infra 的定义
01:07
贾扬清、李沐是 AI Infra 的第一批人，我属于第二批
02:49
为什么说 Infra 迎来了一个新的 Google 级别的机会？
04:13
移动互联网 vs 大模型时代：两代 Infra 有什么异同？
06:21
算法人可能「只有 2 年的保质期」，Infra 更吃经验
07:38
怎么衡量 AI Infra 的好坏？几个关键指标
08:40
该不该、该怎么投入 Infra？一笔很好量化的 ROI 账
10:09
面对云厂商和模型公司的挤压，第三方公司的突破口是什么？
11:20
对 Infra 人的一句忠告：要么深入模型、要么深入硬件
14:17
AI Infra 对模型效果到底有多大的影响？
16:15
DeepSeek 能冲出来，一大原因是选对了优化目标
17:45
阶跃现在最重视的优化目标是什么？
20:04
Infra、算法、数据团队之间该怎么配合？有关组织架构的心得体会
22:06
做 AI Infra 最大的阻碍是什么？
28:41
模型范式不会那么快革新，但多模态可能是一个突破口
30:16
简评几家硅谷当红 AI Infra 公司
32:29
第三方 AI Infra 的创业机会在哪里？
34:15
我们想提升国产卡的竞争力，哪怕只有一点点
36:35
介绍一下阶跃新发布的视觉推理模型
39:28
DeepSeek 做得好，就是因为梁文锋懂 Infra？
46:30
一些业内真实的踩坑案例
47:54
给 Infra 从业者的一些建议
55:13
《The Bitter Lesson》的含金量还在上升
55:43

Transcript

曲凯: 我们今天很开心。请到了之前自己 AI Infra 负责人，然后现在朱亦博是在阶跃，做联创和 AI Infra 负责人，朱亦博先给大家简单自我介绍一下。 朱亦博: 大家好，我叫朱朱亦博，我现在在阶跃星辰，为大模型做 AI Infra，然后在阶跃之前。最早是在微软研究院，做分布系统之类的研究的工作。然后大概在 18 年的时候，到字节跳动开始负责，构建字节跳动的 AI Infra。多到二三年初离开，中间有短暂的在 Google 待过，但是很快就创立阶跃星辰，然后开始做大模型了。 曲凯: 所以基本上可以讲说...
小宇宙
Open in 小宇宙