scripod.com

关于 AI Infra 的一切 | 对谈阶跃星辰联创朱亦博

42章经

2025/08/02
42章经

42章经

2025/08/02
本期节目邀请到阶跃星辰联合创始人朱亦博,他长期深耕 AI Infra 领域,曾参与构建字节跳动的 AI 基础设施,并在微软、Google 等企业积累了丰富的实战经验。作为国内最早一批深入 AI Infra 实践的专家之一,他见证了这一领域从萌芽到爆发的全过程。本期内容深入探讨了 AI Infra 的核心价值、衡量标准、组织协作方式,以及其在大模型时代的关键作用。
朱亦博在访谈中系统阐述了 AI Infra 的定义和演进历程,指出其涵盖从硬件到软件的整套支撑体系,是大模型时代不可或缺的核心能力。他比较了 AI Infra 与传统 Infra 的异同,强调其以 GPU 为核心、需极致优化的特点。他指出,AI Infra 从业者应深入模型或硬件,才能发挥更大价值,并通过案例说明其对模型训练效率、推理成本的直接影响。他还分析了第三方 AI Infra 公司的突破口、行业面临的挑战,以及未来可能的突破方向,如多模态模型和国产芯片的协同优化。整体而言,AI Infra 不仅是降本工具,更是决定 AI 企业竞争力的核心力量。
01:08
01:08
AI Infra 包括 AI 芯片、IaaS、PaaS、SaaS 等基础架构
03:25
03:25
深度学习在工业界的大规模应用成为第二批从业者核心任务
04:13
04:13
大模型时代需要一流的 Infra 支撑,是 Infra 人才参与早期创业的好时机
06:21
06:21
AI Infra 以 GPU 为核心,强调定制化与极致优化
07:38
07:38
AI Infra 强调经验积累而非仅依赖年轻人才
08:40
08:40
所有业务产品都依赖 AI Infra,不同公司对其投入情况因自身对成本和领先水平的考量而异
12:26
12:26
AI Infra 需与硬件或模型方垂直整合以建立优势
14:22
14:22
懂硬件和模型的 Infra 人员若跨出一步,进行多核模型、垂直整合等,会有很多机会
17:16
17:16
DeepSeek 的实际训练 MFU 表现偏低
19:11
19:11
DeepSeek 模型做强化学习的速度比其他基模快好几倍
20:04
20:04
模型输出速度是当前最重要的优化指标
22:06
22:06
AI Infra 的核心是降本,但在大厂中常缺乏反向影响力
29:58
29:58
实现革命性模型或可获得图灵奖并构建商业壁垒
31:25
31:25
类比当前多模态模型状态与 2020 年 BERT 阶段,期待统一模型范式
33:32
33:32
Databricks 曾主导 Spark 分布式计算框架并转向 AI 数据服务
34:15
34:15
训练是核心竞争力,不宜过早开放给第三方
39:01
39:01
模型与芯片统一整合将对竞争对手形成巨大压力
40:45
40:45
视觉推理模型可直接看图推理,是端到端的
50:11
50:11
字节 AI Infra 团队受 Google 启发,主导 MOE 模型训练并实现早期落地
55:20
55:20
从业者需对代码设计有主观能动性