scripod.com

58: 光年之外联创再出发,与袁进辉聊 AI Infra 到底做什么?| AI 大爆炸

晚点聊 LateTalk
本期《晚点聊》是「AI 大爆炸」系列的第一期节目,主持人程曼祺邀请了 AI 领域资深从业者、连续创业者袁进辉,围绕他在 AI Infra(AI 基础软件)领域的创业经历与行业观察展开深入对话。节目不仅回顾了袁进辉从学术研究到工业界,再到两次创业的历程,也探讨了 AI 基础设施的发展趋势、商业化挑战以及未来可能出现的超级应用。
袁进辉分享了自己从清华大学博士后阶段开始的科研选择,以及在微软亚洲研究院开发 LightLDA 系统的经历。他于 2016 年创立 AI 训练框架公司 OneFlow,判断未来模型将变得巨大,需要新的系统架构支持。尽管技术领先,但 OneFlow 未能实现商业化突破。2023 年加入光年之外后,又再次创业成立硅基流动,专注于大模型推理部署。他指出推理市场比训练市场更广阔、更分散,且更适合创业公司切入。同时,他分析了中美在软件商业模式上的差异,强调全球化战略的重要性,并提出工程能力是长期壁垒。未来,他期待大模型超级应用的出现,但认为这些应用大概率不会来自当前的大模型公司,而是由产品导向型人才推动。
01:26
01:26
袁进辉提到过去 15 年创业经历屡战屡败,从清华博士毕业至今正好 15 年。
03:25
03:25
深度学习爆发前的前瞻性布局
07:49
07:49
LightLDA 是深度学习兴起前互联网公司重要的算法和系统
13:06
13:06
深度学习是工程密集型工作,将替代传统机器学习
15:03
15:03
当时主流模型参数规模小,如 CNN 模型,而现有系统已不适应未来大模型趋势
18:27
18:27
OneFlow 的多卡编程设计早于 PyTorch 两三年
28:05
28:05
大模型推理部署方向比好 offer 更有吸引力
30:20
30:20
大模型推理市场容量是训练的数倍,数据处理量远超训练
46:09
46:09
Crossing 推理框架性能优于英伟达和 vLLM
51:26
51:26
大模型的技术壁垒正在降低,但资金门槛依然存在
53:44
53:44
工程细节的积累难以开源,是构建壁垒的核心
56:18
56:18
超级应用可能不会由当前大模型公司主导开发
58:12
58:12
张一鸣靠自己兴起,代表了一种独立创业的路径
1:03:23
1:03:23
希望产品像大模型一样无处不在,成为 AI 基础设施公司