📝 本期播客简介

本期我们克隆了：红杉资本旗下播客的深度对谈《Why Hardware-Software Co-Design Is AI's Real 100x: Dylan Patel of SemiAnalysis》

原内容更新时间：2026-06-30

本期嘉宾是知名半导体与 AI 研究机构 SemiAnalysis 的创始人 Dylan Patel，主持人是红杉资本的合伙人 Sean。Dylan 从硬件论坛版主起步，如今带领团队为全球机构提供最前沿的芯片与人工智能产业分析。这期节目，他们撕开了 AI 领域一个常被忽视的关键杠杆 —— 硬件与软件的协同设计，并深入探讨了这种深度整合如何带来远超单纯硬件迭代的效率飞跃。

Dylan 在节目中抛出了一个核心论断：AI 最大的收益不是来自更快的芯片，而是当你把模型架构、底层内核和芯片设计三层协同优化时，原本这里 2 倍、那里 2 倍的提升，会直接变成 100 倍。他用 DeepSeek 举例，解释了为什么其专家模块的形状是为英伟达 Hopper 架构量身定制的，也因此跑在 TPU 上表现拉胯。这引出了一个更深的洞察：所谓的 CUDA 护城河，其实从来都不是 CUDA 本身，而是下游模型对英伟达硬件的深度协同优化。

对话还覆盖了 InferenceX 的活体基准测试、太空数据中心的非共识判断、AI 推理市场的终局规模，以及为什么新云厂商能在超大规模云厂商的夹缝中野蛮生长。如果你关心 AI 基础设施、芯片战争、模型架构演进和背后的经济账，这期节目会给你一个全新的分析框架。

👨‍⚕️ 本期嘉宾

Dylan Patel，SemiAnalysis 创始人。SemiAnalysis 是全球最具影响力的半导体与 AI 产业研究机构之一，客户涵盖顶级对冲基金、科技巨头和各国政府。Dylan 从 12 岁起泡硬件论坛，后来成为 Reddit 多个科技板块的版主，大学毕业后做过量化分析师，2020 年在个人崩溃和全球疫情中创办了 SemiAnalysis。他以能把技术细节和经济账无缝结合的分析风格著称，团队约 90 人，一半是覆盖半导体供应链的工程师，一半是前对冲基金分析师。

⏱️ 时间戳

开场与 SemiAnalysis 的诞生

00:00 本期克隆节目介绍

01:18 SemiAnalysis 内部的 “打架” 文化：工程师 vs 金融人

01:56 主持人 Sean 介绍 Dylan

03:01 Dylan 的成长背景：汽车旅馆、加油站与第一个 “神经网络”

04:31 八岁生日与 Xbox 360 死亡红环：硬件的潘多拉魔盒

05:36 12 岁成为 Reddit 版主，开始追踪芯片行业

07:50 创办 SemiAnalysis 的契机：奖金被坑、祖母去世、疫情崩溃

10:05 24 岁生日当天，用真名发布 SemiAnalysis

10:37 开着卡车跑遍全美国家公园，在 30 美元汽车旅馆里做研究

供应链、会议与学习曲线

12:13 行业展会 vs 学术会议：NeurIPS 与日本化学会议的天壤之别

13:17 SPIE 先进光刻会议：第一次去 90% 都听不懂

14:58 一种化学品烧毁，内存价格翻三倍的恐怖故事

推理市场与 InferenceX

15:35 推理将是地球上最大的市场，比石油大得多

16:13 为什么启动 InferenceX：静态基准测试已经死了

17:57 生态支持：5000 万美元捐赠硬件，15 种芯片类型

19:18 帕累托最优曲线：别拿次优配置跟最优配置比

20:07 吞吐量与交互性曲线：AI 基础设施的下游总开关

21:11 成本如何纳入曲线：批量 100 用户每秒 10 token vs 单用户每秒 500 token

太空数据中心与电力预测

22:18 非共识判断：三到五年内太空数据中心没有实质影响

23:03 二十年尺度上，绝大部分算力会搬到太空

23:35 到 2030 年，仅 OpenAI 和 Anthropic 就会超过 100 吉瓦

23:47 到 2040 年，推理算力将进入太瓦级别

每瓦智能与三层协同优化

24:06 每瓦智能一直在提升吗？成本已降 60 倍，每瓦智能提升约 40 倍

25:25 Sean 的三层框架：硬件、系统软件、模型算法

26:04 Dylan 完全不同意：最大收益来自协同设计层

26:55 DeepSeek V3 的专家形状是为 Hopper 优化的

27:43 TPU 跑 DeepSeek 很拉胯，跑其他模型却非常出色

28:07 中国在协同优化上比西方做得好？Dylan 不这么认为

28:42 真正的突破：跨三层协同优化，2 倍 ×2 倍 ×2 倍变成 100 倍

技术瓶颈与供应链创新

30:49 未来一年最关注的技术瓶颈：内存带宽

31:46 直接把内存堆在芯片上，带宽会暴涨

31:58 打破每平方毫米一瓦的功率天花板

33:16 能源瓶颈的简单解法：用卡车发动机改造成天然气发电机

GPU vs TPU 与 CUDA 护城河

34:25 Nvidia 对 TPU：两年后两边都是千亿美元级别

35:24 两边都有很能打的论点，但归根结底是协同设计

35:50 OpenAI 用 TPU 可能很糟糕，Anthropic 用 GPU 训练也可能很糟糕

36:09 矩阵乘法单元大小不同，导致模型架构根本不同

37:20 CUDA 护城河已经被解开了，因为模型编程能力很强

37:58 真正的护城河不是 CUDA，而是下游模型对 Nvidia 的优化

38:49 开源模型生态让下游使用者被绑在 Nvidia 上

39:40 大实验室早就 fork 了 PyTorch，不需要依赖开源

Cerebras、经济账与 AI 投资回报率

40:07 Cerebras：推理速度极快，但超大模型和超长上下文是风险

42:46 Dylan 的独特优势：把技术和经济账结合起来

43:55 最让 Dylan 上头的言论：AI 没有投资回报率

44:06 模型能力曲线一直在向右上方走，看新的基准测试

十年框架与终局判断

45:52 十年框架下最兴奋的事：太空数据中心、小行星采矿

46:29 共封装光学：争论的只是 27 年、28 年还是 29 年发生

46:48 Naveen Rao 的长期赌注：模拟计算与基于能量的模型

48:20 生态终局：每家超大规模云厂商都会有自己的芯片

49:24 硬件架构和模型架构会出现更多分叉

50:20 通用 AI 算力永远有市场，因为实验室连一年后用什么架构都不知道

51:51 每家都会投入数十亿美元部署专用集成电路

数据中心建设与计算资源紧缺

52:52 我们正处在一场疯狂的计算资源紧缺之中

53:22 今年 20 吉瓦，明年超 30 吉瓦，但模型能力增长更快

54:31 Anthropic 第二季度已经净利润盈利

54:44 Opus token 利润率超过 80%

55:45 只要毛利率是正的，就会不惜代价租 GPU

55:58 计算能力建设会不会突然出问题？

57:01 如果模型能完成的工作量增速超不过算力增速，风向就会变

57:49 模型现在进步得比六个月前更快：递归式自我改进在运转

数据中心的同质性与新云厂商

59:20 沙特原油的类比：不同吉瓦之间有多大同质性？

01:00:39 Trainium 每吉瓦不到 100 亿美元，GPU 每吉瓦 120 到 130 亿

01:02:07 数据中心租赁价格从每千瓦 60 美元涨到 120 到 160 美元

01:02:47 常见的坑：项目直接失败，必须做概率加权

01:03:18 Google 在一个吉瓦级数据中心里实际部署 1.5 吉瓦硬件

01:04:51 一个吉瓦给 Anthropic 产生的收入比给 OpenAI 更高

NeoCloud 的机会与 Jensen 的布局

01:06:22 NeoCloud 为什么存在？超大规模云厂商的专长在 AI 云里变成拖累

01:07:21 Nitro 智能网卡对 AI 性能不利，安全功能在 AI 场景没意义

01:08:59 Jensen 绝对讨厌超大规模云厂商掌握所有权力

01:09:22 他想要一个多极化的世界，所以砸钱给新实验室和新云厂商

01:10:11 新云生态就是蛮荒地带，有些会失败，有些会脱颖而出

01:11:10 Thinking Machines 做到上亿美元年度经常性收入

🌟 精彩内容

💡 软硬件协同设计：2 倍 ×2 倍 ×2 倍变成 100 倍

Dylan 指出，AI 效率提升的真正魔法不在单一层面，而在跨层协同。当模型架构、底层内核和芯片设计被当作一个整体来优化时，收益不是加法而是乘法，甚至是指数级的。这就是为什么顶尖实验室和英伟达这样的公司能持续领先。

"真正的突破性创新，是当你跨越几层去做协同优化和协同设计，突然间，本来这里 2 倍、那里 2 倍、那里 2 倍，不是乘起来变成 8 倍，而是直接 100 倍。"

💡 CUDA 护城河从来不是 CUDA 本身

Dylan 颠覆了行业对英伟达护城河的认知。他认为真正的锁定效应不是 CUDA 软件生态，而是下游模型在架构层面就为英伟达 GPU 做了深度优化。DeepSeek 的专家模块形状是为 Hopper 定制的，所以跑在 TPU 上表现很差。这种模型层面的协同设计，才是真正的护城河。

"这其实不是 CUDA 在起护城河作用，而是下游产品对 Nvidia 优化得更好。而且这些公司还都在开源这些模型。"

💡 推理将是地球上最大的市场，比石油大得多

Dylan 对 AI 推理市场的规模做出了大胆预测：到 2030 年仅 OpenAI 和 Anthropic 就会超过 100 吉瓦，到 2040 年进入太瓦级别。他认为 AI 推理将占到 GDP 的好几个百分点，成为人类历史上最大的单一市场之一。

"推理，不管是开源模型还是闭源模型，都会是世界上最大的市场之一。我觉得会比石油大得多。"

💡 别拿次优配置跟最优配置比

在解释 InferenceX 的帕累托最优曲线时，Dylan 用一个赛车比喻点出了行业基准测试的普遍问题：人们总拿别人次优的配置来跟自己最优的配置比，这就像开保时捷跟赛车手比谁开得更慢。InferenceX 要做的是为曲线上每一个点都找到真正的最优配置。

"很多时候，人们在比较推理性能时，会拿别人次优的曲线或点位，来跟自己最优的去比。这就好比，我开保时捷，跟某个赛车手比，肯定是我开得更慢。"

💡 模型进步没有停滞，递归式自我改进正在加速

面对 "模型能力即将停滞" 的论调，Dylan 给出了一个令人兴奋的观察：工程师们正在用模型来帮助编写代码、加速推出下一代模型，形成了一个类似递归自我改进的循环。模型现在进步得比六个月前更快。

"模型现在进步得比六个月前或一年前更快，因为你看到的是一个类似递归自我改进的循环在运转，模型变得更好、更快。"

💡 Jensen 想要一个多极化的世界

Dylan 揭示了英伟达 CEO 黄仁勋的深层战略逻辑：他砸钱给新实验室和新云厂商，不是因为短期利润，而是为了防止一个只有 OpenAI、Anthropic 和 Google 模型的世界出现。一个多极化的 AI 生态，对英伟达来说才是长期安全牌。

"一个只有 OpenAI、Anthropic 和 Google 模型的世界，对他来说是死路一条。一个只有超大规模云厂商在建设算力的世界，对他也是死路一条。"

💡 别跟猪摔跤，因为猪也乐在其中

当 Sean 问 Dylan 是否享受 SemiAnalysis 内部工程师和金融人之间的激烈争论时，Dylan 用这句谚语幽默地承认了自己乐在其中。这也完美概括了他从论坛版主到行业顶尖分析师的一贯风格：享受争论，享受把技术和经济账放在一起碰撞的过程。

"别跟猪摔跤，因为猪也乐在其中，对吧？"

```

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的

使用 AI 进行翻译，因此可能会有一些地方不通顺；

如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight