148. 对游凯超 3 小时访谈：开源 Infra、和模型 Co-design 、“如果 vLLM 失败，我们会后悔一辈子”
张小珺Jùn｜商业访谈录
3 DAYS AGO
148. 对游凯超 3 小时访谈：开源 Infra、和模型 Co-design 、“如果 vLLM 失败，我们会后悔一辈子”
148. 对游凯超 3 小时访谈：开源 Infra、和模型 Co-design 、“如果 vLLM 失败，我们会后悔一辈子”
张小珺Jùn｜商业访谈录
3 DAYS AGO
Unprocessed episode, you can be the first!
今天我们的嘉宾是游凯超，他是创业公司 Inferact 联合创始人兼首席科学家 ——这个公司很特殊，是从伯克利一个校园开源项目 vLLM 演化而来。这个社区的维护者用了将近 3 年时间，把它从一篇算法论文变成了一个开源社区，又变成了一个公司的正常运营。
这些维护者们放弃了大量的个人诱惑，坚持着他们所相信的开源精神。
今年初，Inferact 获得了 1.5 亿美元种子轮融资。我们讨论了当一个寄托着社区情怀的开源项目，变成一个商业化的组织运营之后，它所面临的抉择、转变与思考。
另外一方面，我们也非常希望在 AI Infra 技术前沿上，给大家带来一些新的思路。所以我也和游凯超聊了聊，在 AI Infra、模型结构，甚至 Harness Engineering 都要联合设计的时代背景下，多方的联合设计应该怎么做？
接下来，就是我对游凯超的访谈。
OUTLINE:
00:02:18 从算法到机器学习系统
00:37:56 开源项目 vLLM 的诞生
01:07:25 “如果 vLLM 失败了，我们会后悔一辈子”
01:20:11 “仁慈的独裁者”
01:37:16 从社区到创业
01:52:56 模型与 Infra 的 Co-design
02:15:10 Token VS 电力
02:35:41 技术预测
LINKS：
我们的播客在小宇宙、Apple Podcast、Spotify 等全音频平台播出；
如果你想服用文字版，请搜索我们工作室的公众号：语言即世界 language is world。
DISCLAIMER: 本内容不作为投资建议。
CONTACT: xiaojunzhang@lisw.ai
Jump into the new world-and explore with us!😉
