scripod.com
深度对谈 vLLM 团队:如何从零搭建一个成功的开源生态

Highlights

Transcript

Chapters

Pins

深度对谈 vLLM 团队:如何从零搭建一个成功的开源生态

此话当真

2024/07/03
此话当真

此话当真

2024/07/03
OverviewShownote
Unprocessed episode, you can be the first!

Shownote

本期的嘉宾是 vLLM 团队的李卓翰、Simon Mo、柳晓萱 Lily、游凯超,和真格基金管理合伙人戴雨森。 两年时间,vLLM 从加州大学伯克利分校的一个 Demo 项目成长为全球范围内最受欢迎的开源大模型推理加速框架。AI 技术不断突破极限,大语言模型正处于浪潮之巅。而在开发以外,模型的部署常常受到推理速度过慢、GPU 利用率过低的阻碍。vLLM 以 PagedAttention 核心算法,支持 30+ 生成式大语言模型,多种硬件厂商的适配和前沿的优化,能够做到与 Hugging Face Tra.....

Highlights

Chapters

Transcript