scripod.com

从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青

42章经

20 HOURS AGO
42章经

42章经

20 HOURS AGO
活动预告🥳:8 月 22 日,我们会请到繁青做一场线上活动,还会有数十位 model researchers 参与,大家记得翻到 shownotes 末尾查看报名信息!
近几个月,我们找了很多做模型、算法的人交流,聊下来的感受之一是:数据的重要性再次凸显出来。
市场也有很明确的对应反馈,比如一批合成数据公司在很短时间内做出了可观的收入;无论是模型厂还是互联网大厂,都在数据上更为投入。
这期节目,我们请来了较早抓住这波合成数据机会的 Evolvent AI 联合创始人孟繁青。繁青是 01 年出生的 NUS PhD,曾在 Kimi 做过一年多的 Agent 和 RL Infra。
节目里,我们从他在模型厂做 Post-training 与出来创业的不同感受聊起,也相继把有关后训练、数据、RSI/Self-Evolving/AI for AI、国内模型竞争格局,甚至蒸馏这个相对敏感的话题,都比较完整地梳理了一遍,聊出的一个最大非共识,是繁青对国内外模型差异的判断:
原本我们以为,国内更有优势的会是偏工程的 Post-training;但在他看来,国内模型真正有特色的地方,反而是 Pre-training 阶段被资源限制倒逼出来的架构创新。
基于这个认知,我们也得出了一个让人乐观的结论:
很多人会说国模很依赖蒸馏,但繁青认为,蒸馏只是一个加速手段,并不是国内模型变强的决定性因素。就算有一天海外把所有蒸馏通道都封掉,国模依然可以靠预训练的创新能力,构建起自己的竞争力。
最后,Evolvent AI 最近发布了新的研究成果 RSIBench-Data。如果有朋友想在数据、RSI 方面进行交流,也欢迎联系繁青。
【人类博物馆】
导游:曲凯,42 章经创始人
51 号珍藏:孟繁青,Evolvent AI 联合创始人;前 Kimi RL 实习生,foucs 在 RL Infra,参与 Kimi K2.5、Kimi Linear 等重要模型发版
【时光机】
Part 1 后训练与模型竞争
  • 01:15 在 Kimi 和出来创业的感受有什么不同?
  • 02:36 为什么 Post-training 背景的人更容易出来创业?有哪些可能性?
  • 04:37 今天的 Bench 和 Eval,与过去相比有什么变化?
  • 07:12 Post-training = 做数据、训模型的门槛在变低?
  • 10:35 同样是做数据,拉开质量差距的是什么?
  • 12:48 国内模型 vs 海外模型,优势其实在 Pre-training?
  • 17:09 国模的竞争格局会怎样发展?最后大家要拼的是什么?
Part 2 RSI
  • 21:50 RSI、Self-Evolving、AI for AI、Auto-Research…… 该怎么理解这些词?
  • 24:35 如果 RSI 真的能转起来,模型是不是真的就要吃掉一切了?
  • 29:09 假设模型真能自我迭代,创业公司为什么不直接做一个更好的基模?
  • 30:39 要做好 RSI,本质上要解决什么问题?
  • 33:48 RSI 继续发展下去,会引发怎样的变化?
Part 3 数据
  • 35:29 模型对数据的需求经历了哪几波变化?
  • 39:07 模型厂自己也能造数据,为什么还要外采?
  • 40:36 数据的下一波机会可能是什么?
  • 43:00 现在是「算法就是数据,数据就是 Infra,Infra 就是算法」?
  • 46:11 怎么理解合成数据和蒸馏之间的关系?蒸馏技法的区别在哪?
Part 4 展望
  • 48:18 模型现有的技术路线还有多大空间?
  • 49:33 为什么最近 AI4S 火了起来?
  • 51:39 相比于大厂,长期更看好初创模型公司?
  • 53:58 蒸馏对国内模型追赶的意义到底有多大?
  • 56:18 从合成数据到 RSIBench-Data,Evolvent AI 最终想做成什么?
【活动预告🥳】
8 月 22 日,我们会请到我们会请到繁青做一场线上活动,还会有数十位 model researchers 参与,感兴趣的朋友欢迎点击链接或扫描下面的二维码,一起来认识 & 交流!
The gang that made this happen】
  • 制作人:陈皮
  • 剪辑:陈皮
  • 片头:Mondo Bongo - Joe Strummer & The Mescaleros
  • 片尾:GeGeGe - 光のサイン

在小宇宙查看该单集文稿