scripod.com
从蒸馏到合成数据到 RSI，模型竞争的下一个焦点是什么？｜对谈 Evolvent AI 联创孟繁青

Overview

Shownote

Highlights

Transcript

Chapters

Pins

从蒸馏到合成数据到 RSI，模型竞争的下一个焦点是什么？｜对谈 Evolvent AI 联创孟繁青

42章经

19 HOURS AGO
42章经

42章经

19 HOURS AGO
OverviewShownoteHighlightsTranscriptChaptersPins

Shownote

活动预告：8 月 22 日，我们会请到繁青做一场线上活动，还会有数十位 model researchers 参与，大家记得翻到 shownotes 末尾查看报名信息！ 近几个月，我们找了很多做模型、算法的人交流，聊下来的感受之一是：数据的重要性再次凸显出来。 市场也有很明确的对应反馈，比如一批合成数据公司在很短时间内做出了可观的收入；无论是模型厂还是互联网大厂，都在数据上更为投入。 这期节目，我们请来了较早抓住这波合成数据机会的 Evolvent AI 联合创始人孟繁青。繁青是 01 年出生的 NUS...

Highlights

本期播客邀请到 Evolvent AI 联合创始人孟繁青，他曾在 Kimi 参与 Agent 和 RL Infra 工作，现聚焦 RSI（递归自我改进）方向。节目从他在模型厂与创业的不同体验切入，深入探讨了后训练、数据、RSI、国内外模型竞争格局以及蒸馏等话题，并提出了一个非共识观点：国内模型的真正优势在预训练架构创新，而非后训练工程。
00:19
公司聚焦 RSI 方向
01:15
创业公司不做基础模型，寻找正交切入点。
02:37
post-training 比 pre-training 更适合创业
04:37
环境真实性与多维评估的复杂性
09:25
造数据的洞察力是核心能力
10:36
数据质量需通过训练结果验证
15:00
后训练数据积淀的差距难以快速弥补
19:00
长期竞争关键在算力和组织架构
23:48
模型能从零复刻并超越自己是实现 RSI 的关键
24:35
模型将吞噬一切
29:09
创业公司应聚焦 RSI 通道建设
30:39
RSI 能力源于内化的世界模型，而非独立基础模型
33:48
Agent 已具备自动合成数据的能力
35:29
合成数据通过构建环境让模型自主探索并保存轨迹
40:36
外部合成数据需求下降
42:39
算法即数据，数据即 infra，infra 即算法
45:26
Agent 合成数据反哺模型训练
48:08
领先模型也能通过自我探索提升
48:19
Scaling Law 仍有空间
49:33
AI4S 成为模型厂商展示智力与 PR 新模型的手段
51:39
竞争核心在于组织形态设计
55:46
蒸馏作为工具的价值取决于使用方式
58:13
工程能力比学术指标更重要

Chapters

嘉宾孟繁青的自我介绍
00:00
Part 1 后训练与模型竞争
在 Kimi 和出来创业的感受有什么不同？
01:15
为什么 Post-training 背景的人更容易出来创业？有哪些可能性？
02:36
今天的 Bench 和 Eval，与过去相比有什么变化？
04:37
Post-training = 做数据、训模型的门槛在变低？
07:12
同样是做数据，拉开质量差距的是什么？
10:35
国内模型 vs 海外模型，优势其实在 Pre-training？
12:48
国模的竞争格局会怎样发展？最后大家要拼的是什么？
17:09
Part 2 RSI
RSI、Self-Evolving、AI for AI、Auto-Research…… 该怎么理解这些词？
21:50
如果 RSI 真的能转起来，模型是不是真的就要吃掉一切了？
24:35
假设模型真能自我迭代，创业公司为什么不直接做一个更好的基模？
29:09
要做好 RSI，本质上要解决什么问题？
30:39
RSI 继续发展下去，会引发怎样的变化？
33:48
Part 3 数据
模型对数据的需求经历了哪几波变化？
35:29
模型厂自己也能造数据，为什么还要外采？
39:07
数据的下一波机会可能是什么？
40:36
现在是「算法就是数据，数据就是 Infra，Infra 就是算法」？
43:00
怎么理解合成数据和蒸馏之间的关系？蒸馏技法的区别在哪？
46:11
Part 4 展望
模型现有的技术路线还有多大空间？
48:18
为什么最近 AI4S 火了起来？
49:33
相比于大厂，长期更看好初创模型公司？
51:39
蒸馏对国内模型追赶的意义到底有多大？
53:58
从合成数据到 RSIBench-Data，Evolvent AI 最终想做成什么？
56:18

Transcript

曲凯: 我们最近聊了很多跟模型算法相关的人，因为这块也非常热，所以今天很开心请到 Evolvent AI 的联创繁青，可以给大家先简单介绍一下，OK。 孟繁青: 非常感谢曲老师的邀请。我是孟繁青，我是 NUS 博士生，同时我也是 Evolvent AI 这边的联合创始人。然后我主要在我们这边是 focus 在 RSI 这个 research 的方向。我之前是在 Kimi 有过一个比较长时间的实习经历，然后当时的话主要去做 Agent 的。还有 RL 这块，然后主要是偏 Infra 的方向，然后在 Kimi ...
小宇宙
Open in 小宇宙