从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青
42章经
20 HOURS AGO
从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青
从蒸馏到合成数据到 RSI,模型竞争的下一个焦点是什么?|对谈 Evolvent AI 联创孟繁青

42章经
20 HOURS AGO
本期播客邀请到 Evolvent AI 联合创始人孟繁青,他曾在 Kimi 参与 Agent 和 RL Infra 工作,现聚焦 RSI(递归自我改进)方向。节目从他在模型厂与创业的不同体验切入,深入探讨了后训练、数据、RSI、国内外模型竞争格局以及蒸馏等话题,并提出了一个非共识观点:国内模型的真正优势在预训练架构创新,而非后训练工程。
孟繁青认为,后训练门槛降低,核心在于数据质量,而国内模型在预训练架构上已有创新(如 Kimi Linear、DeepSeek 注意力机制),后训练数据积累相对薄弱,依赖蒸馏加速追赶,但蒸馏并非决定性因素。RSI 是模型在环境中持续迭代改进,本质是更聪明的搜索,依赖预训练内化的世界模型。数据需求从普通标注转向合成数据,合成数据需结合复杂环境和高质量评分,未来机会在 RSI 数据。模型竞争最终拼算力和组织架构,而 AI4S 成为模型厂展示能力的新方向。Evolvent AI 定位为模型厂与应用层之间的中间层,发布 RSIBench-Data 基准,招聘更看重工程能力。
00:19
00:19
公司聚焦 RSI 方向
01:15
01:15
创业公司不做基础模型,寻找正交切入点。
02:37
02:37
post-training 比 pre-training 更适合创业
04:37
04:37
环境真实性与多维评估的复杂性
09:25
09:25
造数据的洞察力是核心能力
10:36
10:36
数据质量需通过训练结果验证
15:00
15:00
后训练数据积淀的差距难以快速弥补
19:00
19:00
长期竞争关键在算力和组织架构
23:48
23:48
模型能从零复刻并超越自己是实现 RSI 的关键
24:35
24:35
模型将吞噬一切
29:09
29:09
创业公司应聚焦 RSI 通道建设
30:39
30:39
RSI 能力源于内化的世界模型,而非独立基础模型
33:48
33:48
Agent 已具备自动合成数据的能力
35:29
35:29
合成数据通过构建环境让模型自主探索并保存轨迹
40:36
40:36
外部合成数据需求下降
42:39
42:39
算法即数据,数据即 infra,infra 即算法
45:26
45:26
Agent 合成数据反哺模型训练
48:08
48:08
领先模型也能通过自我探索提升
48:19
48:19
Scaling Law 仍有空间
49:33
49:33
AI4S 成为模型厂商展示智力与 PR 新模型的手段
51:39
51:39
竞争核心在于组织形态设计
55:46
55:46
蒸馏作为工具的价值取决于使用方式
58:13
58:13
工程能力比学术指标更重要