今天这集，《商业访谈录》第一次迎来一位 co-host，是大家熟悉的李广密。

广密邀请了大模型公司阶跃星辰的首席科学家张祥雨，来聊聊，多模态的前世今生和未来技术的前沿走向。

张祥雨在这集节目详细阐述了：他参与的多模态的 10 年历史，对多模态的全新思考，以及所预见的下一个 “GPT-4 时刻”。

他提到一个细节：在训练过程中他曾经发现一件百思不得其解的现象 —— 模型的通用对话能力、情商和知识量都是随着模型变大变得更强，但模型的推理能力（尤其是数学）表现却是先上升后平缓，再扩大反而是下降 —— 这点在业界还未引发广泛讨论。关于这个怪现象，他也给出了自己的解答。

下面是广密和祥雨的聊天。

2025，我们和 AI 共同进步！

02:00 张祥雨的学术经历和个人研究主线

12:25 CV（计算机视觉）向 NLP（自然语言处理）的学习历史

17:14 2022 年我开始对单纯靠视觉学出 “CV 领域的 GPT 时刻” 比较悲观

18:22 纯视觉这个 domain 有什么问题？GPT 这样的生成模型你可以同时拥有生成、理解和人类对齐，而静态图像这三者是割裂的

24:23 我停止了对静态图像表征的研究，构思新的研究主题：短期内利用视觉和语言的对齐关系

29:10 经过尝试还是没做到图像的理解、生成和对齐一体化，我得到一个越来越强的生成模型，和一个越来越强的理解模型，没有起到叠加效果 —— 为什么如此难以融合？

41:11 训练过程中发现了一件百思不得其解的怪事：模型的通用对话能力、情商、知识量确实模型越大越强，但模型的推理能力（尤其是数学）表现是先上升后平缓，再扩大反而是下降

43:10 一些蛛丝马迹：更大的模型做数学题倾向于跳步，不老实

44:33 经过分析，这是 next token prediction 的本质缺陷

45:42 更大的压缩率未必对应更高的计算精度，我们来做一个思想实验

47:27 生成模型的 “特征坍缩现象”

50:48 解决方案就是引入 RL（强化学习）

53:28o1 的核心是思维链的 pattern——“做思考模型，pattern is all you need”

01:01:52 当模型走到某一步，摆在面前有两个分支 —— 走左边？还是走右边？—— 一个 token 之内到底能不能解决？（critical decision）—— 不能，所以引入反思 pattern

01:10:16 o1 范式的本质是一种 Meta-CoT ，是 CoT 的 CoT

01:10:57 研究完 o1，返回研究为什么视觉生成可控性这么差，就有了眉目

01:15:13 简单把生成和理解做到一起，难度非常大，缺失了重要一环 CoT

01:19:06 尝试了半年，结果给大家透露一下吧！

01:21:30 o 系列不仅泛化了 domain，更吸引人的是泛化了 pattern

01:22:16 博弈类问题是难以泛化的领域，有很多无效思考和低级错误

01:24:07 o1 激发的反思 pattern，在预训练语料中都有分布了

01:31:31 关于预训练加多模态数据有两种说法：影响了 text 智商？还是增强了 scaling law？

01:36:43 往后两条腿走：扩充预训练语料和扩展动作空间

01:45:42 多模态的 “GPT-4 时刻” 还有多久

01:46:56 long context 和多模型协作

02:07:09 架构不重要，架构是服务算法和系统的（为什么我说 Linear Transformer 不本质）

02:21:22 澄清一些有关 Agent 的观点

02:25:00 人虽然没有生成器官，但人有世界模型

02:26:34 我们的智能水平还在为视觉挣扎，机器人领域在抢跑

【更多信息】

联络我们：微博@张小珺 - Benita

更多信息欢迎关注公众号：张小珺