张祥雨回顾了多模态研究的十年历史，指出纯视觉领域难以实现生成、理解和人类对齐的统一。他在研究中发现，随着模型规模增大，通用对话能力、情商和知识量增强，但推理能力尤其是数学能力却呈现先升后降的趋势。这是由于 next token prediction 方法存在本质缺陷，导致模型倾向于跳步计算。为解决这一问题，团队引入强化学习（RL），通过优化思维链 pattern 提升了模型性能。此外，他还提到 o1 范式的核心是 Meta-CoT，能够泛化不同领域的思考模式。未来，多模态领域可能通过扩充预训练语料和扩展动作空间实现突破，预计两年内在自主学习领域取得进展，推动模型具备在线学习能力。最后，张祥雨强调架构服务于算法和系统，认为多模态融合将成为机器人、自动驾驶等领域的共同目标。