一堂「强化学习」大师课｜对谈清华叉院助理教授吴翼

42章经

2025/04/05

Overview Shownote Highlights Transcript Chapters Pins

随着 AI 预训练的扩展规律逐渐放缓，强化学习（RL）成为推动技术发展的新动力。本期节目邀请了清华大学交叉信息研究院助理教授吴翼，深入探讨 RL 的基本原理、与大语言模型（LLM）结合的发展路径、当前的非共识以及未来演变方向。同时，通过 RL 的视角，我们也能重新思考人生的意义和决策过程。

强化学习是一种处理多步骤决策的机器学习方法，与传统方式不同，它在任务完成后获得反馈。吴翼介绍了 RL 与 LLM 结合的过程，从 InstructGPT 实现指令遵从到 RLHF 对齐人类价值观。虽然行业尚未确定最佳路径，但 RL 显著提升了 Agent 的理解和决策能力。未来的发展方向是预训练和 RL 的结合，数据来源和合成数据尤为重要。理解比生成更难，需要更多 token 消耗。尽管中国 RL 人才稀缺且起步较晚，但 DeepSeek、Anthropic 和 OpenAI 等团队正在专注三大分支。框架对 RL 至关重要，速度和稳定性是关键。国内外在 RL 上的发展存在差距，基建比算法更重要。研究 RL 不仅能推动技术进步，还能带来人生启示，如通过多样化生活寻找奖励函数1。