scripod.com

AI 前沿:AI 模型的 “记忆” 与 “思考”

AI可可AI生活
在本期节目中,我们深入探讨了人工智能领域的多项前沿研究。从模型训练中的记忆机制到推理优化技术,再到探索人造生命的创新应用,内容涵盖了 AI 发展的多个关键方向。
节目首先解析了 AI 模型坍缩现象,解释了为何使用 AI 生成数据可能导致性能下降,并介绍了缓存增强技术如何通过外部协处理器提升推理效率。接着探讨了非结构化修改方法对大语言模型的影响,以及利用 AI 搜索人造生命的可能性,同时分析了链式微调导致的安全知识遗忘问题及解决方案。最后介绍了一种新型训练算法 Grams,它通过分离参数调整的方向与幅度,实现更高效且具有理论保障的训练方式,为未来 AI 发展提供了新思路。
00:02
00:02
AI 生成数据训练 AI 时模型能力可能下降
03:55
03:55
链式微调会导致有偏遗忘,训练顺序对模型记忆至关重要
05:34
05:34
Grams 算法通过分离方向和幅度提升训练精度