AI 前沿：从无传播训练到自适应跳层
AI可可AI生活
2025/04/02
AI 前沿：从无传播训练到自适应跳层
AI 前沿：从无传播训练到自适应跳层
AI可可AI生活
2025/04/02
Unprocessed episode, you can be the first!
本期 “TAI 快报” 深入探讨了五篇 AI 领域前沿论文，涵盖深度学习新范式和模型优化创新：
- NoProp: Training Neural Networks without Back-propagation or Forward-propagation：提出无需反向传播和前向传播的神经网络训练方法，利用去噪思想实现高效图像分类，挑战传统分层表示必要性。
- TRA: Better Length Generalisation with Threshold Relative Attention：通过阈值相对注意力机制提升 Transformer 模型长文本处理能力，解决语义与位置信息冲突。
- CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation：介绍半自动化科学发现系统，通过遗传搜索和代码实验加速科研创新。
- Effectively Controlling Reasoning Models through Thinking Intervention：提出 “思考干预” 范式，直接引导大型语言模型推理过程，提升指令执行和安全性能。
- Adaptive Layer-skipping in Pre-trained LLMs：开发 FlexiDepth 方法，实现预训练模型自适应跳层，优化计算资源分配，保持性能的同时提升效率。
