[论文随笔分享] 探索拓展大语言模型智能体的边界

问题描述：

受到 @bfloat16 佬的启发，个人决定开一个笔记分享系列，一方面是促进自己阅读论文的动力，希望每次阅读时，能够细心一些分析有价值的论文，并将这些感悟记录下来，留给有需要的佬友。另一方面是希望与佬们交流见闻，促进自己的视野。本论文分享系列会持续更新，聚焦LLM/Agentic/CV方向的论文。

0.元信息

论文标题：Expanding LLM Agent Boundaries with Strategy-Guided Exploration
单位：苹果
原始论文：[2603.02045] Expanding LLM Agent Boundaries with Strategy-Guided Exploration

1.前言

本文提出了一种可插拔式的方法，基于GRPO进行实验，因此可以视为对GRPO的改进，但也可应用于其他RL方法。其主要针对策略模型的采样阶段，不涉及奖励函数部分。该方法能够根据本轮的轨迹情况，将反馈引入下一轮，从而改变采样阶段的行为，这一理念较为新颖有趣。

过往已有类似的生成温度调节和采样阶段设计，但本文的设计更为灵活简洁；此外，其聚焦于Agentic场景的应用效果，领域也更为新颖。本文的方法图质量实在是不尽人意，实在过于模糊，论文整体可视化做得也比较差，难以相信出自苹果之手…虽然近年来苹果的论文质量确实有些一般就是了。

2.问题

本文聚焦于解决传统RL方法在LLM后训练中探索能力匮乏的问题。简单来说，我们在进行RL后训练时，期望模型找到一条最佳的采样路径，但受限于奖励函数的设计缺陷与复杂的决策空间，这通常很难实现。

在奖励函数方面，我们常常面临奖励过于稀疏的问题，例如分类正确性奖励仅反馈0或1，对应正确与否，那么不同的探索路径也只会得到0/1的优势差异。当组间优势差异过低时，便会产生优势消失问题，模型容易陷入优化困难的局面，难以积极探索新的路径。

3.动机

作者注意到，单纯改变生成温度来引入多样性，在Agentic交互中效果不佳。