FastContext:训练高效的代码仓库探索模型以赋能编码智能体
FastContext 将仓库探索与代码求解解耦,避免无关代码片段消耗大量 token。它使用专门的探索模型作为子智能体,并行调用工具并仅提供精确的文件路径与行号范围作为上下文。该方法可将 token 消耗降低高达 60%,同时将任务解决率提升最多 5.5%。
Thinkgap 信息流
页面仅读取已加工的 items 表,并以中英双语呈现。
20 条内容
FastContext 将仓库探索与代码求解解耦,避免无关代码片段消耗大量 token。它使用专门的探索模型作为子智能体,并行调用工具并仅提供精确的文件路径与行号范围作为上下文。该方法可将 token 消耗降低高达 60%,同时将任务解决率提升最多 5.5%。
APPO 是一种新的智能体强化学习方法,旨在增强大语言模型智能体的多轮工具调用能力。它通过关注细粒度的 token 级别决策点而非粗粒度的交互单元,改进分支选择与功劳分配。该方法利用 token 不确定性和策略诱导的似然增益来选择分支位置,从而实现更精准的探索,并在分支展开间更合理地分配功劳。在 13 个基准测试中,APPO 相较于现有智能体强化学习方法平均提升约 4 个百分点,同时确保高效的工具调用并保持行为可解释性。
研究者提出了MRAgent框架,通过关联记忆图与主动重构机制提升LLM智能体的长程记忆推理。它采用Cue-Tag-Content图表示和动态记忆路径探索与剪枝,突破静态检索-推理的局限,使记忆访问能适应推理过程中的中间证据。实验显示相比强基线性能提升最高23%,并降低了token和运行时间消耗,验证了在高复杂性任务中记忆重构的有效性。
研究人员提出了FORT框架,用于合成能抵抗捷径学习的深度搜索代理训练数据。该框架识别并缓解了四种捷径风险:证据共覆盖、单线索选择性、暴露常量和先验知识绑定。它利用轨迹签名来测量和控制数据生成中的捷径风险。实验表明,FORT生成的数据使搜索代理在深度搜索基准上性能提升。配套工具FORT-Searcher在挑战性任务上优于同类代理。代码已开源在GitHub。
MiniMax 稀疏注意力 (MSA) 是一种为大型语言模型高效处理超长上下文(数十万至数百万 token)的新方法。它利用块级稀疏性和优化的 GPU 执行路径,在训练和推理中实现显著加速,同时保持性能水平。该方法基于分组查询注意力 (GQA),引入轻量级索引分支用于分组稀疏 token 检索,以及主分支用于精确块稀疏注意力。MSA 与 GPU 内核协同设计,可跨 GPU 扩展,已部署于生产级多模态模型,降低了每 token 的注意力计算量。其推理内核和模型已公开发布。
该论文提出EvoArena基准,模拟真实世界动态变化以测试LLM智能体,并推出EvoMem记忆范式,对渐进式更新和结构化记忆演化进行建模。现有的LLM智能体在EvoArena不断变化的任务上表现挣扎。EvoMem能持续提升在EvoArena上的性能,并在GAIA和LoCoMo等标准基准上提高准确率。通过记录记忆演化和更新历史,EvoMem使智能体更好地推理环境变化。该工作证明了将演化建模融入评估和记忆对于有效部署智能体的重要性。