为什么我放弃语义嵌入进行工具选择,换回了BM25 [D]
一位开发者分享了构建包含140个MCP工具的智能体的生产经验,发现使用语义嵌入进行工具选择仅达到64%的top-1准确率,且错误时非常自信。对工具元数据使用BM25达到了81%的准确率,优于混合方法的78%。关键洞见是工具描述简短且依赖关键词,使得BM25比嵌入更有效。索引模式字段如属性名进一步提升了性能。作者建议针对特定语料库进行测试,而不是假设文档RAG的默认设置适用于工具选择。
Thinkgap 信息流
页面仅读取已加工的 items 表,并以中英双语呈现。
1 条内容
一位开发者分享了构建包含140个MCP工具的智能体的生产经验,发现使用语义嵌入进行工具选择仅达到64%的top-1准确率,且错误时非常自信。对工具元数据使用BM25达到了81%的准确率,优于混合方法的78%。关键洞见是工具描述简短且依赖关键词,使得BM25比嵌入更有效。索引模式字段如属性名进一步提升了性能。作者建议针对特定语料库进行测试,而不是假设文档RAG的默认设置适用于工具选择。