过滤噪音，保留 AI 信号。

方法学讨论串剖析一篇宣称通用模型优于专用医疗AI的论文争议

Ethan Mollick 分享了一条方法学讨论串，剖析一篇新论文的争议。该论文提出通用AI模型在医疗任务上优于专用医疗AI。讨论串还概述了医学AI基准测试面临的挑战。未提供论文、模型或基准的具体细节。

一篇博客文章指出，MiniMax发布的M3模型对比了Anthropic已经替换掉的Claude模型，导致其头条基准测试结果已过时。作者建议修正对比并等待独立测试，暗示已发布的性能声明可能未反映当前竞争态势。

一项基准测试比较了七个前沿模型在两类自动研究任务上的表现：机器学习工程和 harness/prompt 工程。该推文未透露具体模型及性能结果。未提供更多细节。

尽管检索完美，AI代理仍自信地引用了40天前的价格，表明代理记忆没有内置过期机制。作者开发并测试了一种在真实语料库上评分事实新鲜度的方法以解决该问题。

Together AI 针对 DeepSeek V4 Pro 的推理服务进行了优化，在 Artificial Analysis 基准测试中实现了输出速度（每秒 token 数）和延迟的双料第一。优化涉及 KV 缓存管理、前缀复用、定制化内核以及端点配置文件。这使得开发者通过 Together AI 调用 DeepSeek V4 Pro 可获得当前最快的 API 响应体验。该公司通过链接文章详细拆解了系统工程优化细节。

WeaveBench 是一个专为评估跨混合接口操作的计算机使用智能体（CUA）而设计的全面基准，要求同时进行 GUI 和 CLI/代码操作。它包含 114 个长周期任务，覆盖 8 个真实工作领域，并在真实的 Ubuntu 桌面上进行评估。该基准引入了一种轨迹感知评判器，用于检查智能体的交付成果并检测走捷径行为，弥补了传统评估方法的不足。在测试的模型-运行时组合中，通过率仅为 41.2%，暴露了在长周期任务编排方面的显著性能差距。