过滤噪音，保留 AI 信号。

该论文分析了结合同策略学生轨迹与密集教师监督的后训练方法——同策略蒸馏（OPD）。研究发现OPD式更新幅度小且坐标稀疏，分布在各层且以前馈网络（FFN）为主；仅训练发现的稀疏子网络即可几乎恢复完整OPD的性能。但诱导稀疏性的SGD优化器表现不及AdamW，因为密集监督保留了异质的坐标级梯度尺度，而AdamW的自适应缩放仍有用。几何上，更新在数值上满秩但谱集中于少数方向，且远离源权重的主奇异子空间，更多地落在源权重接近零的坐标上。结果表明OPD保留了同策略后训练的几何特征，而非普通密集参数重写。

本文提出SkMTEB，首个斯洛伐克语综合性MTEB风格文本嵌入基准，包含31个数据集和7种任务类型。对31个嵌入模型的评测表明，大型指令微调多语言模型表现最佳，而现有的斯洛伐克语NLU模型在嵌入任务上迁移效果差。作者通过词汇裁剪和微调Multilingual E5模型，开发了e5-sk-small（45M参数）和e5-sk-large（365M参数）。尽管模型尺寸减少高达62%，但开源模型性能可媲美商业API，并适用于语义搜索和RAG的本地部署。研究公开了基准、模型、数据及代码，为其他资源匮乏语言提供了可复现的路径。

提供的文章片段仅包含一个比喻，将预训练模型比作能演奏各种音乐风格的专业钢琴家。没有包含微调方法、步骤或示例的具体信息。全文内容不可获取。

Pyrecall 是一款全新的开源工具，旨在填补持续学习研究中实用工具的空白。它会在微调前后记录技能评分，标记性能退化，并支持按名称回滚 LoRA 适配器。该工具完全本地运行，采用 MIT 许可证发布 v0.1.0 版本，可通过 pip 安装。开发者正在就基准设计征求社区反馈。

初始模型部署通常不难，但实际用户会使用内部术语、提出不完整问题并上传杂乱文档，这些基准测试无法覆盖。多数生产系统并未将推理日志、数据集整理、微调和评估整合为一个循环，每次模型改进都成为一个孤立项目。核心瓶颈是模型迭代——能否将生产流量转化为失败模式、整理数据集、重新训练或微调并稳定地重新部署。作者通过保险聊天机器人用例展示了一个从生产日志到后训练与重新部署的连续反馈回路，并指出 Data Lab 等平台将日志、数据集、后训练和部署视为同一迭代环节。

在 NVIDIA AI 播客中，Mistral AI 首席技术官兼联合创始人 Timothée Lacroix 讨论了公司的开放模型理念、Forge 定制化框架，以及通过 Nemotron 联盟与 NVIDIA 的合作。对话聚焦于如何将开放模型引入企业。Lacroix 阐述了 Mistral 在开放性与模型适配上的做法。Nemotron 联盟是一项旨在提升 AI 能力的合作关系。