# AI 论文日报 · 2026-05-22

覆盖北京时间：2026-05-21、2026-05-22  ｜  运行时间：2026-05-22 14:18 CST（2026-05-22 06:18 UTC）

## 执行摘要

- 候选数量 / candidate count：1973（arXiv official recent/list pages + Hugging Face Daily Papers 合并去重；arXiv export API 单类别 probe 成功，selected-id 批量核验遇到 429 后使用官方 list/abs 页面备选）。
- 去重后新论文数量 / new included count：1942；历史已囊括候选：31。
- 最终精选数 / selected count：15。
- Top 3：
  1. [Spreadsheet-RL: Advancing Large Language Model Agents on Realistic Spreadsheet Tasks via Reinforcement Learning](https://arxiv.org/abs/2605.22642) — 把 office/spreadsheet agent 放进真实 Excel 环境做 RL 训练，是 computer-use agent 的高价值落地点。
  2. [SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations](https://arxiv.org/abs/2605.22564) — 解决 synthetic tool-agent traces 到底能否代表真实生产 traces 的质量问题。
  3. [Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents](https://arxiv.org/abs/2605.22608) — 在 system/trace/node 三层自动生成 agent 行为洞察，直接服务 agent 可观测性与调试。

本期一行结论：今天最值得读的不是单点大模型能力，而是围绕 agent 的真实环境训练、评测数据质量、多层诊断、长期记忆和可验证安全边界。

## Top Picks

### 1. Spreadsheet-RL: Advancing Large Language Model Agents on Realistic Spreadsheet Tasks via Reinforcement Learning

- 链接：[2605.22642](https://arxiv.org/abs/2605.22642) ｜ [PDF](https://arxiv.org/pdf/2605.22642)
- 作者：Chi, Banghao, Xie, Yining, Wu, Mingyuan, Yang, Jingcheng, Jiang, Jize, Li, Zhaoheng, Qian, Shengyi, Zhang, Minjia 等
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22；HF Daily 2026-05-22
- 类别：Artificial Intelligence (cs.AI)
- 来源：Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page
- 一句话结论：把电子表格自动化从 prompt wrapper 推向真实 Excel 环境中的强化学习训练，适合观察 office/computer-use agent 的下一个落地点。
- 为什么重要：Excel/Sheets 是高频知识工作环境，任务常是多步、状态ful、带公式和格式约束；该文把 spreadsheet agent 放进真实 Microsoft Excel 环境而不是 toy UI，对办公自动化 agent 很关键。
- Motivation：Excel/Sheets 是高频知识工作环境，任务常是多步、状态ful、带公式和格式约束；该文把 spreadsheet agent 放进真实 Microsoft Excel 环境而不是 toy UI，对办公自动化 agent 很关键。
- Method：构建 Spreadsheet-RL：自动任务生成、可执行 Excel 环境、RL fine-tuning 与评估闭环；让模型学习跨 sheet 操作、公式编辑、数据处理和 presentation-style 整理。
- Data：真实/现实风格 spreadsheet workflows；HF Daily Papers 2026-05-22 收录；arXiv abs page 显示发表于 2026-05-21。
- Evaluation：关注复杂多步 spreadsheet 任务成功率，并和通用 LLM prompting/specialized prompting 比较。
- Contribution：给 office agent 提供一个更贴近生产的 RL 训练与评测场景。
- 局限/风险：摘要未显示全部 benchmark 细节；若任务生成过于模板化，可能高估泛化。
- Lucian 可采取的下一步：把 fjai.pw/个人工作流里“表格日报、财务表、实验 tracking sheet”抽象成 spreadsheet-agent hidden tasks，用作内部 agent eval。
- Quality note：Top 1：强相关、HF 热度、工程可迁移性高，建议优先读实验和环境设计。
- 摘要摘录：Spreadsheet systems (e.g., Microsoft Excel, Google Sheets) play a central role in modern data-centric workflows. As AI agents grow increasingly capable of automating complex tasks, such as controlling computers and generating presentations, building an AI-driven spreadsheet agent has emerged as a promising research direction. Most existing spreadsheet agents rely on specialized prompting over general-purpose LLMs; while this design has potentials on simple…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 4 | 5 | 22 |

### 2. SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations

- 链接：[2605.22564](https://arxiv.org/abs/2605.22564) ｜ [PDF](https://arxiv.org/pdf/2605.22564)
- 作者：Wang, Shuaiqi, Maddi, Aadyaa, Lin, Zinan, Fanti, Giulia
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22
- 类别：Computation and Language (cs.CL) ; Machine Learning (cs.LG); Software Engineering (cs.SE)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：提出 SynAE 来度量合成执行轨迹数据是否能代表真实 tool-calling agent 数据，直击 agent eval 数据隐私与稀疏问题。
- 为什么重要：生产 tool-agent trace 往往敏感、稀少且不可公开；如果合成数据不能代表真实分布，pre-deployment evaluation 会给出虚假安全感。
- Motivation：生产 tool-agent trace 往往敏感、稀少且不可公开；如果合成数据不能代表真实分布，pre-deployment evaluation 会给出虚假安全感。
- Method：把真实 trace 与合成 trace 在任务、工具调用、多轮结构、失败模式等维度做关系评估，判断合成 benchmark 是复制、补充还是偏离真实数据。
- Data：面向 multi-turn tool-calling agents 的输入命令、agent responses 与 tool calls；摘要强调 internal production datasets 与 synthetic replacements。
- Evaluation：评估合成数据和真实数据在 agent 行为覆盖度、工具调用结构和测试价值上的贴近程度。
- Contribution：把“合成 agent eval 数据质量”从感觉判断变成可测框架。
- 局限/风险：真实生产数据不可见时，SynAE 自身仍依赖可用样本；不同工具生态的指标权重可能要重调。
- Lucian 可采取的下一步：为 AI 论文日报 agent 的 synthetic tests 增加 SynAE-style coverage：检索、去重、评分、证据引用、写作失败模式都要覆盖。
- Quality note：Top 2：对构建长期可维护的 agent benchmark 很有用，尤其适合和内部 trace privacy 一起读。
- 摘要摘录：Today, tool-calling agents are commonly evaluated or tested on static datasets of execution traces, including input commands, agent responses, and associated tool calls. However, internal production datasets are often insufficient or unusable for testing; for example, they may contain sensitive or proprietary data, or they may be too sparse to support comprehensive testing (especially pre-deployment). In these settings, practitioners are increasingly repla…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 4 | 5 | 22 |

### 3. Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents

- 链接：[2605.22608](https://arxiv.org/abs/2605.22608) ｜ [PDF](https://arxiv.org/pdf/2605.22608)
- 作者：Yehudai, Asaf, Eden, Lilach, Shmueli-Scheuer, Michal
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22
- 类别：Computation and Language (cs.CL) ; Artificial Intelligence (cs.AI)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：Agentic CLEAR 自动生成 system/trace/node 三级 agent 行为洞察，让 agent evaluation 从静态 taxonomy 走向动态诊断。
- 为什么重要：agent 越自主，单个 pass/fail 分数越不够；需要跨系统、跨轨迹、跨节点解释“为什么失败”。
- Motivation：agent 越自主，单个 pass/fail 分数越不够；需要跨系统、跨轨迹、跨节点解释“为什么失败”。
- Method：在 observability layer 之上生成 textual insights，动态归纳 agent 行为、错误模式和节点级问题，并提供 UI 集成。
- Data：四个 benchmark 上实验；对象是 agent strategies/actions/environments 形成的 traces。
- Evaluation：用多层 granularity 验证 insight quality、可用性和对 agent 评估流程的辅助价值。
- Contribution：把 agent 监控从日志展示升级为可解释诊断层。
- 局限/风险：自动洞察可能受 LLM judge 偏差影响；复杂系统仍需人类复核关键结论。
- Lucian 可采取的下一步：给 Hermes/fjai 的日报与代码 agent 增加 trace->system/trace/node 三级失败报告，定位漏召回、误排序和链接错误。
- Quality note：Top 3：和 Lucian 的 Auto Research/agent runtime 可观测性高度贴合。
- 摘要摘录：Agentic systems are becoming more capable: agents define strategies, take actions, and interact with different environments. This autonomy poses serious challenges for overseeing and assessing agent behavior. Most current tools are limited, focusing on observability with basic evaluation capabilities or imposing static, hand-crafted error taxonomies that cannot adapt to new domains. To address this gap, we present Agentic CLEAR, an automatic, dynamic, and…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 4 | 5 | 22 |

### 4. MOSS: Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems

- 链接：[2605.22794](https://arxiv.org/abs/2605.22794) ｜ [PDF](https://arxiv.org/pdf/2605.22794)
- 作者：Cai, Qianshu, Zhang, Yonggang, Jia, Xianzhang, Xue, Wei, Song, Jun, Tian, Xinmei, Guo, Yike
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22
- 类别：Artificial Intelligence (cs.AI) ; Machine Learning (cs.LG)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：MOSS 主张 agent 自进化不应只改 prompts/skills/memory，还应能进行受控源代码级重写。
- 为什么重要：很多结构性 bug 位于 routing、hook ordering、state invariants、dispatch code；只改文本技能无法触达这类失败。
- Motivation：很多结构性 bug 位于 routing、hook ordering、state invariants、dispatch code；只改文本技能无法触达这类失败。
- Method：把 source-level rewriting 作为 self-evolution medium，用可执行代码补丁改变 agent harness，同时强调确定性生效和验证。
- Data：12 页预印本，含代码链接；围绕 autonomous agent systems 的 source-level adaptation。
- Evaluation：摘要显示重点是概念与系统设计；需检查完整论文中的实验规模和安全约束。
- Contribution：把 self-evolving agents 的可变范围从提示/记忆扩大到运行时代码层。
- 局限/风险：源代码自修改风险高，必须有权限边界、diff review、sandbox、tests 和 rollback。
- Lucian 可采取的下一步：将 Hermes skill/runtime 迭代拆成“文本技能更新”和“受控代码补丁”两层，代码层必须走 TDD + staged verification。
- Quality note：非常有战略启发，但需要警惕安全边界；适合作为 agent self-improvement 研究线索。
- 摘要摘录：Autonomous agentic systems are largely static after deployment: they do not learn from user interactions, and recurring failures persist until the next human-driven update ships a fix. Self-evolving agents have emerged in response, but all confine evolution to text-mutable artifacts -- skill files, prompt configurations, memory schemas, workflow graphs -- and leave the agent harness untouched. Since routing, hook ordering, state invariants, and dispatch li…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 3 | 5 | 21 |

### 5. TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks

- 链接：[2605.22535](https://arxiv.org/abs/2605.22535) ｜ [PDF](https://arxiv.org/pdf/2605.22535)
- 作者：Chu, Zhaoyang, Hu, Jiarui, Jiang, Xingyu, Zou, Pengyu, Li, Han, Peng, Chao, O'Hearn, Peter, Barr, Earl T. 等
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22；HF Daily 2026-05-22
- 类别：Artificial Intelligence (cs.AI)
- 来源：Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page
- 一句话结论：TerminalWorld 从 80,870 条真实 terminal recordings 反向构造 1,530 个任务，给 CLI/terminal agents 更真实的评测。
- 为什么重要：真实终端工作包含依赖、状态、长命令链和环境噪声；toy shell tasks 很难衡量 agent 的工程能力。
- Motivation：真实终端工作包含依赖、状态、长命令链和环境噪声；toy shell tasks 很难衡量 agent 的工程能力。
- Method：从 in-the-wild terminal recordings 自动 reverse-engineer 高保真任务，筛出 Verified 子集并测试多模型多 agent。
- Data：1,530 validated tasks，18 个真实类别，1,280 个 unique commands；Verified 200 个任务。
- Evaluation：八个 frontier models、六个 agents；摘要称最高 pass rate 仅 62.5%。
- Contribution：为 CLI agents 提供大规模真实任务基准，补齐 SWE-bench 之外的 terminal 操作面。
- 局限/风险：录屏反推任务可能引入偏差；真实环境复现成本和安全隔离是关键。
- Lucian 可采取的下一步：把 Hermes 常见 terminal 工作流（git、tests、build、server smoke）做成小型 TerminalWorld-style replay benchmark。
- Quality note：证据规模强，适合评估编码 agent 与自动化运维 agent。
- 摘要摘录：We introduce TerminalWorld, a scalable data engine that automatically reverse-engineers high-fidelity evaluation tasks from "in-the-wild" terminal recordings. Processing 80,870 terminal recordings, the engine yields a full benchmark of 1,530 validated tasks, spanning 18 real-world categories, ranging from short everyday operations to workflows exceeding 50 steps, and covering 1,280 unique commands. From these, we curate a Verified subset of 200 representat…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 5 | 5 | 23 |

### 6. Self-Evolving Multi-Agent Systems via Decentralized Memory

- 链接：[2605.22721](https://arxiv.org/abs/2605.22721) ｜ [PDF](https://arxiv.org/pdf/2605.22721)
- 作者：Hao, Guangya, Long, Yunbo, Zhao, Zhuokai
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22
- 类别：Multiagent Systems (cs.MA)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：DecentMem 让每个 agent 保持自己的双池记忆，用分散记忆降低协调成本并保持 agent 多样性。
- 为什么重要：中心化 memory store 会带来隐私、通信和同质化问题；multi-agent 系统需要既共享经验又保留角色差异。
- Motivation：中心化 memory store 会带来隐私、通信和同质化问题；multi-agent 系统需要既共享经验又保留角色差异。
- Method：每个 agent 维护 exploitation pool 与 exploration pool，并用 stage-wise LLM-as-judge feedback 在线重加权。
- Data：面向 self-evolving MAS 的理论与实验设置；摘要称有 global reachability 保证。
- Evaluation：需要阅读全文确认任务集与 judge 稳定性；摘要强调理论性质和 self-evolving 场景。
- Contribution：给 multi-agent memory 架构提供去中心化替代方案。
- 局限/风险：LLM-as-judge 反馈可能造成群体偏差；去中心化后跨 agent 知识同步难度上升。
- Lucian 可采取的下一步：在多 agent research loop 中区分 personal memory、role memory 和 shared evidence memory，避免所有 agent 读同一个上下文。
- Quality note：与 Lucian 长期 memory/agent 个性化方向高度相关。
- 摘要摘录：Self-evolving multi-agent systems (MAS) have emerged as a promising route to LLM agents that continually improve from experience, with persistent memory at their foundation. However, existing designs almost exclusively adopt a centralized repository shared across agents, incurring communication and coordination overhead, raising privacy concerns, and collapsing agent diversity. We propose DecentMem, a decentralized memory framework in which each agent main…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 3 | 5 | 21 |

### 7. Mem-$π$: Adaptive Memory through Learning When and What to Generate

- 链接：[2605.21463](https://arxiv.org/abs/2605.21463) ｜ [PDF](https://arxiv.org/pdf/2605.21463)
- 作者：Wang, Xiaoqiang, Wang, Chao, Nekoei, Hadi, Pal, Christopher, Lacoste, Alexandre, Gella, Spandana, Liu, Bang, Taslakian, Perouz
- 日期：arXiv citation_date 2026/05/20；arXiv list 2026-05-21；HF Daily 2026-05-21
- 类别：Computation and Language (cs.CL) ; Artificial Intelligence (cs.AI)
- 来源：Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page
- 一句话结论：Mem-π 不检索静态记忆，而是学习何时生成、生成什么 context-specific guidance。
- 为什么重要：相似度检索常返回不贴当前状态的 episodic memory；复杂 agent 更需要按上下文动态产生指导。
- Motivation：相似度检索常返回不贴当前状态的 episodic memory；复杂 agent 更需要按上下文动态产生指导。
- Method：独立语言/视觉语言模型根据当前 agent context 决定是否生成 guidance，并用 decision-content decoupled RL 训练。
- Data：HF Daily Papers 2026-05-21；任务包含复杂 LLM/VLM agent contexts。
- Evaluation：关注 adaptive memory 是否提升任务表现，并考察何时生成 guidance 的策略质量。
- Contribution：把 agent memory 从“查旧条目”扩展为“生成即时策略提示”。
- 局限/风险：生成式记忆可能幻觉；需要来源绑定、置信度和过期机制。
- Lucian 可采取的下一步：在小说反馈/个人化 agent 中尝试 memory generator：只在检索不足时生成临时 guidance，并标注非事实记忆。
- Quality note：适合和 DecentMem、MoLEM 一起读，形成 memory architecture 对比。
- 摘要摘录：We present Mem-$\pi$, a framework for adaptive memory in large language model (LLM) agents, where useful guidance is generated on demand rather than retrieved from external memory stores. Existing memory-augmented agents typically rely on similarity-based retrieval from episodic memory banks or skill libraries, returning static entries that often misalign with the current context. In contrast, Mem-$\pi$ uses a dedicated language or vision-language model wi…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 3 | 5 | 21 |

### 8. PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models

- 链接：[2605.20873](https://arxiv.org/abs/2605.20873) ｜ [PDF](https://arxiv.org/pdf/2605.20873)
- 作者：Zhao, Ziliang, Xu, Zenan, Wang, Shuting, Qian, Hongjin, Lei, Yan, Hu, Minda, Wang, Zhao, Dou, Shihan 等
- 日期：arXiv citation_date 2026/05/20；arXiv list 2026-05-21；HF Daily 2026-05-21
- 类别：Artificial Intelligence (cs.AI) ; Machine Learning (cs.LG)
- 来源：Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page
- 一句话结论：PlanningBench 将 planning data 变成可控生成目标，强调 scalable、diverse、verifiable 的训练/评测数据。
- 为什么重要：长程 agent 的 planning 不该只靠固定题库；需要能按约束、资源和结构难度生成可验证实例。
- Motivation：长程 agent 的 planning 不该只靠固定题库；需要能按约束、资源和结构难度生成可验证实例。
- Method：从真实 planning scenarios 抽象出 workflow primitives，生成可验证规划实例，并支持评测与训练。
- Data：HF Daily Papers 2026-05-21；规划任务覆盖目标、约束、资源与长期后果。
- Evaluation：通过自动 verification 检查规划可行性，并评估 LLM 在结构化规划上的表现。
- Contribution：为 LLM planning 提供可扩展数据引擎，而不仅是静态 benchmark。
- 局限/风险：自动生成规划的真实性取决于 scenario abstraction；过强 verifier 可能简化现实复杂性。
- Lucian 可采取的下一步：把日报研究计划/8周项目计划转换成可验证 planning tasks，测试 agent 是否能按约束落地。
- Quality note：对 long-horizon planning 与 agent training 数据很有参考价值。
- 摘要摘录：Planning is a fundamental capability for large language models (LLMs) because such complex tasks require models to coordinate goals, constraints, resources, and long-term consequences into executable and verifiable solutions. Existing planning benchmarks, however, usually treat planning data as fixed collections of instances rather than controllable generation targets. This limits scenario coverage, ties difficulty to surface-level proxies rather than stru…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 4 | 4 | 21 |

### 9. Trace2Skill: Verifier-Guided Skill Evolution for Long-Context EDA Agents

- 链接：[2605.21810](https://arxiv.org/abs/2605.21810) ｜ [PDF](https://arxiv.org/pdf/2605.21810)
- 作者：Du, Zijian, Pinckney, Nathaniel
- 日期：arXiv citation_date 2026/05/20；arXiv list 2026-05-22
- 类别：Artificial Intelligence (cs.AI) ; Multiagent Systems (cs.MA)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：Trace2Skill 从失败/成功 rollout traces 中提炼技能，用 verifier-guided skill evolution 提升长上下文硬件代码 agent。
- 为什么重要：长上下文代码/EDA agent 的失败常来自 sparse verifier feedback；只多采样不能把失败经验沉淀成策略。
- Motivation：长上下文代码/EDA agent 的失败常来自 sparse verifier feedback；只多采样不能把失败经验沉淀成策略。
- Method：挖掘 repeated rollout traces，生成 dense diagnostics 与 oracle lessons，再通过 oracle/mutator/selector 演化 task-specific skills。
- Data：Complex Verilog Design Problems，大仓库快照、RTL、testbenches、include paths 与 hidden verifier。
- Evaluation：摘要突出 test-time scaling 而非 fine-tuning；需关注 skill evolution 对 pass rate 的增益。
- Contribution：把 execution trace 转化为可复用技能，是 code-agent memory 的具体实现路径。
- 局限/风险：oracle lessons 可能过拟合 verifier；需要跨任务迁移检查。
- Lucian 可采取的下一步：把 Hermes code tasks 的失败日志自动归纳成 SKILL.md patch candidates，但每次必须经 tests 和人工/agent review。
- Quality note：对技能系统和 coding agent 都直接相关。
- 摘要摘录：Complex Verilog Design Problems (CVDP) challenge hardware LLM agents because solving them requires localizing verifier-relevant RTL, testbenches, include paths, and build dependencies inside large repository snapshots, making precise edits, and recovering from sparse hidden-verifier failures. We present Trace2Skill, a test-time scaling framework that improves a hardware agent without RTL-specialized model fine-tuning. Rather than training a new model or on…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 3 | 4 | 20 |

### 10. Maestro: Reinforcement Learning to Orchestrate Hierarchical Model-Skill Ensembles

- 链接：[2605.22177](https://arxiv.org/abs/2605.22177) ｜ [PDF](https://arxiv.org/pdf/2605.22177)
- 作者：Wu, Jinyang, Zhai, Guocheng, Jin, Ruihan, Shen, Yuhao, Lu, Zhengxi, Zhang, Fan, Luo, Haoran, Lian, Zheng 等
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22；HF Daily 2026-05-22
- 类别：Machine Learning (cs.LG) ; Computation and Language (cs.CL)
- 来源：Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page
- 一句话结论：Maestro 用 RL 在模型-技能层级注册表中调度 heterogeneous LLMs 与 modular skills。
- 为什么重要：真实 agent 不只调用一个模型；不同模型/技能在不同子任务上成本、质量、模态能力不同。
- Motivation：真实 agent 不只调用一个模型；不同模型/技能在不同子任务上成本、质量、模态能力不同。
- Method：把多模态任务建模为在 hierarchical model-skill registry 上的 sequential decision-making，用 RL 学会编排。
- Data：HF Daily Papers 2026-05-22；覆盖 heterogeneous multimodal tasks 与 modular skills。
- Evaluation：看 orchestrator 是否比固定模型/固定逻辑更好地选模型与技能。
- Contribution：把 agent orchestration 从 hard-coded policy 推向可学习策略。
- 局限/风险：RL 调度可能增加系统复杂度；训练分布外的错误路由需要保护。
- Lucian 可采取的下一步：给 Hermes 多模型/多工具调用建立 step-level routing logs，为未来 learned router 准备数据。
- Quality note：适合和 TwinRouterBench 一起看：一个训练调度器，一个评估路由。
- 摘要摘录：The proliferation of large language models (LLMs) and modular skills has endowed autonomous agents with increasingly powerful capabilities. Existing frameworks typically rely on monolithic LLMs and fixed logic to interface with these skills. This gives rise to a critical bottleneck: different LLMs offer distinct advantages across diverse domains, yet current frameworks fail to exploit the complementary strengths of models and skills, thereby limiting their…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 3 | 4 | 4 | 4 | 20 |

### 11. Boiling the Frog: A Multi-Turn Benchmark for Agentic Safety

- 链接：[2605.22643](https://arxiv.org/abs/2605.22643) ｜ [PDF](https://arxiv.org/pdf/2605.22643)
- 作者：Bisconti, Piercosma, Prandi, Matteo, Pierucci, Federico, Sartore, Federico, Panai, Enrico, Caroli, Laura, Zhu, Yue, Smith, Adam Leon 等
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22
- 类别：Computation and Language (cs.CL)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：Boiling the Frog 把 agent safety 从单轮输出扩展到 corporate/office tool-use 中的渐进式多轮攻击。
- 为什么重要：agent 的风险来自行动链：攻击者可以把恶意意图拆散到多轮、文件和工具调用中。
- Motivation：agent 的风险来自行动链：攻击者可以把恶意意图拆散到多轮、文件和工具调用中。
- Method：构造 multi-turn benchmark，场景从无害开始逐步诱导模型在环境内执行不安全动作。
- Data：corporate and office settings；关注 tool-using AI models。
- Evaluation：评估模型是否在渐进攻击下保持拒绝/停手，而不是只看单轮 toxic output。
- Contribution：让 agentic safety 更贴近真实办公 agent 攻击面。
- 局限/风险：benchmark 场景是否覆盖真实攻击仍需扩展；防御策略可能降低正常任务效率。
- Lucian 可采取的下一步：在内部 agent smoke test 加入“渐进式权限升级/数据外传”多轮红队脚本。
- Quality note：安全方向，但与 tool agent 部署强相关，值得纳入风险跟踪。
- 摘要摘录：Background. Traditional safety benchmarks for language models evaluate generated text: whether a model outputs toxic language, reproduces bias, or follows harmful instructions. When models are deployed as agents, the safety-relevant object shifts from what the system says to what it does within an environment, and evaluating model responses under prompting is no longer sufficient to address the safety challenges posed by artificial intelligence. Recent dev…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 3 | 3 | 4 | 5 | 20 |

### 12. Sibyl-AutoResearch: Autonomous Research Needs Self-Evolving Trial-and-Error Harnesses, Not Paper Generators

- 链接：[2605.22343](https://arxiv.org/abs/2605.22343) ｜ [PDF](https://arxiv.org/pdf/2605.22343)
- 作者：Wang, Chengcheng, Xie, Qinhua, He, Wei, Guo, Jianyuan, Wang, Shiqi, Xu, Chang
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22
- 类别：Multiagent Systems (cs.MA) ; Artificial Intelligence (cs.AI); Software Engineering (cs.SE)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：Sibyl-AutoResearch 强调 autonomous research 需要自进化 trial-and-error harness，而不是只会写 paper。
- 为什么重要：自动科研如果不能保存失败试验、收敛判断和 claim scope，就会把弱证据包装成强结论。
- Motivation：自动科研如果不能保存失败试验、收敛判断和 claim scope，就会把弱证据包装成强结论。
- Method：构建 Scientific Trial-and-Error Harnesses，把正/负结果路由到 planning、validation、critique、writing 和 harness repair。
- Data：围绕 executable scientific workflows 的框架与对话/trace formalization。
- Evaluation：摘要偏框架分析；重点是可审计 trial experience，而非单一 SOTA 数字。
- Contribution：给 AutoResearch 从 paper generator 转向实验系统提供架构语言。
- 局限/风险：如果没有真实实验执行和负例记忆，框架可能停留在流程图。
- Lucian 可采取的下一步：把 Lucian autoresearch loop 的每次失败、排除原因、指标变化写成 harness memory，而不是覆盖掉旧结论。
- Quality note：战略价值高，适合作为 Auto Research 模块下一版原则。
- 摘要摘录：Autonomous research systems increasingly make the scientific workflow executable: agents can propose ideas, run code, inspect results, and draft papers. But executable workflows do not by themselves produce research judgment. We analyze where current systems lose trial experience: weak evidence becomes prose, pilot signals become broad claims, memory remains textual, and recurring process failures do not change later behavior. We introduce Sibyl-AutoResear…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 3 | 3 | 5 | 20 |

### 13. Contractual Skills: A GovernSpec Design Framework for Enterprise AI Agents

- 链接：[2605.22634](https://arxiv.org/abs/2605.22634) ｜ [PDF](https://arxiv.org/pdf/2605.22634)
- 作者：Liu, Ting
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22
- 类别：Software Engineering (cs.SE) ; Artificial Intelligence (cs.AI)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：Contractual Skills 将 SKILL.md 组织成可检查的任务契约，覆盖边界、权限、证据、输出和验证。
- 为什么重要：企业 agent 技能不仅是提示，还要表达可审计约束；这和 Hermes skill 的边界/验证要求完全同构。
- Motivation：企业 agent 技能不仅是提示，还要表达可审计约束；这和 Hermes skill 的边界/验证要求完全同构。
- Method：提出 GovernSpec-inspired design framework，区分 contractual skills、YAML contracts、MCP surfaces、tool adapters、guardrails、tracing 和 evaluation。
- Data：software/enterprise agent skill design；单作者框架论文。
- Evaluation：摘要称 evaluate framework，但需阅读全文确认是案例评估还是系统实验。
- Contribution：把 agent skills 从说明文档提升为轻量治理契约。
- 局限/风险：过度契约化会增加维护成本；需要自动测试保证契约可执行。
- Lucian 可采取的下一步：将 fjai.pw cron/reporting skills 的“边界、写入路径、测试、发布”拆成机器可检查字段。
- Quality note：对当前 Hermes skill 体系有直接启发，推荐精读。
- 摘要摘录：Skills are increasingly used to package agent instructions, workflows, scripts, and reference materials. In enterprise settings, however, skills often need to express more than task guidance: they must make goals, input boundaries, permissions, evidence requirements, output contracts, quality criteria, verification steps, human approval points, and handoff rules inspectable. This paper proposes contractual skills, a GovernSpec-inspired design framework for…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 3 | 3 | 5 | 20 |

### 14. Weasel: Out-of-Domain Generalization for Web Agents via Importance-Diversity Data Selection

- 链接：[2605.20291](https://arxiv.org/abs/2605.20291) ｜ [PDF](https://arxiv.org/pdf/2605.20291)
- 作者：zadeh, Fatemeh Pesaran, Choi, Seyeon, Lù, Xing Han, Reddy, Siva, Kim, Gunhee
- 日期：arXiv citation_date 2026/05/19；arXiv list 2026-05-21
- 类别：Machine Learning (cs.LG)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：Weasel 用 importance-diversity 数据选择提升 web agents 的离线训练效率与跨域泛化。
- 为什么重要：web agent trajectories 长、噪声多、网站分布偏；盲目用全量离线数据既贵又可能过拟合。
- Motivation：web agent trajectories 长、噪声多、网站分布偏；盲目用全量离线数据既贵又可能过拟合。
- Method：在 fixed budget 下平衡 trajectory step 的重要性和多样性，并用 target-centered AXTree pruning 降低状态长度。
- Data：web agent 多步 browser trajectories；涉及 AXTree states、websites 和 interaction patterns。
- Evaluation：关注 out-of-domain generalization 与 compute efficiency。
- Contribution：给 web-agent training 提供数据选择层，而不是只改模型。
- 局限/风险：选择目标会决定 agent 学到什么；可能牺牲长尾网站能力。
- Lucian 可采取的下一步：对 fjai web/browser automation trace 做重要性-多样性抽样，构造小而强的回归集。
- Quality note：偏训练数据工程，但对 browser-use agents 实用。
- 摘要摘录：Large language models (LLMs) have enabled web agents that follow natural language goals through multi-step browser interactions. However, agents fine-tuned on specific trajectories and domain often struggle to generalize out of domain, and offline training can be compute-inefficient due to noisy, redundant trajectories and long accessibility-tree (AXTree) states. To address both issues, we propose Weasel, a trajectory selection method for offline training…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 3 | 4 | 4 | 4 | 20 |

### 15. Dynamic Mixture of Latent Memories for Self-Evolving Agents

- 链接：[2605.21951](https://arxiv.org/abs/2605.21951) ｜ [PDF](https://arxiv.org/pdf/2605.21951)
- 作者：Yu, Dianzhi, Zhang, Vireo, Wang, Hongru, Chen, Yanyu, Hu, Minda, Xu, Wanghan, Chen, Siki, Torr, Philip 等
- 日期：arXiv citation_date 2026/05/21；arXiv list 2026-05-22
- 类别：Machine Learning (cs.LG)
- 来源：arXiv official recent/list pages + arXiv abs page
- 一句话结论：MoLEM 用动态 mixture-of-experts 生成 latent memories，让 self-evolving agents 在冻结基座模型上积累经验。
- 为什么重要：参数更新会遗忘，外部文本记忆又不一定改变模型内部推理；latent memory 是中间路线。
- Motivation：参数更新会遗忘，外部文本记忆又不一定改变模型内部推理；latent memory 是中间路线。
- Method：多个专家作为 memory carriers，router 通过 key-query matching 选择并加权 latent memories，注入冻结 base model 的 reasoning。
- Data：changing task sequences 下的 continual knowledge accumulation。
- Evaluation：应关注 catastrophic forgetting、任务迁移和与外部记忆/LoRA 的比较。
- Contribution：把 agent memory 做成可路由 latent mixture，连接外部记忆和参数适配。
- 局限/风险：latent memories 可解释性弱；错误记忆排查比文本记忆更难。
- Lucian 可采取的下一步：先不要在生产 agent 中使用黑盒 latent memory；可在 research simulator 中比较文本记忆 vs latent guidance。
- Quality note：研究味更强，适合作为长期 memory 方向的备选路线。
- 摘要摘录：Achieving self-evolution in intelligent agents requires the continual accumulation of new knowledge across changing task sequences without forgetting previously acquired abilities. Existing approaches either internalize knowledge by updating model parameters, which induces catastrophic forgetting, or rely on external memory, which fails to genuinely enhance the model's intrinsic capabilities. We propose MoLEM, a generative mixture of latent memory framewor…

| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---:|---:|---:|---:|---:|---:|
| 5 | 4 | 4 | 3 | 4 | 20 |

## 版本更新提醒

- 本次没有把此前日报已收录论文的新版本重复放入 Top Picks。历史去重按 arXiv ID 去版本号与标题规范化执行；若后续版本有重大方法或实验变化，再单独作为版本更新提醒处理。

## 今日未纳入但可观察论文

- [DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards](https://arxiv.org/abs/2605.21467)：Reinforcement learning from verifiable rewards (RLVR) has emerged as a central technique for improving the reasoning capabilities of large language models. Despite its effectivenes…
- [HalluWorld: A Controlled Benchmark for Hallucination via Reference World Models](https://arxiv.org/abs/2605.19341)：Hallucination remains a central failure mode of large language models, but existing benchmarks operationalize it inconsistently across summarization, question answering, retrieval-…
- [CutVerse: A Compositional GUI Agents Benchmark for Media Post-Production Editing](https://arxiv.org/abs/2605.19484)：While GUI agents have made significant progress in web navigation and basic operating system tasks, their capabilities in professional creative workflows remain largely underexplor…
- [MTR-Suite: A Framework for Evaluating and Synthesizing Conversational Retrieval Benchmarks](https://arxiv.org/abs/2605.20729)：Accurate evaluation of conversational retrieval is pivotal for advancing Retrieval-Augmented Generation (RAG) systems. However, existing conversational retrieval benchmarks suffer …
- [SGR-Bench: Benchmarking Search Agents on State-Gated Retrieval](https://arxiv.org/abs/2605.22219)：Recent advances in large language models and tool-using agents have expanded the range of benchmarked web tasks. Yet an important class of specialized retrieval tasks remains under…
- [Matching with Deliberation: Test-Time Evolutionary Hierarchical Multi-Agents for Zero-Shot Compositional Image Retrieval](https://arxiv.org/abs/2605.22478)：Zero-Shot Compositional Image Retrieval (ZS-CIR) requires both preserving the visual continuity of the reference image and faithfully executing the semantic variables specified in …
- [AgroTools: A Benchmark for Tool-Augmented Multimodal Agents in Agriculture](https://arxiv.org/abs/2605.22366)：Agricultural decision-making increasingly requires multimodal systems that can transform visual observations into reliable, executable actions. However, existing agricultural multi…

## 数据源失败或不确定性说明

- 已用 `date -u` 与 `TZ=Asia/Shanghai date` 确认运行时：UTC 2026-05-22 06:18 UTC，北京时间 2026-05-22 14:18 CST；覆盖日期集合为北京时间 2026-05-21、2026-05-22。
- arXiv export API：单类别 probe 成功；selected-id 批量核验在本次运行中返回 HTTP 429，因此最终元数据主要来自 arXiv official recent/list pages 与逐篇 arXiv abs page。报告将该情况视为数据源不确定性，而不是阻塞日报。
- Hugging Face Daily Papers：`/papers/date/2026-05-21` 与 `/papers/date/2026-05-22` 可抓取，用作社区热度补充；HF Daily 日期不等同于 arXiv 首次提交日期。
- arXiv list page 的日期是官方 recent/list 批次日期，可能与北京时间自然日存在边界差；本报告按北京时间今天与前一天抓取，并对 HF 热门但 arXiv 较早提交的论文单独保留日期说明。
- 抓取过程中 1 篇未入选论文的 arXiv abs page 出现连接 reset，不影响 Top Picks。

## 附录：检索式 / 过滤规则 / 去重状态摘要

- 类别：cs.AI, cs.CL, cs.CV, cs.LG, stat.ML, cs.RO, cs.IR, cs.SE, cs.MA, cs.HC, eess.AS。
- arXiv：`/list/<cat>/recent?skip=0,250,500,750&show=250`，解析日期 heading、标题、作者、subjects；对高分候选逐篇抓取 `https://arxiv.org/abs/<id>` 的 citation metadata 与摘要。
- Hugging Face：`https://huggingface.co/papers/date/YYYY-MM-DD`，解析 `/papers/<arxiv-id>` 与嵌入 ID。
- 去重：读取 `public/reports/ai-paper-daily/seen_papers.json`，同时扫描 `public/reports/ai-paper-daily/`, `reports/ai-paper-daily/`, `public/modules/ai/papers/` 下既有 HTML/Markdown；arXiv ID 去版本号，标题 NFKC/lowercase/去标点/压缩空白。
- 本次写入状态：新增 15 篇精选论文到 seen_papers.json；候选数量 1973，新收录数 1942，精选数 15。