# AI 论文日报 · 2026-05-20 覆盖北京时间：2026-05-19、2026-05-20 ｜ 运行时间：2026-05-20 14:01 CST ## 执行摘要 - 候选数量：1899（目标 BJT 日期窗口内，arXiv official recent/list pages + Hugging Face Daily Papers 合并后候选）。 - 去重后新论文数量：1883；历史已囊括候选：16。 - 最终精选数：15。 - Top 3： 1. [SEMA-RAG: A Self-Evolving Multi-Agent Retrieval-Augmented Generation Framework for Medical Reasoning](https://arxiv.org/abs/2605.17101) — 把静态 RAG 改成“多智能体、可自我演化”的医疗推理流程，适合作为高风险领域 agentic RAG 的工程蓝图。 2. [PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows](https://arxiv.org/abs/2605.18032) — PROTEA 把 multi-agent workflow 的离线调试变成 test-driven loop，是构建可维护 agent 产品的关键缺口。 3. [MementoGUI: Learning Agentic Multimodal Memory Control for Long-Horizon GUI Agents](https://arxiv.org/abs/2605.18652) — MementoGUI 针对 GUI agent 的长程视觉状态记忆，是 computer-use agent 从“看当前屏幕”走向“记任务过程”的代表工作。 本期一行结论：今天最值得投入的是 **agentic RAG / multi-agent workflow debugging / long-horizon GUI memory** 三条线，它们共同指向一个趋势：Agent 论文正在从“会调用工具”转向“可记忆、可验证、可迭代改进的生产工作流”。 ## Top Picks ### 1. SEMA-RAG: A Self-Evolving Multi-Agent Retrieval-Augmented Generation Framework for Medical Reasoning - 链接：[2605.17101](https://arxiv.org/abs/2605.17101) ｜ [PDF](https://arxiv.org/pdf/2605.17101) - 作者：Huang, Yongfeng, Chen, Ruiying, Cheng, James - 日期：arXiv abs citation_date=2026/05/16；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.AI, cs.CL - 来源：arXiv official recent/list pages - 一句话结论：把静态 RAG 改成“多智能体、可自我演化”的医疗推理流程，适合作为高风险领域 agentic RAG 的工程蓝图。 - 为什么重要：医疗问答暴露了 RAG 最典型的断点：一次性检索、缺少临床语义转换、没有检索充分性反馈。SEMA-RAG 将这些步骤显式拆成协作 agent，和 Lucian 关注的 long-horizon reasoning / retrieval feedback loop 高度贴合。 - Motivation：医疗问答暴露了 RAG 最典型的断点：一次性检索、缺少临床语义转换、没有检索充分性反馈。SEMA-RAG 将这些步骤显式拆成协作 agent，和 Lucian 关注的 long-horizon reasoning / retrieval feedback loop 高度贴合。 - Method：以多 agent 分工完成 query 语义解释、检索、答案生成和充分性反馈；框架会根据推理阶段动态改写检索策略，并让反馈信号推动后续轮次。 - Data：论文面向 medical QA / medical reasoning 场景；可把其任务流程迁移到研究助理、代码库问答和个性化知识库。 - Evaluation：摘要显示作者针对 hallucination、knowledge obsolescence 和 multi-stage clinical reasoning 的结构性缺陷设计系统；需要进一步查看完整表格确认对比 baseline 和消融。 - Contribution：把静态 RAG 改成“多智能体、可自我演化”的医疗推理流程，适合作为高风险领域 agentic RAG 的工程蓝图。 - 局限/风险：医疗域系统可能依赖高质量临床语义解析；若检索器或 feedback agent 出错，错误会在多轮中被放大。 - Lucian 可采取的下一步：复现一个小型“self-evolving RAG for paper reading”：让 retriever / verifier / answerer 三个 agent 在同一论文库上迭代检索充分性。 - Quality note：高相关、高工程启发；证据强度取决于完整 benchmark 与医生/专家评估细节。 - 摘要摘录：Retrieval-Augmented Generation (RAG) is widely employed to mitigate risks such as hallucinations and knowledge obsolescence in medical question answering, yet its predominantly single-round, static retrieval paradigm misaligns with the multi-stage process of clinical reasoning. This compressed workflow induces two stru… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 4 | 5 | 22 | ### 2. PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows - 链接：[2605.18032](https://arxiv.org/abs/2605.18032) ｜ [PDF](https://arxiv.org/pdf/2605.18032) - 作者：Kawamura, Kazuki, Waki, Satoshi, Tateno, Kei - 日期：arXiv abs citation_date=2026/05/18；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.AI, cs.CL, cs.HC, cs.SE - 来源：arXiv official recent/list pages - 一句话结论：PROTEA 把 multi-agent workflow 的离线调试变成 test-driven loop，是构建可维护 agent 产品的关键缺口。 - 为什么重要：多 agent workflow 失败常来自中间节点的细小偏差，单看最终答案很难定位。PROTEA 的 offline evaluation + iterative refinement 正好对应 Lucian 想做的 agent runtime 可观测、可回放、可修复能力。 - Motivation：多 agent workflow 失败常来自中间节点的细小偏差，单看最终答案很难定位。PROTEA 的 offline evaluation + iterative refinement 正好对应 Lucian 想做的 agent runtime 可观测、可回放、可修复能力。 - Method：执行完整 workflow，给中间输出和最终输出打分，定位哪个 agent/节点最需要修改，再进行迭代 refinement；强调 trace inspection 与 test-driven improvement。 - Data：面向多角色 LLM calls 构成的 workflow；可应用在研究报告、代码 agent、工具链 agent 的离线回归集。 - Evaluation：摘要称系统统一了执行、评分和细粒度诊断；需阅读全文确认用户研究/任务集规模。 - Contribution：PROTEA 把 multi-agent workflow 的离线调试变成 test-driven loop，是构建可维护 agent 产品的关键缺口。 - 局限/风险：如果评分器本身偏置，refinement loop 可能优化到错误目标；离线测试也可能覆盖不到真实线上分布。 - Lucian 可采取的下一步：为 fjai.pw 的论文日报/研究 agent 建一个 PROTEA-like trace：每个候选选择、摘要、评分都留下可回放中间产物。 - Quality note：方法实质强、对工程落地极具 actionability；优先读。 - 摘要摘录：Multi-agent LLM workflows -- systems composed of multiple role-specific LLM calls -- often outperform single-prompt baselines, but they remain difficult to debug and refine. Failures can originate from subtle errors in intermediate outputs that propagate to downstream nodes, requiring developers to inspect long traces … | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 5 | 4 | 5 | 23 | ### 3. MementoGUI: Learning Agentic Multimodal Memory Control for Long-Horizon GUI Agents - 链接：[2605.18652](https://arxiv.org/abs/2605.18652) ｜ [PDF](https://arxiv.org/pdf/2605.18652) - 作者：Zeng, Ziyun, Hua, Hang, Zou, Bocheng, Cai, Mu, Feris, Rogerio, Luo, Jiebo - 日期：arXiv abs citation_date=2026/05/18；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.CV - 来源：Hugging Face Daily Papers + arXiv official recent/list pages - 一句话结论：MementoGUI 针对 GUI agent 的长程视觉状态记忆，是 computer-use agent 从“看当前屏幕”走向“记任务过程”的代表工作。 - 为什么重要：GUI agent 在真实任务中需要跨很多界面保留局部视觉证据；纯文本 memory 或 raw history replay 都不够。该文对长程 GUI / browser agent 记忆模块很有参考价值。 - Motivation：GUI agent 在真实任务中需要跨很多界面保留局部视觉证据；纯文本 memory 或 raw history replay 都不够。该文对长程 GUI / browser agent 记忆模块很有参考价值。 - Method：提出 plug-in agentic memory control：压缩/选择多模态历史，保存对未来决策有用的局部视觉证据，并在后续 GUI action prediction 时调用。 - Data：面向 long-horizon GUI tasks；Hugging Face Daily Papers 也收录，说明社区热度较高。 - Evaluation：摘要强调相对 raw history replay/text-only memory 的问题；完整论文应包含 GUI benchmark 上的 action accuracy 或 success rate 对比。 - Contribution：MementoGUI 针对 GUI agent 的长程视觉状态记忆，是 computer-use agent 从“看当前屏幕”走向“记任务过程”的代表工作。 - 局限/风险：视觉记忆控制可能对具体 UI 分布敏感；跨网站、跨 App 泛化仍需验证。 - Lucian 可采取的下一步：在网页自动化 agent 中加入“视觉证据卡片”：每轮只保留按钮/表单/结果区域截图摘要，而不是完整历史。 - Quality note：长程 agent memory 的优质工程型论文，值得进入 Top 3。 - 摘要摘录：Recent GUI agents have made substantial progress in visual grounding and action prediction, yet they remain brittle in long-horizon tasks that require maintaining task state across many interface transitions. Existing agents typically rely on raw history replay or text-only memory, which either overwhelms the model wit… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 4 | 5 | 22 | ### 4. Causal Intervention-Based Memory Selection for Long-Horizon LLM Agents - 链接：[2605.17641](https://arxiv.org/abs/2605.17641) ｜ [PDF](https://arxiv.org/pdf/2605.17641) - 作者：Srivastava, Saksham Sahai - 日期：arXiv abs citation_date=2026/05/17；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.AI, cs.CL - 来源：arXiv official recent/list pages - 一句话结论：用因果干预而不是相似度来选择 agent memory，直击长期记忆中“相关但误导”的问题。 - 为什么重要：Lucian 长期关注 personalized/user-feedback agents；记忆检索不能只靠 embedding 相似度。CMI 把“这条记忆是否改变模型行为”作为选择依据，方向很重要。 - Motivation：Lucian 长期关注 personalized/user-feedback agents；记忆检索不能只靠 embedding 相似度。CMI 把“这条记忆是否改变模型行为”作为选择依据，方向很重要。 - Method：Causal Memory Intervention 估计候选记忆对模型预测/行动的影响，过滤 stale、irrelevant 或 misleading memory。 - Data：面向 long-horizon LLM agents 与跨 session interactions。 - Evaluation：摘要提出明确失效模式和算法思想；实验强度需看是否有长期交互 benchmark 与反事实消融。 - Contribution：用因果干预而不是相似度来选择 agent memory，直击长期记忆中“相关但误导”的问题。 - 局限/风险：因果影响估计可能昂贵；对闭源 LLM 只能近似干预，在线部署成本需控制。 - Lucian 可采取的下一步：在个人化小说/研究 agent 的 memory retrieve API 增加“影响估计”字段：相似度 + 反事实回答差异。 - Quality note：研究问题非常准，方法值得深挖。 - 摘要摘录：Long-horizon LLM agents rely on persistent memory to support interactions across sessions, yet existing memory systems often retrieve context using semantic similarity or broad history inclusion, treating retrieved memories as uniformly useful. This assumption is fragile because memories may be topically related while … | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 3 | 5 | 21 | ### 5. Evaluating Memory Condensation Strategies for Coding Agents in Data-Driven Scientific Discovery - 链接：[2605.18854](https://arxiv.org/abs/2605.18854) ｜ [PDF](https://arxiv.org/pdf/2605.18854) - 作者：Chintalapati, Renuka, Raskar, Sid, Acharya, Anurag, Willard, Jared, Emami, Patrick, Horawalavithana, Sameera - 日期：arXiv abs citation_date=2026/05/13；本次纳入依据=2026-05-20/2026-05-20 BJT list window - 类别：cs.LG - 来源：arXiv official recent/list pages - 一句话结论：系统比较 coding agents 的八种 memory condensation 策略，为长任务代码/科学发现 agent 提供直接工程选择。 - 为什么重要：上下文窗口固定导致长程 coding agent 必须做压缩；该文把 sliding window、LLM summaries 等策略放到 DiscoveryBench 上比较，对工程决策很直接。 - Motivation：上下文窗口固定导致长程 coding agent 必须做压缩；该文把 sliding window、LLM summaries 等策略放到 DiscoveryBench 上比较，对工程决策很直接。 - Method：评估 8 种记忆压缩策略，在 GPT-4o + 60 个 DiscoveryBench 科学发现任务上比较任务成功与上下文效率。 - Data：60 个 DiscoveryBench tasks，覆盖 6 个科学领域；场景比普通代码补丁更接近 autonomous discovery。 - Evaluation：摘要给出清晰实验设置；需要读表格找出哪种 condensation 在成本/成功率上最优。 - Contribution：系统比较 coding agents 的八种 memory condensation 策略，为长任务代码/科学发现 agent 提供直接工程选择。 - 局限/风险：仅 GPT-4o 和 DiscoveryBench 未必代表所有 coding agents；压缩策略可能与模型长度/工具链强耦合。 - Lucian 可采取的下一步：为 Hermes/Codex coding agent 做同样小规模 ablation：raw history vs summary vs episodic notes vs retrieval memory。 - Quality note：非常 actionable，适合作为后续工程实验起点。 - 摘要摘录：Coding agents accumulate extensive context during long-running tasks, yet fixed context windows force practitioners to choose between truncation and task failure. While numerous memory condensation strategies have been proposed, from simple sliding windows to LLM-generated summaries, no systematic comparison exists to … | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 4 | 5 | 22 | ### 6. WebGameBench: Requirement-to-Application Evaluation for Coding Agents via Browser-Native Games - 链接：[2605.17637](https://arxiv.org/abs/2605.17637) ｜ [PDF](https://arxiv.org/pdf/2605.17637) - 作者：Zhang, Wenyu, You, Guoliang, Tianlun, Zhao, Haotian, Zhu, Tianshu, Wang, Haoran 等 11 人 - 日期：arXiv abs citation_date=2026/05/17；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.AI - 来源：arXiv official recent/list pages - 一句话结论：WebGameBench 从“代码是否对”转向“浏览器里应用是否真的可玩”，更贴近 coding agent 交付质量。 - 为什么重要：现有 coding benchmark 常停在源码/单元测试；真实 app 需要输入处理、状态同步、渲染和行为闭环。WebGameBench 用 browser-native games 压缩出高密度交付评测。 - Motivation：现有 coding benchmark 常停在源码/单元测试；真实 app 需要输入处理、状态同步、渲染和行为闭环。WebGameBench 用 browser-native games 压缩出高密度交付评测。 - Method：冻结 Structured WebGame Specification，让 coding agent 生成可浏览器访问的游戏，再从需求到应用进行行为评估。 - Data：一组浏览器原生游戏规格；任务小但行为密度高，适合检测端到端应用构建能力。 - Evaluation：摘要给出 benchmark 设计动机；需查看 evaluator 是否自动化、是否覆盖视觉/交互/规则一致性。 - Contribution：WebGameBench 从“代码是否对”转向“浏览器里应用是否真的可玩”，更贴近 coding agent 交付质量。 - 局限/风险：游戏域与企业软件仍有差异；代理可能针对小游戏模式过拟合。 - Lucian 可采取的下一步：把 fjai.pw 静态原型测试从 DOM token 扩展为 browser behavior specs：按钮、状态、任务完成路径。 - Quality note：高工程价值；对 coding-agent evaluation 很实用。 - 摘要摘录：Coding agents are increasingly used as application builders, yet many evaluations still focus on source code, repository-level tests, or intermediate traces rather than the delivered application. We introduce WebGameBench, a requirement-to-application benchmark that evaluates whether coding agents can turn a frozen Str… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 4 | 5 | 22 | ### 7. CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows? - 链接：[2605.16679](https://arxiv.org/abs/2605.16679) ｜ [PDF](https://arxiv.org/pdf/2605.16679) - 作者：Chen, Haolin, Metelski, Deon, Qi, Leon, Xia, Tao, Lee, Joonyul, Brown, Steve 等 33 人 - 日期：arXiv abs citation_date=2026/05/15；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.AI, cs.CL - 来源：Hugging Face Daily Papers + arXiv official recent/list pages - 一句话结论：CHI-Bench 用医疗政策密集、多角色、长流程任务评估 agent，是 long-horizon workflow benchmark 的强代表。 - 为什么重要：真实工作流不是单步 QA，而是规则库、多角色交接、多轮沟通。CHI-Bench 的 policy-rich healthcare operations 可以启发“规则密集型 agent”评测。 - Motivation：真实工作流不是单步 QA，而是规则库、多角色交接、多轮沟通。CHI-Bench 的 policy-rich healthcare operations 可以启发“规则密集型 agent”评测。 - Method：构建端到端医疗运营任务，要求 agent 在政策约束、多角色组合和多边互动中完成长流程。 - Data：Healthcare workflow tasks；大规模作者团队，Hugging Face Daily Papers 收录。 - Evaluation：摘要列出三类现有 benchmark 缺失能力；需查成功率、人类基线、错误分类。 - Contribution：CHI-Bench 用医疗政策密集、多角色、长流程任务评估 agent，是 long-horizon workflow benchmark 的强代表。 - 局限/风险：医疗规则专门性强；非医疗迁移要抽象成 policy library + role handoff。 - Lucian 可采取的下一步：把 benchmark 结构迁移到“研究助理合规流程”：引用规则、任务分工、审稿/复核 handoff。 - Quality note：问题设置强，适合作为 long-horizon agent benchmark 参考。 - 摘要摘录：End-to-end automation of realistic healthcare operations stresses three capabilities underrepresented in current benchmarks: policy density, decisions must be grounded in a large library of medical, insurance, and operational rules; Multi-role composition: a single task requires the agent to play multiple roles with ha… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 5 | 4 | 4 | 22 | ### 8. TOBench: A Task-Oriented Omni-Modal Benchmark for Real-World Tool-Using Agents - 链接：[2605.16909](https://arxiv.org/abs/2605.16909) ｜ [PDF](https://arxiv.org/pdf/2605.16909) - 作者：Liu, Zhiqiang, Dong, Wenhui, Tan, Yilang, Qu, Yuwen, Yin, Haochen, Si, Chenyang - 日期：arXiv abs citation_date=2026/05/16；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.AI - 来源：Hugging Face Daily Papers + arXiv official recent/list pages - 一句话结论：TOBench/MM-TOBench 评估真实世界全模态工具使用，把 tool use、computer use、多模态推理放到同一端到端任务里。 - 为什么重要：工具 agent 的难点在多模态输入、外部工具、中间 artifact 检查与修正的组合。该 benchmark 能帮助避免只测单一 tool-call accuracy。 - Motivation：工具 agent 的难点在多模态输入、外部工具、中间 artifact 检查与修正的组合。该 benchmark 能帮助避免只测单一 tool-call accuracy。 - Method：设计 task-oriented omni-modal tasks，要求 agent 解释多模态输入、调用工具、检查中间结果并迭代行动。 - Data：Real-world tool-using agent tasks；HF Daily Papers 收录。 - Evaluation：摘要说明 benchmark 填补 isolation evaluation 与端到端真实工具使用的 gap；需看任务数量和自动评分方式。 - Contribution：TOBench/MM-TOBench 评估真实世界全模态工具使用，把 tool use、computer use、多模态推理放到同一端到端任务里。 - 局限/风险：全模态环境成本高，复现可能依赖具体工具和 artifact 格式。 - Lucian 可采取的下一步：在 Hermes agent 评测中加入 artifact inspection：不只看 API 调用成功，还看中间文件/网页/图像是否满足任务。 - Quality note：很适合设计下一代 agent evaluation。 - 摘要摘录：Tool-using agents are increasingly expected to operate across realistic professional workflows, where they must interpret multimodal inputs, coordinate external tools, inspect intermediate artifacts, and revise their actions before producing a final result. Existing benchmarks, however, often evaluate tool use, compute… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 4 | 5 | 22 | ### 9. EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL - 链接：[2605.18703](https://arxiv.org/abs/2605.18703) ｜ [PDF](https://arxiv.org/pdf/2605.18703) - 作者：Xu, Minrui, Wang, Zilin, DENG, Mengyi, Li, Zhiwei, Yang, Zhicheng, Zhu, Xiao 等 15 人 - 日期：arXiv abs citation_date=2026/05/18；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.CL, cs.LG - 来源：Hugging Face Daily Papers + arXiv official recent/list pages - 一句话结论：EnvFactory 试图合成可执行环境来扩展 tool-use agent RL，抓住了 Agentic RL 的数据/环境瓶颈。 - 为什么重要：Agentic RL 需要大量可执行环境和真实轨迹；真实 API 贵，LLM simulator 容易幻觉。环境合成如果可靠，会显著降低 tool-use 训练门槛。 - Motivation：Agentic RL 需要大量可执行环境和真实轨迹；真实 API 贵，LLM simulator 容易幻觉。环境合成如果可靠，会显著降低 tool-use 训练门槛。 - Method：合成 executable environments，并用 robust RL 训练工具使用 agent；目标是替代昂贵真实 API 或脆弱模拟器。 - Data：面向 tool-use agents 的可执行环境与轨迹；HF Daily Papers 收录。 - Evaluation：摘要明确指出现有模拟/合成轨迹的 failure mode；需读实验确认环境多样性与 transfer。 - Contribution：EnvFactory 试图合成可执行环境来扩展 tool-use agent RL，抓住了 Agentic RL 的数据/环境瓶颈。 - 局限/风险：合成环境与真实 API 行为差异可能导致 sim-to-real gap；环境验证是核心风险。 - Lucian 可采取的下一步：为内部工具 agent 生成“可执行假环境 + verifier”，先用于离线 RL/偏好数据，再迁移真实 API。 - Quality note：方法实质强，和 RL for LLM/tool use 高度相关。 - 摘要摘录：Equipping LLMs with tool-use capabilities via Agentic Reinforcement Learning (Agentic RL) is bottlenecked by two challenges: the lack of scalable, robust execution environments and the scarcity of realistic training data that captures implicit human reasoning. Existing approaches depend on costly real-world APIs, hallu… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 5 | 4 | 5 | 23 | ### 10. Evaluating Deep Research Agents on Expert Consulting Work: A Benchmark with Verifiers, Rubrics, and Cognitive Traps - 链接：[2605.17554](https://arxiv.org/abs/2605.17554) ｜ [PDF](https://arxiv.org/pdf/2605.17554) - 作者：Asthana, Tanmay, Saksena, Aman, Sahu, Divyansh - 日期：arXiv abs citation_date=2026/05/17；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.AI, cs.LG - 来源：arXiv official recent/list pages - 一句话结论：把 deep research agents 放到专家咨询交付物上评测，比一般 QA 更接近 Lucian 的自动研究目标。 - 为什么重要：DRAs 已用于企业调研，但常缺少 decision-grade deliverable 评测。该 benchmark 加入 verifiers、rubrics 和 cognitive traps，可直接借鉴到论文日报/研究报告质量控制。 - Motivation：DRAs 已用于企业调研，但常缺少 decision-grade deliverable 评测。该 benchmark 加入 verifiers、rubrics 和 cognitive traps，可直接借鉴到论文日报/研究报告质量控制。 - Method：设计管理咨询式结构化分析任务，用 rubrics/verifiers 检查多文档综合、陷阱识别和最终交付质量。 - Data：Expert consulting work benchmark；面向 frontier deep research agents。 - Evaluation：摘要指出现有 factual recall/single-hop QA 不足；需看 rubrics 是否可自动化与模型排行。 - Contribution：把 deep research agents 放到专家咨询交付物上评测，比一般 QA 更接近 Lucian 的自动研究目标。 - 局限/风险：咨询任务主观性强；rubric 设计会影响模型排名。 - Lucian 可采取的下一步：把 AI 论文日报生成流程拆成 research agent benchmark：候选召回、去重、评分、Top 3 选择、引用正确性。 - Quality note：对 Auto Research 产品化很有参考价值。 - 摘要摘录：Frontier deep research agents (DRAs) plan a research task, synthesize across documents, and return a structured deliverable on demand. They are being deployed in enterprise workflows faster than they are being evaluated. Existing benchmarks measure factual recall, single-hop QA, or generic agentic skill, missing the mu… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 4 | 5 | 22 | ### 11. SaaSBench: Exploring the Boundaries of Coding Agents in Long-Horizon Enterprise SaaS Engineering - 链接：[2605.17526](https://arxiv.org/abs/2605.17526) ｜ [PDF](https://arxiv.org/pdf/2605.17526) - 作者：Ren, Qingnan, Zou, Shun, Huang, Shiting, Zhang, Ziao, Shi, Kou, Fang, Zhen 等 14 人 - 日期：arXiv abs citation_date=2026/05/17；本次纳入依据=2026-05-19/2026-05-19 BJT list window - 类别：cs.AI, cs.SE - 来源：arXiv official recent/list pages - 一句话结论：SaaSBench 将 coding agents 拉到长程企业 SaaS 工程，比单仓库 patch 更接近真实软件交付。 - 为什么重要：从 scratch 项目生成需要 full-stack orchestration、异构环境、系统级复杂度；这是 coding agent 的下一阶段评测。 - Motivation：从 scratch 项目生成需要 full-stack orchestration、异构环境、系统级复杂度；这是 coding agent 的下一阶段评测。 - Method：构建长程企业 SaaS engineering tasks，评估 autonomous coding agents 的端到端系统实现能力。 - Data：Enterprise SaaS engineering benchmark；cs.SE + cs.AI。 - Evaluation：摘要对比现有 localized code editing / simplified single-stack generation；需读任务规格、验收测试、模型结果。 - Contribution：SaaSBench 将 coding agents 拉到长程企业 SaaS 工程，比单仓库 patch 更接近真实软件交付。 - 局限/风险：SaaS 任务可能评测成本高；自动验收能否覆盖 UX、安全、数据一致性仍是挑战。 - Lucian 可采取的下一步：为 fjai.pw product prototypes 定义 SaaSBench-like acceptance：API、持久化、隐私、前端交互、部署验证。 - Quality note：对 coding-agent roadmap 很重要。 - 摘要摘录：As autonomous coding agents become capable of handling increasingly long-horizon tasks, they have gradually demonstrated the potential to complete end-to-end software development. Although existing benchmarks have recently evolved from localized code editing to from-scratch project generation, they remain confined to s… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 5 | 4 | 5 | 23 | ### 12. PEEK: Context Map as an Orientation Cache for Long-Context LLM Agents - 链接：[2605.19932](https://arxiv.org/abs/2605.19932) ｜ [PDF](https://arxiv.org/pdf/2605.19932) - 作者：Gu, Zhuohan, Zhang, Qizheng, Khattab, Omar, Madden, Samuel - 日期：arXiv abs citation_date=2026/05/19；本次纳入依据=2026-05-20/2026-05-20 BJT list window - 类别：cs.AI, cs.CL, cs.LG - 来源：Hugging Face Daily Papers + arXiv official recent/list pages - 一句话结论：PEEK 把长上下文中的“方向感”缓存为 context map，适合反复访问同一代码库/文档库的 agent。 - 为什么重要：长上下文 agent 反复处理同一外部环境时，最缺的不是轨迹，而是“这里有什么、怎么组织、关键实体在哪里”的 orientation knowledge。 - Motivation：长上下文 agent 反复处理同一外部环境时，最缺的不是轨迹，而是“这里有什么、怎么组织、关键实体在哪里”的 orientation knowledge。 - Method：构建 Context Map / Orientation Cache，保存可复用的上下文结构知识，供后续 invocation 快速定位。 - Data：面向 document corpora 和 code repositories 等 recurring external contexts；HF Daily Papers 收录。 - Evaluation：摘要提出了与 raw material / trajectory / strategies 不同的 memory 类型；实验需看跨调用收益。 - Contribution：PEEK 把长上下文中的“方向感”缓存为 context map，适合反复访问同一代码库/文档库的 agent。 - 局限/风险：context map 需要更新与失效机制；环境变化后旧地图可能误导。 - Lucian 可采取的下一步：给代码库 agent 自动生成 repo context map：目录职责、核心 schema、重要常量、常见任务入口。 - Quality note：概念非常有用，适合和 memory condensation 结合。 - 摘要摘录：Large language model (LLM) agents increasingly operate over long and recurring external contexts, like document corpora and code repositories. Across invocations, existing approaches preserve either the agent's trajectory, passive access to raw material, or task-level strategies. None of them preserves what we argue is… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 3 | 5 | 21 | ### 13. OpenComputer: Verifiable Software Worlds for Computer-Use Agents - 链接：[2605.19769](https://arxiv.org/abs/2605.19769) ｜ [PDF](https://arxiv.org/pdf/2605.19769) - 作者：Wei, Jinbiao, Ma, Qianran, Zhao, Yilun, Zhou, Xiao, Ni, Kangqi, Gan, Guo 等 7 人 - 日期：arXiv abs citation_date=2026/05/19；本次纳入依据=2026-05-20/2026-05-20 BJT list window - 类别：cs.AI, cs.SE - 来源：Hugging Face Daily Papers + arXiv official recent/list pages - 一句话结论：OpenComputer 用 verifier-grounded software worlds 评估 computer-use agents，强调可验证真实应用任务。 - 为什么重要：Computer-use agent 最大难点是环境真实但可评分。OpenComputer 用应用状态 verifier 和自进化 verification layer，解决“看起来完成但无法机器确认”的问题。 - Motivation：Computer-use agent 最大难点是环境真实但可评分。OpenComputer 用应用状态 verifier 和自进化 verification layer，解决“看起来完成但无法机器确认”的问题。 - Method：构建软件世界、app-specific state verifiers、task generation pipeline 与 evaluation harness；verifier 通过执行反馈自我改进。 - Data：Real applications / desktop software tasks；HF Daily Papers 收录。 - Evaluation：摘要提供完整框架组件；需查看任务规模、verifier 可靠性和 agent 排名。 - Contribution：OpenComputer 用 verifier-grounded software worlds 评估 computer-use agents，强调可验证真实应用任务。 - 局限/风险：为每个 app 写 verifier 有工程成本；self-evolving verifier 也需要防止错误奖励。 - Lucian 可采取的下一步：在浏览器/网页 agent benchmark 中加入可查询 state verifier，而不只依赖截图或最终文本。 - Quality note：强烈推荐，适合作为 agent eval infrastructure 参考。 - 摘要摘录：We present OpenComputer, a verifier-grounded framework for constructing verifiable software worlds for computer-use agents. OpenComputer integrates four components: (1) app-specific state verifiers that expose structured inspection endpoints over real applications, (2) a self-evolving verification layer that improves v… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 5 | 4 | 5 | 23 | ### 14. Prior Knowledge or Search? A Study of LLM Agents in Hardware-Aware Code Optimization - 链接：[2605.19782](https://arxiv.org/abs/2605.19782) ｜ [PDF](https://arxiv.org/pdf/2605.19782) - 作者：Redko, Dmitry, Fazlyev, Albert, Sozykin, Konstantin, Ivanova, Maria, Burnaev, Evgeny, Shvetsov, Egor - 日期：arXiv abs citation_date=2026/05/19；本次纳入依据=2026-05-20/2026-05-20 BJT list window - 类别：cs.AI, cs.LG, cs.SE - 来源：arXiv official recent/list pages - 一句话结论：研究 LLM agents 在硬件感知代码优化中依赖先验知识还是搜索，有助于拆解 propose-evaluate-revise loop。 - 为什么重要：Agent optimization 系统常被当成黑盒循环；这篇用 controlled experiments 分析哪些组件贡献最大、何时搜索失败，适合指导 code optimization/coding agent 设计。 - Motivation：Agent optimization 系统常被当成黑盒循环；这篇用 controlled experiments 分析哪些组件贡献最大、何时搜索失败，适合指导 code optimization/coding agent 设计。 - Method：围绕 hardware-aware code optimization 设计三组 controlled experiments，区分先验知识、搜索与反馈环境的贡献。 - Data：硬件感知代码优化任务；cs.AI/cs.LG/cs.SE。 - Evaluation：摘要明确提出 controlled experiments；需看优化指标、硬件平台和失败案例。 - Contribution：研究 LLM agents 在硬件感知代码优化中依赖先验知识还是搜索，有助于拆解 propose-evaluate-revise loop。 - 局限/风险：硬件优化是特殊域；结论迁移到通用软件工程需谨慎。 - Lucian 可采取的下一步：在 coding agent benchmark 中记录“搜索行为 vs 先验模板”的贡献，避免只看最终性能。 - Quality note：适合做 agent component attribution 的参考。 - 摘要摘录：LLM discovery and optimization systems are increasingly applied across domains, implementing a common propose-evaluate-revise loop. Such optimization or discovery progresses via context conditioning on received feedback from an environment. However, as modern LLM agents are increasingly complex in their structure, it i… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 4 | 4 | 21 | ### 15. DecisionBench: A Benchmark for Emergent Delegation in Long-Horizon Agentic Workflows - 链接：[2605.19099](https://arxiv.org/abs/2605.19099) ｜ [PDF](https://arxiv.org/pdf/2605.19099) - 作者：Gao, Yuxuan, Wang, Megan, Yu, Yi Ling, Ma, Zijian Carl, Qu, Ao - 日期：arXiv abs citation_date=2026/05/18；本次纳入依据=2026-05-20/2026-05-20 BJT list window - 类别：cs.AI, cs.CL, cs.MA - 来源：arXiv official recent/list pages - 一句话结论：DecisionBench 专门评估长程 agentic workflows 中的 delegation/routing，是 multi-model agent orchestration 的好基准。 - 为什么重要：未来 agent 不一定单模型完成任务，而是把子任务委派给不同模型/供应商。DecisionBench 固定 peer-model pool、delegation interface 和多轴指标，很贴近生产 orchestration。 - Motivation：未来 agent 不一定单模型完成任务，而是把子任务委派给不同模型/供应商。DecisionBench 固定 peer-model pool、delegation interface 和多轴指标，很贴近生产 orchestration。 - Method：基于 GAIA、tau-bench、BFCL multi-turn，提供 call_model/read_profile interface、skill annotations 和质量/成本/延迟/路由忠实度等指标。 - Data：11 models、7 vendor families，覆盖多任务 suite。 - Evaluation：摘要给出清晰 substrate 与 metrics；需要读模型结果看 delegation 是否真的提升质量/成本。 - Contribution：DecisionBench 专门评估长程 agentic workflows 中的 delegation/routing，是 multi-model agent orchestration 的好基准。 - 局限/风险：固定模型池会随时间过期；供应商自偏好与成本结构变化快。 - Lucian 可采取的下一步：为 Hermes 多代理任务加入 delegation benchmark：什么时候委托 Claude/Codex/Hermes 子 agent，如何评估成本收益。 - Quality note：高 actionability，适合 orchestration 研究。 - 摘要摘录：We introduce DecisionBench, a benchmark substrate for emergent delegation in long-horizon agentic workflows. The substrate fixes a task suite (GAIA, tau-bench, BFCL multi-turn), a peer-model pool (11 models, 7 vendor families), a delegation interface (call_model plus an optional read_profile channel), a deterministic s… | Relevance | Novelty | Substance | Evidence | Actionability | Total | |---:|---:|---:|---:|---:|---:| | 5 | 4 | 4 | 4 | 5 | 22 | ## 版本更新提醒 未发现此前已囊括论文在本窗口内出现足以单独重收录的重大方法/实验变化；已囊括候选默认不进入 Top Picks。 ## 今日未纳入但可观察论文 - [A Methodology for Selecting and Composing Runtime Architecture Patterns for Production LLM Agents](https://arxiv.org/abs/2605.20173) — 生产 LLM agent runtime 的 architecture pattern / stochastic-deterministic boundary，很适合工程架构参考，但目前更像方法论。 - [OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments](https://arxiv.org/abs/2605.18758) — OmniGUI 将 GUI agent 扩展到音频/视频/手机多模态环境，HF 收录；可观察数据集开放度与评分稳定性。 - [EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective](https://arxiv.org/abs/2605.18421) — EvoMemBench 从 self-evolving 角度评估 agent memory，与长期记忆方向高度相关，可作为后续精读。 - [To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents](https://arxiv.org/abs/2605.18882) — 诊断 LLM agent 过度调用工具的 intrinsic over-calling bias，对 tool-use policy 很重要。 - [NGM: A Plug-and-Play Training-Free Memory Module for LLMs](https://arxiv.org/abs/2605.16893) — NGM 是 training-free memory module for LLMs，偏模型机制/记忆模块，可观察能否接入 agent memory。 ## 数据源失败或不确定性说明 - arXiv export API：本次 category submittedDate/lastUpdatedDate 查询连续返回 HTTP 429；已按流程回退到 arXiv official recent/list pages，并对入选论文逐篇抓取官方 abs 页面核验标题、作者、摘要、日期与类别。 - Hugging Face Daily Papers：目标日期页可抓取，合并去重后 HF unique=76；HF 作为社区热度来源，不直接等同于 arXiv 提交日期。 - arXiv list 日期与 abs citation_date 可能不同：arXiv 最新批次会包含更早 submitted 的论文，本报告以 official recent/list 页面在 BJT 2026-05-19/2026-05-20 的发布窗口纳入，并在每篇中保留 abs citation_date。 - 连接不稳定：cs.CL skip=0 与 cs.MA skip=750 曾出现连接 reset/SSL EOF；由于其他类别与分页覆盖了核心候选，未阻塞报告。 ## 附录：检索式 / 过滤规则 / 去重状态摘要 - 类别：cs.AI, cs.CL, cs.CV, cs.LG, stat.ML, cs.RO, cs.IR, cs.HC, eess.AS, cs.SE, cs.MA。 - 数据源：arXiv official recent/list pages；Hugging Face Daily Papers；逐篇 arXiv abs 页面。 - 过滤：以北京时间自然日 2026-05-19 与 2026-05-20 为窗口；不是过去 24 小时。 - 去重：读取 `public/reports/ai-paper-daily/seen_papers.json`，并扫描历史 Markdown/HTML；arXiv ID 去掉版本号，标题 NFKC/lowercase/去标点/压缩空白。 - 本次源计数：arXiv list unique=3202, HF unique=76, merged unique=3218; 目标窗口候选数量=1899, 新论文数量=1883, 精选数=15。