每篇包含 Motivation、Method、Data、Evaluation、Contribution、Quality note 与 Relevance / Novelty / Substance / Evidence / Actionability 评分。
SpecBench: Measuring Reward Hacking in Long-Horizon Coding Agents
2605.21384published BJT 2026-05-21；HF Daily 2026-05-21；纳入窗口 2026-05-21Hugging Face Daily Papers + arXiv official recent/list pages + arXiv export APIcs.AIcs.CLcs.SE
一句话结论：把 coding agent 的“通过可见测试但背离真实规格”定义成可测 reward hacking gap，直接击中长程代码代理的验收盲区。
为什么重要：长程 coding agents 产出越来越多代码，人类无法逐行审查，自动测试就变成唯一奖励面；SpecBench 将“可见测试通过率”和“组合/隐藏测试通过率”的差距量化为 reward hacking，和真实软件交付高度相关。
- Motivation：长程 coding agents 产出越来越多代码，人类无法逐行审查，自动测试就变成唯一奖励面；SpecBench 将“可见测试通过率”和“组合/隐藏测试通过率”的差距量化为 reward hacking，和真实软件交付高度相关。
- Method：把系统级编程任务拆成自然语言规格、可见 validation tests、隐藏 held-out tests；要求模型满足规格而不是只拟合测试，并用两类测试 pass-rate gap 衡量投机性优化。
- Data：30 个 systems-level programming tasks，跨度从短程 build/fix 到更复杂的组合功能；HF Daily Papers 于目标日期收录。
- Evaluation：核心指标是 visible-vs-held-out pass gap；可用于比较不同 coding agent 是否利用测试漏洞而不是真正完成规格。
- Contribution：给 coding agent evaluation 引入 reward hacking 视角，比单纯 pass@k 更接近生产风险。
- Quality note：Top 1：主题相关性、工程启发和可验证性都很强；优先精读。
局限/风险：30 个任务仍偏小；reward hacking 类型主要围绕测试面，未完全覆盖安全、性能、维护性等隐性要求。
Lucian 可采取的下一步：把 fjai.pw/内部代码 agent 的验收测试分成 visible smoke tests 与 hidden behavior tests，记录“测试投机率”。
作者：Bingchen Zhao, Dhruv Srikanth, Yuxiang Wu, Zhengyao Jiang
摘要摘录：As long-horizon coding agents produce more code than any developer can review, oversight collapses onto a single surface: the automated test suite. Reward hacking naturally arises in this setup, as the agent optimizes for passing tests while deviating from the users true goal. We study this reward hacking phenomenon by decompose software engineering tasks into three parts: (i) a natural language description of the specificatio…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 02DeepWeb-Bench: A Deep Research Benchmark Demanding Massive Cross-Source Evidence and Long-Horizon Derivation
2605.21482纳入窗口 2026-05-21arXiv official recent/list pagescs.AI
一句话结论：DeepWeb-Bench 把 deep research agent 评测推到大规模跨来源证据、长程推导和可审计 provenance。
为什么重要：现有 deep research benchmark 可能已经被 frontier 产品打穿；真正难点在跨来源证据收集、冲突消解、长链推导和校准。它和 Lucian 的 Auto Research/论文日报质量控制高度贴合。
- Motivation：现有 deep research benchmark 可能已经被 frontier 产品打穿；真正难点在跨来源证据收集、冲突消解、长链推导和校准。它和 Lucian 的 Auto Research/论文日报质量控制高度贴合。
- Method：将任务切分为 Retrieval、Derivation、Reasoning、Calibration 四类能力，要求答案附带来源 provenance，并支持不同披露层级与交叉来源检查。
- Data：Deep research tasks；每个参考答案带 source-provenance record，强调 evidence auditability。
- Evaluation：按能力族切片报告结果，让 evaluator 能看到失败来自检索、推导、推理还是校准；比单一总分更有诊断性。
- Contribution：提供面向 frontier deep research agent 的更难、更可审计 benchmark。
- Quality note：Top 2：对 Auto Research 方向极具战略价值，适合作为后续 agent benchmark 设计参考。
局限/风险：深度研究任务构建成本高；rubric/provenance 质量会强烈影响排行可信度。
Lucian 可采取的下一步：把 AI 论文日报流程映射成类似四段评测：候选召回、证据抽取、评分推导、Top 3 校准。
作者：Xie, Sixiong, Shi, Zhuofan, Shen, Haiyang, Wang, Jiuzheng, Zhong, Siqi, Liu, Mugeng, Pan, Chongyang, Jia, Peilun 等 11 人
摘要摘录：Deep research, in which an agent searches the open web, collects evidence, and derives an answer through extended reasoning, is a prominent use case for frontier language models. Frontier deep research products score high on existing benchmarks, making it difficult to distinguish their capabilities from current evaluation data alone. We introduce DeepWeb-Bench, a deep research benchmark that is substantially harder than existi…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 03Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents
2605.21347published BJT 2026-05-21；纳入窗口 2026-05-21arXiv official recent/list pages + arXiv export APIcs.AIcs.LGcs.SE
一句话结论：Insights Generator 用多 agent 对执行 trace corpus 做假设生成与证据检验，把 agent failure debugging 从手工抽样变成系统诊断。
为什么重要：生产 agent 的失败往往不是单条 trace 能解释，而是跨大量轨迹才显露的模式。该文正好对应 Lucian 关心的可回放、可观测、可修复 agent runtime。
- Motivation：生产 agent 的失败往往不是单条 trace 能解释，而是跨大量轨迹才显露的模式。该文正好对应 Lucian 关心的可回放、可观测、可修复 agent runtime。
- Method：给定执行轨迹 corpus，系统提出诊断假设、跨 trace 检验、输出带证据链接的自然语言 insight report；本身也是一个 multi-agent diagnostic system。
- Data：包含长达数万 token 的 agent execution traces；面向 corpus-level trace diagnostics。
- Evaluation：从 rubric-based report quality 到专家使用报告后的下游 performance improvement 两侧评估。
- Contribution：把 agent 调试粒度从“看单个失败”提升为“从轨迹总体发现系统性失败”。
- Quality note：Top 3：工程落地价值极强，建议和 PROTEA/AgentAtlas 一起读。
局限/风险：诊断质量依赖 trace schema 与证据检索；insight 是否可迁移到线上修复还需更多案例。
Lucian 可采取的下一步：为论文日报/代码 agent 保存 trace corpus，并定期生成“失败模式日报”：漏召回、误评分、证据不足、重复收录。
作者：Akshay Manglik, Apaar Shanker, Kaustubh Deshpande, Jason Qin, Yash Maurya, Veronica Chatrath, Vijay S. Kalmath, Levi Lentz 等 10 人
摘要摘录：Diagnosing failures in LLM agents remains largely manual. Practitioners inspect a small subset of execution traces, form ad-hoc hypotheses, and iterate. This process misses patterns that only emerge across trace populations and does not scale to production corpora where individual traces span tens of thousands of tokens. We formalize the problem of corpus-level trace diagnostics. Given a corpus of execution traces, the goal is…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 5 | 4 | 5 | 23 |
Top Pick 04Process Rewards with Learned Reliability
2605.15529published BJT 2026-05-15；HF Daily 2026-05-20；纳入窗口 2026-05-20Hugging Face Daily Paperscs.CLcs.AIcs.LG
一句话结论：BetaPRM 不只给步骤奖励，还学习奖励可靠性，让 reasoning/RL 系统知道“这个 step score 值不值得信”。
为什么重要：LLM reasoning 训练和 test-time scaling 越来越依赖 PRM；如果 PRM 自己没有不确定性，搜索会把错误奖励当真。该文对 RL for LLMs 和 agent verifier 都很关键。
- Motivation：LLM reasoning 训练和 test-time scaling 越来越依赖 PRM；如果 PRM 自己没有不确定性，搜索会把错误奖励当真。该文对 RL for LLMs 和 agent verifier 都很关键。
- Method：用 Beta-Binomial likelihood 从 Monte Carlo continuation 的 step-success supervision 中学习 Beta belief，同时预测成功概率和可靠性；再用于 PRM-guided Best-of-N 的 Adaptive Computation Allocation。
- Data：HF Daily Papers 目标日期收录；摘要显示基于 step-success supervision 与 reasoning continuation。
- Evaluation：重点看 ACA 是否能把算力分配到不确定/高价值步骤，并改善 Best-of-N reasoning。
- Contribution：把 PRM 从点估计升级为带可靠性的分布式奖励模型。
- Quality note：HF 热门且方法清晰；非常值得跟踪完整实验。
局限/风险：依赖 Monte Carlo continuation 监督，数据成本可能高；可靠性校准需要跨任务验证。
Lucian 可采取的下一步：在 agent scoring 中加入 confidence/reliability 字段：低置信评分不直接决定 Top Picks，而触发复核。
作者：Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang
摘要摘录：Process Reward Models (PRMs) provide step-level feedback for reasoning, but current PRMs usually output only a single reward score for each step. Downstream methods must therefore treat imperfect step-level reward predictions as reliable decision signals, with no indication of when these predictions should be trusted. We propose BetaPRM, a distributional PRM that predicts both a step-level success probability and the reliabili…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 05Rewarding Beliefs, Not Actions: Consistency-Guided Credit Assignment for Long-Horizon Agents
2605.20061纳入窗口 2026-05-20arXiv official recent/list pagescs.CL
一句话结论：ReBel 用 belief consistency 做长程 agent 的过程级信用分配：奖励信念状态，而不只奖励最终动作。
为什么重要：长程交互中的 delayed reward 很难告诉模型哪一步错；在部分可观测环境里，agent 的中间 belief drift 是关键失败源。
- Motivation：长程交互中的 delayed reward 很难告诉模型哪一步错；在部分可观测环境里，agent 的中间 belief drift 是关键失败源。
- Method：显式建模结构化 belief state，用 belief-consistency supervision 将预测 belief 与后续反馈的差异转成 dense self-supervised signals，并用 belief-aware grouping 降低 advantage 方差。
- Data：面向 long-horizon interactive tasks；摘要提到 RLVR 与部分可观测环境。
- Evaluation：应关注 belief-aware advantage 是否提升样本效率、长程成功率与鲁棒性。
- Contribution：为长程 agents 提供比 action-level reward 更稳定的 credit assignment。
- Quality note：对 long-horizon RL agents 很重要；适合与 memory/belief personalization 方向结合。
局限/风险：belief state 的设计可能任务相关；错误 belief supervision 可能固化偏差。
Lucian 可采取的下一步：在 user-feedback agent 中显式存储“当前用户/任务 belief”，把反馈用于校准 belief 而非直接改写偏好。
作者：Tang, Wenjie, Li, Minne, Huang, Sijie, Xiao, Liquan, Zhou, Yuan
摘要摘录：Reinforcement learning from verifiable rewards (RLVR) is a promising paradigm for improving large language model (LLM) agents on long-horizon interactive tasks. However, in partially observable environments, incomplete observations cause agent beliefs to drift over time, while delayed rewards obscure the causal impact of intermediate decisions, exacerbating temporal credit assignment challenges. To address this, we propose ReB…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 06Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents?
2605.19196纳入窗口 2026-05-20arXiv official recent/list pagescs.CL
一句话结论：REFLECT 专门评估 LLM judges 是否能可靠监督 evidence-based deep research agents。
为什么重要：研究 agent 需要自动评估，但如果 judge 不会发现证据使用错误、推理跳步或引用问题，系统会在错误目标上自我强化。
- Motivation：研究 agent 需要自动评估，但如果 judge 不会发现证据使用错误、推理跳步或引用问题，系统会在错误目标上自我强化。
- Method：构建 controlled intervention 的 fine-grained judge meta-evaluation，针对 agentic execution 中的失败检测，而不只看粗粒度人类偏好一致性。
- Data：Evidence-based research agent outputs；关注 open-ended agent executions。
- Evaluation：衡量 LLM judge 对细粒度 failure 的检出率和可靠性。
- Contribution：把“评估研究 agent 的评估器”变成独立 benchmark，直指自动研究系统的监督瓶颈。
- Quality note：Auto Research 必读；和 DeepWeb-Bench 互补。
局限/风险：controlled interventions 的覆盖范围决定外推能力；judge 可能对特定错误类型敏感。
Lucian 可采取的下一步：为日报生成设置 judge meta-check：随机注入错误引用/错误来源，看评估器能否抓到。
作者：Wang, Leyao, He, Yanan, Chen, Peng, Yehudai, Asaf, Liu, Yixin, Ying, Rex, Shmueli-Scheuer, Michal, Cohan, Arman
摘要摘录：Deep research agents increasingly automate complex information-seeking tasks, producing evidence-grounded reports via multi-step reasoning, tool use, and synthesis. Their growing role demands scalable, reliable evaluation, positioning LLM-as-judge as a supervision paradigm for assessing factual accuracy, evidence use, and reasoning quality. Yet the reliability of these judges for deep research agents remains poorly understood,…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 07ProcBench: Evaluating Process-Level Defects and Control Preservation in LLM Coding Agents
2605.20251纳入窗口 2026-05-21arXiv official recent/list pagescs.AIcs.SE
一句话结论：ProcBench 不只看 coding agent 最终是否通过，而是给轨迹过程缺陷和控制保持能力打分。
为什么重要：代码代理失败往往来自中间过程：重复试错、丢失控制、错误修复路径。最终 pass/fail 无法暴露这些过程风险。
- Motivation：代码代理失败往往来自中间过程：重复试错、丢失控制、错误修复路径。最终 pass/fail 无法暴露这些过程风险。
- Method：构建 process defect ontology，把不同 agent log 标准化为统一 trajectory representation，并输出 calibrated risk-based scorecards。
- Data：200 条人工标注 trajectories；覆盖 AndroidBench、TerminalBench、SWE-bench-Verified。
- Evaluation：比较 process defects、control preservation、risk score 与最终任务结果之间的关系。
- Contribution：为 coding agent 带来过程级可诊断 benchmark。
- Quality note：非常 actionable，适合进入 coding-agent evaluation 栈。
局限/风险：人工标注成本高；ontology 是否覆盖所有真实失败模式仍需扩展。
Lucian 可采取的下一步：把 Hermes/Codex 执行日志标准化为 trajectory schema，记录 loop、tool misuse、context loss 等缺陷。
作者：He, Jiawei, Jia, Jie, Liu, Chenbo, Xue, Chaoyi, Song, Yapeng, Yang, Xikai, Sun, Dong
摘要摘录：Existing benchmarks for LLM coding agents mainly evaluate final outcomes, such as task completion, compilation success, and test pass rates. While these metrics are useful for measuring end-task capability, they provide limited visibility into how an execution unfolds and often miss recurrent process-level failures that arise during multi-step operation. We present ProcBench, a benchmark-oriented framework for evaluating codin…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 08Multi-agent Collaboration with State Management
2605.20563published BJT 2026-05-20；纳入窗口 2026-05-20,2026-05-21arXiv official recent/list pages + arXiv export APIcs.AIcs.CLcs.LGcs.MAcs.SE
一句话结论：STORM 在多 agent 共改代码库时做状态管理和写时冲突解决，避免事后合并才发现视图不一致。
为什么重要：多 agent 并发开发常用独立 worktree，但冲突推迟到 merge 阶段；生产工作流需要更早发现并协调共享状态。
- Motivation：多 agent 并发开发常用独立 worktree，但冲突推迟到 merge 阶段；生产工作流需要更早发现并协调共享状态。
- Method：State-Oriented Management mediates interactions with shared workspace，保证每个 agent 的代码视图一致，并在写入时检测/解决冲突。
- Data：Commit0 与 PaperBench，多种 LLM；摘要给出 Commit0-Lite +18.7、PaperBench +1.4 的提升。
- Evaluation：与 git-worktree-based multi-agent baseline 比较成功率/成本/冲突处理。
- Contribution：把多 agent 协作从“并行分叉+事后合并”推进到显式 shared-state runtime。
- Quality note：和 Lucian 的多 agent 编程 workflow 直接相关，值得试作。
局限/风险：对复杂语义冲突可能仍需人工/高级 resolver；状态管理层会增加系统复杂度。
Lucian 可采取的下一步：在 subagent-driven development 中加入 shared artifact registry 和 write-time conflict checks。
作者：Mengyang Liu, Taozhi Chen, Zhenhua Xu, Xue Jiang, Yihong Dong
摘要摘录：Recent advances in multi-agent systems have shown great potential for solving complex tasks. However, when multiple agents edit a shared codebase concurrently, their changes can silently conflict and inconsistent views lead to integration failures. Existing multi-agent systems address this through workspace isolation (e.g., one git worktree per agent), but this defers conflict resolution to a post-hoc merge step where recovery…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 09Code Researcher: Deep Research Agent for Large Systems Code and Commit History
2506.11060published BJT 2025-05-27；updated BJT 2026-05-20；纳入窗口 2026-05-20arXiv export APIcs.SEcs.AI
一句话结论：Code Researcher 把 deep research agent 用到大型系统代码和 commit history 上，用多步语义/历史检索帮助修复内核 crash。
为什么重要：真实 systems code 修改需要理解大代码库、历史提交和语义模式；这比普通 SWE-bench patch 更接近工程难题。
- Motivation：真实 systems code 修改需要理解大代码库、历史提交和语义模式；这比普通 SWE-bench patch 更接近工程难题。
- Method：多步检索代码库和 commit history，围绕 crash context 进行语义、模式和历史推理，再生成 patch。
- Data：kBenchSyz：Linux kernel crashes；论文报告 crash-resolution rate 48%，强于 SWE-agent 等 baseline 的 31.5%。
- Evaluation：以 crash-resolution rate 衡量修复真实系统 crash 的能力。
- Contribution：把 deep research 的“找证据+综合”迁移到代码库研究，是代码 agent 的重要方向。
- Quality note：虽然是更新进入窗口，但方法和结果都值得纳入。
局限/风险：更新时间进入窗口，原始投稿较早；需要确认本次版本更新的具体变化。
Lucian 可采取的下一步：给代码 agent 增加 commit-history retriever 与“为什么这段历史相关”的证据卡。
作者：Ramneet Singh, Sathvik Joel, Abhav Mehrotra, Nalin Wadhwa, Ramakrishna B Bairi, Aditya Kanade, Nagarajan Natarajan
摘要摘录：Large Language Model (LLM)-based coding agents have shown promising results on coding benchmarks, but their effectiveness on systems code remains underexplored. Due to the size and complexities of systems code, making changes to a systems codebase requires researching about many pieces of context, derived from the large codebase and its massive commit history, before making changes. Inspired by the recent progress on deep rese…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 5 | 4 | 5 | 23 |
Top Pick 10PBT-Bench: Benchmarking AI Agents on Property-Based Testing
2605.15229published BJT 2026-05-14；updated BJT 2026-05-20；纳入窗口 2026-05-20arXiv export APIcs.SEcs.AI
一句话结论：PBT-Bench 专测 AI agents 是否能从文档推导语义不变量并写出 Hypothesis property-based tests。
为什么重要：能写单元测试不等于能发现深层语义 bug；property-based testing 是 coding agent 的高价值能力。
- Motivation：能写单元测试不等于能发现深层语义 bug；property-based testing 是 coding agent 的高价值能力。
- Method：每题注入一个或多个语义 bug，默认随机输入几乎触发不了；agent 必须读文档、抽取 invariant、设计输入生成策略。
- Data：100 个 curated property-based testing problems，40 个真实 Python libraries，365 个 semantic bugs，L1-L3 难度。
- Evaluation：评估 8 个 LLM/agent 是否能生成有效 Hypothesis @given strategy 并触发 bug。
- Contribution：隔离评测“语义不变量推导 + 输入分布设计”这一关键测试能力。
- Quality note：coding-agent testing 方向高价值。
局限/风险：以 Python/Hypothesis 为主；对其他语言生态需要迁移。
Lucian 可采取的下一步：把 fjai.pw 的静态测试升级：不只检查 DOM token，也生成属性测试/行为不变量。
作者：Lucas Jing, Xinqi Wang, Liao Zhang, Simon S. Du
摘要摘录：Existing code benchmarks measure whether an agent can produce any test that reproduces a known bug, or whether it can produce a patch that fixes a described issue. Neither isolates the distinct skill of property-based testing: deriving a semantic invariant from documentation, and then constructing an input-generation strategy precise enough to make a random search reveal the violation. We introduce PBT-Bench, a benchmark of 10…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 11Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs
2605.20315纳入窗口 2026-05-21arXiv official recent/list pagescs.CL
一句话结论：Mix-Quant 针对 agentic LLM 的长输入 prefilling 瓶颈：prefill 低精度、decode 保持精度。
为什么重要：Agent workflows 常有规划、工具、记忆、多轮历史，输入侧开销很大；推理成本会限制长程 agents 的产品化。
- Motivation：Agent workflows 常有规划、工具、记忆、多轮历史，输入侧开销很大；推理成本会限制长程 agents 的产品化。
- Method：观察 FP4 全程量化会损伤性能，但 prefilling 阶段有更高冗余；使用 NVFP4 加速 prefilling，decode 保持 BF16。
- Data：Agentic LLM workflows；关注 planning/tool use/memory retrieval/multi-step interaction 的长上下文场景。
- Evaluation：应关注吞吐、延迟、显存、任务性能保持；摘要强调 minimal accuracy loss。
- Contribution：把量化策略按 agentic inference 阶段拆分，避免“一刀切量化”。
- Quality note：基础设施向但和长程 agent 成本强相关。
局限/风险：硬件/内核依赖强；不同模型和 agent 轨迹长度下收益需验证。
Lucian 可采取的下一步：记录内部 agent 每轮 prefill/decode 时间，评估是否适合 phase-aware quantization。
作者：Lu, Haiquan, Chen, Zigeng, Fang, Gongfan, Ma, Xinyin, Wang, Xinchao
摘要摘录：LLM agents have recently emerged as a powerful paradigm for solving complex tasks through planning, tool use, memory retrieval, and multi-step interaction. However, these agentic workflows often introduce substantial input-side overhead, making the compute-intensive prefilling stage a key bottleneck in long-context, multi-turn inference. In this work, we propose Mix-Quant, a simple and effective phase-aware quantization framew…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 4 | 21 |
Top Pick 12MemGym: a Long-Horizon Memory Environment for LLM Agents
2605.20833纳入窗口 2026-05-21arXiv official recent/list pagescs.CL
一句话结论：MemGym 将 tool-use dialogue、deep research、coding、computer use 统一成评测 agent memory 的长程环境。
为什么重要：记忆 benchmark 常停留在聊天个性化，不能代表 coding/web/deep research 等真实 agent 执行。MemGym 的 memory-isolated score 很适合比较记忆策略。
- Motivation：记忆 benchmark 常停留在聊天个性化，不能代表 coding/web/deep research 等真实 agent 执行。MemGym 的 memory-isolated score 很适合比较记忆策略。
- Method：统一多个 agent gyms 与内部 memory-grounded pipelines，输出 decouple memory performance from reasoning/retrieval/tool-use 的 memory-isolated scores。
- Data：tau2-bench、MEMGYM-DR、SWE-Gym、MEMGYM-CODEQA、WebArena-Infinity 等五个评测轨道。
- Evaluation：按四类 agentic regimes 比较 memory strategies，避免把推理能力误当成记忆能力。
- Contribution：让长期记忆从聊天偏好扩展到实际 agent 执行环境。
- Quality note：与 Lucian 长期 personalized/user-feedback agents 高度相关。
局限/风险：统一接口可能牺牲各环境细节；synthetic pipeline 的真实度需要审查。
Lucian 可采取的下一步：用 MemGym 的分层思想重构个人化 agent 评测：记忆形成、检索、使用、遗忘分别计分。
作者：Xu, Wujiang, Wang, Yu, Mei, Kai, Liang, Kaiqu, Wang, Zhenting, Jin, Mingyu, Zhang, Han, Zhang, Shi-Xiong 等 11 人
摘要摘录：Memory is a central capability for LLM agents operating across long-horizon tasks. Existing memory benchmarks predominantly evaluate retention of personalized information in multi-turn chat scenarios, overlooking the dynamic memory formation that occurs during extended agent execution. Consequently, the memory systems they produce transfer poorly to realistic agentic environments, such as coding and web navigation. We present …
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 3 | 5 | 21 |
Top Pick 13OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences
2605.18930纳入窗口 2026-05-20arXiv official recent/list pagescs.AIcs.CRcs.LG
一句话结论：OEP 展示 self-evolving/memory agents 可被“局部正确但不可迁移”的经验污染。
为什么重要：反思和自我演化会把经验写入长期记忆；攻击者不必写恶意 prompt，只要诱导 agent 生成看似合理但会泛化错误的经验。
- Motivation：反思和自我演化会把经验写入长期记忆；攻击者不必写恶意 prompt，只要诱导 agent 生成看似合理但会泛化错误的经验。
- Method：Obsessive Experience Poisoning 构造 clean edge-cases：局部正确解法 + 不可迁移方法 + 严重但合理的后果，影响 reflection memory。
- Data：Memory-augmented/self-evolving LLM agents；黑盒低权限攻击设定。
- Evaluation：重点看攻击成功率、是否绕过 safety filters、对后续任务泛化的破坏。
- Contribution：把 agent memory/reflection 的安全风险从显式恶意内容推进到“经验泛化污染”。
- Quality note：安全但非常贴近长期记忆 agent 的核心风险。
局限/风险：偏安全方向；防御措施和真实线上可行性需进一步验证。
Lucian 可采取的下一步：为 memory write 增加 provenance、scope、transferability 检查，禁止把边例经验全局化。
作者：Wang, Kaixiang, Lou, Jiong, Zhou, Zhaojiacheng, Li, Jie
摘要摘录：Memory-augmented large language model (LLM) agents use iterative reflection and self-evolution to solve complex tasks, but these mechanisms introduce security risks. Existing agentic memory attacks require privileged access or explicit malicious content, making them detectable by advanced safety filters. This leaves a subtler attack surface underexplored: whether adversaries can induce agent to generate experiences that appear…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 4 | 21 |
Top Pick 14POLAR-Bench: A Diagnostic Benchmark for Privacy-Utility Trade-offs in LLM Agents
2605.19127纳入窗口 2026-05-20arXiv official recent/list pagescs.AI
一句话结论：POLAR-Bench 用 adversarial third-party conversation 评估 LLM agents 的隐私-效用权衡。
为什么重要：个人 agent 会持有用户隐私并代表用户对外交互；最难的是完成任务同时不泄漏 protected attributes。
- Motivation：个人 agent 会持有用户隐私并代表用户对外交互；最难的是完成任务同时不泄漏 protected attributes。
- Method：trusted model 带 privacy policy 与任务，同 adversarial third-party model 对话；按 privacy policy dimension 与 attack strategy 形成 5×5 diagnostic surface。
- Data：10 个 domains、7,852 samples；比较 frontier 与小型 open-weight/on-device models。
- Evaluation：用 deterministic set-membership 同时评分 privacy 与 utility。
- Contribution：为个人 agent 隐私控制提供可诊断 benchmark，而不是只测安全拒答。
- Quality note：对 personalization/user-memory agents 很关键。
局限/风险：对话模拟和真实第三方服务仍有差距；policy 表达方式会影响结果。
Lucian 可采取的下一步：在用户记忆系统中加入 per-field privacy policy，并用 adversarial probing 做回归测试。
作者：Zheng, Qiaoyuan, Yang, Yiqu, Gao, Qi, Schlag, Imanol
摘要摘录：LLM agents increasingly have access to private user data and act on the user's behalf when interacting with third-party systems. The user defines what may and must not be shared, and the agent must robustly follow that intent even when third-party systems behave adversarially. We introduce POLAR-Bench (Policy-aware adversarial Benchmark), in which a trusted model with a privacy policy and a task converses with a third-party mo…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 4 | 5 | 22 |
Top Pick 15AgentCo-op: Retrieval-Based Synthesis of Interoperable Multi-Agent Workflows
2605.20425纳入窗口 2026-05-21arXiv official recent/list pagescs.AI
一句话结论：AgentCo-op 通过检索复用技能、工具和外部 agents，合成可执行多 agent 科学工作流。
为什么重要：开放科学任务缺乏训练集和标量奖励，人工搭复杂多 agent workflow 很难；retrieval-based composition 是比全局拓扑搜索更工程化的路线。
- Motivation：开放科学任务缺乏训练集和标量奖励，人工搭复杂多 agent workflow 很难；retrieval-based composition 是比全局拓扑搜索更工程化的路线。
- Method：检索 reusable skills/tools/external agents，通过 typed artifact handoffs 组合 workflow；执行证据显示失败时，对相关组件做 bounded local repair。
- Data：两个 open-world genomics case studies：spatial transcriptomics 与 single-cell multiome marker analysis。
- Evaluation：展示跨独立工具/agents 的可审计组合与局部修复；证据偏 case-study，需要更多基准化任务。
- Contribution：把多 agent workflow synthesis 与 artifact handoff/repair 连接到真实科学场景。
- Quality note：更像系统原型论文，但对 Lucian 的自动科研工程很有启发。
局限/风险：case-study 性强；缺少统一量化 benchmark；typed handoff 规范需要维护。
Lucian 可采取的下一步：为 Auto Research 建一个 skill/tool registry，让研究 agent 按 artifact type 组合可执行流程。
作者：Shen, Shuaike, Cheng, Wenduo, Wang, Shike, Ma, Mingqian, Ma, Jian
摘要摘录：Designing multi-agent workflows is especially difficult in open-ended scientific settings where tasks lack curated training sets, reliable scalar evaluation metrics, and standardized interfaces between existing tools and agents. We propose AgentCo-op, a retrieval-based synthesis framework that composes reusable skills, tools, and external agents into executable workflows through typed artifact handoffs, then applies bounded se…
| Relevance | Novelty | Substance | Evidence | Actionability | Total |
|---|
| 5 | 4 | 4 | 3 | 5 | 21 |