AI 论文日报 · 2026-05-12

Deep research agents 要规划、搜索、评估证据并合成长报告，但输出没有唯一 ground truth，轨迹又包含大量工具决策；传统 RLVR 或只看最终答案的 post-training 难以把失败尝试转成可复用经验。

RubricEM 先由 agent 生成任务 rubrics，并让 planning、evidence gathering、review、synthesis 都按阶段 rubric 条件化；Stage-Structured GRPO 用阶段性 rubric judgments 提供更密的语义 credit；同时训练共享 backbone 的 reflection meta-policy，把已评审轨迹蒸馏成未来可用的 rubric-grounded guidance。

数据是 deep research / long-form report 轨迹与 rubric 评审信号，覆盖四个 long-form research benchmarks。论文摘要未给出每个 benchmark 的数据规模与来源细节；需要正文表格确认。

RubricEM-8B 在四个长报告研究 benchmark 上超过可比 open models，并接近 proprietary deep-research systems；论文还分析 stagewise rubric、reflection meta-policy 等模块贡献。具体分数需读正文表。

对 Lucian 的 general agent：给出从最终 judge 走向过程 rubric memory 的训练范式；对 code generation：可把 issue triage、测试、patch、review 拆成 rubric 阶段做 credit assignment；对 personalization：用户偏好也可以转成长期可复用的个性化 rubrics。

高相关、高质量，直接面向 deep research agent 的 post-training 难题。主要不确定性是 rubric 质量和 judge 偏差会不会被 policy 放大，以及开源复现成本。

现有 research automation 往往输出统一风格，忽略研究者资源、方法偏好和目标格式差异；真正可用的科研 agent 必须跨项目积累程序性知识、跨会话保留用户经验，并吸收难以显式表述的隐性偏好。

NanoResearch 包含三层：skill bank 把常见操作蒸馏成可复用 procedural rules；memory module 维护用户和项目经验并参与规划；label-free policy learning 把 free-form feedback 转成 planner 的持续参数更新。三层共同演化：skills 改善 memory，memory 改善 planning，policy 内化偏好。

数据是科研自动化项目循环、用户/项目记忆、反馈与生成产物。摘要未写清具体数据来源、用户数量或任务集；只能确认它评估了多轮 research cycles 与 state-of-the-art AI research systems。

论文称 NanoResearch 相比 SOTA AI research systems 有显著增益，并在 successive cycles 中以更低成本产出更好研究。具体指标、baseline 名称和统计显著性需读正文。

对 personalization 是本期核心论文：把用户偏好从 UI 层提升为 agent policy 的持续学习问题；对 general agent：skill/memory/policy 三层闭环值得直接借鉴；对 code generation：同样可把开发者偏好、repo 经验和工具技能共同演化。

HF Daily 收录，和 Lucian 长期 personalized research / user feedback agent 高度贴合。摘要很强，但需要警惕“个性化”是否主要来自系统设计而非真实长期用户研究。

主流 agent benchmark 仍偏合成 sandbox、短任务、mock API 和 final-answer checks，无法回答 agent 在真实部署 runtime 中能否完成长程、多工具、跨模态工作。

WildClawBench 构建 60 个 human-authored bilingual multimodal tasks，放在可复现 Docker 容器中，通过 OpenClaw、Claude Code、Codex、Hermes Agent 等真实 CLI harness 执行；评分混合 deterministic rule checks、环境状态 side-effect auditing 与 LLM/VLM semantic judge。

60 个任务，六类主题；每个任务平均约 8 分钟 wall-clock、20+ tool calls。数据包括任务、代码、容器化工具链和 agent 轨迹。

评估 19 个 frontier models；OpenClaw 下 Claude Opus 4.7 最好但也只有 62.2%，其他模型低于 60%；同一模型换 harness 可波动 18 个点，说明 harness 与 runtime 是评测变量。

对 general agent：强调 native-runtime 长程评测；对 code generation：CLI harness 评估方式可直接用于 repo agent；对 personalization：如果用户任务在真实工作台中执行，side-effect auditing 和语义 judge 必不可少。

非常相关，且包含 Hermes Agent 作为 harness，值得跟进。局限是只有 60 个任务，LLM/VLM judge 仍可能带来不稳定性。

当前 LLM agents 对孤立 API 已经不错，但真实商业软件自动化的“last mile”包含工具依赖、环境状态变化、API failure 和大规模 action space。

ComplexMCP 用 Model Context Protocol 封装 office suites、financial systems 等 7 个 stateful sandboxes；seed-driven architecture 生成可重复但多样的环境状态和 API failure；比较 full-context 与 RAG 工具检索范式，并做轨迹错误分析。

300+ 经测试工具，来自 7 个沙盒；任务为动态业务工作流。具体任务数量、种子配置与工具分类需读正文。

顶级模型也未超过 60% success，人类约 90%；失败主要来自 tool retrieval saturation、over-confidence（跳过环境验证）、strategic defeatism（过早合理化失败）。

对 general agent：MCP 生态评测正成为工具 agent 必备基准；对 code generation：repo agent 同样会遇到工具检索饱和和环境验证不足；对 personalization：用户工具集合越大，必须个性化工具检索和风险阈值。

方向很实用，MCP 切中当前 agent 工程栈。需确认沙盒真实度和 API failure 分布是否代表生产系统。

Meta-agents 需要监督、分叉、重放和优化目标 agent，但普通容器和日志缺少可编程语义，导致 counterfactual exploration、在线干预和 RL rollout 成本高。

Shepherd 提出 functional programming model，把 meta-agent operations 形式化为函数，核心操作用 Lean mechanized；每次 agent-environment interaction 都进入 typed event trace；系统能快速 fork agent process 和 filesystem，并复用 prompt cache。

数据来自三类应用：CooperBench pair coding、四个 benchmark 的 counterfactual meta-optimization、TerminalBench-2 的 Tree-RL training rollouts。

runtime supervisor 将 CooperBench pair coding pass rate 从 28.8% 提到 54.7%；branching exploration 最多提升 11 点并减少 58% wall-clock；Tree-RL 把 TerminalBench-2 从 34.2% 提到 39.4%；fork 比 Docker 快 5×，replay prompt-cache reuse >95%。

对 general agent：正式把 runtime substrate 变成 agent 能力的一部分；对 code generation：fork/replay 是调试、测试和安全试错的核心；对 personalization：可以从用户不满意节点分叉比较不同策略，而不是只保存最终日志。

高质量基础设施论文，Stanford 作者阵容且结果具体。局限是系统复杂，复现和集成成本可能高。

长程 agent 的 runtime memory 有预算限制；现有 memory 多按 relevance、salience、summary quality 保存，但对 agent 来说，记忆价值在于保留会改变行动决策的历史差异。

把记忆压缩建模成决策中心的 rate-distortion 问题，得到 exact forgetting boundary 和 memory-distortion frontier；提出 DeMem 在线记忆学习器，只在数据证明共享状态会导致 decision conflict 时细化 memory partition，并给出 near-minimax regret guarantees。

包括 controlled synthetic diagnostics 和 long-horizon conversational benchmarks。摘要未说明 conversational benchmark 名称和规模。

在相同 runtime budget 下，DeMem 在合成诊断和长程对话 benchmark 中稳定提升；理论部分给出遗憾界。具体数值需看正文。

对 general agent：记忆系统应围绕决策边界设计；对 code agent：只保存会改变后续 patch/test 决策的 repo 经验；对 personalization：用户画像应保留能改变生成选择的偏好区别，而非越详细越好。

理论视角清晰，和 Lucian 的 memory/personalization 方向高度相关。实证细节摘要不足，需要正文验证 benchmark 强度。

Agent 依赖外部 skills 解决复杂任务，但技能并非越多越好；有限模型容量和不同阶段边际贡献意味着最佳 skill set 是非单调、任务/阶段相关的。

SLIM 用 leave-one-skill-out validation 估计每个 skill 的 marginal external contribution，然后执行 retain、retire、expand 三种 lifecycle 操作：保留高价值技能，退休已被内化或无贡献技能，在持续失败时扩展 skill bank。

实验基于 ALFWorld 和 SearchQA；外部 skill bank、agent 轨迹和 RL 更新构成训练数据。摘要未列任务数量。

SLIM 在 ALFWorld 和 SearchQA 上平均比最佳 baseline 高 7.1 个百分点；结果显示有些技能会被 policy 吸收，有些仍保持外部价值。

对 general agent：技能库需要生命周期管理；对 code generation：可自动退休过时 repo 规则、保留高价值 debugging recipes；对 personalization：用户偏好技能也要有贡献估计，避免过时偏好污染。

问题重要且有可执行算法；HF Daily 收录。局限是 benchmark 较窄，真实工具生态中的 skill dependency 更复杂。

长程 multi-agent 任务中，一个早期错误会被后续 agent 接受并放大；如果只在最终失败后归因，就错过了部署期干预窗口。

AgentForesight 让 auditor 在每一步只看当前 prefix，选择 continue 或 alarm；AFTraj-2K 用 Coding、Math、Agentic domains 的安全/不安全轨迹训练；AgentForesight-7B 通过 coarse-to-fine RL 先学习 failure-boundary risk，再用 what/where/who 三轴 reward 做精确定位。

AFTraj-2K：约 2K agentic trajectories，覆盖 Coding、Math、Agentic；unsafe trajectories 经多 LLM judges 共识标注 decisive error step；另在外部 Who&When benchmark 测试。

在 AFTraj-2K 和 Who&When 上超过 GPT-4.1、DeepSeek-V4-Pro 等 proprietary models，最高 +19.9% performance gain，step localization error 低 3×。

对 general agent：在线 auditor 是长程任务安全闭环；对 code agent：可在错误 patch、错误测试假设早期拦截；对 personalization：用户反馈不必等最终不满意，可在风险 prefix 触发澄清或降级。

很贴合 failure-aware agent。由于是 5 月 9 日论文，本期作为 HF 2026-05-12 的强相关补充；需关注 LLM judge 标注偏差。

LLM-based evolution 通过不断改进 prompts、programs、tests 等非参数 artifacts 提升 agent，但同步阶段执行和阶段内 LLM-heavy imbalance 造成高 wall-clock 成本。

FlashEvolve 让不同 stages/steps 重叠执行；用 artifact versions 处理 asynchrony 引入的 staleness，并根据情况 update、discard、patch stale artifacts；还加入 speculative stage completion 和 adaptive workflow control。

数据是 GEPA workloads 以及 ACE、Meta-Harness 风格的 evolution artifacts 和 LLM 生成/评估轨迹；摘要未给具体任务数量。

在 GEPA workloads 上，相比同步 GEPA，本地 vLLM proposal throughput 提升 3.5×，API serving 提升 4.9×；设计也适用于 ACE 和 Meta-Harness。

对 general agent：self-evolution 的系统瓶颈可通过异步编排解决；对 code generation：ACE/test-time refinement 可直接受益；对 personalization：用户反馈驱动的多版本策略演化也需要处理 stale artifacts。

系统价值高，适合工程落地。相关性略偏基础设施，需要实际开源实现验证。

代码模式 tool use 的失败常不是运行时报错，而是工具间 contract 违反：输出形状错、工具路由错、参数 provenance 断裂；等执行后再反馈往往太晚。

RubricRefine 根据任务和 tool registry 生成 explicit contract rubrics，对候选 code/tool plan 打分，并在执行前迭代修复不满足 rubric 的部分；不需要训练，也不需要实际执行尝试。

评估使用 M3ToolEval 和 API-Bank；候选代码来自 7 个模型。数据是 tool-use benchmark queries、tool registry、候选工具调用代码。

零执行尝试下，在 M3ToolEval 七模型平均 0.86，高于 prior inference-time baselines；比最强 non-iterative alternative 延迟低 2.6×；在单步 API-Bank 上收益较平，符合依赖 inter-tool contract 的假设。

对 general agent：执行前 contract rubric 是可靠性层；对 code generation：适合在 shell/API/CI 执行前做静态计划检查；对 personalization：用户授权与偏好也可以编码成 pre-execution rubric。

实用且结果明确；不是最新 24h arXiv submitted，但在本期 2-3 天窗口内强相关。需要看 rubric 生成是否对复杂动态状态足够。

软件工程 agents 失败后，人工复盘和 follow-up feedback 成本高；现有系统记录 traces 但没有把异构运行证据转成下一次尝试可执行、可验证的恢复指导。

PROBE 三层：Telemetry Layer 保存细粒度 runtime signals；Diagnosis Layer 融合跨信号证据形成 grounded diagnoses；Guidance Gate 只在 evidence-grounded、actionable、within-scope 时输出 bounded guidance。

257 个 initially unresolved cases，覆盖 repository-level software repair、enterprise workflow recovery 和 AIOps service mitigation；另有 Microsoft IcM prototype。

Top-1 diagnosis accuracy 65.37%，recovery rate 21.79%；相比最强非 PROBE baseline 分别高 43.58 和 12.45 个百分点。

对 code generation：失败恢复是 coding agent 产品化的关键；对 general agent：diagnosis 不等于 recovery，必须输出边界明确的下一步；对 personalization：用户反馈也要落成 agent 可执行的 bounded guidance。

高相关，且有 enterprise/AIOps 真实约束信号。局限是 recovery rate 仍只有约五分之一，说明 diagnosis-recovery gap 很真实。

SWE-bench 类 benchmark 偏 bug/issue 修复，而真实开发者还经常让 agents 做代码库问答、写测试、重构；这些任务不仅看功能正确，还看工程质量。

SWE Atlas 设计三类 under-specified agentic tasks，并为每类配套 evaluation protocols；评分结合 programmatic checks 与 rubric-based assessment，评估 test/refactor completeness、maintainability、reusable abstractions、codebase hygiene。

Codebase Q&A 124 tasks、Test Writing 90 tasks、Refactoring 70 tasks，总 284 个任务。

GPT-5.4 和 Opus 4.7 整体最好，open-weight models 表现较弱；顶级模型依赖大量 codebase exploration 和 runtime-driven reasoning，但仍在 subtle edge cases、complex runtime analysis、best practices adherence 上失败。

对 code generation：非常适合 Lucian 跟踪 coding agents 的非 patch 能力；对 general agent：说明任务评测要覆盖质量维度；对 personalization：不同团队的重构/测试风格可进入 rubric。

高质量 benchmark，任务类别贴近真实开发。作为 5 月 8 日强相关补充；需要关注数据集是否公开和评分 rubric 稳定性。

代码 agent benchmark 多测 source-level repair，安全 benchmark 多测 CTF；经典 binary reverse engineering 在 agent 场景下缺少精确定义和可复现评测。

CrackMeBench 使用 deterministic binary validation problems、symbol-poor binaries、explicit local tool access 和 externally scored submissions；v0 包含 8 个 public calibration CrackMes 和 12 个由 C/Rust/Go seeded templates 生成的主评分任务，统一 no-network Linux Docker shell。

20 个任务：8 public calibration + 12 generated main-score tasks；记录 pass@1/pass@3、submissions、wall-clock、command traces、tool categories、token/cost 与 failure labels。

5 分钟预算、每任务 3 次提交；generated split pass@3：GPT-5.5 11/12，Claude Opus 4.7 7/12，Kimi K2 5/12；更难 half 分别 5/6、2/6、1/6。

对 code generation：把 agent 能力扩展到 binary analysis 与工具链使用；对 general agent：强调 command trace 和 tool categories 的可观测性；对 personalization：安全/逆向任务需要按用户授权边界个性化限制。

任务定义清楚，结果可复现。范围限定在教育 CrackMe，不能直接外推到真实漏洞利用或恶意场景。

Deep Research agents 已能规划和检索，但静态 one-size-fits-all retrieval 会给专家重复常识、给新手过密信息；个性化不能只在最后改写语气。

PDR 将动态用户上下文纳入 retrieval-reasoning loop：构建用户 profile，进行 iterative query development，结合 private/public dual-stage retrieval，并根据用户知识和兴趣调整探索深度与广度。

论文提出 framework、dataset 和 hybrid evaluation；摘要未给数据集规模、用户 profile 来源和任务领域细节。

使用 hybrid evaluation 衡量 personalized knowledge discovery。摘要未列具体 baseline、指标和数值，因此本日报标注为未知，需读正文确认。

对 personalization：和 NanoResearch 形成互补，一个偏系统闭环，一个偏检索/评测；对 general agent：deep research 应把用户上下文前置；对 code generation：repo research/技术调研也应按开发者已有知识调整检索。

通过 cs.IR recent fallback 发现，主题非常贴合；但摘要信息不足，质量判断有不确定性。

LLM personalization 常只看单个用户历史，忽略用户之间差异；把其他用户数据当 implicit negative 又会误伤共享任务知识。

C-BPO 把目标用户数据作为 positive feedback，把其他用户数据作为辅助 implicit negative；基于 Positive-Unlabeled learning 推导 preference-corrected objective，减去 positive bias，使优化聚焦用户 idiosyncrasies 而不损害通用 helpfulness。

多种 personalization tasks 和多个 backbone LLMs。摘要未列具体任务名称、数据集和用户数。

在多种个性化任务和 backbone 上稳定超过 baselines；论文已被 ACL 2026 Main 接收。具体指标需读正文。

对 personalization：直接服务 Lucian 的 explicit/implicit feedback 方向；对 code generation：可把“当前开发者喜欢/不喜欢的解法”与其他开发者轨迹做 PU 区分；对 general agent：提醒个性化不是简单负采样。

ACL Main 接收，方法理论动机清楚。摘要缺数值，需看正文确认效果大小。

多模态 LLM 很快，但 personalization 仍多停留在 vision-language；缺少统一覆盖文本、图像、音频且能测试 absent-persona grounding 的 benchmark。

Omni-Persona 将任务形式化为 Persona Modality Graph 上的 cross-modal routing，覆盖 4 个 task groups 和 18 个细粒度任务；Calibrated Accuracy 同时奖励正确 grounding 和在 persona 缺失时恰当 abstention。

约 750 个 items，覆盖 text、image、audio 个性化场景。具体 persona 构造和任务分布需读正文。

摘要称系统 benchmark 并改进 omnimodal personalization；未给出具体 baseline 与数值，本日报标注为未知，需读正文。

对 personalization：abstention 是关键，不知道用户 persona 时不能强行个性化；对 general agent：多模态用户状态要能跨模态路由；对 code generation：类比为缺少 repo/team persona 时应保守询问。

HF Daily 收录，补齐多模态个性化视角。和 Lucian code/general agent 关联较间接，但对用户偏好建模有启发。