AI Paper Daily

AI 论文日报 · 2026-05-22

覆盖北京时间:2026-05-21、2026-05-22。今天最值得读的不是单点大模型能力,而是围绕 agent 的真实环境训练、评测数据质量、多层诊断、长期记忆和可验证安全边界。 Top 3:Spreadsheet-RL、SynAE、Agentic CLEAR。

候选数量 / candidate count
1973

arXiv official recent/list pages + Hugging Face Daily Papers 合并候选。

新收录数 / new included count
1942

扫描 seen_papers.json 与历史日报后未囊括候选。

精选数 / selected count
15

质量优先,不追求数量。

Top 3

  1. Spreadsheet-RL: Advancing Large Language Model Agents on Realistic Spreadsheet Tasks via Reinforcement Learning — 真实 Excel 环境中的 RL spreadsheet agent。
  2. SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations — 衡量 synthetic tool-agent traces 与真实生产 traces 的关系。
  3. Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents — system/trace/node 三级 agent 行为诊断。

Top Picks

精选论文

每篇保留 Motivation、Method、Data、Evaluation、Contribution、Quality note 与 Relevance / Novelty / Substance / Evidence / Actionability 评分。

Top Pick 1 · 2605.22642

Spreadsheet-RL: Advancing Large Language Model Agents on Realistic Spreadsheet Tasks via Reinforcement Learning

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22;HF Daily 2026-05-22 · Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page

一句话结论:把电子表格自动化从 prompt wrapper 推向真实 Excel 环境中的强化学习训练,适合观察 office/computer-use agent 的下一个落地点。

为什么重要
Excel/Sheets 是高频知识工作环境,任务常是多步、状态ful、带公式和格式约束;该文把 spreadsheet agent 放进真实 Microsoft Excel 环境而不是 toy UI,对办公自动化 agent 很关键。
Lucian 下一步
把 fjai.pw/个人工作流里“表格日报、财务表、实验 tracking sheet”抽象成 spreadsheet-agent hidden tasks,用作内部 agent eval。
Motivation
Excel/Sheets 是高频知识工作环境,任务常是多步、状态ful、带公式和格式约束;该文把 spreadsheet agent 放进真实 Microsoft Excel 环境而不是 toy UI,对办公自动化 agent 很关键。
Method
构建 Spreadsheet-RL:自动任务生成、可执行 Excel 环境、RL fine-tuning 与评估闭环;让模型学习跨 sheet 操作、公式编辑、数据处理和 presentation-style 整理。
Data
真实/现实风格 spreadsheet workflows;HF Daily Papers 2026-05-22 收录;arXiv abs page 显示发表于 2026-05-21。
Evaluation
关注复杂多步 spreadsheet 任务成功率,并和通用 LLM prompting/specialized prompting 比较。
Contribution
给 office agent 提供一个更贴近生产的 RL 训练与评测场景。
Quality note
Top 1:强相关、HF 热度、工程可迁移性高,建议优先读实验和环境设计。

局限/风险:摘要未显示全部 benchmark 细节;若任务生成过于模板化,可能高估泛化。

摘要摘录:Spreadsheet systems (e.g., Microsoft Excel, Google Sheets) play a central role in modern data-centric workflows. As AI agents grow increasingly capable of automating complex tasks, such as controlling computers and generating presentations, building an AI-driven spreadsheet agent has emerged as a promising research direction. Most existing spreadsheet agents rely on specialized prompting over general-purpose LLMs; while this design has potentials on simple…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55444522

Top Pick 2 · 2605.22564

SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:提出 SynAE 来度量合成执行轨迹数据是否能代表真实 tool-calling agent 数据,直击 agent eval 数据隐私与稀疏问题。

为什么重要
生产 tool-agent trace 往往敏感、稀少且不可公开;如果合成数据不能代表真实分布,pre-deployment evaluation 会给出虚假安全感。
Lucian 下一步
为 AI 论文日报 agent 的 synthetic tests 增加 SynAE-style coverage:检索、去重、评分、证据引用、写作失败模式都要覆盖。
Motivation
生产 tool-agent trace 往往敏感、稀少且不可公开;如果合成数据不能代表真实分布,pre-deployment evaluation 会给出虚假安全感。
Method
把真实 trace 与合成 trace 在任务、工具调用、多轮结构、失败模式等维度做关系评估,判断合成 benchmark 是复制、补充还是偏离真实数据。
Data
面向 multi-turn tool-calling agents 的输入命令、agent responses 与 tool calls;摘要强调 internal production datasets 与 synthetic replacements。
Evaluation
评估合成数据和真实数据在 agent 行为覆盖度、工具调用结构和测试价值上的贴近程度。
Contribution
把“合成 agent eval 数据质量”从感觉判断变成可测框架。
Quality note
Top 2:对构建长期可维护的 agent benchmark 很有用,尤其适合和内部 trace privacy 一起读。

局限/风险:真实生产数据不可见时,SynAE 自身仍依赖可用样本;不同工具生态的指标权重可能要重调。

摘要摘录:Today, tool-calling agents are commonly evaluated or tested on static datasets of execution traces, including input commands, agent responses, and associated tool calls. However, internal production datasets are often insufficient or unusable for testing; for example, they may contain sensitive or proprietary data, or they may be too sparse to support comprehensive testing (especially pre-deployment). In these settings, practitioners are increasingly repla…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55444522

Top Pick 3 · 2605.22608

Agentic CLEAR: Automating Multi-Level Evaluation of LLM Agents

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:Agentic CLEAR 自动生成 system/trace/node 三级 agent 行为洞察,让 agent evaluation 从静态 taxonomy 走向动态诊断。

为什么重要
agent 越自主,单个 pass/fail 分数越不够;需要跨系统、跨轨迹、跨节点解释“为什么失败”。
Lucian 下一步
给 Hermes/fjai 的日报与代码 agent 增加 trace->system/trace/node 三级失败报告,定位漏召回、误排序和链接错误。
Motivation
agent 越自主,单个 pass/fail 分数越不够;需要跨系统、跨轨迹、跨节点解释“为什么失败”。
Method
在 observability layer 之上生成 textual insights,动态归纳 agent 行为、错误模式和节点级问题,并提供 UI 集成。
Data
四个 benchmark 上实验;对象是 agent strategies/actions/environments 形成的 traces。
Evaluation
用多层 granularity 验证 insight quality、可用性和对 agent 评估流程的辅助价值。
Contribution
把 agent 监控从日志展示升级为可解释诊断层。
Quality note
Top 3:和 Lucian 的 Auto Research/agent runtime 可观测性高度贴合。

局限/风险:自动洞察可能受 LLM judge 偏差影响;复杂系统仍需人类复核关键结论。

摘要摘录:Agentic systems are becoming more capable: agents define strategies, take actions, and interact with different environments. This autonomy poses serious challenges for overseeing and assessing agent behavior. Most current tools are limited, focusing on observability with basic evaluation capabilities or imposing static, hand-crafted error taxonomies that cannot adapt to new domains. To address this gap, we present Agentic CLEAR, an automatic, dynamic, and…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55444522

Top Pick 4 · 2605.22794

MOSS: Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:MOSS 主张 agent 自进化不应只改 prompts/skills/memory,还应能进行受控源代码级重写。

为什么重要
很多结构性 bug 位于 routing、hook ordering、state invariants、dispatch code;只改文本技能无法触达这类失败。
Lucian 下一步
将 Hermes skill/runtime 迭代拆成“文本技能更新”和“受控代码补丁”两层,代码层必须走 TDD + staged verification。
Motivation
很多结构性 bug 位于 routing、hook ordering、state invariants、dispatch code;只改文本技能无法触达这类失败。
Method
把 source-level rewriting 作为 self-evolution medium,用可执行代码补丁改变 agent harness,同时强调确定性生效和验证。
Data
12 页预印本,含代码链接;围绕 autonomous agent systems 的 source-level adaptation。
Evaluation
摘要显示重点是概念与系统设计;需检查完整论文中的实验规模和安全约束。
Contribution
把 self-evolving agents 的可变范围从提示/记忆扩大到运行时代码层。
Quality note
非常有战略启发,但需要警惕安全边界;适合作为 agent self-improvement 研究线索。

局限/风险:源代码自修改风险高,必须有权限边界、diff review、sandbox、tests 和 rollback。

摘要摘录:Autonomous agentic systems are largely static after deployment: they do not learn from user interactions, and recurring failures persist until the next human-driven update ships a fix. Self-evolving agents have emerged in response, but all confine evolution to text-mutable artifacts -- skill files, prompt configurations, memory schemas, workflow graphs -- and leave the agent harness untouched. Since routing, hook ordering, state invariants, and dispatch li…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55443521

Top Pick 5 · 2605.22535

TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22;HF Daily 2026-05-22 · Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page

一句话结论:TerminalWorld 从 80,870 条真实 terminal recordings 反向构造 1,530 个任务,给 CLI/terminal agents 更真实的评测。

为什么重要
真实终端工作包含依赖、状态、长命令链和环境噪声;toy shell tasks 很难衡量 agent 的工程能力。
Lucian 下一步
把 Hermes 常见 terminal 工作流(git、tests、build、server smoke)做成小型 TerminalWorld-style replay benchmark。
Motivation
真实终端工作包含依赖、状态、长命令链和环境噪声;toy shell tasks 很难衡量 agent 的工程能力。
Method
从 in-the-wild terminal recordings 自动 reverse-engineer 高保真任务,筛出 Verified 子集并测试多模型多 agent。
Data
1,530 validated tasks,18 个真实类别,1,280 个 unique commands;Verified 200 个任务。
Evaluation
八个 frontier models、六个 agents;摘要称最高 pass rate 仅 62.5%。
Contribution
为 CLI agents 提供大规模真实任务基准,补齐 SWE-bench 之外的 terminal 操作面。
Quality note
证据规模强,适合评估编码 agent 与自动化运维 agent。

局限/风险:录屏反推任务可能引入偏差;真实环境复现成本和安全隔离是关键。

摘要摘录:We introduce TerminalWorld, a scalable data engine that automatically reverse-engineers high-fidelity evaluation tasks from "in-the-wild" terminal recordings. Processing 80,870 terminal recordings, the engine yields a full benchmark of 1,530 validated tasks, spanning 18 real-world categories, ranging from short everyday operations to workflows exceeding 50 steps, and covering 1,280 unique commands. From these, we curate a Verified subset of 200 representat…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55445523

Top Pick 6 · 2605.22721

Self-Evolving Multi-Agent Systems via Decentralized Memory

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:DecentMem 让每个 agent 保持自己的双池记忆,用分散记忆降低协调成本并保持 agent 多样性。

为什么重要
中心化 memory store 会带来隐私、通信和同质化问题;multi-agent 系统需要既共享经验又保留角色差异。
Lucian 下一步
在多 agent research loop 中区分 personal memory、role memory 和 shared evidence memory,避免所有 agent 读同一个上下文。
Motivation
中心化 memory store 会带来隐私、通信和同质化问题;multi-agent 系统需要既共享经验又保留角色差异。
Method
每个 agent 维护 exploitation pool 与 exploration pool,并用 stage-wise LLM-as-judge feedback 在线重加权。
Data
面向 self-evolving MAS 的理论与实验设置;摘要称有 global reachability 保证。
Evaluation
需要阅读全文确认任务集与 judge 稳定性;摘要强调理论性质和 self-evolving 场景。
Contribution
给 multi-agent memory 架构提供去中心化替代方案。
Quality note
与 Lucian 长期 memory/agent 个性化方向高度相关。

局限/风险:LLM-as-judge 反馈可能造成群体偏差;去中心化后跨 agent 知识同步难度上升。

摘要摘录:Self-evolving multi-agent systems (MAS) have emerged as a promising route to LLM agents that continually improve from experience, with persistent memory at their foundation. However, existing designs almost exclusively adopt a centralized repository shared across agents, incurring communication and coordination overhead, raising privacy concerns, and collapsing agent diversity. We propose DecentMem, a decentralized memory framework in which each agent main…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55443521

Top Pick 7 · 2605.21463

Mem-$π$: Adaptive Memory through Learning When and What to Generate

arXiv · PDF · arXiv citation_date 2026/05/20;arXiv list 2026-05-21;HF Daily 2026-05-21 · Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page

一句话结论:Mem-π 不检索静态记忆,而是学习何时生成、生成什么 context-specific guidance。

为什么重要
相似度检索常返回不贴当前状态的 episodic memory;复杂 agent 更需要按上下文动态产生指导。
Lucian 下一步
在小说反馈/个人化 agent 中尝试 memory generator:只在检索不足时生成临时 guidance,并标注非事实记忆。
Motivation
相似度检索常返回不贴当前状态的 episodic memory;复杂 agent 更需要按上下文动态产生指导。
Method
独立语言/视觉语言模型根据当前 agent context 决定是否生成 guidance,并用 decision-content decoupled RL 训练。
Data
HF Daily Papers 2026-05-21;任务包含复杂 LLM/VLM agent contexts。
Evaluation
关注 adaptive memory 是否提升任务表现,并考察何时生成 guidance 的策略质量。
Contribution
把 agent memory 从“查旧条目”扩展为“生成即时策略提示”。
Quality note
适合和 DecentMem、MoLEM 一起读,形成 memory architecture 对比。

局限/风险:生成式记忆可能幻觉;需要来源绑定、置信度和过期机制。

摘要摘录:We present Mem-$\pi$, a framework for adaptive memory in large language model (LLM) agents, where useful guidance is generated on demand rather than retrieved from external memory stores. Existing memory-augmented agents typically rely on similarity-based retrieval from episodic memory banks or skill libraries, returning static entries that often misalign with the current context. In contrast, Mem-$\pi$ uses a dedicated language or vision-language model wi…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55443521

Top Pick 8 · 2605.20873

PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models

arXiv · PDF · arXiv citation_date 2026/05/20;arXiv list 2026-05-21;HF Daily 2026-05-21 · Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page

一句话结论:PlanningBench 将 planning data 变成可控生成目标,强调 scalable、diverse、verifiable 的训练/评测数据。

为什么重要
长程 agent 的 planning 不该只靠固定题库;需要能按约束、资源和结构难度生成可验证实例。
Lucian 下一步
把日报研究计划/8周项目计划转换成可验证 planning tasks,测试 agent 是否能按约束落地。
Motivation
长程 agent 的 planning 不该只靠固定题库;需要能按约束、资源和结构难度生成可验证实例。
Method
从真实 planning scenarios 抽象出 workflow primitives,生成可验证规划实例,并支持评测与训练。
Data
HF Daily Papers 2026-05-21;规划任务覆盖目标、约束、资源与长期后果。
Evaluation
通过自动 verification 检查规划可行性,并评估 LLM 在结构化规划上的表现。
Contribution
为 LLM planning 提供可扩展数据引擎,而不仅是静态 benchmark。
Quality note
对 long-horizon planning 与 agent training 数据很有参考价值。

局限/风险:自动生成规划的真实性取决于 scenario abstraction;过强 verifier 可能简化现实复杂性。

摘要摘录:Planning is a fundamental capability for large language models (LLMs) because such complex tasks require models to coordinate goals, constraints, resources, and long-term consequences into executable and verifiable solutions. Existing planning benchmarks, however, usually treat planning data as fixed collections of instances rather than controllable generation targets. This limits scenario coverage, ties difficulty to surface-level proxies rather than stru…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55444421

Top Pick 9 · 2605.21810

Trace2Skill: Verifier-Guided Skill Evolution for Long-Context EDA Agents

arXiv · PDF · arXiv citation_date 2026/05/20;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:Trace2Skill 从失败/成功 rollout traces 中提炼技能,用 verifier-guided skill evolution 提升长上下文硬件代码 agent。

为什么重要
长上下文代码/EDA agent 的失败常来自 sparse verifier feedback;只多采样不能把失败经验沉淀成策略。
Lucian 下一步
把 Hermes code tasks 的失败日志自动归纳成 SKILL.md patch candidates,但每次必须经 tests 和人工/agent review。
Motivation
长上下文代码/EDA agent 的失败常来自 sparse verifier feedback;只多采样不能把失败经验沉淀成策略。
Method
挖掘 repeated rollout traces,生成 dense diagnostics 与 oracle lessons,再通过 oracle/mutator/selector 演化 task-specific skills。
Data
Complex Verilog Design Problems,大仓库快照、RTL、testbenches、include paths 与 hidden verifier。
Evaluation
摘要突出 test-time scaling 而非 fine-tuning;需关注 skill evolution 对 pass rate 的增益。
Contribution
把 execution trace 转化为可复用技能,是 code-agent memory 的具体实现路径。
Quality note
对技能系统和 coding agent 都直接相关。

局限/风险:oracle lessons 可能过拟合 verifier;需要跨任务迁移检查。

摘要摘录:Complex Verilog Design Problems (CVDP) challenge hardware LLM agents because solving them requires localizing verifier-relevant RTL, testbenches, include paths, and build dependencies inside large repository snapshots, making precise edits, and recovering from sparse hidden-verifier failures. We present Trace2Skill, a test-time scaling framework that improves a hardware agent without RTL-specialized model fine-tuning. Rather than training a new model or on…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55443420

Top Pick 10 · 2605.22177

Maestro: Reinforcement Learning to Orchestrate Hierarchical Model-Skill Ensembles

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22;HF Daily 2026-05-22 · Hugging Face Daily Papers + arXiv official recent/list pages + arXiv abs page

一句话结论:Maestro 用 RL 在模型-技能层级注册表中调度 heterogeneous LLMs 与 modular skills。

为什么重要
真实 agent 不只调用一个模型;不同模型/技能在不同子任务上成本、质量、模态能力不同。
Lucian 下一步
给 Hermes 多模型/多工具调用建立 step-level routing logs,为未来 learned router 准备数据。
Motivation
真实 agent 不只调用一个模型;不同模型/技能在不同子任务上成本、质量、模态能力不同。
Method
把多模态任务建模为在 hierarchical model-skill registry 上的 sequential decision-making,用 RL 学会编排。
Data
HF Daily Papers 2026-05-22;覆盖 heterogeneous multimodal tasks 与 modular skills。
Evaluation
看 orchestrator 是否比固定模型/固定逻辑更好地选模型与技能。
Contribution
把 agent orchestration 从 hard-coded policy 推向可学习策略。
Quality note
适合和 TwinRouterBench 一起看:一个训练调度器,一个评估路由。

局限/风险:RL 调度可能增加系统复杂度;训练分布外的错误路由需要保护。

摘要摘录:The proliferation of large language models (LLMs) and modular skills has endowed autonomous agents with increasingly powerful capabilities. Existing frameworks typically rely on monolithic LLMs and fixed logic to interface with these skills. This gives rise to a critical bottleneck: different LLMs offer distinct advantages across diverse domains, yet current frameworks fail to exploit the complementary strengths of models and skills, thereby limiting their…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55344420

Top Pick 11 · 2605.22643

Boiling the Frog: A Multi-Turn Benchmark for Agentic Safety

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:Boiling the Frog 把 agent safety 从单轮输出扩展到 corporate/office tool-use 中的渐进式多轮攻击。

为什么重要
agent 的风险来自行动链:攻击者可以把恶意意图拆散到多轮、文件和工具调用中。
Lucian 下一步
在内部 agent smoke test 加入“渐进式权限升级/数据外传”多轮红队脚本。
Motivation
agent 的风险来自行动链:攻击者可以把恶意意图拆散到多轮、文件和工具调用中。
Method
构造 multi-turn benchmark,场景从无害开始逐步诱导模型在环境内执行不安全动作。
Data
corporate and office settings;关注 tool-using AI models。
Evaluation
评估模型是否在渐进攻击下保持拒绝/停手,而不是只看单轮 toxic output。
Contribution
让 agentic safety 更贴近真实办公 agent 攻击面。
Quality note
安全方向,但与 tool agent 部署强相关,值得纳入风险跟踪。

局限/风险:benchmark 场景是否覆盖真实攻击仍需扩展;防御策略可能降低正常任务效率。

摘要摘录:Background. Traditional safety benchmarks for language models evaluate generated text: whether a model outputs toxic language, reproduces bias, or follows harmful instructions. When models are deployed as agents, the safety-relevant object shifts from what the system says to what it does within an environment, and evaluating model responses under prompting is no longer sufficient to address the safety challenges posed by artificial intelligence. Recent dev…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55334520

Top Pick 12 · 2605.22343

Sibyl-AutoResearch: Autonomous Research Needs Self-Evolving Trial-and-Error Harnesses, Not Paper Generators

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:Sibyl-AutoResearch 强调 autonomous research 需要自进化 trial-and-error harness,而不是只会写 paper。

为什么重要
自动科研如果不能保存失败试验、收敛判断和 claim scope,就会把弱证据包装成强结论。
Lucian 下一步
把 Lucian autoresearch loop 的每次失败、排除原因、指标变化写成 harness memory,而不是覆盖掉旧结论。
Motivation
自动科研如果不能保存失败试验、收敛判断和 claim scope,就会把弱证据包装成强结论。
Method
构建 Scientific Trial-and-Error Harnesses,把正/负结果路由到 planning、validation、critique、writing 和 harness repair。
Data
围绕 executable scientific workflows 的框架与对话/trace formalization。
Evaluation
摘要偏框架分析;重点是可审计 trial experience,而非单一 SOTA 数字。
Contribution
给 AutoResearch 从 paper generator 转向实验系统提供架构语言。
Quality note
战略价值高,适合作为 Auto Research 模块下一版原则。

局限/风险:如果没有真实实验执行和负例记忆,框架可能停留在流程图。

摘要摘录:Autonomous research systems increasingly make the scientific workflow executable: agents can propose ideas, run code, inspect results, and draft papers. But executable workflows do not by themselves produce research judgment. We analyze where current systems lose trial experience: weak evidence becomes prose, pilot signals become broad claims, memory remains textual, and recurring process failures do not change later behavior. We introduce Sibyl-AutoResear…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55433520

Top Pick 13 · 2605.22634

Contractual Skills: A GovernSpec Design Framework for Enterprise AI Agents

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:Contractual Skills 将 SKILL.md 组织成可检查的任务契约,覆盖边界、权限、证据、输出和验证。

为什么重要
企业 agent 技能不仅是提示,还要表达可审计约束;这和 Hermes skill 的边界/验证要求完全同构。
Lucian 下一步
将 fjai.pw cron/reporting skills 的“边界、写入路径、测试、发布”拆成机器可检查字段。
Motivation
企业 agent 技能不仅是提示,还要表达可审计约束;这和 Hermes skill 的边界/验证要求完全同构。
Method
提出 GovernSpec-inspired design framework,区分 contractual skills、YAML contracts、MCP surfaces、tool adapters、guardrails、tracing 和 evaluation。
Data
software/enterprise agent skill design;单作者框架论文。
Evaluation
摘要称 evaluate framework,但需阅读全文确认是案例评估还是系统实验。
Contribution
把 agent skills 从说明文档提升为轻量治理契约。
Quality note
对当前 Hermes skill 体系有直接启发,推荐精读。

局限/风险:过度契约化会增加维护成本;需要自动测试保证契约可执行。

摘要摘录:Skills are increasingly used to package agent instructions, workflows, scripts, and reference materials. In enterprise settings, however, skills often need to express more than task guidance: they must make goals, input boundaries, permissions, evidence requirements, output contracts, quality criteria, verification steps, human approval points, and handoff rules inspectable. This paper proposes contractual skills, a GovernSpec-inspired design framework for…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55433520

Top Pick 14 · 2605.20291

Weasel: Out-of-Domain Generalization for Web Agents via Importance-Diversity Data Selection

arXiv · PDF · arXiv citation_date 2026/05/19;arXiv list 2026-05-21 · arXiv official recent/list pages + arXiv abs page

一句话结论:Weasel 用 importance-diversity 数据选择提升 web agents 的离线训练效率与跨域泛化。

为什么重要
web agent trajectories 长、噪声多、网站分布偏;盲目用全量离线数据既贵又可能过拟合。
Lucian 下一步
对 fjai web/browser automation trace 做重要性-多样性抽样,构造小而强的回归集。
Motivation
web agent trajectories 长、噪声多、网站分布偏;盲目用全量离线数据既贵又可能过拟合。
Method
在 fixed budget 下平衡 trajectory step 的重要性和多样性,并用 target-centered AXTree pruning 降低状态长度。
Data
web agent 多步 browser trajectories;涉及 AXTree states、websites 和 interaction patterns。
Evaluation
关注 out-of-domain generalization 与 compute efficiency。
Contribution
给 web-agent training 提供数据选择层,而不是只改模型。
Quality note
偏训练数据工程,但对 browser-use agents 实用。

局限/风险:选择目标会决定 agent 学到什么;可能牺牲长尾网站能力。

摘要摘录:Large language models (LLMs) have enabled web agents that follow natural language goals through multi-step browser interactions. However, agents fine-tuned on specific trajectories and domain often struggle to generalize out of domain, and offline training can be compute-inefficient due to noisy, redundant trajectories and long accessibility-tree (AXTree) states. To address both issues, we propose Weasel, a trajectory selection method for offline training…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55344420

Top Pick 15 · 2605.21951

Dynamic Mixture of Latent Memories for Self-Evolving Agents

arXiv · PDF · arXiv citation_date 2026/05/21;arXiv list 2026-05-22 · arXiv official recent/list pages + arXiv abs page

一句话结论:MoLEM 用动态 mixture-of-experts 生成 latent memories,让 self-evolving agents 在冻结基座模型上积累经验。

为什么重要
参数更新会遗忘,外部文本记忆又不一定改变模型内部推理;latent memory 是中间路线。
Lucian 下一步
先不要在生产 agent 中使用黑盒 latent memory;可在 research simulator 中比较文本记忆 vs latent guidance。
Motivation
参数更新会遗忘,外部文本记忆又不一定改变模型内部推理;latent memory 是中间路线。
Method
多个专家作为 memory carriers,router 通过 key-query matching 选择并加权 latent memories,注入冻结 base model 的 reasoning。
Data
changing task sequences 下的 continual knowledge accumulation。
Evaluation
应关注 catastrophic forgetting、任务迁移和与外部记忆/LoRA 的比较。
Contribution
把 agent memory 做成可路由 latent mixture,连接外部记忆和参数适配。
Quality note
研究味更强,适合作为长期 memory 方向的备选路线。

局限/风险:latent memories 可解释性弱;错误记忆排查比文本记忆更难。

摘要摘录:Achieving self-evolution in intelligent agents requires the continual accumulation of new knowledge across changing task sequences without forgetting previously acquired abilities. Existing approaches either internalize knowledge by updating model parameters, which induces catastrophic forgetting, or rely on external memory, which fails to genuinely enhance the model's intrinsic capabilities. We propose MoLEM, a generative mixture of latent memory framewor…

ScoreRelevanceNoveltySubstanceEvidenceActionabilityTotal
0–55443420

版本更新提醒

无重复收录

本次没有把此前日报已收录论文的新版本重复放入 Top Picks;若后续版本有重大方法或实验变化,再进入此区。

可观察论文

未纳入但可继续看

Sources & Uncertainty

数据源失败或不确定性说明

已确认 UTC 2026-05-22 06:18 UTC / BJT 2026-05-22 14:18 CST。arXiv export API 单类别 probe 成功,但 selected-id 批量核验返回 HTTP 429;本期使用 arXiv official recent/list pages、逐篇 arXiv abs page 与 Hugging Face Daily Papers。HF Daily 日期代表社区热度,不等同于 arXiv 首次提交日期。

检索类别:cs.AI, cs.CL, cs.CV, cs.LG, stat.ML, cs.RO, cs.IR, cs.SE, cs.MA, cs.HC, eess.AS。去重状态:public/reports/ai-paper-daily/seen_papers.json。候选数量 1973,新收录数 1942,精选数 15。