每篇包含 Motivation、Method、Data、Evaluation、Contribution、Quality note 和五维评分。
Orchard: An Open-Source Agentic Modeling Framework
Baolin Peng, Wenlin Yao, Qianhui Wu, Hao Cheng, Xiao Yu, Rui Yang, Tao Ge 等 14 位作者 · 2026-05-14 · arXiv recent page + Hugging Face Daily Papers · Artificial Intelligence (cs.AI) ; Computation and Language (cs.CL)
一句话结论：开源 agentic modeling 基座把环境服务、轨迹蒸馏、SFT/RL 与 SWE/GUI/个人助手 recipes 放在同一套可复用框架里。
为什么重要：Lucian 的 agent 研究/工程最需要可复现的训练与评测闭环；Orchard 明确给出环境层、数据层和多个 agent domain 的 recipes。
Motivation
Agentic modeling aims to transform LLMs into autonomous agents capable of solving complex tasks through planning, reasoning, tool use, and multi-turn interaction with environments.
Method
open-source agent training/evaluation infrastructure；以 Orchard Env 做 sandbox lifecycle 管理，上层有 Orchard-SWE/GUI/Claw recipes。
Data
107K coding trajectories、0.4K GUI distilled trajectories + 2.2K open-ended tasks、0.2K synthetic personal-assistant tasks。
Evaluation
SWE-bench Verified 67.5% after SFT+RL；WebVoyager/Online-Mind2Web/DeepShop 74.1/67.0/64.0；Claw-Eval pass@3 59.6%。
Contribution
把环境服务、轨迹数据、SFT/RL 和多 domain agent recipe 统一成可复用开源框架。
Quality note
结果很强，但系统复杂且依赖蒸馏轨迹、harness 和 domain recipes；需要复现实验确认开源可用性和成本。
Lucian 可采取的下一步：优先读 full paper；复刻 Orchard Env 的最小子集：sandbox lifecycle + trajectory schema + one SWE recipe。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 5/5 |
|---|
| Substance | 5/5 |
|---|
| Evidence | 5/5 |
|---|
| Actionability | 5/5 |
|---|
| Total | 25/25 |
|---|
#2 · 2605.06527STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?
Hanxiang Chao, Yihan Bai, Rui Sheng, Tianle Li, Yushi Sun · 2026-05-07 · Hugging Face Daily Papers · Computation and Language (cs.CL)
一句话结论：把 agent memory 的核心问题从“能否取回事实”推进到“能否判断旧记忆已经失效并更新行为”。
为什么重要：个性化 agent 长期运行时最容易失败的不是忘记，而是把过期偏好/状态继续当真；该 benchmark 直接命中 user-feedback agent 的状态更新问题。
Motivation
Large Language Model (LLM) agents are increasingly expected to maintain coherent, long-term personalized memory, yet current benchmarks primarily measure static fact retrieval, overlooking the ability to revise stored beliefs when new evidence emerges.
Method
构造隐式冲突场景，测试 memory 是否能从新证据推断旧状态失效。
Data
400 expert-validated scenarios、1,200 queries、100+ everyday topics、context up to 150K tokens。
Evaluation
三维 probing：State Resolution、Premise Resistance、Implicit Policy Adaptation；最佳模型整体仅 55.2%。
Contribution
提出 STALE benchmark 和 CUPMem baseline，凸显 state-aware memory 的必要性。
Quality note
提交日期早于本次窗口，因 HF Daily Papers 在目标日期推荐而纳入；还需看数据是否覆盖真实用户隐性状态变化。
Lucian 可采取的下一步：把 STALE 的 State Resolution / Premise Resistance / Policy Adaptation 改写成小说/用户偏好 agent 的小型评测集。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 5/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 5/5 |
|---|
| Actionability | 5/5 |
|---|
| Total | 24/25 |
|---|
#3 · 2605.14445FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale
Runyuan He, Qiuyang Mang, Shang Zhou, Kaiyuan Liu, Hanchen Li, Huanzhi Mao, Qizheng Zhang 等 17 位作者 · 2026-05-14 · arXiv recent page + Hugging Face Daily Papers · Machine Learning (cs.LG)
一句话结论：从 closed-ended 竞赛题自动演化 open-ended coding tasks，并证明合成数据能提升长程代码能力。
为什么重要：coding agent 的训练数据正在从标准 bugfix 转向开放式、长程、可多解任务；这对合成任务 pipeline 很有启发。
Motivation
Many real-world coding challenges are open-ended and admit no known optimal solution.
Method
从 closed-ended competitive programming seeds 演化 open-ended coding tasks，结合 idea divergence 选择多解题。
Data
合成 open-ended problems；FrontierCS、ALE-bench；Qwen3.5-9B/27B training。
Evaluation
Qwen3.5-9B：FrontierCS +8.82、ALE-bench +306.36 Elo；27B：+12.12、+309.12。
Contribution
说明长程开放式 coding data 可通过自动化 problem evolution 扩展。
Quality note
合成 open-ended tasks 的 verifier 质量决定上限；训练收益需要防止 benchmark-specific overfitting。
Lucian 可采取的下一步：为 coding agent 生成 20 个 open-ended repo tasks，保留 verifier/solver 多样性指标。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 5/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 5/5 |
|---|
| Total | 23/25 |
|---|
#4 · 2605.15155Self-Distilled Agentic Reinforcement Learning
Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, Zi-Han Wang, Jinyang Wu, Qi Gu, Xunliang Cai 等 11 位作者 · 2026-05-14 · arXiv recent page + Hugging Face Daily Papers · Machine Learning (cs.LG) ; Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
一句话结论：提出 SDAR，在多轮 agent RL 中用 gated self-distillation 缓解稀疏轨迹奖励和 naive OPSD 不稳定。
为什么重要：agent RL 的 credit assignment 和长程多轮不稳定是后续训练框架核心瓶颈；该文给出可实验的 OPSD+RL 组合。
Motivation
Reinforcement learning (RL) has emerged as a central paradigm for post-training LLM agents, yet its trajectory-level reward signal provides only coarse supervision for long-horizon interaction.
Method
在 RL 主干上加入 gated OPSD auxiliary objective，以 token-level teacher signal 改善长程轨迹学习。
Data
Qwen2.5/Qwen3 model families；ALFWorld、WebShop、Search-QA。
Evaluation
相对 GRPO：ALFWorld +9.4%、Search-QA +7.0%、WebShop-Acc +10.2%，且避免 naive GRPO+OPSD 不稳定。
Contribution
给 agent RL 提供了比纯轨迹奖励更密集但可控的 self-distillation 机制。
Quality note
实验集中在 ALFWorld/WebShop/Search-QA；真实 coding/OS agent 是否同样稳定仍需验证。
Lucian 可采取的下一步：把 SDAR 作为 GRPO baseline 的改进候选，先在 WebShop/AppWorld 小任务上做低成本复现。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 5/5 |
|---|
| Evidence | 5/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 23/25 |
|---|
#5 · 2605.13880PREPING: Building Agent Memory without Tasks
Yumin Choi, Sangwoo Park, Minki Kang, Jinheon Baek, Sung Ju Hwang · 2026-05-11 · arXiv recent page + Hugging Face Daily Papers · Artificial Intelligence (cs.AI) ; Computation and Language (cs.CL)
一句话结论：在没有目标任务经验前，通过 proposer-guided synthetic practice 预构建 procedural memory。
为什么重要：冷启动 procedural memory 是部署 agent 前的现实痛点；Preping 证明 practice control 比单纯 synthetic volume 更重要。
Motivation
Agent memory is typically constructed either offline from curated demonstrations or online from post-deployment interactions.
Method
Proposer 生成 synthetic practice，Solver 执行，Validator 决定轨迹是否写入 memory，并把反馈回流给 Proposer。
Data
AppWorld、BFCL v3、MCP-Universe。
Evaluation
优于 no-memory baseline，接近 playbook-based methods；AppWorld/BFCL v3 成本较 online memory construction 低 2.99×/2.23×。
Contribution
把 agent procedural memory 的冷启动问题变成受控 pre-task practice。
Quality note
提交日期早于窗口，因 HF Daily Papers 在目标日期推荐而纳入；synthetic practice 对真实部署环境的覆盖仍是风险。
Lucian 可采取的下一步：在个人研究 agent 中加入 pre-task synthetic practice：先让 agent 练习检索/写卡/引用，再进入真实任务。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 5/5 |
|---|
| Total | 22/25 |
|---|
#6 · 2605.15128MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory
Minghao Guo, Qingyue Jiao, Zeru Shi, Yihao Quan, Boxuan Zhang, Danrui Li, Liwei Che 等 17 位作者 · 2026-05-14 · arXiv recent page + Hugging Face Daily Papers · Computer Vision and Pattern Recognition (cs.CV) ; Computation and Language (cs.CL); Information Retrieval (cs.IR)
一句话结论：把多模态长期记忆评测拆成视觉证据粒度与证据使用方式，专门压测 agent 是否真的保存关键视觉信息。
为什么重要：多模态 agent memory 不能只存 caption；如果要做个人生活/网页/图像记忆，需要这种 visual necessity 与 state-change 评测。
Motivation
Long-term agent memory is increasingly multimodal, yet existing evaluations rarely test whether agents preserve the visual evidence needed for later reasoning.
Method
用“视觉证据粒度 × 证据使用方式”二维框架评估长期多模态 memory。
Data
8 life-scenario tasks；13 memory methods；4 VLM backbones；含 answerability/shortcut/visual necessity validation gates。
Evaluation
发现当前架构难以保存 fine-grained visual details 并推理 state changes。
Contribution
把 multimodal agent memory 的评测从 caption retrieval 推进到视觉证据路由与时间状态跟踪。
Quality note
46 页 benchmark 很重，作为工程回归测试时要抽取轻量 subset。
Lucian 可采取的下一步：抽取 20 个视觉证据粒度案例，测试现有 memory pipeline 是否只保存 caption 而丢失关键视觉状态。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 5/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 22/25 |
|---|
#7 · 2605.14906MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models
Xiyu Ren, Zhaowei Wang, Yiming Du, Zhongwei Xie, Chi Liu, Xinlin Yang, Haoyue Feng 等 14 位作者 · 2026-05-14 · arXiv recent page + Hugging Face Daily Papers · Computer Vision and Pattern Recognition (cs.CV)
一句话结论：系统比较 long-context LVLM 与 memory-augmented agents 在多会话、多模态记忆上的互补短板。
为什么重要：长上下文和外部记忆究竟如何互补，是设计 memory architecture 的关键取舍；MEMLENS 给出强对照。
Motivation
Memory is essential for large vision-language models (LVLMs) to handle long, multimodal interactions, with two method directions providing this capability: long-context LVLMs and memory-augmented agents.
Method
比较 long-context LVLMs 与 memory-augmented agents 在多会话视觉记忆上的能力边界。
Data
MEMLENS：789 questions、五类 memory abilities、32K–256K context lengths。
Evaluation
image ablation 使两类 frontier LVLM 在 80.4% 需图像证据问题上跌到 2% 以下；multi-session reasoning 多数系统低于 30%。
Contribution
指出 long-context 与 structured multimodal retrieval 需要混合，而不是二选一。
Quality note
Work in progress；多模态数据构造和图像证据标注质量需要进一步核查。
Lucian 可采取的下一步：记录 32K/64K/128K 多会话设置，比较 long-context vs retrieval memory 在本地小说/研究场景的混合策略。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 5/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 22/25 |
|---|
#8 · 2605.15188FutureSim: Replaying World Events to Evaluate Adaptive Agents
Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko 等 8 位作者 · 2026-05-14 · arXiv recent page + Hugging Face Daily Papers · Machine Learning (cs.LG) ; Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
一句话结论：用真实新闻时间线 replay 评估 agent 对开放世界变化的预测、搜索、记忆和不确定性推理。
为什么重要：开放世界 agent 需要处理连续信息流和知识截止之后的变化；FutureSim 是更贴近真实研究助理/交易助理的评测形态。
Motivation
AI agents are being increasingly deployed in dynamic, open-ended environments that require adapting to new information as it arrives.
Method
以真实新闻按时间 replay 构造 grounded simulation，评估 agent 对开放世界事件的连续适应。
Data
2026-01 至 2026-03 三个月真实 news/articles/questions replay。
Evaluation
frontier agents 最佳 accuracy 25%，很多 Brier skill score 比不预测还差。
Contribution
给 long-horizon test-time adaptation、search、memory、不确定性推理提供现实评测框架。
Quality note
评测依赖真实新闻 replay 与 frontier harness，复现成本可能较高，且 prediction scoring 未必覆盖任务执行能力。
Lucian 可采取的下一步：用已有 AI/finance digest 数据做一个 mini-FutureSim：按时间释放新闻，评估研究 agent 的预测和更新能力。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 5/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 22/25 |
|---|
#9 · 2605.14415SWE-Chain: Benchmarking Coding Agents on Chained Release-Level Package Upgrades
Man Ho Lam, Chaozheng Wang, Hange Liu, Jingyu Xiao, Haau-sing Li, Jen-tse Huang, Terry Yue Zhuo 等 8 位作者 · 2026-05-14 · arXiv recent page · Software Engineering (cs.SE) ; Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
一句话结论：把 coding agent 评测推进到连续 package release upgrades，衡量多版本链式维护能力。
为什么重要：链式 release upgrade 比单 issue 更接近长期维护；它能暴露 agent 在连续状态和回归风险上的短板。
Motivation
Coding agents powered by large language models are increasingly expected to perform realistic software maintenance tasks beyond isolated issue resolution.
Method
构造 chained release-level package upgrade benchmark，每次 transition 继承前一版本代码状态。
Data
12 upgrade chains、9 Python packages、155 version transitions、1,660 grounded requirements。
Evaluation
9 个 frontier agent-model configs 平均 resolving 44.8%、precision 65.4%、F1 50.2%；Claude-Opus-4.7/Claude Code resolving 60.8%。
Contribution
比单 issue 更真实地衡量 coding agent 连续维护与回归风险。
Quality note
155 transitions 规模适中，可能还不足以覆盖大型 monorepo 和跨语言升级。
Lucian 可采取的下一步：用一个小 Python 包构造 3-step release chain，测试 Hermes/Codex/Claude Code 的连续升级回归。
| Dimension | Score |
|---|
| Relevance | 5/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 5/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 22/25 |
|---|
#10 · 2605.08703RewardHarness: Self-Evolving Agentic Post-Training
Yuxuan Zhang, Penghui Du, Bo Li, Cong Wei, Junwen Miao, Huaisong Zhang, Songcheng Cai 等 14 位作者 · 2026-05-09 · Hugging Face Daily Papers · Artificial Intelligence (cs.AI) ; Computation and Language (cs.CL); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)
一句话结论：用可演化工具/技能库学习 reward judging，为少量偏好数据驱动的 agentic reward 与 GRPO 微调提供强参考。
为什么重要：它把 reward model 从大规模标注训练改造成 context/tool/skill evolution，和“少量反馈→可用偏好信号”的研究路线高度相关。
Motivation
Evaluating instruction-guided image edits requires rewards that reflect subtle human preferences, yet current reward models typically depend on large-scale preference annotation and additional model training.
Method
把 reward modeling 改写为 context/tool/skill library 的自演化，而非训练新 reward model 权重。
Data
仅 100 preference demonstrations，约 EditReward preference data 的 0.05%。
Evaluation
image-editing evaluation 平均准确率 47.4%，超过 GPT-5 5.3 points；作为 GRPO reward 后 ImgEdit-Bench 3.52。
Contribution
证明少量偏好样本可通过 agentic context evolution 形成可用 reward signal。
Quality note
主要任务是 image editing reward，迁移到文本/小说/研究 agent 偏好需要重新设计工具库与判定 schema。
Lucian 可采取的下一步：尝试把 RewardHarness 的“tool/skill library + frozen judge”改成文本偏好 reward，用 50–100 条 Lucian 风格反馈做 smoke test。
| Dimension | Score |
|---|
| Relevance | 4/5 |
|---|
| Novelty | 5/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 5/5 |
|---|
| Total | 22/25 |
|---|
#11 · 2605.14563Remember Your Trace: Memory-Guided Long-Horizon Agentic Framework for Consistent and Hierarchical Repository-Level Code Documentation
Suyoung Bae, Jaehoon Lee, Changkyu Choi, YunSeok Choi, Jee-Hyong Lee · 2026-05-14 · arXiv recent page · Software Engineering (cs.SE) ; Computation and Language (cs.CL)
一句话结论：把 repository documentation 变成长程 agent 任务，用共享 RepoMemory 保持跨文件一致性与层级结构。
为什么重要：代码库理解、文档与 agent memory 可以互相增强，是把 coding agent 落地到真实 repo 的实用方向。
Motivation
Automated code documentation is essential for modern software development, providing the contextual grounding that both human developers and coding agents rely on to navigate large codebases.
Method
MemDocAgent 用 dependency-aware traversal + RepoMemory read/write/verify 生成层级化 repo 文档。
Data
真实 software development workflows；open/closed-source baselines。
Evaluation
多准则评估中优于 baselines，并减少独立处理组件导致的冗余和冲突。
Contribution
把 repository-level docs 作为长程 agent memory/traversal 任务，实践价值高。
Quality note
领域集中在文档生成，不等价于全 SWE 修复；但 memory/traversal 方法可迁移。
Lucian 可采取的下一步：把 RepoMemory 的 read/write/verify 接口映射到 fjai.pw 项目文档生成，做一次 repository-level docs baseline。
| Dimension | Score |
|---|
| Relevance | 4/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 5/5 |
|---|
| Total | 21/25 |
|---|
#12 · 2605.14084CRANE: Constrained Reasoning Injection for Code Agents via Nullspace Editing
Mingzhi Zhu, Michele Merler, Raju Pavuluri, Stacy Patterson · 2026-05-13 · arXiv recent page · Software Engineering (cs.SE) ; Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
一句话结论：用 training-free nullspace editing 将 Thinking checkpoint 的推理能力注入 Instruct code agent，同时保留工具格式。
为什么重要：无需重新训练即可合并 reasoning/tool discipline，对快速构造本地 coding agent baseline 有工程价值。
Motivation
Code agents must both reason over long-horizon repository state and obey strict tool-use protocols.
Method
从 Thinking-Instruct delta 中筛选 reasoning edits，经 Conservative Taylor Gate 与 Sigmoidal Projection 保留 tool format。
Data
Qwen3-30B-A3B、Qwen3-Next-80B-A3B；Roo-Eval、SWE-bench Verified、Terminal-Bench v2。
Evaluation
Roo-Eval pass1 66.2% (+19.5) / 81.5% (+8.7)；SWE-bench Verified 最多多解决 14 题。
Contribution
展示 training-free code-agent model editing 可以在推理能力和工具纪律之间折中。
Quality note
参数编辑收益可能依赖成对 Instruct/Thinking checkpoint；对闭源模型不可用。
Lucian 可采取的下一步：若有 Qwen3 paired checkpoints，可用 CRANE 作为无需 RL 的 code-agent merge baseline。
| Dimension | Score |
|---|
| Relevance | 4/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 20/25 |
|---|
#13 · 2605.14443Prompting Policies for Multi-step Reasoning and Tool-Use in Black-box LLMs with Iterative Distillation of Experience
Krishna Sayana, Ketan Todi, Ambarish Jash · 2026-05-14 · arXiv recent page · Artificial Intelligence (cs.AI) ; Machine Learning (cs.LG); Multiagent Systems (cs.MA)
一句话结论：用轻量 prompter policy 与 critique buffer 将多步推理/工具使用 prompt refinement 蒸馏成一次性策略。
为什么重要：如果 Lucian 做工具 agent，prompt policy 可以作为比手写 prompt 更系统的 lightweight optimizer。
Motivation
The shift toward interacting with frozen, "black-box" Large Language Models (LLMs) has transformed prompt engineering from a heuristic exercise into a critical optimization challenge.
Method
训练 lightweight prompter model，通过 contrastive experience buffer 把 critique/reward 蒸馏成 prompting policy。
Data
BBEH 与 Tau-bench 多步推理/工具任务。
Evaluation
逻辑推理 55%→90%，工具使用 74%→91%；优于 GEPA 等 evolutionary baselines。
Contribution
将 prompt optimization 系统化为可学习 policy，适合 black-box LLM agents。
Quality note
需要训练 prompter policy，样本效率虽高但仍比直接 prompt engineering 更复杂。
Lucian 可采取的下一步：把 prompt policy 视作可学习 planner，先用 Tau-bench 风格工具任务做离线 prompt evolution。
| Dimension | Score |
|---|
| Relevance | 4/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 20/25 |
|---|
#14 · 2605.15109Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG
Riccardo Terrenzi, Maximilian von Zastrow, Serkan Ayvaz · 2026-05-14 · arXiv recent page · Artificial Intelligence (cs.AI) ; Information Retrieval (cs.IR)
一句话结论：指出 Agentic GraphRAG 的引用 faithful 不只看最终 cited sources，还要覆盖 traversal context 与 provenance。
为什么重要：GraphRAG 在 agentic traversal 里经常“答案对但出处不完整”，该文把 provenance 评测问题说清楚。
Motivation
Retrieval-Augmented Generation can improve factuality by grounding answers in external evidence, but Agentic GraphRAG complicates what it means for citations to be faithful.
Method
对 Agentic GraphRAG 做 cited/uncited/visited node ablations，衡量 final answer 对 traversal context 的依赖。
Data
controlled ablation experiments on graph traversal and citation sets。
Evaluation
移除 cited evidence 会显著改变答案并降准确率，但 uncited traversal context 也常影响正确答案。
Contribution
提出 citation faithfulness 应覆盖 trajectory-level provenance，而非只验证最终 citation。
Quality note
7 页 workshop 风格短文，方法偏诊断/评测，尚不是完整 GraphRAG 系统。
Lucian 可采取的下一步：为 GraphRAG 输出增加 trajectory provenance 字段：visited nodes、cited nodes、uncited-but-influential nodes。
| Dimension | Score |
|---|
| Relevance | 4/5 |
|---|
| Novelty | 4/5 |
|---|
| Substance | 3/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 19/25 |
|---|
#15 · 2605.15104From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents
Md Tahmid Rahman Laskar, Xue-Yong Fu, Seyyed Saeed Sarfjoo, Quinten McNamara, Jonas Robertson, Shashi Bhushan TN · 2026-05-14 · arXiv recent page · Computation and Language (cs.CL)
一句话结论：把文本工具调用 benchmark 可验证地转成语音工具调用评测，补足 voice agents 的第一阶段诊断。
为什么重要：voice + tool use 是下一代 personal assistant 的入口；它提供了低成本从 text benchmark 到 audio benchmark 的方法。
Motivation
Voice agents increasingly require reliable tool use from speech, whereas prominent tool-calling benchmarks remain text-based.
Method
用 TTS、speaker variation、noise 把文本工具调用 benchmark 转成 paired text-audio instances，保留原 gold labels。
Data
Confetti 与 When2Call audio-converted versions；7 omni-modal models。
Evaluation
Gemini-3.1-Flash-Live Confetti 70.4；GPT-Realtime-1.5 When2Call 71.9；text-to-voice gap 1.8–4.8 points。
Contribution
为 voice agents 提供可复现、可验证的 tool-call diagnostic。
Quality note
TTS 转换保留 schema/gold labels，但真实语音交互还会有打断、ASR、延迟与多轮纠错。
Lucian 可采取的下一步：把已有 text tool-call tests 转成 TTS 音频，先测开源 omni models 的 argument extraction 错误。
| Dimension | Score |
|---|
| Relevance | 4/5 |
|---|
| Novelty | 3/5 |
|---|
| Substance | 4/5 |
|---|
| Evidence | 4/5 |
|---|
| Actionability | 4/5 |
|---|
| Total | 19/25 |
|---|