Strategy after ICLR paper map · 2026-05-10
结论先行：两个方向不要做成泛泛的“小说 agent”或“跑更长步骤”。应该分别收敛到 Feedback-to-State 自演化 和 Delayed Feedback Trace Credit 长程归因。前者回答“用户反馈应该写到 agent 的哪里，并怎样验证写对了”；后者回答“长程失败到底是哪一步、哪段记忆、哪个状态更新或哪个 critic warning 造成的”。
Final recommendation
如果要做成论文/项目，self-evolve 更贴近当前 personalized user-feedback 主线，数据和评测更容易闭环；long-horizon 更有野心，但要靠 counterfactual repair 才能避免变成普通 agent benchmark。
核心命题：用户反馈不是“塞进 memory”就完了，而是要路由到 user preference、critic checklist、planner rule、retriever policy、generation/reranker 或 preference dataset。
核心命题：长程用户反馈天然延迟且歧义。系统必须知道失败来自 action、subgoal、memory retrieval、state update、critic miss，还是 ask-vs-act 决策。
Why this split
混在一起会让问题过大：既要发现用户偏好，又要归因长程失败，还要证明未来变好。拆成两个 topic 能形成清晰论文贡献。
用户说“太拖”“别用误会梗”“以后先给结论”，agent 到底改了哪个状态？改动范围是当前章节、当前 story、当前用户，还是全局规则？
用户第 8 章才说“不对味”，到底是第 3 章 planner 走偏、第 5 章 memory 取错，还是 critic 已警告但没被 obey？
Long-Horizon 给出责任定位；Self-Evolve 决定写入位置、scope、rollback 和 future probes。两者合起来才是完整 user-feedback agent evolution。
Self-Evolve deep dives
核心不要做成“记住用户偏好”，而要做成“反馈写入 agent framework 的可验证机制”。
| 深挖点 | 要解决的问题 | 可参考论文 | 可做成实验的观察 |
|---|---|---|---|
| Feedback Event Encoder | 融合显式反馈、隐式行为、评论/改写请求，并估计不确定性；dwell time 不能直接等于喜欢。 | WIMHF, Ordinal Feedback RM, ReCouPLe | ordinal/rationale-aware encoder 是否提升 preference-state accuracy 与 dwell calibration。 |
| Update Locus Router | 同一条反馈可能该写 user memory、critic、planner、retriever、reranker，而不是统一塞进 history。 | AutoLibra, AutoMetrics, P-GenRM | router 的 target F1 / scope accuracy 是否高于 Reflexion、raw feedback RAG。 |
| Scoped State Diff | 更新必须有 evidence、scope、confidence、TTL、conflict handling 和 rollback。 | WIMHF, PerFit, Generative Agents | 是否减少 overgeneralization：例如“女主太被动”不能学成“永远禁止男主帮忙”。 |
| Framework Evolution | 反馈不仅改 memory，还应改 critic checklist、planner constraints、retriever policy 和 candidate reranker。 | Voyager, ExpeL, AutoLibra | memory-only vs memory+critic vs memory+critic+planner vs full 的 future-probe win rate。 |
| Active Feedback Request | 何时向用户追问？问什么最能减少 preference uncertainty？ | ActiveDPO, PrefDisco, Interactive Preference Elicitation | 同等用户打扰预算下，active query 是否比随机问更快收敛。 |
| Personalized Reward/Reranker | 把 state diff 转成后续生成候选的评分标准，而非只影响 prompt。 | P-GenRM, AutoMetrics | 候选 rerank 后的 next-content win rate、long-term retention 是否提升。 |
Self-Evolve design
Long-Horizon deep dives
核心不要做成长上下文或多步成功率，而要做“延迟用户反馈的 trace-level credit assignment”。
| 深挖点 | 要解决的问题 | 可参考方向 | 可做成实验的观察 |
|---|---|---|---|
| Trace Instrumentation | 记录 plan node、action、memory read、state diff、critic warning、ask/act decision 和 user feedback。 | τ-bench, ToolSandbox, AppWorld, AgentGym | 有无 trace 对 culprit step/type accuracy 的提升。 |
| Delayed Feedback Localization | 用户晚很多才反馈，如何映射到候选步骤/子目标/记忆/状态更新？ | LoCoMo, long-term memory eval, PrefDisco | 候选召回率、top-k culprit recall、跨章节/跨 session robustness。 |
| Attribution Graph | 把 turns、subgoals、memory reads、state diffs、critic warnings、outcomes 连成证据图，避免只是编故事解释。 | Causal reward learning, ReCouPLe, R-WoM | graph ablation：no memory edge / no critic edge / no state edge。 |
| Counterfactual Repair | 归因必须能被验证：替换错 action、补正确 memory、修 state diff、强制 obey critic 后结果应改善。 | LATS, Agent Q, world-model rollouts | credit score 与 repair gain 的相关性，即 credit calibration。 |
| Future Incorporation | 把 validated attribution 转成未来 planner/retriever/critic/state 更新。 | Reflexion, ExpeL, AgentGym-RL | repair 后下一 episode pass^k、delayed feedback incorporation、cost-normalized gain。 |
Long-Horizon design
Execution plan
目标是先做出可评测的 benchmark + baseline 表，而不是先堆复杂模型。
定义 FeedbackEvent、AgentState、StateDiff、TraceNode、CreditLabel 五个核心 schema。所有后续数据都对齐这套结构。
构造 200–500 条 feedback → gold state diff 样本，覆盖 story、assistant writing、tool-mini 三域；同时写 anti-gold overgeneralization cases。
实现 no-personalization、static profile、full history、raw RAG、Reflexion-style reflection、memory-only、AUDIT-F2S-lite。
每条 state diff 配 near/far/anti probes；招 20–50 个小规模用户做 story snippet A/B、评分、评论和 dwell 校准。
复用 τ-bench/τ² 历史轨迹和自建 story traces；注入已知 memory/state/critic/action 错误，生成 delayed feedback 与 gold culprit。
做 attribution graph、candidate culprit retrieval、hindsight scorer，并和 ReAct/Reflexion/LATS/Agent Q 风格 baseline 比 culprit/type/repair 指标。
对 top culprit 做最小修复：替换 action、补 memory、修 state diff、obey critic；测 repair gain 与 credit calibration。
最终 paper arc：long-horizon 找责任，self-evolve 写状态；主表报告 update correctness、credit accuracy、future probe win、repair gain、overgeneralization。
Target tables
是否写到正确 state component
local / story / user / global
更新后未来生成是否胜出
反例 probe 是否避免过度泛化
是否找对责任步骤
action / memory / state / critic
修复被归因处是否改善结果
credit 分数是否对应修复收益
Relevant paper anchors
用于 feedback encoder：可解释偏好维度、强弱等级、带理由反馈，解决“反馈到底代表什么”。
用于 personalized evaluator/reranker：把 state diff 转成未来候选的 scoring rubric 和 critic checklist。
用于 user simulator 与主动偏好发现：模拟用户行为、问询缺失偏好、验证“何时问”。
用于长程 trace、final reward / pass^k、world-model rollout baseline，但必须额外加 attribution 和 repair validation。
第一篇/第一个系统建议做 self-evolve：标题可以是“Auditable Feedback-to-State Updates for Self-Evolving Personalized Agents”。它更贴近当前主线，也更容易用模拟 + human pilot 闭环。
第二篇/更大野心建议做 long-horizon：标题可以是“Traceable Credit Assignment for Delayed User Feedback in Long-Horizon Agents”。它的关键差异化不是长，而是 counterfactual repair validation。
组合愿景：CREDIT-TRACE 找到导致长期不满意的责任节点，AUDIT-F2S 把它转成可审计状态更新；这就是 personalized user-feedback agent evolution 的完整研究路线。