Research roadmap · explicit and implicit feedback → state update

Feedback-State Research Roadmap：把两个 topic 做得更学术、更本质

这版回答五个问题：motivation 与领域痛点、较新的 baseline、可改造 data 与 evaluation、method 是 scaffold 还是训练模型、实验设计，以及如何把 AHEAD / early-awareness 融进来。最终目标保持不变：通过用户的显式和隐式反馈进行状态更新，让用户在后续轮交互中获得更好的体验。

Motivation Data / Eval Method AHEAD

1 · Motivation / Pain points / Newer baselines

两个方向的 motivation 要更本质

领域痛点不是“agent 不会记忆”，而是用户反馈信号模糊、延迟、跨轮影响，且现有方法很难证明“到底学到了什么、写到了哪里、后续是否真的变好”。

Topic	Motivation	Pain points	Newer baselines / references	本质贡献
Self-Evolve / Feedback-to-State	用户显式/隐式反馈应该更新 agent 的内部状态，而不只是追加上下文。关键问题是：反馈代表什么偏好，应该写到哪个组件，scope 多大，是否会过度泛化。	1) dwell/skip 等隐式反馈语义不确定；2) 评论可能指向 output span、plan、memory 或 critic；3) full history/RAG 会膨胀上下文但不保证状态被正确更新；4) DPO/RLHF 不可审计且需要大量 pair；5) 更新后可能伤害 unrelated cases。	WIMHF, P-GenRM, ProPerSim, PrefDisco, SPL, ActiveDPO, Ordinal Feedback RM, ReCouPLe, AutoLibra, AutoMetrics, PerFit, VISTA	提出 feedback update correctness：评估 feedback → preference belief → state diff → future behavior 的因果链，而非只评最终文本好不好。
Long-Horizon / Trace Credit	长程交互中用户满意/不满意往往在很多轮后才显露。必须定位 delayed feedback 归因到哪个 turn、memory read、state diff、critic miss 或 planner decision。	1) final reward 不告诉你为什么失败；2) 反馈常跨章节/跨 session；3) 多个错误链式叠加；4) LATS/Agent Q 等 search 提升成功率但不提供可信 attribution；5) 没有 counterfactual repair 的解释很容易只是 post-hoc story。	τ-bench / τ², ToolSandbox, AppWorld, AgentGym-RL, LATS, Agent Q, R-WoM, FlowSearcher, LoCoMo, RewardBench2	提出 validated credit assignment：归因必须能通过 counterfactual repair 获得 outcome gain，并能反哺后续状态更新。
AHEAD / Early-awareness	在用户最终 intent 明确暴露前，根据 trajectory prefix 预测 intent distribution，从而提前准备候选、主动询问或调整生成策略。	1) 容易退化成 item retrieval；2) 只有静态 prefix prediction 不证明交互收益；3) intent pool 太小不学术、太大不稳定；4) GUI 场景会混入页面理解噪声；5) early intent 与 long-term preference state 的关系要讲清楚。	PrefDisco, ProPerSim, UserLM, VISTA, Retention-Optimized Matching, Interactive Preference Elicitation, sequential recommender baselines	把 early-awareness 变成 early-warning preference drift / intent belief：不是单独预测买什么，而是预测后续反馈风险和状态更新需求。

2 · Data transformation / Evaluation protocol

已有 data 怎么改造，最终格式和 eval 形式是什么

不要从零造所有数据。先从 personalization、long-memory、tool-agent、sequential recommender 数据中抽象成统一的 trajectory + feedback + state + future probe 格式。

Existing data to adapt

可改造数据源

LaMP：改造成 static profile / personalized output baseline。
LoCoMo：多 session memory QA，可改造成 delayed feedback 和 memory attribution。
τ-bench / τ²：user-agent-tool traces，可加 delayed user feedback 与 culprit labels。
AppWorld / ToolSandbox：stateful API tasks，用于 action/state/memory 责任定位。
ProPerSim / UserLM：行为用户模拟器，用于 sim-controlled / sim-stress。
sequential recommender logs / VISTA-style history：用于 long user history + implicit feedback。
自建 story snippets：最适合收集 human pilot 的评论、dwell、skip、rewrite request。

How to transform

改造实践

把每条样本统一成 trajectory prefix → feedback event → state update → future probes。
给每条 feedback 标注 target locus：user.preference / memory / critic / planner / retriever / reranker。
加入 anti-gold：明确“不能学成什么”，用于 overgeneralization eval。
为 long-horizon 加 trace nodes：turn、action、memory read、state diff、critic warning、outcome。
为 AHEAD 加 prefix buckets：10%,20%,...,100%T，并记录 t*（intent 首次显式出现）。

Evaluation to borrow

值得借鉴的 eval

PrefDisco：Baseline / Discovery / Oracle 三段式，测 preference elicitation 上限。
P-GenRM：个性化 reward accuracy / rank correlation。
RewardBench2：best-of-4 和 Ties，避免二选一过于简单。
τ-bench：pass^k reliability，评估多次采样可靠性。
AutoLibra/AutoMetrics：coverage / redundancy / Kendall τ。
AHEAD PPT：Prefix Top-1 / Macro-F1 AUC, Recall@K, TTK@K, Lead@K。

Final data format	核心字段	Gold labels	Evaluation form
Feedback-State sample	user_id, trajectory_prefix, generated_content, explicit_feedback, implicit_feedback, content_features, current_agent_state	preference_belief, state_diff, target_locus, scope, confidence, anti_gold, future_probes	Target F1, Scope Accuracy, Diff Semantic Accuracy, Overgen Rate, Future Probe Win Rate
Long-Horizon trace sample	turns, plan_nodes, actions, memory_reads, state_diff_log, critic_warnings, delayed_feedback, final_outcome	culprit_step, culprit_type, credit_score, repair_action, expected_repair_gain	Culprit Step Acc, Type F1, Credit Calibration, Counterfactual Repair Gain, pass^k
AHEAD prefix sample	single-session trajectory τ=(s1,a1,...,sT,aT), prefix τ≤t, intent pool, optional user.md, noise steps	final_intent g, first_explicit_time t, intent_distribution, next_action / risk label	Prefix Acc/Macro-F1 AUC, Recall@K, TTK@K, Lead@K, downstream interaction gain

{
  "sample_id": "u013_story_t07",
  "trajectory_prefix": [{"turn": 1, "action": "read", "implicit": {"dwell_z": 0.4}}, {"turn": 7, "action": "skip", "implicit": {"fast_swipe": true}}],
  "feedback_event": {"explicit": "这里女主又太被动", "rating": 2, "implicit": {"continue_next": false}},
  "current_state": {"user_pref": {...}, "story_state": {...}, "critic": [...], "planner_rules": [...]},
  "gold_preference_belief": {"dimension": "protagonist_agency", "direction": "increase", "uncertainty": 0.18},
  "gold_state_diff": [{"target": "critic.checklist", "op": "add", "scope": "current_story_and_user", "evidence": ["feedback_event"], "rollback_id": "diff_007"}],
  "anti_gold": [{"bad_update": "ban all help from male lead", "error_type": "overgeneralization"}],
  "future_probes": [{"prompt": "write next conflict scene", "expected": "protagonist decisive action"}]
}

3 · Method: scaffold or train a model?

建议：训练 encoder/updater，小模型负责 belief，大模型负责执行

只做 scaffold 容易工程化；只训模型又难以控制 agent 状态。学术上更好的折中是“model-based state update + scaffolded commit”。

Core method

Preference-State Encoder + Update Router

Encoder：输入 trajectory prefix、content features、explicit/implicit feedback、历史状态，输出 preference belief distribution。
Router：输出 update target：memory / critic / planner / retriever / reranker / preference dataset。
Diff generator：生成结构化 state diff，包含 evidence、scope、confidence、TTL、rollback。
Verifier：检查 contradiction、unsupported update、overgeneralization。
Scaffold：把 verified diff commit 到 agent state，并在后续生成/rerank 中使用。

Training choices

不是端到端训大模型

分类/打分头：target locus、scope、intent、preference dimension 用 CE / multi-label BCE。
Ordinal head：强弱反馈用 ordinal regression，不把评分二元化。
Contrastive/rationale：用 ReCouPLe 思想把“因为太拖/角色被动”的理由作为因果轴。
Seq encoder：用 prefix encoder 学早期趋势；可用 Qwen3-4B / small LM / transformer encoder。
LLM generator：大模型不一定训练，负责根据 state diff 生成候选与解释；再由 personalized evaluator rerank。

为什么 encode 更好？

因为你的目标不是让 agent 多一个 prompt trick，而是把用户反馈变成可测量的 latent belief / structured state。ICLR 相关论文也基本在做这个：WIMHF 把反馈 encode 成可解释特征，P-GenRM 把用户历史 encode 成 persona/rubric，SPL 证明 user latent 不能 collapse，Ordinal RM 保留反馈强度，ReCouPLe 用理由约束因果方向。因此主方法应该有一个显式 encoder/updater；scaffold 只是执行这个 updater 的容器。

4 · Experiments

两个 topic 分别能做哪些实验

Experiment	Question	Baselines	Metrics	Expected claim
E1 Feedback understanding	模型能否从 explicit and implicit feedback 推断正确 preference dimension 与强度？	Prompt-only, static profile, WIMHF-style feature, ordinal head, rationale-aware encoder	Preference-state accuracy, ordinal MAE, dwell calibration	ordinal + rationale-aware encoder 明显优于二元化反馈。
E2 Update routing	反馈应写到哪个 state component？	Full history, raw RAG, Reflexion, ExpeL, memory-only	Target F1, Scope Acc, Diff Semantic Acc	structured router 提升 update correctness。
E3 Future probe	更新是否改善后续轮体验？	No update, memory-only, P-GenRM rerank, AUDIT-F2S full	Future Probe Win Rate, repeated-error reduction, negative transfer	写到 critic/planner/retriever 比 memory-only 更稳。
E4 Overgeneralization stress	模型是否会把局部反馈学成全局偏见？	Full history, raw RAG, DPO, no-verifier ablation	Overgen Rate ↓, anti-probe accuracy, conflict detection	verifier + scope/TTL 是关键。
E5 Long-horizon attribution	延迟反馈能否定位到正确 step/type？	ReAct explanation, Reflexion, LATS, Agent Q, no-trace ablations	Culprit Acc, Type F1, Credit Calibration	trace graph 比 post-hoc explanation 更 faithful。
E6 Counterfactual repair	修复被归因节点是否真的提升结果？	No repair, random repair, top-attention repair, CREDIT-TRACE	Repair Gain, outcome win rate, pass^k reliability	credit 分数与 repair gain 相关，证明归因可行动。
E7 AHEAD early-awareness	能否在 intent/偏好显式暴露前预测后续需求或风险？	Majority, BM25 similar trajectory, full LLM prompt, small prefix encoder	Prefix Macro-F1 AUC, Recall@K, TTK@K, Lead@K, downstream query reduction	小模型 early-awareness 可提前触发 clarification 或 reranking。

5 · Make it solid

如何更学术、本质，而不是偏工程化

关键是提出可被他人复用的任务定义、数据格式、指标和理论假设，而不是展示一个能跑的应用。

Academic object

定义新评价对象

把“用户体验变好”拆成可评估链条：feedback semantics → preference belief → state diff → future probes → retention/continue。这样不是工程系统，而是一个新的 evaluation object。

Causal check

用 counterfactual 和 anti-gold

ICLR 相关论文的共同点是把模糊信号变成可验证对象：WIMHF 可解释特征，ReCouPLe 理由因果轴，RewardBench2 更难评测。我们也应加入 anti-gold 与 repair validation。

Modeling hypothesis

明确建模假设

假设用户状态可分解为 stable preference、contextual preference、short-term intent、fatigue/drift、uncertainty。Encoder 的作用就是估计这个 belief state。

论文更 solid 的主线

Claim 1：显式 + 隐式反馈需要联合建模，二元偏好会丢失强度与原因。
Claim 2：状态更新的 target/scope 正确性比单次输出质量更基础。
Claim 3：未来体验提升必须通过 future probes / counterfactual repair 证明。
Claim 4：early-awareness 不是最终目的，而是提前预测 state drift / intent shift 的辅助模块。

避免工程化的红线

不要只展示“agent 加了 memory 后用户更满意”。
不要只做长上下文或 RAG prompt。
不要把 dwell time 直接当 reward。
不要只用 final success；必须有 update correctness / attribution correctness。
不要把 AHEAD 退化成 100 item retrieval；要接入后续交互收益。

AHEAD / early-awareness

参考 PPT 后：合并还是单独做？

PPT 的 AHEAD 思路是：单 session、封闭垂域、纯文本 trajectory prefix → final intent distribution；小模型做 early awareness，大模型推理时使用 top-k intent 分布。

Option	怎么结合	优点	风险	建议
合并进主线	把 AHEAD 作为 Preference-State Encoder 的 early intent / drift head：预测用户下一步 intent、偏好漂移、反馈风险。	直接服务“后续轮体验更好”；能解释为什么早期信号有用。	如果篇幅过大，会稀释 state update 主贡献。	建议采用：作为一个模块和一个实验，不作为主标题。
单独做一篇	单 session 垂域轨迹，训练小模型预测 final intent distribution，并评估 early-awareness lead time。	任务定义清晰、数据可控、训练简单。	容易被审稿人认为是 sequential recommendation / item retrieval；缺少交互收益。	可以作为后续短 paper，但必须加入 downstream action gain。
不合并	保持 self-evolve / long-horizon 两篇不引入 early-awareness。	主线纯粹。	错过你 PPT 中“小模型沉淀早期意图能力”的差异化点。	不建议完全丢掉；至少作为 future work 或 ablation。

我建议的 AHEAD 改写

不要叫“预测最终会买什么”，而叫 Early-Aware Preference Belief Updating：给定 trajectory prefix，预测 intent distribution、preference drift risk、next-action utility，并触发 state update / clarification / reranking。这样 AHEAD 就不是购物 item retrieval，而是用户状态更新系统的前置感知模块。

{
  "ahead_prefix_sample": {
    "session_id": "u042_s03",
    "prefix_ratio": 0.3,
    "trajectory_prefix": [{"state": "searched red dress", "action": "filter price"}],
    "candidate_intents": ["buy formal dress", "browse style inspiration", "compare prices"],
    "gold_final_intent": "buy formal dress",
    "first_explicit_intent_time": 18,
    "gold_next_action": "open size chart",
    "gold_preference_drift": {"budget_sensitivity": "increase"},
    "eval": ["Macro-F1@30%", "Recall@5", "Lead@5", "downstream clarification reduction"]
  }
}

Practical plan

实践路线：先做一个主 paper，再决定 AHEAD 是否独立

Phase 1：统一数据格式

把 story、LaMP、LoCoMo、τ-bench、AHEAD prefix 全部映射到 trajectory-prefix / feedback-event / state-diff / future-probe schema。

Phase 2：训练 encoder/updater

先训练 target locus、scope、preference dimension、ordinal strength、intent distribution 五个 head；用 LLM 只做 rubric generation 和 candidate generation。

Phase 3：做 scaffold commit

把 encoder 输出的 state diff 写入 user memory、critic、planner、retriever、reranker；加入 verifier、rollback、anti-overgeneralization。

Phase 4：做主实验

先证明 Self-Evolve 主表：update correctness 和 future probe；再做 Long-Horizon attribution + repair；最后把 AHEAD 作为 early-prefix ablation。

Phase 5：决定 AHEAD 独立性

如果 early-awareness 能在 prefix AUC/Lead@K 之外显著降低用户后续负反馈或提升 proactive action，就单独成篇；否则保留为主论文模块。

最终结论

主线论文：做“显式/隐式反馈驱动的用户状态更新”，以 encoder/updater 为核心，scaffold 负责 commit。
Long-horizon：做延迟反馈归因与 counterfactual repair，作为第二个 topic 或主线中的长程扩展。
AHEAD：不要强行变成购物 item prediction；把它改造成 early-awareness head，用于提前识别 intent / preference drift / feedback risk。它可以作为主论文一个关键实验，如果 downstream gain 足够强，再单独拆成一篇。