# Novel Feedback v7 — 中文论文计划完整版

## 0. 研究设计总览（Workflow First）

这一版应该先把完整 agent workflow 讲清楚，再进入动机、数据和实验。核心结论是：**rubric 要由上一轮反馈和下一轮任务条件化生成，judge 用它评估新旧 generation 的差异；score 必须同时依赖上一次生成 `y_t` 和这一次生成 `y_{t+1}`，否则无法判断系统是否真的吸收了反馈。**

### 0.1 整体流程

建议的闭环顺序是：

1. `y_t + feedback_t + next_task` 先生成 feedback-conditioned auto-rubric。
2. Personalization Planner 输出 Personalization Brief。
3. Chapter/Action Planner 用 brief 产出下一章 plan 或 ask/probe/rewrite action。
4. Frozen Generator 生成 `y_{t+1}`。
5. Judge 用 auto-rubric 比较 `y_t, feedback_t, y_{t+1}`。
6. UserSim 读 `y_{t+1}`，输出下一轮显式/隐式反馈、行为和 satisfaction。
7. Score Aggregator 汇总 rubric score + simulator score + penalties。
8. 把 feedback、score、diagnosis 回给 Planner，进入下一章。

所以，“先对 generation 做 auto-rubric，生成 n 个 checklist，再用 simulator 做 action 和打分”这个方向是对的；更精确地说，auto-rubric 不是静态质量表，而是由上一轮反馈、上一轮输出和下一轮任务共同生成的 delta rubric。

### 0.2 模块 I/O

- UserSim  
  输入：`user_profile, story_context, y_t, session_state`。  
  输出：`explicit_feedback, implicit_feedback, hidden_satisfaction, next_user_action`。
- Personalization Planner / Controller  
  输入：`history_belief, y_t, feedback_t, next_task, story_context`。  
  输出：`Personalization Brief = intent, scope, confidence, risk, directives, negative_constraints, ask/probe/rollback`。
- Auto-Rubric Builder  
  输入：`y_t, feedback_t, next_task, brief`。  
  输出：checklists，包括 incorporation、scope、overcommit、misattribution、quality preservation、user burden。
- Chapter/Action Planner  
  输入：`story_state, next_task, brief, rubric_hints`。  
  输出：`chapter_plan` 或 `ask/probe/rewrite/continue`。
- Frozen Generator  
  输入：`story_context, chapter_plan, brief`。  
  输出：`y_{t+1}`。
- Judge  
  输入：`y_t, feedback_t, y_{t+1}, rubric`。  
  输出：`evidence_scores, failure_tags, textual_diagnosis`。
- Score Aggregator  
  输出：`R_t = incorporation + quality + scope + simulator_satisfaction - overcommit - misattrib - burden`。

### 0.3 Eval 对齐 workflow：UserSim + Rubric/Judge + Score Aggregator

这个 bench 的主评测应该对齐 workflow 图，而不是另起一套静态评测。主 scorer 由三部分组成：

1. **feedback-conditioned auto-rubric / Judge**：根据 `y_t, feedback_t, next_task, brief` 生成 checklist，再比较 `y_t` 和 `y_{t+1}`，判断 agent state update 是否真的改变了下一轮输出，以及有没有 overcommit、misattribution、quality drift。
2. **frozen UserSim**：读取 `y_{t+1}` 和当前 session_state，输出下一轮 explicit/implicit feedback、next_user_action、hidden_satisfaction、retention/continue signal。
3. **Score Aggregator**：汇总 rubric score、UserSim satisfaction、retention、ask burden、risk penalty、quality penalty，得到 `R_t` 和 `BenchReturn_H`。

所以主 bench 可以只用 frozen UserSim + rubric/Judge。Human audit 不进入主分数，只用来校准 UserSim 和 rubric/Judge 是否合理，例如抽样检查 feedback interpretation、scope、simulator behavior、rubric evidence 是否符合人类直觉。

一致性靠：冻结 UserSim snapshot、冻结 judge snapshot、冻结 rubric prompt、冻结 generator、common random numbers、多 seed、`pass^k`、`H=3/5/10/20`、held-out feedback regimes 和固定 episode manifest。

### 0.4 RewardBench2 怎么用

不要直接用 RewardBench2 评 auto-rubric。RewardBench2 是 reward model / judge 能力基准，不是小说反馈任务基准。更合理的用法是：用 RewardBench2 选择 judge/reward backbone 或做 sanity check，然后在 AmbiPref-Story / Feedback2Fiction 上做 domain calibration。换句话说，RewardBench2 适合“选评委”，不适合替代本文评测。

### 0.5 两个 planner 和 UserSim 怎么训

- Personalization Planner / Controller  
  先 SFT：`feedback_bundle -> Personalization Brief`。  
  再 DPO/GRPO：采样多个 brief，经 Frozen Generator 生成 `y_{t+1}`，用 frozen UserSim + judge 打分，只更新 planner。
- Chapter/Action Planner  
  先 SFT：学习高质量 chapter plan、ask/probe/rewrite action。  
  再 contextual bandit / GRPO：优化 long-horizon return，不只优化单章 FIS。
- UserSim  
  SFT 学习真实/合成 profile 下的显式+隐式反馈。  
  DPO/GRPO 优化 realism、profile consistency、calibration、non-leakage。  
  关键约束：Controller 训练开始后冻结 UserSim，不做 joint co-training。

### 0.6 贡献表达

Motivation 可以压成一句话：**本文研究面向娱乐场景的 feedback-driven agent workflow：尽可能捕捉用户显式/隐式/延迟反馈，把它内化为 agent state，并用少量交互训练一个能选择 ask/probe/rewrite/continue 的 data-efficient personalization agent。小说只是这个 workflow 的可控实例。**

贡献建议写成：

1. Feedback-to-state formulation：把 entertainment feedback 内化为 `B_t = P(intent, scope, priority, risk | history)` / session_state update。
2. Personalization Brief：作为 Planner-to-Generator 的结构化中间表示，把 agent state 压缩成可执行、可回滚、scope-aware 的控制信号。
3. Data-efficient controller training：冻结 Generator，只训练 planner/controller，用 candidate brief 对比、delta reward 和 Utility@k feedback 证明少量反馈也能适配。
4. Agentic closed-loop workflow：Planner 不只是写 prompt，而是做 continue / ask / probe / rewrite / rollback 的行动策略。
5. 显式+隐式+延迟反馈 UserSim 与 feedback-conditioned auto-rubric/Judge，用来产生 dense training signal 和可复现的 closed-loop bench scorer。
6. 动态 entertainment agent workflow benchmark，并用小说生成实例化，证明 belief/state-based controller 比 raw history、retrieval personalization、P-RLHF/PEFT 更少 overcommit/misattribution。

### 0.7 三个强 baseline

1. LaMP / LongLaMP-style retrieval personalization：静态 profile/history retrieval + frozen generator。强在简单、便宜、现实。
2. P-RLHF-style personalized reward / reranker：训练 user reward 或 preference model，用 best-of-N / DPO 优化。强在直接学习个人偏好。
3. OPPU / per-user PEFT adapter：每用户一个 LoRA/PEFT 或 user adapter。强在个性化能力强，但成本和动态更新差。

## 1. 研究动机（Motivation）

本文研究的是 **Belief-Guided Data-Efficient Personalization for LLM Agents under Ambiguous User Feedback**，但 scope 不是“小说生成模型”，而是**面向娱乐场景的 feedback-driven agent workflow**。小说只是一个可控、可复现、方便评测的实例。核心挑战是：娱乐产品中的用户经常只给少量、短、含糊、延迟、带噪声的反馈，但 agent 必须尽可能捕捉这些反馈，把它们内化为下一轮 agent state，再影响 action、planning 和 generation。

真实娱乐反馈不是 clean preference label。用户可能停留很久、跳过、打赏、收藏、继续阅读、评论一句“这里不对”、高亮一段、或在几轮之后才反馈前面的内容。这些信号都在表达体验，但它们可能指向不同原因：内容节奏、情绪强度、互动方式、角色关系、推荐方向、当前任务目标或用户临时状态。直接把这些信号写进长期 profile 会造成 overcommit；只把历史拼进 prompt 会缺少 uncertainty、scope、negative constraints 和 rollback；per-user adapter 又需要大量用户数据，不适合 few-shot interaction 场景。

因此 v7 的核心主张是：**ambiguous entertainment feedback 应该先被内化为 belief/session state，再被压缩成 Personalization Brief，最后由 agent 决定下一轮行动。** Belief state 不是一个静态 summary，而是关于 intent、scope、priority、risk、confidence 的多假设状态：

```text
B_t = P(intent, scope, priority, risk | history_belief, y_t, feedback_t, next_task)
```

这个 formulation 能把标题里的四个关键词落到机制上：

1. **Belief-Guided**：每轮先更新 belief，再生成 brief/action；不确定性高时不强行改写。
2. **Data-Efficient**：冻结 Frozen Generator，只训练 planner/controller；用少量 feedback、candidate brief 对比和 dense delta reward 学习。
3. **Personalization**：个性化是 scoped, reversible experience adaptation，不是永久 profile append。
4. **LLM Agent**：agent 不只是调用生成器，而是在 closed loop 中选择 continue、ask、probe、rewrite、rollback 或 ignore。
5. **Ambiguous User Feedback**：显式、隐式、延迟、噪声和冲突反馈都被统一建模为 state update 的 evidence 或 negative evidence。

因此本文研究的是 feedback-conditioned next-turn adaptation under uncertainty：在不确定反馈下，entertainment agent 如何用少量观测做出可控、可回滚、可评估的下一轮体验适配。

## 2. Bench / 数据构建方法（Benchmark Construction）

Bench 构建要服务于三个目标：state/belief supervision、brief/action supervision、closed-loop reward。它不是静态 QA，也不是单轮小说质量评测，而是 entertainment feedback-to-state episode：

```text
entertainment task + user/session prior -> y_t -> observed_feedback_bundle
-> hidden intent / state target
-> Personalization Brief + action
-> y_{t+1}
-> rubric/Judge score + UserSim next feedback + aggregated return
```

### 2.1 Entertainment Task / User Prior 层

第一层构造娱乐任务、内容上下文、用户先验和 session_state。小说实例里使用 story context、previous_generation、next_task；更一般地可替换成互动剧情、游戏 NPC、陪伴 agent、角色扮演或推荐体验。公开发布时只放 compact sample，不镜像大规模版权文本或受 DTA 限制的 reader response。

- WebNovelBench / public-domain / authorized story text：用于构造 story context、previous_generation、next_task。
- NovelUpdates / metadata-safe tags：用于构造 genre、trope、读者原型和偏好先验。
- user_profile：stable_preferences、dislikes、conditional_preferences、hard_constraints、volatile_preferences、feedback_style、implicit_behavior_pattern、reliability/noise。
- session_state：当前娱乐体验状态，例如当前偏好假设、短期目标、最近互动、risk 和 rollback flags。
- human pilot 小样本：用于校准 UserSim/rubric，而不是替代主 bench scorer。

### 2.2 Feedback Observation 层

每个 turn 构造 observed_feedback_bundle，让 ambiguous feedback 进入 belief update：

- explicit：comment、revision request、user rewrite、label/tag、like/dislike、rating。
- semi-explicit：highlight 某句喜欢或不喜欢。
- implicit：dwell_time_bucket、skip/drop、tip_bucket、favorite、continue_reading、scroll depth。
- delayed：feedback 指向更早的 output，而不是当前 output。
- noisy / conflicting：部分信号与真实偏好无关，或与旧 belief 冲突。

### 2.3 Hidden Intent / State Target 层

训练时可以有 hidden intent，但推理时 Controller 不能看到。标注重点不是单一答案，而是 state / belief target：

- intent hypotheses：可能意图列表，而不是只保留一个解释。
- scope：scene、character、style、pacing、dialogue、plot 等适用范围。
- priority：这条反馈在当前 next_task 中多重要。
- risk：overgeneralization、misattribution、story drift、user burden。
- confidence / uncertainty：是否足够直接 adapt，还是需要 ask/probe。
- negative evidence：哪些解释不应该采用。

### 2.4 Brief + Action Target 层

oracle Personalization Brief 把 belief 压缩成 generator 可执行的控制信号：

- intent_hypothesis、scope、confidence、risk。
- generation_directives：下一轮具体应该怎么改。
- negative_constraints：哪些东西不能误改，防止过度纠偏。
- action：continue、ask_clarification、probe_variant、rewrite、rollback_or_weaken、ignore。
- rollback trigger：如果后续反馈否定当前假设，如何减弱或撤回。
- rubric_hints：下一轮评价要检查什么。

### 2.5 Rollout / Reward 层

同一 feedback 采样多个 candidate brief / action plan / y_{t+1}，形成可用于 SFT、DPO、GRPO 或 contextual bandit 的训练信号：

- UserSim training：输入 user_profile、story_context、task、previous_generation、session_state；输出 explicit_feedback、implicit_feedback、hidden_satisfaction、next_user_action。
- Controller training：输入 history_belief、previous_task、previous_generation、feedback_bundle、next_task、story_context；输出 belief update、Personalization Brief 和 action policy。
- Generator rollout：Frozen Generator 接收 next_task、story_context、brief、chapter/action plan，生成 y_{t+1}。
- Reward construction：Rubric/Judge 比较 y_t、feedback_t、y_{t+1}，UserSim 读 y_{t+1} 输出下一轮反馈、行为和 satisfaction，Score Aggregator 汇总 bench return。

### 2.6 数据切分与一致性控制

- Explicit：显式、立即、低噪声。
- Implicit：只有隐式反馈或显隐混合。
- Delayed：反馈指向更早输出。
- Contradictory：新反馈和旧 belief 冲突。
- Drift：项目级偏好发生变化。
- Noisy：反馈部分不相关。
- Sparse-k：只给 k=1/3/5 条反馈，测试 data efficiency。
- Held-out users / feedback regimes：测试泛化。

闭环评测必须固定 simulator snapshot、judge snapshot、prompt version、random seeds 和 common random numbers，避免同一策略因为环境随机性被误判。

## 3. 方法设计（Method）

v7 系统由四类角色组成：Qwen3-4B-UserSim、Belief-Guided Personalization Controller、Chapter/Action Planner、Frozen Generator。方法的关键是把 ambiguous entertainment feedback 转成 agent state / belief，再转成 action 和 brief，而不是让生成器直接吞掉全部历史。

### 3.1 Qwen3-4B-UserSim

UserSim 不是 prompt-only 用户，而是训练过的娱乐行为反馈模拟器。它要学习用户在内容消费和互动过程中可能如何给显式和隐式反馈，包括短评论、highlight、dwell time、tip、skip、continue_reading 和 delayed comment。

训练流程：

1. full-parameter SFT：学习从 user_profile、story_context、task、previous_generation 生成 feedback bundle。
2. 可选 DPO / GRPO：优化 realism、profile consistency、implicit calibration、diversity、non-leakage，避免过度显式、避免把隐藏画像原文泄漏给 Controller。
3. 冻结 UserSim：Controller 训练之后不再回头更新 UserSim；no Phase-4 UserSim improvement after Controller training。

### 3.2 Belief-Guided Personalization Controller

Controller 是核心贡献。它不直接写内容，而是执行 agent state / belief update，并把 state 压缩成 Personalization Brief。

Personalization Brief 包含：

- belief_update：intent hypotheses、scope、priority、confidence、evidence、negative evidence、risk。
- adaptation_action：continue、ask_clarification、probe_variant、rewrite、rollback_or_weaken、ignore。
- generation_directives：下一轮生成应该怎么改。
- negative_constraints：哪些东西不能误改，防止过度纠偏。
- ask_user / probe：是否需要澄清，或者生成低成本 probe 来获取偏好。
- rollback_trigger：后续反馈否定当前假设时如何撤回。
- rubric_hints：下一轮评价要检查什么。

训练流程：

1. SFT：学习 oracle belief update、oracle brief 和 action decision。
2. DPO / GRPO：Controller 采样多个 brief/action，Frozen Generator 生成多个 y_{t+1}，Frozen UserSim 和 rubric judge 打分，然后只更新 Controller。
3. 不做 joint UserSim–Controller co-training。这样可以避免 UserSim 和 Controller 互相适应导致 benchmark 漏洞。

### 3.3 Chapter/Action Planner

Action Planner 根据 agent state / belief 的 confidence、risk、scope 和 user burden 做闭环决策：

- confidence 高、risk 低：continue 或 scoped rewrite。
- confidence 低、risk 高：ask clarification。
- confidence 中等、可以低成本验证：probe variant。
- 新反馈推翻旧 belief：rollback_or_weaken。
- 反馈噪声高或与任务无关：ignore 或弱化。

这部分体现 agent 的作用：它不是一次性 prompt template，而是一个在不确定环境中选择行动、接收反馈、更新 belief 的 policy。

### 3.4 Frozen Generator

主实验使用 Frozen Generator。原因是：如果同时训练 Generator，就很难判断效果来自 Controller 还是 Generator 本身。Frozen Generator 接收 next_task、story_context、Personalization Brief，然后写下一段。

可选 appendix 可以训练 Qwen3-4B-Generator 做 brief following，但这不是主贡献，只作为 ablation。

### 3.5 Judge 与 Score Aggregator

Auto-Rubric Builder 由 y_t、feedback_t、next_task、brief 条件化生成 checklist。Judge 使用该 rubric 比较 y_t 和 y_{t+1}，输出 evidence scores、failure tags 和 textual diagnosis。Frozen UserSim 读取 y_{t+1}，输出下一轮 user action、explicit/implicit feedback 和 satisfaction。Score Aggregator 汇总：

```text
R_t = incorporation + scope + quality + simulator_satisfaction
      - overcommit - misattribution - user_burden - story_drift
```

这个 R_t 回传给 planner，用于下一轮 state update、diagnosis 和 RL-style optimization。

## 4. 评估指标（Evaluation Metrics）

v7 的主评测严格对齐 workflow 图：frozen UserSim + feedback-conditioned auto-rubric/Judge + Score Aggregator。它要证明三件事：agent state 是否正确更新、few-shot feedback 是否足够、personalization 是否在下一轮体验中生效。它不是“故事好不好”这么简单，也不是人工主观评分。

### 4.1 主指标

- State Update Score：belief/session_state 是否识别正确 intent、scope、priority、risk 和 confidence。
- Rubric Delta Score：feedback-conditioned Judge 衡量 y_{t+1} 是否相对 y_t 正确吸收了 o_t 指向的反馈。
- Scope Control：适配是否只发生在正确 scope，例如只改对应 scene/action/content dimension，不错误改变全局体验。
- Overcommit Rate：把局部反馈错误推广成全局规则的比例，越低越好。
- Misattribution Rate：把反馈解释到错误维度的比例，例如把台词问题误解成节奏问题。
- UserSim Score：frozen UserSim 对 y_{t+1} 输出 hidden_satisfaction、next_user_action、retention/continue signal。
- Implicit Feedback Utilization：只有 dwell/skip/tip/highlight 等隐式反馈时，是否仍能更新 state 并做出合理适配。
- Agent Policy Quality：ask/probe/continue/rewrite/rollback 是否选择合理。
- Ask Rate：系统问澄清问题的频率。
- User Burden：澄清问题和额外交互带来的用户负担。
- Quality Preservation：人物一致性、剧情连贯性、文风质量是否保持。
- Utility@k Feedback：只有 k 条反馈时的个性化收益。
- Win Rate：与 baseline 生成结果的 pairwise win rate。

### 4.2 Bench scorer

主 scorer 只包含三项：

1. **Rubric/Judge**：比较 y_t、feedback_t、y_{t+1}，输出 delta scores 和 failure tags。
2. **UserSim**：读 y_{t+1}，输出下一轮反馈、行为和 satisfaction。
3. **Score Aggregator**：合成 R_t 和 BenchReturn_H。

Oracle-aided rubric 和少量人工校准样本可以做 calibration 或 diagnostic，不作为主 leaderboard 分数。主表使用 feedback-only deployable rubric + frozen UserSim。

### 4.3 公式

```text
StateUpdateScore = score(intent, scope, risk, confidence | oracle_state_target or judge_rubric)

RubricDelta = mean_i rubric_score_i(Delta Incorporation | y_t, o_t, x_{t+1}, y_{t+1})

Scope Control = mean_i rubric_score_i(correct_scope) - penalty(overscoped_changes)

Overcommit Rate = count(local_feedback_globalized_wrongly) / count(feedback_events)

Misattribution Rate = count(wrong_preference_dimension) / count(adaptation_decisions)

UserSimScore = UserSim(y_{t+1}, user_profile, session_state_t)

Utility@k Feedback = E[BenchReturn_H | first k feedback events]

Agent Policy Quality = score(action_t | belief_uncertainty, risk, user_burden, downstream_return)

BenchReturn_H = Σ_t (rubric_delta_t + usersim_score_t - penalties_t)
```

## 5. 实验内容（Experiments）

### 5.1 主实验

比较 Ours-SFT 和 Ours-SFT+RL 是否优于 No state update、Naive feedback prompt、raw-history agent、LaMP retrieval、PPlug、P-RLHF、FSPO、WildFeedback-DPO、OPEN、GATE、PREFINE。所有方法使用同一个 Frozen Generator、frozen UserSim 和 rubric/Judge，避免生成模型或 evaluator 差异干扰。

### 5.2 难度分组实验

分别在 Explicit、Implicit、Delayed、Contradictory、Drift、Noisy、Sparse-k 七类反馈上报告 RubricDelta、UserSimScore、BenchReturn、Scope Control、Overcommit Rate、Quality Preservation。重点看 Implicit/Delayed/Contradictory/Drift，因为这些最能体现 state update 的必要性。

### 5.3 消融实验

- 去掉 implicit feedback：验证 dwell/tip/skip/highlight 是否有用。
- 去掉 belief/session_state update：验证是否必须显式维护 agent state。
- 去掉 scope 字段：观察 Overcommit Rate 是否升高。
- 去掉 negative_constraints：观察 story drift 和 overcorrection 是否升高。
- 去掉 confidence/risk：观察 calibration 和 ask/probe 决策是否变差。
- 去掉 ask/probe action：观察高风险含糊反馈下是否更容易错改。
- 只做 SFT，不做 DPO/GRPO：验证 rollout preference training 是否提升 hard feedback。
- 用 deterministic summary 或 state diff 替代 brief：验证结构化简报是否必要。

### 5.4 泛化实验

- Held-out users：用户画像没在训练集中出现。
- Held-out feedback regimes：某类噪声或延迟模式没在训练中出现。
- Cross-genre：从 dark fantasy 泛化到 romance、sci-fi、xianxia、urban fantasy。
- Low-feedback：只给 1/2/3 条反馈，测试 data-efficient personalization。

### 5.5 校准实验

抽样让真实读者或作者校准 UserSim 和 rubric/Judge，但不进入主 bench 分数。检查：

1. 反馈解释是否合理。
2. scope 是否过大或过小。
3. 下一段是否真的变得更符合反馈。
4. 是否损害人物动机、剧情节奏和故事质量。
5. 是否问了不必要的问题。

## 6. 论文贡献（Contributions）

第一项贡献：Feedback-to-state formulation。提出面向娱乐场景的 next-turn personalization workflow，把 ambiguous user feedback 定义为 sparse/noisy observation，并显式维护 intent、scope、priority、risk 和 confidence 的 agent state / belief state。

第二项贡献：Personalization Brief。提出 Planner-to-Generator 的结构化中间表示，把 belief 压缩成 intent hypothesis、scope、directives、negative constraints、ask/probe/rollback trigger，使 Frozen Generator 可以被安全控制。

第三项贡献：Data-efficient controller training。冻结 Generator，只训练 planner/controller；通过 candidate state update / brief 对比、delta scoring、UserSim rollout 和 Utility@k feedback 证明少量用户反馈也能产生个性化收益。

第四项贡献：Agentic closed-loop workflow。把 continue、ask clarification、probe variant、rewrite、rollback_or_weaken、ignore 作为 action policy，并让 Score Aggregator 将 judge diagnosis 和 UserSim response 回写给下一轮 belief。

第五项贡献：Entertainment agent workflow benchmark。构建面向娱乐场景的 ambiguous feedback personalization benchmark，并用小说生成作为可控实例，覆盖显式、隐式、稀疏、噪声、延迟、矛盾、drift、held-out users 和 held-out feedback regimes。

第六项贡献：系统性 baseline 和 ablation。把 retrieval personalization、raw-history prompting、LaMP/LongLaMP、P-RLHF、OPPU、PPlug、FSPO、WildFeedback-DPO、OPEN、GATE、PREFINE 等方法统一到 same next-turn protocol 下比较，证明结构化 belief-to-control adaptation 的必要性。