Novel Feedback Autoresearch
小说反馈 Agent v1–v4 总结
这页把 v1 到 v4 的研究脉络合并成一个可阅读版本：为什么要做、各版和哪些 baseline 对比、method 如何从规则更新演化到 encoder-state simulator、data 如何从合成轨迹走到真实小说数据适配、eval 如何从单轮 F1 变成闭环和干预式评测，以及最终结果如何逐步提升。
Motivation
核心问题：用户反馈不只是打分，而是会改变未来生成的状态。
当前主线不是“写更好的一章小说”，而是研究个性化生成 Agent 如何把显式和隐式反馈转成可追踪、可回滚、可用于未来动作的 agent state update。
反馈信号是多模态的
显式信号包括 like、favorite、rating、comment、rewrite request；隐式信号包括 dwell_time_sec、fast_swipe、reread、continue_next、scroll depth。v1 的起点就是发现只看显式反馈会漏掉大量 silent dissatisfaction。
目标是更新 agent state
一次反馈可能应该更新 user memory，也可能只更新当前 story state、critic.checklist、planner.policy、retriever.policy 或 generator policy。错误的 target 会导致“理解了偏好但未来不会用”。
评测要看未来影响
单轮标签准确率不够。真正重要的是状态更新后，下一章、后续几章、反事实 probe 和 rollback 场景中，模型是否仍然使用正确、最小、带 scope 的状态。
Scope
AHEAD intentionally disabled
这条线明确不把 early-awareness / AHEAD 作为当前卖点；当前聚焦 explicit + implicit feedback → preference/state update → future generation improvement，以及 delayed feedback → trace credit assignment。这样可以让论文问题更聚焦：反馈如何驱动个性化 Agent 的动态状态，而不是泛化到所有长程 Agent 能力。
Baseline 对比了哪些
baseline 从“无个性化”扩展到“状态条件生成”和 oracle 上界。
v1 先在规则更新器内部做 round-to-round 对比；v2 定义更完整的 benchmark baseline；v3/v4 把它们落成可运行的闭环与 encoder 对比。
| Baseline / Method | 中文解释 | 主要用于回答的问题 | 在哪些版本出现 |
|---|---|---|---|
| No personalization / no_update | 不读取用户反馈，也不更新状态。 | 动态个性化是否真的有收益？ | v2 设计，v3 suite，v4 复现 |
| Static profile prompting | 只把用户固定画像放进 prompt，不学习每轮反馈造成的漂移。 | 静态画像是否足以解决小说读者偏好？ | v2/v3/v4 |
| Full history prompting | 把完整历史塞进上下文，让 LLM 自己归纳。 | 长上下文能否替代结构化状态更新？ | v2 设计基线 |
| Raw feedback RAG | 检索原始评论/反馈片段后直接生成。 | 直接读反馈会不会过拟合表面措辞或讽刺？ | v2/v3 |
| Memory-only update | 只写摘要记忆，不路由到 critic、planner、retriever、generator。 | 只写 memory 是否足以改变未来行为？ | v1 对照思路，v3 suite |
| Personalized reward / reranker | 用用户历史训练 reward/rubric 或做 reranking。 | 作为强相关工作/诊断器；当前生成策略不走 personalized reranking。 | v2 设计，v4 audit |
| State-conditioned planning | 把结构化 reader state 和 gold/predicted state diff 注入 planner，直接生成下一章。 | 显式状态路由是否比 memory-only 更有效？ | v3/v4 核心非 oracle 方法 |
| Uncertainty-aware planning | 在状态更新中加入置信度、ask/hold gate 和冲突处理。 | 噪声、延迟、讽刺、隐式反馈下如何避免过度更新？ | v3 suite，v4 诊断 |
| Conservative scoped update | 强调 scope、anti_scope、TTL、provenance，减少全局污染。 | 如何降低 overgeneralization、rollback scar、cross-user contamination？ | v3 suite，v4 worst-case 分析 |
| Oracle update | 使用 hidden preference / gold state diff。 | 衡量当前方法距离理论上界还有多远。 | v3/v4 |
External Baselines / Related Methods
借鉴的他人方法：数据、规模、方法和指标。
这里的 baseline 不只指我们自己实现的 no_update / memory_only，也包括这条线参考或可对比的外部工作。能从论文摘要/正文明确拿到的规模写具体数字；没有统一总数的工作按其公开任务或数据集粒度说明，避免把不同设置硬凑成一个数字。
| 外部方法 / 论文 | 我们借鉴或对比的点 | 他们用了什么数据 / 多大规模 | 方法核心 | 评测指标 |
|---|---|---|---|---|
| LaMP: When LLMs Meet Personalization | 静态 personalization baseline：static profile、full history prompting、retrieval-augmented personalization。 | 7 个个性化任务：3 个 text classification + 4 个 text generation；每个 user profile 有多条历史 item。任务包括 citation identification、movie tagging、product rating、news headline、scholarly title、email subject、tweet paraphrasing。 | 从用户 profile 检索个人历史 item；比较 no-retrieval、random、BM25、Contriever、recency、IPA、FiD 等 personalized prompting / retrieval 方法。 | classification 用 Accuracy / F1；rating 用 MAE / RMSE；generation 用 ROUGE-1 / ROUGE-L。我们借鉴其“静态 profile + 检索历史”的 baseline，但指出它没有持续 feedback-driven state update。 |
| PRISM Alignment Dataset | 个体化 human feedback 数据源参考；说明不同人群/文化下偏好不是一个 universal reward。 | 1,500 名来自 75 个国家的参与者；8,011 场 live conversations；覆盖 21 个 LLM；包含 sociodemographics、stated preferences、contextual preferences 和 fine-grained feedback。 | 把参与者画像、对话上下文和个体化评分连接起来，用于研究 subjective / multicultural alignment。 | 个体化 ratings、跨人群/跨文化 disagreement、case-study 分析。我们借鉴其“user profile + contextual preference + per-user feedback”的数据组织，而不是只学平均偏好。 |
| WIMHF: What’s In My Human Feedback? | 把 human feedback 拆成可解释 preference axes；用于 v2/v4 的 sparse narrative axis encoder 设计。 | 7 个 widely-used feedback datasets；文中示例包括 HH-RLHF、PRISM、LMArena、Community Alignment 等。SAE 设置中经验上使用 (M,K)=(32,4) 来得到稀疏、可解释特征。 | 在 response pair 差异上训练 sparse autoencoder，发现 measurable preferences；再回归 preference label 得到 expressed preferences，并用自然语言解释 feature。 | preference prediction signal：稀疏特征达到 dense embedding 可预测信号的 84%、black-box reward model 的 67%；description fidelity 用 Pearson correlation；数据清洗在 RewardBench 2 safety 上有 +37% 改善。 |
| P-GenRM: Personalized Generative Reward Model | personalized reward / reranker 强 baseline；我们用它启发 user prototypes、个性化 critic/rubric，但当前 generation policy 仍是 direct state-conditioned generation，不做 personalized reranking。 | ChatbotArena-Personalized、PRISM-Personalized，以及 OOD 的 LaMP-QA。实验覆盖 LLaMA-3.1-8B / 70B；8B/70B 训练分别用 8/32 GPUs；prototype 数量选择 50；结果通常报告 5 independent runs。 | 把 implicit history + explicit criteria 转成 structured evaluation chains：动态 persona、criteria weights、response score；训练包括 SFT、GRPO process reward / outcome reward、hard-negative curriculum；test-time user-based scaling 用 individual + prototype 聚合。 | PersonalRewardBench 上用 pairwise accuracy / macro accuracy；LaMP-QA cold-start 用 Spearman rank correlation。论文报告 P-GenRM 相比 prior SOTA 平均提升 2.31%，test-time scaling 另有约 3% boost。 |
| ProPerSim | stateful user simulator 参考；支持我们从“LLM user persona 打分”升级为 ESUS / dynamic reader simulator。 | 32 个 distinct personas；模拟 realistic home scenarios；评价标准由大规模 survey data 启发。相关 proactive-agent 数据基线包含 6,790 training events / 233 test events。 | 用户 agent 在模拟环境中和 assistant 交互，对 recommendation 的内容与时机给 rating；ProPerAssistant 用 RAG + preference alignment 持续学习。 | 用户满意度 rating / performance score；文中 ProPerAssistant 从 2.2 / 4 提升并稳定到 3.3 / 4；另有人类评估 persona realism 与 recommendation evaluation quality。 |
| PrefDisco | 主动发现偏好 baseline；启发 human-pilot 中优先询问不确定/高价值偏好，而不是随机问用户。 | 把静态 benchmark 转成 interactive personalization tasks；10 个任务、约 10K scenarios；评估 21 个 frontier models；每个 persona-task pair 只暴露 sparse contextual preferences，最多 5-turn 交互。 | 模型需要发现自己不知道哪些 user preference，主动提问，再生成个性化推理/回答；定义 PREFALIGN 作为细粒度 rubric-based alignment metric。 | PREFALIGN、preference discovery accuracy、response alignment、factual accuracy；论文报告 29.0% naive personalization 反而低于 generic response，模型平均只问 1.42 个问题。 |
| Swap-guided Preference Learning for Personalized RLHF | counterfactual / user-swap stress test 参考；防止 personalized model collapse 成 universal reward。 | 面向 sparse preference data 和 user-specific latent preference；公开摘要不提供单一 headline 数据规模，因此这里把它作为方法型 baseline，而非数据规模型 benchmark。 | 在 VPL / personalized RLHF 中构造 fictitious swap annotators，利用“同一文本、反向用户偏好”的 mirroring property 约束 encoder，缓解 posterior collapse。 | 评估 user-specific preference prediction、个性化 reward 区分度和 collapse/anti-collapse 效果。我们在 v3/v4 中借鉴为 same-story/different-user、same-user/different-content counterfactual separation。 |
| ActiveDPO | 主动采集显式偏好对的 baseline；启发 future human pilot 的 active selection 策略。 | 面向 alignment 中昂贵的人类 preference annotation；论文按下游任务/候选池做主动数据选择，公开摘要不提供一个统一数据总量。 | 用理论化的 active data selection criterion 选择最有信息量的 preference pairs，并让 LLM 本身参数化 reward model，而不是假设线性 latent reward。 | sample efficiency、alignment task performance、selected pair value。我们借鉴为“只在 simulator 不确定、axis 冲突、会影响 state routing 时询问用户”。 |
| Beyond Binary Preferences / Ordinal Feedback | 评分不是只有 chosen/rejected；支持我们把 rating、slightly/strongly preference、dwell 强度做成 ordinal / continuous feedback。 | 使用 Likert-scale / ordinal preference data；公开摘要强调数学框架而非单一 benchmark 规模。 | 把 ordinal preference 建模为 discrete ordinal regression，推导 negative log-likelihood loss 和 all-threshold loss，学习 threshold parameters。 | reward model loss / preference prediction accuracy / calibration。我们借鉴其“阈值 + 强弱偏好”思想，避免把 dwell_time_sec 或 rating 粗暴二值化。 |
| AutoMetrics | 自动诱导评测指标；启发 v2/v4 的 metric formula boxes 和从人类反馈生成可解释 evaluator。 | MetricBank 含 48 个 curated metrics；跨 5 个 diverse tasks；每个新任务少于 100 个 human feedback points，文中还提到约 80 个 feedback points 的低数据设置。 | 从任务描述和少量人类信号生成/检索候选 metrics；用 regression 组合成最能预测 human signal 的 evaluator，并输出可解释报告。 | Kendall correlation with human ratings；相比 LLM-as-a-Judge 最高提升 33.4%；还测试作为 proxy reward 是否能替代 verifiable reward。 |
| AutoLibra | 从开放式 feedback 诱导 agent trajectory 指标；启发我们把评论解析成 state-routing / structured-diff 指标。 | 多个 agent domains；每个 dataset 80 trajectories annotated with one feedback；优化实验中每阶段标注 18 trajectories，3 stages。 | 把开放式 human feedback ground 到 agent behavior，聚类正/负行为，生成有定义和例子的 concrete metrics，再用 LLM-as-a-Judge 评估 trajectory。 | metric coverage、redundancy、LLM-as-a-Judge score；文中报告 challenging 2D text game 中 3 stages 后 >20% improvement。 |
| RewardBench 2 | reward/reranker 评价参考；提醒我们不能只看 reward model 在简单 pairwise 上的分数。 | 1,865 prompts；completions 来自 20 个不同模型或 human-written completions；6 domains：focus、math、safety、factuality、precise instruction following、ties；评估 over 100 reward models。 | 从 pairwise chosen/rejected 扩展为 best-of-4：1 chosen + 3 rejected distractors；用 unseen human prompts 构造更难的 reward model benchmark。 | accuracy-based reward model evaluation，并看与 downstream RL finetuning / best-of-N sampling 的 correlation；文中指出模型在 RewardBench 2 上平均比原 RewardBench 低约 20 points。 |
| SASRec / BERT4Rec / sequential recommenders | 行为序列 baseline；用于对比“把阅读行为当序列推荐” vs “把反馈转为 agent state update”。 | SASRec 等在 MovieLens、Amazon review、Steam 等用户-item 行为序列上评测；数据规模按公开 recommender dataset 变化，覆盖 sparse 与 dense settings。 | SASRec 用 self-attention 从用户历史 action 中选择相关 item 预测 next item；BERT4Rec 用 bidirectional transformer / Cloze-style mask 预测序列中 item。 | HitRate@K / Recall@K / NDCG@K 等 next-item ranking metrics。我们借鉴其 sequence modeling 作为强 baseline，但小说生成还需要 state diff、scope、story consistency 和 causal future uplift。 |
| Generative Agents | 长期 memory / reflection / planning 架构参考；不是核心 baseline，但影响 v4 simulator 的状态拆分。 | Smallville sandbox 中 25 个 generative agents 进行社会行为模拟；数据是 agent observations、memory stream、reflections、plans 和自然语言交互。 | 用 memory stream 记录观察，定期 reflection 汇总高层记忆，再由 planning 驱动 future behavior。 | 人类评估 self-knowledge、memory、plans、reactions、believability 等。我们借鉴“memory / reflection / planning 分层”，但把评测换成用户反馈后的 state update 和未来生成效果。 |
How to read this list
这些外部方法并不都直接解决“小说反馈 Agent”问题：LaMP / PRISM / P-GenRM 更接近 personalized alignment，ProPerSim / PrefDisco 更接近 user simulator 与主动偏好发现，AutoMetrics / AutoLibra / RewardBench 2 更接近评测设计，SASRec/BERT4Rec 是行为序列强 baseline。我们的方法要比它们多做一步：把 feedback 变成带 target / scope / anti_scope / TTL / provenance 的 gold_agent_state_update，并验证它是否在未来直接生成中被真正使用。
Method 的变迁
从规则化 state diff，到闭环 suite，再到可训练 encoder-state simulator。
每一版都不是简单加指标，而是在补前一版的“论文性短板”：v1 证明可自迭代，v2 让 bench 变难，v3 连接真实数据与闭环，v4 让 simulator 从规则变成可学习模型。
v1：从显式反馈到 PUMA-lite / CREDIT-TRACE
v1 建立两条任务线：Self-Evolve 处理单轮反馈到 state diff；Long-Horizon 处理延迟反馈到 culprit turn / culprit node。方法从 explicit-only baseline 开始，加入隐式信号校准、state-diff target router、scope verifier、positive-signal gate、confidence calibration 和 future-probe-aware selection；长程线从 final-turn blame baseline 演化到 CREDIT-TRACE v2。
关键变化：不再只问“用户喜欢吗”，而是问“这条反馈应该更新哪个 agent 组件、作用域多大、未来 probe 是否真的变好”。
v2：ESUS user simulator 与 FUSE-Hard
v2 不是直接追分，而是重新定义 benchmark：用 Encoder-State User Simulator 表示隐藏用户状态、内容感知、反馈发射、状态转移和校准噪声；用 FUSE-Hard / PIF-Hard 评测 state routing、structured diff、NCFU、anti-probe harm、rollback、drift、component masking 和 cross-user contamination。
关键变化：把“容易刷到 90% 的未来 probe win rate”升级为需要证明最小、可逆、带 scope、可因果使用的状态更新。
v3：真实小说数据与 96-run suite
v3 构建 raw / processed / derived 数据管线：保留 WebNovelBench、NovelUpdates、Qidian/WebNovel metadata 等来源的许可状态，发布 compact public samples；然后从 72 trajectories / 360 events 的 dynamic simulator smoke 扩展到 96 experiments，覆盖 12 scenarios × 8 methods，明确 state-conditioned direct generation 且 no personalized reranking。
关键变化：从“概念设计”转为“可运行矩阵”，可以比较 data condition、simulator variant、method、stress scenario 和 oracle gap。
v4：Encoder-State Simulator
v4 先复现 v3 suite 并诊断 worst 3 scenarios，再训练 encoder-state simulator：输入 profile、state_before、history window、candidate content axes，输出 continue/drop、comment propensity、dwell time 和 state_delta。模型对比 zero_delta_baseline、mlp_no_history、gru_history、transformer_state、transformer_prototype。
关键变化：simulator 不再只是规则标签，而成为可以用 behavior fidelity、state_delta_cosine、counterfactual consistency 和 calibration 检验的模型。
Data 的构造
数据结构从合成 feedback rows，逐步升级为带许可边界的 UserTrajectory。
核心原则是：公开页面只放 compact samples；受限来源不重分发；每个 trajectory 都要能支持 preference update、agent state diff、future probes 和闭环 eval。
PIF-Bench synthetic novel feedback trajectories
v1 使用合成小说反馈样本：sample_id、hidden_preference_profile、content_features、explicit_feedback、implicit_feedback、gold_state_diff、future_probes。Self-Evolve 数据共 466 条，其中 66 条 neutral/no-update 控制样本；Long-Horizon 使用 120 个 episode。
ESUS / FUSE-Hard 数据格式
v2 规定训练和评测 JSONL 必须记录 source、license_class、label_origin、story_state、agent_state_before、hidden_user_state、observable feedback 与 gold_agent_state_update。这样可以分清真实读者数据、metadata、simulator、human pilot 和 synthetic labels。
真实小说数据 raw / processed / derived
v3 下载并登记 5 个 raw snapshots，构造 4 个 complete novels、12 条 feedback trajectories、60 条 state update examples。Qidian-Webnovel DTA 路径只保留 metadata / adapter，不绕过 reader comments/replies 的 Data Transfer Agreement。
可训练 encoder 的轨迹样本
v4 UserTrajectory 明确 uses_reranking:false，并包含 source、license_class、explicit / implicit feedback、state_before、state_after、gold_agent_state_update、future_probes。训练集扩展为 1344 examples，history_len=10，state_dim=11，content_axes 包括 pacing_speed、female_agency、lore_density、continuity_risk、novelty、emotional_payoff。
Eval 的实现
评测从标签 F1，扩展为行为、状态、干预、故事一致性四层。
指标名称保留英文；解释用中文。核心是避免一个 aggregate score 掩盖组件失败。
Feedback-to-State
dimension_f1 衡量偏好维度是否识别正确；target_f1 衡量 agent-state target 是否路由正确；future_probe_win_rate 衡量应用 state update 后未来 probe 的胜率；neutral_no_update_accuracy 检查不该更新时是否保持 no-op。
CREDIT-TRACE
culprit_step_accuracy、culprit_node_f1、repair_gain 用于评估延迟反馈的因果归因：用户后面抱怨“节奏又慢了”，系统要能回到前几章找到真正造成信任下降的节点，而不是只怪最后一章。
FUSE-Hard / PIF-Hard
引入 structured diff score、overgeneralization rate、anti-probe harm、drift adaptation、rollback success、cross-user contamination 和 state-use necessity，重点检查“更新是否正确、最小、可逆、真的被用到”。
Dynamic evaluation
dynamic_return 衡量闭环多轮收益；ExpectationAlign 衡量 planner 是否用到动态 reader state；PersonalizationDiversity 衡量不同用户状态下直接生成是否产生差异；Regret-to-oracle 衡量和 hidden oracle 的差距。
Behavior fidelity
continue_auc、comment AUPRC、log-dwell MAE、fast-swipe AUC、Brier score 与 calibration ECE 衡量 simulator 是否能预测读者行为，而不仅是文本好不好看。
State / intervention / story
state_delta_mse、state-delta cosine、counterfactual consistency、story consistency、feedback credit assignment 同时约束状态转移、反事实方向、剧情设定一致性和长程责任归因。
最终结果的演化
结果的主线：状态路由越来越准，闭环收益越来越可解释。
下面只列关键指标；其他描述在卡片里解释为什么这些指标代表真实进展。
future_probe_win_rate 从 explicit-only baseline 到 Round 10 consolidated PUMA-lite v2。target_f1 同期从 0.2532 → 0.7319，说明主要收益来自 agent-state target routing 和 scope verifier。
culprit_step_accuracy 从 final-turn blame baseline 升到 CREDIT-TRACE v2；repair_gain 从 0.0760 → 0.2188，说明延迟反馈归因和修复建议变得可用。
dynamic simulator v1 使用 72 trajectories / 360 events；continue_auc = 0.9258，fast_swipe_auc = 0.9879，calibration_ece = 0.0849，说明 CPU smoke 能预测基础反馈行为。
state-conditioned planning 明显优于 memory-only
单次闭环实验中，memory_only 的 dynamic_return 为 2.4216，state_conditioned_planning 为 2.5917，oracle_update 为 2.7894；ExpectationAlign 从 memory_only 的 0.2667 提升到 state_conditioned_planning 的 0.7667。说明结构化状态比“写一段记忆摘要”更能驱动未来计划。
96 experiments 后，uncertainty-aware planning 是最强非 oracle
在 12 scenarios × 8 methods 的 suite 中，memory_only → uncertainty_aware_planning 的 dynamic_return 为 2.2011 → 2.5509，ExpectationAlign 为 0.1469 → 0.6621。conservative scoped update 的优势主要在 rollback_success、behavioral_scar_rate 和 contamination_leakage。
encoder-state simulator 让“用户模拟器”进入可训练、可诊断阶段
v4 训练 1344 examples。continue_auc 从 mlp_no_history 到 transformer_prototype 为 0.7038 → 0.7236；state_delta_mse 相对 zero_delta_baseline 保持更优；counterfactual_consistency 达到 1.0。与此同时，v4 诊断出 adversarial_contradiction、long_horizon_fatigue、rollback_recovery 是最关键的 worst 3 scenarios，分别对应 calibration_uncertainty_error 和 long_horizon_credit_assignment 等失败类型。
Self-Evolve 关键指标
Suite method ranking
Interpretation
每一版解决的不是同一个问题，而是连续补齐论文闭环。
如果把 v1-v4 放在一起看，最重要的演化是“从局部规则效果”走向“可审计数据、可干预评测、可训练 simulator”。
只做 memory 不够
v3 suite 中 memory_only 不如 state-conditioned planning；原因是小说反馈常常不是长期用户画像，而是当前 arc、当前 tension、当前 promise 的局部约束。需要 target、scope、anti_scope、TTL 和 provenance。
强模型也会被 naive eval 高估
v2 指出 easy future probes 可能被刷高；v3/v4 因此加入 stress tests、counterfactual swaps、rollback、contamination、story consistency 和 component masking，避免“看起来会迎合用户”却污染状态。
下一步应打 worst scenarios
v4 worst 3 是 adversarial_contradiction、long_horizon_fatigue、rollback_recovery。下一步最有价值的是提升不确定性校准、长程疲劳/信任状态建模、rollback 后无 scar 的恢复能力，而不是再堆单轮分数。
Artifacts
关联页面与原始 artifacts。
这些链接用于回看各版细节、数据样例、实验 suite 和 encoder 结果。