AI Studio Research · Novel Agent

Personalized User-Feedback Agent Evolution

纠偏后的主线：explicit + implicit user feedback → infer user preference state → update agent memory / critic / planner / generation policy → improve future personalized generation。重点不是 CUA / GUI / 多模态，也不是 LoCoMo/Reflexion/ALFWorld；重点是从用户反馈里得到信息并改变后续生成。

查看完整 Markdown 返回 AI 模块

Problem framing

论文定位

Learning User Preference State from Explicit and Implicit Feedback for Self-Evolving Generative Agents。

content generated at turn t

explicit: like / favorite / rating / comment / rewrite

implicit: dwell time / fast swipe / skip / continue

preference state + memory/framework update

future generation + retention evaluation

Benchmark

PIF-Bench

Personalized Interactive Feedback Benchmark：每条样本是 user-content interaction trajectory，而不是单 turn。它包含 hidden preference profile、内容特征、显式反馈、隐式行为、gold preference update、gold agent update 和 future probes。

Method

PUMA

Preference Update for Memory-and-Agent Framework Adaptation：不只是把反馈塞进 memory，而是路由到 user memory、critic checklist、planner policy、retriever policy 和 generation/reranker。

Core claim

Memory-only 不够

如果用户反复快速划走并评论“太拖”，系统不应只记住“用户不喜欢慢节奏”，还要更新 pacing critic、planner 的剧情推进约束和候选 reranker。

Benchmark splits

User simulator 怎么放进 benchmark

Simulator 是 controlled instrument，不是最终 human satisfaction proof。

Split	来源	用途
sim-controlled	behavioral simulator	有 hidden preference gold，可评估 preference-state inference accuracy。
sim-stress	edge-case simulator	测试噪声、偏好漂移、显式/隐式冲突、overgeneralization 和反馈稀疏。
human-pilot	真实小规模用户日志	校准 dwell distribution、like/favorite probability、comment categories，并做人类 A/B 验证。

Data schema

PIF-Bench 样本应记录什么

隐式行为必须结合内容特征和显式反馈解释；dwell time 不能直接等于喜欢。

{
  "user_id": "u_013",
  "hidden_preference_profile": {
    "stable": {"pacing": "fast_with_emotional_beats", "agency": "strong_female_lead"},
    "contextual": {"romance_scene": "subtext_not_direct_confession"},
    "taboo": ["misunderstanding trope", "passive rescue resolution"]
  },
  "trajectory": [{
    "generated_content": "...",
    "content_features": {"pacing_speed": 0.31, "female_agency": 0.35},
    "explicit_feedback": {"like": false, "favorite": false, "comment": "有点慢", "rating": 2},
    "implicit_feedback": {"dwell_time_sec": 8.2, "fast_swipe": true, "continue_next": false},
    "gold_preference_update": [{"dimension": "pacing", "direction": "increase_speed", "scope": "current_story"}],
    "gold_agent_update": [{"target": "critic.checklist", "content": "check exposition delays plot progress"}]
  }]
}

Metrics

不要只评“写得好不好”

关键是证明捕捉用户反馈之后，agent 的 state 和后续行为真的变了。

Preference inference

feedback prediction AUC/NDCG
dwell calibration
hidden preference accuracy

Update correctness

memory/framework update accuracy
scope accuracy
overgeneralization rate

Future effect

next-content win rate
long-term engagement / retention
repeated-error reduction
drift adaptation speed

ICLR 2026 map

ICLR 2026 论文详细分析表

按 motivation、data 构造、eval、method、效果、contribution/insight 与项目用法逐篇拆解，便于直接映射到 PIF-Bench / PUMA 的设计。

阅读说明：本节基于已下载的 OpenReview PDF 全文抽取文本整理；其中 PrefDisco 与 PerFit 的 PDF 已重新下载修复截断后再抽取。下方“译介”采用结构化中文详译/章节级转述，保留论文链接供核对。

论文	Motivation	Data 构造	如何 Eval	Method 细节	效果	Contribution / Insight	对本项目的用法
What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data人类反馈里到底有什么？学习偏好数据的可解释描述 ICLR 2026 Oral	人类反馈会以不可预测方式改变模型；现有分析常预设长度/谄媚等属性，难以自动发现偏好数据真正编码的主观维度。	分析 7 个偏好数据集：LMArena、Community Alignment、HH-RLHF、PRISM、Reddit、PKU-SafeRLHF、Tulu3；过滤数学/代码等客观正确性强的问题，聚焦主观对话反馈。	特征描述 fidelity、Pearson 相关与 Bonferroni 校正、逻辑回归 AUC、Δwin-rate 控制长度、CA 人类解释匹配、专家可解释性验证、RewardBench2 安全子集。	对成对回答取 embedding 差值，训练 BatchTopK sparse autoencoder；用 LLM 描述激活特征并验证；再用逻辑回归估计特征对偏好标签的影响，同时控制回答长度。	稀疏特征 AUC 0.672，对比黑箱奖励模型 0.766；解释性特征达到黑箱增益的 67%、dense embedding 增益的 84%。Arena 中翻转约 1000 个不安全相关标签使 RewardBench2 safety 从 8.9% 升至 46.2%。	提供无需预设属性的偏好数据解释工具，揭示数据集偏好冲突，并把可解释特征用于数据清洗和个性化。	先审计反馈再训练；把语气/格式等低风险主观轴用于个性化，把安全/政治等高风险轴单独治理，避免混合冲突偏好。
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback用于个性化 RLHF 的交换引导偏好学习 ICLR 2026 Poster	RLHF 通常假设单一通用 reward，压平用户差异；VPL 虽引入用户 latent，但在稀疏偏好和强 decoder 下会 posterior collapse，退化成平均用户。	Pets toy dataset 与 UltraFeedback-P。UF-P 从 UltraFeedback 按多维质量评分构造用户类型偏好，UF-P-2/UF-P-4 分别含两类/四类偏好。	Llama-3.2-3B、Llama-3.1-8B；基线 BTL/DPL/VPL；指标为偏好预测 accuracy、Active Units、latent 分离可视化、β 稳定性和训练开销。	构造 fictitious swap annotator，把 chosen/rejected 对调；非坍塌 posterior 应满足均值近似反号、方差近似不变。SPL 加 swap-guided regularization、Preferential IAF 和 adaptive latent conditioning。	VPL 在 UF-P-4 多数设置 AU=0，而 SPL 保持活跃 latent；3B UF-P-4 从 57.03% 升到 61.56%，8B 从 57.14% 升到 62.21%；Pets 达 100%。	首次系统指出 preference learning 中 posterior collapse，并给出利用偏好交换结构约束用户 latent 的方法。	个性化 Agent 若使用用户 latent，必须监控 latent 是否真的携带用户信息；可用“反偏好用户”做对比正则，避免少量反馈下退化为平均用户。
ProPerSim: Developing Proactive and Personalized AI Assistants through User-Assistant Simulation通过用户-助手模拟开发主动且个性化的 AI 助手 ICLR 2026 Poster	现实助手需要同时主动与个性化：只主动会打扰或误推荐，只个性化又要求用户先开口；真实收集个体行为/偏好数据成本高且有隐私问题。	基于家庭/Smallville 类模拟环境，构造 32 个 persona，含 Big Five、年龄、背景、兴趣、生活方式、日计划、长期目标；10–30 分钟粒度生成日程；rubric 经 MTurk 筛选为个人偏好、频率、时机、沟通安全四维。	用户行为自然度/persona 一致性人工评分；推荐合理性人工审查；32 persona 上用 0–4 总分与 successful intervention rate 评估。	ProPerAssistant 维护结构化当日记忆和相似历史检索；每步决定推荐或 No Recommendation；生成候选后由 user agent 评分形成偏好对，写入 buffer，并每日用 DPO+LoRA 更新。	平均分约从 2.2/4 提升到 3.3，成功干预率从 51.06% 到 71.51%；推荐频率从约每小时 24 次降到 6 次，更不打扰。	提出同时评估主动性与个性化的模拟任务，并给出 RAG + preference learning 的强基线。	个性化生成 Agent 不只要学“生成什么”，还要学“何时不生成”；反馈应区分内容、时机、频率、语气和安全。
PrefDisco: Benchmarking Proactive Personalized Reasoning主动个性化推理基准 ICLR 2026 Poster	现有 LLM 先追求客观正确，再对齐平均偏好；但教育、医疗、技术支持中，同一问题对不同用户需要不同解释路径，冷启动时必须主动发现缺失偏好。	将静态 benchmark 改造成交互个性化任务；100 个心理学 grounded persona；10 个任务×100 题×10 persona，共 10,000 场景；每个场景只激活稀疏上下文偏好。	21 个 frontier models，覆盖数学、逻辑、科学、医学、常识等 10 任务；Baseline/Discovery/Oracle 三条件；指标 PREFALIGN、normalized alignment 与原任务 accuracy。	将 personalized reasoning 拆为识别相关偏好属性、最多 5 轮主动提问、根据推断 profile 生成既正确又偏好对齐的回答。	210 个模型-任务组合中 29.0% 的 naive personalization 比 generic 更差；模型平均只问约 1.4 个问题；accuracy 从 Baseline 65.2% 降至 Discovery 60.1%，形式推理受损明显。	定义 personalized reasoning，提出 PrefDisco 和 PREFALIGN，证明个性化推理不是自然涌现能力。	Agent 必须学习何时问、问什么、何时停止，并同时监控客观正确率；可用 Baseline/Discovery/Oracle 诊断偏好发现上限与实际差距。
P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling带测试时用户扩展的个性化生成式奖励模型 ICLR 2026 Oral	个性化 alignment 需要用户特定 reward；现有 personalized RM 常把复杂偏好压成固定原则，且对新用户少量反馈泛化弱。	用当前 query、有限用户历史、显式偏好与候选回答构造 Structured Evaluation Chain：推断场景 persona/偏好，再生成加权 scoring rubric 与分数；评测 ChatbotArena-personalized、PRISM-personalized 与 LaMP-QA OOD。	LLaMA-3.1-8B/70B；PersonalRewardBench 用 accuracy/macro accuracy，LaMP-QA 用 Spearman；基线含 in-context judge、BT RM、GPO/VPL/PAL/SynthesizeMe。	三阶段：SEC SFT；criteria-based reasoning enhancement，用 GRPO 结合过程奖励与结果奖励；hard-negative curriculum。测试时聚类 50 个 user prototypes，并做 individual-level 与 prototype-level scaling 聚合。	P-GenRM-8B 在 ChatbotArena/PRISM 达 72.68%/65.32%，70B 达 73.42%/66.21%；测试时 scaling 到 75.92%/68.06%，约 +2.99%；LaMP-QA OOD Spearman 0.638。	首个 personalized generative reward model，用可解释评价链连接 persona、rubric、score，并提出个体级+prototype 级测试时扩展。	可作为个性化内容 Agent 的 reward/reranker layer：把用户历史转成可读 rubric，多采样降噪，用相似用户缓解冷启动。
AutoLibra: Agent Metric Induction from Open-Ended Human Feedback从开放式人类反馈中归纳 Agent 指标 ICLR 2026 Poster	Agent 多用任务成功率评估，粗粒度且依赖专家；开放反馈如“按钮 disabled 就别再点”包含中间行为指标，但没有被结构化利用。	CoGym 真实终端用户反馈 197 条轨迹；Sotopia、WebArena、WebVoyager、Baba-is-AI、MiniHack 等专家观察轨迹反馈；多数实验每数据集约 100 条轨迹，20% 留作验证。	提出 coverage 与 redundancy 两个 meta-metrics，并人工验证 grounding、judge、meta-evaluation；还用 Baba-is-AI 看诱导指标能否优化 prompt/agent。	LLM 将反馈拆为 aspect=(behavior, feedback, sign) 并定位到轨迹片段；再把 aspect 聚成指标，每个指标有定义、正例、反例；用 LLM-as-a-Judge 对轨迹打 +1/-1/N/A。	指标数量 6–10 时覆盖率收敛；Sotopia 约 60%，WebArena/WebVoyager 约 88%；人工验证平均超过 0.85；Baba-is-AI 中未直接优化成功率也提升约 20%。	把开放反馈自动转成可解释、可执行的 agent 行为指标，并可用于诊断与自我优化。	用户自然语言评论应先 grounding 到具体生成/交互行为，再聚成个人指标；coverage/redundancy 可检查反馈体系是否完整或过拟合。
AutoMetrics: Approximate Human Judgments with Automatically Generated Evaluators用自动生成评估器近似人类判断 ICLR 2026 Poster	开放式应用难以用可验证奖励评估；人类反馈可靠但慢且稀缺，传统 RM 又需要大量标签。	整理 MetricBank，含 48 个 NLP/文本生成指标和 Metric Card；实验用 SimpEval、HelpSteer2、EvalGen、RealHumanEval、CoGym 等带人类信号数据。	Criterion validity 用 Kendall’s τ；Construct validity 用 sensitivity/stability；还评估少样本反馈量、backbone 和 Tau-Bench 优化案例。	Generate 生成候选指标；Retrieve 从 MetricBank 和生成指标中筛选；Regress 对指标分数 z-score 后用 PLS 回归拟合人类标签并选 top-n；Report 输出权重和解释。	五个任务均优于或接近最好基线；EvalGen 比最接近 LLM Judge 提升 33.4%；Sensitivity 81.0–97.8%；约 80–100 条反馈后趋于饱和；Tau-Bench 优化略高于 verifiable reward。	提供低数据、任务自适应、可解释的自动指标合成框架和 MetricBank。	少量用户评分/点击/留存可学习个人指标组合，形成个人 reward；但要保留人工审查，防止小样本伪相关。
Flipping the Dialogue: Training and Evaluating User Language Models翻转对话：训练和评估用户语言模型 ICLR 2026 Poster	真实用户含混、渐进、会中止，不像 assistant 一样完整合作；用 assistant LM prompt 成用户会过于理想化，甚至更强 assistant 反而更差。	WildChat 约 384k 去重英文用户-ChatGPT 对话，按用户划分 train/val/test；GPT-4o 生成高层 user intent；翻转对话得到约 1.05M 训练样本。	WildChat/PRISM perplexity、首轮多样性、intent decomposition、终止 F1、自然度、用户角色保持、意图保持；外在评估用 GSM8K/HumanEval 与 GPT-4o assistant 对话。	从 base Llama 1B/8B 全参微调 UserLM；输入 intent 和已有对话状态，输出下一条用户话语；最后一轮输出 endconversation；发现 base checkpoint 比 instruct 更适合用户模拟。	UserLM-8B PRISM intent-conditioned PPL 7.42；首轮多样性 94.55 接近真人 94.01；终止 F1 63.54；自然度 80.21；用它模拟时 GPT-4o 任务得分从 74.6 降至 57.4。	提出通用 User LM 训练/评估框架，证明 prompt assistant 不是可靠用户模拟器。	要评估个性化反馈 Agent，需训练或校准“用户侧模型”，模拟抱怨、追问、中止和隐式偏好，而不只是让助手模型扮演用户。
RewardBench 2: Advancing Reward Model Evaluation推进奖励模型评估 ICLR 2026 Poster	Reward model 用于 RLHF、数据过滤和 BoN，但现有评测常复用下游 prompt，难测泛化；benchmark 分数与下游效果关系也不清楚。	1,865 个 prompt，约 70% 来自经同意的 WildChat，并去污染；六域：Factuality、Precise IF、Math、Safety、Focus、Ties；从二选一扩展为 best-of-4。	六域无权平均 accuracy；Ties 检查正确答案之间不应产生任意大 margin；用 113 个 RM 做 BoN 下游相关性，并用 17 个 RM 看 PPO。	按域构造 chosen + 3 rejected：事实性用双 LLM judge，指令遵循用 verifier，数学用多数投票+人工，安全用 rubric+人工，Focus 用 system prompt variation，Ties 人工构造多正确答案。	顶级 Skywork-Reward-V2 平均 84.1，但整体比 RewardBench 低约 20 分；RB2 与 BoN 下游平均 Pearson 0.87；PPO 中 benchmark 只能提示低分 RM 风险，高分不保证任意 RLHF 设置最优。	提供 unseen human prompts、多域、best-of-4、含 Ties 的更严格 RM 评测，并揭示 RM 分数与部署算法/分布匹配有关。	个性化 RM 不能只看二选一准确率；应加入多候选、等价偏好、真实用户 prompt 去污染，并按目标生成模型和用户分布评估。
Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback超越二元偏好：基于有序反馈的奖励建模框架 ICLR 2026 Poster	实际反馈常是 Likert 等级，而非简单 chosen/rejected；现有 margin、scaling、soft label 多为启发式，缺少等级生成模型。	训练使用 HelpSteer2 与 HelpSteer3，提供 -3 到 +3 的 7 级偏好强度标签；主体未说明重新采集新数据。	Llama-3.1-8B、Mistral-7B、Zephyr-7B 加 reward head；评测 RewardBench、RM-Bench；还报告 ordinal MAE、Acc@0/1/2、错误 margin 与噪声鲁棒性。	将 reward difference 作为连续潜变量，用可学习阈值切分为有序区间；推导 ordered-logit NLL 和 all-threshold loss；加入阈值 L2 正则，并比较对称/非对称阈值。	NLL-Symmetric 通常最佳，平均比启发式基线高约 2–5%；约 55% 精确预测等级、85% 在一档内；相对 Simple BT 错误数减少 35%，平均错误 margin 降低 87%。	把 Likert 偏好 reward modeling 系统化为离散 ordinal regression，并证明阈值学习/正则/对称性的重要性。	用户反馈不要压成 thumbs up/down；保留“略喜欢/强烈喜欢/无差异”等强度，可学习个人阈值与校准偏差。
Causally Robust Reward Learning from Reason-Augmented Preference Feedback从带理由偏好反馈中学习因果鲁棒奖励 ICLR 2026 Poster	二元偏好反馈信息量低，奖励模型容易学习伪相关特征；分布变化后偏好预测和下游策略都会失效。	ManiSkill 中构造 Pick/Push/Place/Pull Larger 方块任务并做颜色-尺寸相关/反转；Meta-World 中用 Push、Push-Wall、Pick-Place-Wall 训练，Pick-Place 留作新任务；偏好对附自然语言理由。	奖励准确率、ID/OOD color-swapped、novel task；再用学到的奖励标注 offline play data 训练离线 RL 策略并报成功率；基线 Single BT、BT-Multi、Reason-Feature Preference。	冻结 T5 语言编码器，把任务描述和理由映射到共享空间；将轨迹表示沿理由向量分解为 reason-aligned 与 orthogonal 部分，只让 aligned 部分解释偏好，并用等式/不等式约束抑制无关部分。	分布转移下最高约 1.5× 奖励准确率提升，novel task 下约 2× 策略表现；ManiSkill OOD 与 Meta-World novel 任务均优于基线。	把自然语言理由转成可复用因果投影轴，缓解偏好学习中的 causal confusion。	不要只收集喜欢/不喜欢；让用户给一句理由，并把理由作为因果维度，有助于跨场景迁移和抗伪相关。
PerFit: Exploring Personalization Shifts in Representation Space of LLMs探索 LLM 表示空间中的个性化偏移 ICLR 2026 Poster	RAG/PAG 参数免费但个性化弱；LoRA/OPPU 有效但每用户参数和边云通信成本高。作者研究用户个性化信息在隐表示中是否有低维结构。	LaMP 六任务：新闻分类、电影标签、商品评分、新闻标题、学术标题、推文改写；按 OPPU 设置选历史最多约 100 用户为个性化测试用户。	分类用 Acc/F1，评分用 MAE/RMSE，生成用 ROUGE-1/ROUGE-L；比较 Non-Personalized、PAG、RAG、StyleVector、LoRA-C/P、LoFiT、OPPU，并报告参数和训练时间。	比较 original query 与 personalization-enhanced query 的最后 token 隐状态，得到用户 δ-vector；SVD 显示低秩子空间，含 collective shift 与 personalized shift。PerFit 在隐藏表示上学习低秩干预，先学群体偏移，再学用户偏移。	六数据集上达到或接近 SOTA；相对 OPPU 平均少 92.3% 参数，训练时间减少 17.0%–35.8%；消融显示两阶段都必要。	揭示个性化信息可分解为群体共享偏移与个体独有偏移，并给出低参数表示干预方法。	用户反馈状态可存成“群体共性 + 个体偏移”的小向量，而非每用户全量微调；适合端侧/隐私友好的长久在线个性化。
Beyond Match Maximization and Fairness: Retention-Optimized Two-Sided Matching超越匹配最大化和公平：留存优化双边匹配 ICLR 2026 Poster	双边平台若只最大化匹配数，会让机会集中给热门用户，导致大量低匹配用户流失；公平曝光也不等同于最终留存目标。	合成数据中两侧各 1000 用户，匹配概率混合相似度与 popularity skew；真实数据来自日本大型在线约会平台，选 1000 男/1000 女构造匹配矩阵，并用约 6 万记录估计留存函数。	比较累计匹配数和用户留存率，考察时间步、popularity skew、噪声、规模；基线 Max Match、Uniform、FairCo。	MRet 学习个性化留存曲线，排序时同时考虑接收推荐者和被推荐者的边际留存增益；在凹留存曲线假设下推导可高效排序的 per-item Score。	合成实验中 MRet 以约 MaxMatch 70% 的匹配数取得更高留存；流行度偏置增强时仍稳健；真实稀疏矩阵上 MRet 留存最高。	正式提出双边匹配的留存优化问题，并给出动态 learning-to-rank 解法。	内容 Agent 不应只优化即时点击/喜欢，也要估计长期留存与边际满意度；反馈请求和内容曝光应分配到最能提升长期关系的位置。
Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders面向序列转导生成式推荐的超大规模记忆 ICLR 2026 Poster	工业推荐依赖超长用户历史；全序列 attention 效果好但 10k–100k 历史带来巨大延迟、QPS 和 GPU 成本。	Amazon-Electronics、KuaiRand-1K、Minimal Production，以及工业离线数据（日样本 O(10B)，平均/最大用户历史 7000/16000）；线上部署 12000 历史长度。	CTR AUC、Normalized Entropy、工业 engagement NE、QPS、训练/推理时间、线上 A/B；基线 DIN、TTSN、MHA、SASRec、HSTU。	把 candidate-to-history attention 拆成两段：先用虚拟 seed embeddings 将超长用户历史压缩成数百个可缓存 summary tokens，再让候选 item attend 到摘要；配合 quasi-linear attention 和生成式序列重构损失。	工业离线相对 HSTU Eval NE 在多任务下降约 0.40%–2.98%；QLA 支持更长序列且 QPS +5%；线上 C/O1/O2 分别 +0.5%、+0.2%、+0.04%，推理 GPU 资源减少 94%。	提出可工业部署的超长用户历史压缩与缓存架构，用存储换算力。	个性化 Agent 可把长期阅读/反馈历史压缩成少量 summary memory tokens，生成时只读摘要，兼顾长期偏好和低延迟。
ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment用于样本高效对齐的主动 DPO ICLR 2026 Poster	DPO/RLHF 依赖高质量偏好标注，成本高；现有主动选择方法要么启发式，要么假设线性 reward，也常忽略当前被对齐模型的状态。	TLDR 摘要与 WebGPT 长问答偏好数据；每轮随机取 1000 prompts，用当前 LLM 生成 3 个回答形成 3000 个 pairwise triplets，主动选 50 个标注；实验用 reward model 模拟人工。	Llama-2-7B、Gemma-2B、Qwen3-4B；评价 100 prompts 的平均 reward 和 win-rate；基线 Random、APO、APLP，共享训练流程。	利用 DPO 隐式 reward 的梯度不确定性推导选择准则；选择在 V^{-1} 度量下梯度差范数大的样本；工程上用 batch selection、LoRA 梯度、随机投影和归一化。	ActiveDPO 在两数据集三模型上通常产生更高 reward；APLP/APO 稳定性不足；不同 SFT 模型需要不同 DPO 数据，支持模型感知选择。	把理论化主动学习准则嵌入 DPO，强调数据选择必须依赖当前 LLM。	反馈预算有限时，应主动选择最能减少当前 Agent 偏好不确定性的样本向用户询问，而不是随机收集点赞/踩。
Supporting High-Stakes Decision Making Through Interactive Preference Elicitation in the Latent Space在潜空间中进行交互式偏好获取以支持高风险决策 ICLR 2026 Poster	住房等高风险低频决策没有大量历史，目标多维且特征高维；需要用少量成对比较实时学习用户效用。	Idealista18 房产数据：Madrid、Barcelona、Valencia；主实验用 Madrid 12 个属性；另有 Munich 租房数据；AE 压缩到 6 维潜空间；用户由 LLM 与统计 profile 模拟。	200 次运行，初始化 M=5，交互查询 N=25；指标 pairwise accuracy、NDCG@10、candidate diversity、runtime；比较 vanilla PBO、PBO+AE、不同 LLM prior 与 random。	在 AE latent space 中建 GP 偏好模型，用 probit likelihood 表示 pairwise choice，Laplace 近似更新；qEUBO 选择下一对 latent candidates；LLM 访谈生成边界、排序或概率权重先验。	PBO+AE+概率先验 final Pairwise Acc 0.613、NDCG@10 0.706，较 vanilla PBO 提升约 13.7%/13.5%；概率 LLM prior 比直接权重好约 25%；直接权重最差。	将 LLM 访谈先验、AE 潜空间和 preferential Bayesian optimization 结合，用少量交互学习高维偏好。	冷启动内容 Agent 可先用 LLM 访谈获取偏好范围和排序，再用主动比较细化；不要过度相信 LLM 直接给出的数值权重。

Chinese deep reading

逐篇论文中文详译式解读

每篇论文都展开为“结构化分析 + 详细中文译介”，重点翻译其问题设定、数据构造、方法、实验和对当前 personalized user-feedback agent evolution 项目的启发。

ICLR 2026 Oral

01What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data

人类反馈里到底有什么？学习偏好数据的可解释描述

结构化分析

Motivation：人类反馈会以不可预测方式改变模型；现有分析常预设长度/谄媚等属性，难以自动发现偏好数据真正编码的主观维度。
Data 构造：分析 7 个偏好数据集：LMArena、Community Alignment、HH-RLHF、PRISM、Reddit、PKU-SafeRLHF、Tulu3；过滤数学/代码等客观正确性强的问题，聚焦主观对话反馈。
Eval：特征描述 fidelity、Pearson 相关与 Bonferroni 校正、逻辑回归 AUC、Δwin-rate 控制长度、CA 人类解释匹配、专家可解释性验证、RewardBench2 安全子集。
Method：对成对回答取 embedding 差值，训练 BatchTopK sparse autoencoder；用 LLM 描述激活特征并验证；再用逻辑回归估计特征对偏好标签的影响，同时控制回答长度。
效果：稀疏特征 AUC 0.672，对比黑箱奖励模型 0.766；解释性特征达到黑箱增益的 67%、dense embedding 增益的 84%。Arena 中翻转约 1000 个不安全相关标签使 RewardBench2 safety 从 8.9% 升至 46.2%。
Contribution：提供无需预设属性的偏好数据解释工具，揭示数据集偏好冲突，并把可解释特征用于数据清洗和个性化。
Insight：先审计反馈再训练；把语气/格式等低风险主观轴用于个性化，把安全/政治等高风险轴单独治理，避免混合冲突偏好。

详细中文译介 / 章节级翻译

论文提出 WIMHF：先把候选回答差异映射到表示空间，再用稀疏自编码器抽出少量人能理解的特征，最后判断这些特征如何预测人类选择。作者强调，偏好数据并不是一个统一的“人类喜欢什么”信号，而是受平台、任务、标注者群体和上下文强烈影响。实验发现 Reddit 与 Arena 用户更偏好非正式表达或玩笑，而 HH-RLHF、PRISM、CA 等数据集可能相反；Arena 用户还可能倾向反对拒绝，即便另一边是有害内容。论文进一步把这些特征用于数据清洗：定位并重标不安全反馈后，安全评测大幅提升且总体能力没有明显下降。对个性化而言，WIMHF 还可学习标注者级别的主观特征权重，从而把“偏好解释”变成可控用户画像。

Personalized User-Feedback Agent Evolution

论文定位

PIF-Bench

PUMA

Memory-only 不够

User simulator 怎么放进 benchmark

PIF-Bench 样本应记录什么

不要只评“写得好不好”

Preference inference

Update correctness

Future effect

相关且高分/高相关论文

What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data

Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback

ProPerSim: Developing Proactive and Personalized AI Assistants through User-Assistant Simulation

PrefDisco: Benchmarking Proactive Personalized Reasoning

P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling

AutoLibra: Agent Metric Induction from Open-Ended Human Feedback

AutoMetrics: Approximate Human Judgments with Automatically Generated Evaluators

Flipping the Dialogue: Training and Evaluating User Language Models

RewardBench 2: Advancing Reward Model Evaluation

Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback

Causally Robust Reward Learning from Reason-Augmented Preference Feedback

PerFit: Exploring Personalization Shifts in Representation Space of LLMs

Beyond Match Maximization and Fairness: Retention-Optimized Two-Sided Matching

Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders

ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

Supporting High-Stakes Decision Making Through Interactive Preference Elicitation in the Latent Space

ICLR 2026 论文详细分析表

逐篇论文中文详译式解读

01What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data

结构化分析

详细中文译介 / 章节级翻译

02Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback

结构化分析

详细中文译介 / 章节级翻译

03ProPerSim: Developing Proactive and Personalized AI Assistants through User-Assistant Simulation

结构化分析

详细中文译介 / 章节级翻译

04PrefDisco: Benchmarking Proactive Personalized Reasoning

结构化分析

详细中文译介 / 章节级翻译

05P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling

结构化分析

详细中文译介 / 章节级翻译

06AutoLibra: Agent Metric Induction from Open-Ended Human Feedback

结构化分析

详细中文译介 / 章节级翻译

07AutoMetrics: Approximate Human Judgments with Automatically Generated Evaluators

结构化分析

详细中文译介 / 章节级翻译

08Flipping the Dialogue: Training and Evaluating User Language Models

结构化分析

详细中文译介 / 章节级翻译

09RewardBench 2: Advancing Reward Model Evaluation

结构化分析

详细中文译介 / 章节级翻译

10Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback

结构化分析

详细中文译介 / 章节级翻译

11Causally Robust Reward Learning from Reason-Augmented Preference Feedback

结构化分析

详细中文译介 / 章节级翻译

12PerFit: Exploring Personalization Shifts in Representation Space of LLMs

结构化分析

详细中文译介 / 章节级翻译

13Beyond Match Maximization and Fairness: Retention-Optimized Two-Sided Matching

结构化分析

详细中文译介 / 章节级翻译

14Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders

结构化分析

详细中文译介 / 章节级翻译

15ActiveDPO: Active Direct Preference Optimization for Sample-Efficient Alignment

结构化分析

详细中文译介 / 章节级翻译

16Supporting High-Stakes Decision Making Through Interactive Preference Elicitation in the Latent Space

结构化分析

详细中文译介 / 章节级翻译

下一步执行建议