Beyond Prefix AUC: Intent Formation Under Intervention

结论先行

不够新把完整 trajectory 切成 10%–100% prefix。

不够新用 graph 编码步骤、页面、动作和候选 intent。

不够新计算每个观测比例的准确率、AUC、TTC。

可能新建模尚未形成的意图，以及系统干预对意图形成的因果影响。

论文主张不应是“我们更早预测 final intent”。应当是：“现有 early intent benchmark 错把最终标签视为从第 0 步就固定存在；我们定义、采集并评测 intent formation under intervention，在不可识别阶段阻止虚假的高置信预测，并优化识别、帮助效用与用户自主性之间的共同目标。”

研究线	典型任务	常见方法	常见指标	隐藏假设 / 剩余问题
Early classification 时间序列早分类	只看序列前缀，决定何时输出固定类别。	前缀分类器、概率 stopping rule、RL/代价敏感优化。	Accuracy、earliness、harmonic mean、cost、AUC。	类别通常被假设为从序列开始就确定；等待只增加信息，不改变标签。
Goal / plan recognition	从不完整或含噪行动观察恢复 agent goal / plan。	规划模型、贝叶斯 goal posterior、landmark、神经序列模型。	goal accuracy、rank、observation ratio、recognition time。	候选 goal 和环境模型通常预先给定；被观察者的 goal 不因识别器行动而改变。
Action anticipation	在动作发生前预测未来 action/activity。	视频 transformer、memory bank、future representation、multimodal model。	Top-k、mAP、time-to-action、不同 observation ratio 曲线。	预测未来可见行为，不等于恢复开放语言意图；多数数据是被动观测。
Incremental dialogue intent	逐 token / turn 预测 intent、dialogue act 或 task success。	incremental encoder、uncertainty、early exit、clarification policy。	intent accuracy、latency、stability、turn savings。	对话标签常是固定闭集；用户在交互中被建议诱导后的偏好变化较少被建模。
Open-world intent	发现未知意图、生成自然语言 goal、拒识 OOD。	embedding、聚类、LLM generation、open-set detection。	F1、NMI、OOD AUROC、semantic judge score。	解决标签空间开放，不等于解决同一 prefix 下意图尚未形成。
Proactive GUI agents	从屏幕、动作历史和上下文判断用户目标，决定是否主动帮助。	VLM/LLM、trajectory memory、recommendation policy、GUI grounding。	intent/helpfulness、task success、intervention timing、用户评价。	最新 benchmark 已覆盖主动建议、模糊性和个性化；多数仍把目标作为潜在但既存变量。
Selective prediction	不确定时 abstain，达到风险–覆盖率约束。	confidence threshold、conformal sets、risk-control、calibration。	risk–coverage AUC、ECE、set size、coverage。	能表达“我不知道”，但通常不能表达“现在还不存在唯一正确答案”。
Shared autonomy / assistance	根据不确定目标选择询问、建议或代执行。	POMDP、CIRL、Bayesian assistance、active preference learning。	regret、task reward、query cost、human effort。	最接近本提案，但缺少以真实 GUI trajectory prefix 为中心、显式测量意图形成和自主性变化的 benchmark。

创新碰撞矩阵

下面的判断标准很严格：“已有”表示单独拿出来不能成为主贡献；“部分”表示可以作为系统组件；“开放”才值得成为论文核心。

候选想法	状态	判断
10%–100% trajectory prefix benchmark	已有	早分类、动作预判和 goal recognition 长期都使用 observation ratio / prefix 曲线。
Prefix graph / task graph	已有	plan recognition、workflow/GUI agent、图神经网络都可自然覆盖；graph 只能是 inductive bias。
闭域分类 + 开域 LLM judge	部分	有工程价值，但属于评测统一，不足以形成理论贡献。
Accuracy–earliness AUC / area gain	已有	必须报告，但需要风险、校准、稳定性和干预效用共同约束。
ASK / WAIT / COMMIT policy	部分	selective prediction、active learning、shared autonomy 已覆盖一般形式；需要新的状态变量和数据才有贡献。
长期个性化 memory	已有	近期 personalized agent benchmark 已直接推进该方向。
多线程、噪声、视频 GUI	部分	重要难点，但更像数据难度轴；除非证明产生新的不可识别现象。
同一 prefix 的多个自然 continuation	部分	多模态未来预测已有，但若与用户自报告和主动干预结合，仍有空间。
区分 epistemic 与 formation uncertainty	开放	这是对固定 latent intent 假设的直接挑战，可改变任务定义、标注和指标。
干预诱发的 intent shift 与 agency loss	开放	预测器的动作会改变被预测对象；需要因果分叉数据，而非单条 hindsight trajectory。

核心研究空白：Intent Formation Under Intervention

Epistemic uncertainty

用户已经决定最终目标 Y，只是系统从 o₁:t 中还看不到足够证据。继续等待通常会降低不确定性。

Y exists; uncertainty is about P(Y | o₁:t)

Formation uncertainty

在当前时刻并不存在唯一的最终目标。多个 continuation 都与 prefix 一致；询问、推荐或代执行会改变用户认知与偏好，从而改变 Y。

Y is partly produced by future context and intervention

关键变化：在 formation 阶段，低 early accuracy 不一定是模型差，高 early confidence 也不一定是模型强。若同一个 prefix 的真实 continuation entropy 很高，任何单标签 benchmark 都会使用 hindsight 把未来偶然结果倒灌成“从一开始就存在的 gold intent”。

任务形式化

对用户内部 deliberation state zₜ、可见历史 hₜ=(o₁:t,u₁:t)、系统干预 aₜ 和最终 outcome Y 建模：

zₜ₊₁ ~ P(zₜ₊₁ | zₜ, oₜ₊₁, do(aₜ))
Y ~ P(Y | z₁:T, do(a₁:T))
prediction: qₜ(Y, formed | hₜ)
policy: π(aₜ | hₜ, qₜ), aₜ ∈ {WAIT, ASK, SUGGEST, EXECUTE}

模型不能只输出 final intent，还应输出 formed_probability、候选 outcome set、置信度以及干预动作。benchmark 需要估计每个 prefix 的 identifiability frontier t_form：从何时开始，独立 continuation 对最终 goal 的分歧显著下降，并且用户自报告显示目标已稳定形成。

Recognition

当意图已形成时，尽早识别，并保持后续预测稳定。

Restraint

意图尚未形成时，避免单标签高置信 COMMIT。

Assistance

只有在预期效用超过询问成本与 agency 风险时才干预。

数据构造：从单轨迹切片改为分叉实验

1. Anchor prefix从真实 GUI / dialogue 任务抽取信息不足但有行动上下文的 prefix，去除直接目标文本。

2. Natural forks让多位参与者从同一 prefix 独立继续，得到 outcome distribution，而非唯一 hindsight label。

3. Intervention forks随机分配 WAIT、ASK、SUGGEST、EXECUTE，记录干预如何改变 continuation 和最终选择。

4. Formation labels在关键点采集用户自报告、置信度、备选目标集合、事后稳定性与 agency 评价。

建议记录结构

{
  "anchor_id": "shopping-0042:p03",
  "visible_history": [...],
  "branch_id": "participant-17:suggest-b",
  "assigned_intervention": "SUGGEST",
  "candidate_outcomes_before": ["compare", "buy", "defer"],
  "formed_probability_self_report": 0.35,
  "continuation": [...],
  "final_intent": "compare battery life before deciding",
  "intent_shift_after_intervention": true,
  "agency_rating": 3,
  "task_utility": 0.74
}

防泄漏：模型可见文件只含 anchor prefix、允许使用的历史和 intervention candidates；最终 intent、branch continuation、formation self-report、outcome 和 judge rubric 必须保存在 evaluator-only gold。拆分应按用户、anchor scenario 和 template family 同时隔离。

不能只看普通 AUC

指标	定义	解决的问题
Post-formation AUC	只在 `t ≥ t_form` 对 intent score 积分并归一化。	保留传统“越早越准”，但不奖励 formation 前猜中 hindsight label。
Premature Confidence Area	`∫₀^t_form max(0, confidence - identifiable_ceiling) dt`	惩罚在没有唯一答案时制造虚假确定性。
Continuation Entropy	同一 anchor 在自然 branches 上的 outcome entropy / semantic diversity。	估计 prefix 本身可识别性的数据上限。
Formation Detection AUROC	预测 `formed / not-formed` 与自报告、branch stability 的联合 gold。	直接评估新的状态变量，而不是只评 final label。
Intervention Regret	相对 oracle policy 或 matched no-intervention branch 的效用差。	衡量主动系统是否真的帮到用户。
Intent Shift Rate	不同随机干预导致的 outcome distribution 变化。	测量系统对被预测变量的因果影响。
Agency Violation Rate	低 formation confidence 下执行、强引导，或用户报告失去控制的比例。	防止用任务成功掩盖过度代理。
Risk–Coverage AUC	模型选择 COMMIT 的覆盖率与错误风险曲线。	比较 abstention / conformal / threshold policy。

Overall score should remain a vector, not one magic number:
[post-formation AUC ↑, premature confidence ↓, intervention regret ↓, agency violations ↓, calibration error ↓]

Graph 方法怎样才不是装饰

Graph 的价值不应是把线性 steps 换一种存储格式，而是表达 可达目标、未决约束、证据来源和干预反事实。建议使用动态 belief graph：

节点

observation、action、entity、constraint、candidate_goal、unresolved_question、intervention、possible_outcome。

边

supports、contradicts、requires、rules_out、opens_branch、causes_shift、observed_after。

Gₜ → graph encoder → belief over reachable outcomes
branch world model: P(Gₜ₊₁, Y | Gₜ, do(aₜ))
policy head: expected utility(a) - query cost - agency risk

核心 ablation 必须包括：sequence-only、graph without counterfactual edges、graph without formation head、graph without agency cost、LLM direct prediction、BM25/retrieval、Bayesian filter、conformal selector。若普通 sequence model 在所有关键指标上相同，graph 就不能作为贡献。

最小可行研究：先做 200 个 anchor，而不是扩完整数据集

规模

200 个 anchor prefix；每个 4 个自然 continuation + 4 类 intervention branch，优先覆盖 shopping、travel、document workflow、communication。

基线

LLM direct、sequence encoder、现有 prefix graph、selective/conformal predictor、formation-aware graph world model。

首要检验

formation 前 branch entropy 是否显著高；干预是否显著改变 outcome；formation-aware 模型能否减少 premature confidence 而不损失 post-formation AUC。

阶段性 gate

现象成立：同一 prefix 的自然 branch 确实产生语义不同但合理的 final intent。
因果成立：随机干预对 outcome、effort 或 agency 有统计显著影响。
任务成立：人类和模型能可靠区分 formed 与 not-formed，标注一致性达到可用水平。
方法成立：formation-aware 模型在风险与效用指标上优于只做 final-label prediction 的方法。

什么结果会否定这个方向

同一 anchor 的独立 continuation 几乎总是收敛到同一 intent，说明只是 epistemic uncertainty，无需“意图形成”新变量。
用户的 formed/not-formed 自报告不稳定，且与 branch entropy、后续改变无关，说明 gold 无法可靠构造。
随机干预不改变 outcome distribution，只改变完成速度，因果主张应降级为普通 proactive assistance。
简单 calibrated sequence model 与复杂 graph/world model 表现相同，方法创新不成立。
提升主要来自读取页面中的直接目标词，或 judge 偏爱更长生成文本，则 benchmark 仍有泄漏和评测偏差。

研究纪律：如果前三项 pilot 不成立，不应继续扩大数据，也不应把 prefix graph 重新包装成新理论。可将成果退回为一个严谨的 early-intent benchmark / analysis paper。

代表性研究入口

以下按研究线列出入口，用于定位问题边界；正式论文写作还需逐篇核对版本、实验设置和可比性。

Early time-series classification：accuracy–earliness trade-off、early decision 和 stopping rule。
Ramírez & Geffner-style plan recognition literature 及后续不完整观测 goal recognition。
Action anticipation：未来行为预测、time-to-action 和 observation-ratio evaluation。
Cooperative Inverse Reinforcement Learning：将人机协作写成对人类目标不确定的协作决策问题。
SelectiveNet / selective prediction：风险–覆盖率与 abstention。
Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance：主动理解用户并选择帮助时机。
Recent proactive GUI and intent benchmarks：GUI 上下文、意图理解、推荐与干预。
Ambiguous instruction and clarification benchmarks：识别歧义并主动提问。
Personalized agent benchmarks：长期历史、个人偏好和用户特定意图。
Human agency under AI assistance：自动化、建议干预、控制感与决策自主性。

Beyond Prefix AUC：从“提前猜最终标签”走向“干预下的意图形成”

结论先行

相关工作是怎样做的

创新碰撞矩阵

核心研究空白：Intent Formation Under Intervention

Epistemic uncertainty

Formation uncertainty

任务形式化

Recognition

Restraint

Assistance

数据构造：从单轨迹切片改为分叉实验

建议记录结构

不能只看普通 AUC

Graph 方法怎样才不是装饰

节点

边

最小可行研究：先做 200 个 anchor，而不是扩完整数据集

规模

基线

首要检验

阶段性 gate

什么结果会否定这个方向

代表性研究入口