Self-Evolving Visual Code Memory

ViReCode 调研总结

当前 Anything-to-Code agent 已经能执行/渲染/修改，但反馈多停留在当前样本。机会在于：把历史渲染差异如何被代码 patch 修复，存成可检索、可验证、可演化的视觉代码记忆。

4

研究方向

self-evolving、visual code generation、visual memory、auto-rubric。

60+

论文/系统

覆盖 2023–2026 学界方法、benchmark 与产业系统。

2

路线

先做 training-free 记忆系统，再做 train/RL patch model。

Core Gap

为什么现在是 ViReCode 的窗口？

Render feedback has become standard, but rendered repair experience is still instance-local.

视觉代码生成已成熟到可评测

Design2Code: 484 real webpages
ChartMimic: 4,800 chart-code triplets
Vision2Code: 2,169 multi-domain examples

视觉记忆研究正在兴起

AtlasVA: heatmap + visual exemplars
MementoGUI: ROI visual evidence
SE-GA/EAM/Mem-W: GUI memory/self-evolution

Rubric reward 变得可用

Rubrics as Rewards: +31% HealthBench
AutoRubric: process-level multimodal rewards
Autorubric: calibration/ensemble/reliability

但缺少视觉代码记忆单元

不是 text reflection
不是 only patch diff
而是 target/render/diff/patch/render/score delta

Timeline

2023–2026 趋势

阶段	代表工作	范式变化	对 ViReCode 的意义
2023	Reflexion, Voyager, ExpeL, CLIN	文本反思、可执行技能库、经验学习	证明冻结模型也能靠外部记忆变强
2024	Design2Code, WebSight, Plot2Code, ChartMimic, Web2Code	视觉代码生成进入 render evaluation	提供 UI/chart/plot 基准与数据
2025	Waffle, Flame, ChartCoder, Interaction2Code, RaR, AutoRubric	结构化训练、动态交互、rubric reward	说明视觉反馈可用于训练和评价
2026	Vision2Code, Omni-I2C, UI2Code^N, VisRefiner, AtlasVA, MementoGUI	多域 reference-free、视觉记忆、相对视觉优化	ViReCode 可把这些合成一个 memory-first framework

Memory Unit

Visual-Code Episode (VCE)

VCE 不是 patch，也不是截图，而是一个经过 verifier 证明有效或无效的视觉代码修复事件。

target crop

→

render-before

→

diff overlay

→

localized patch

→

render-after

→

score delta

视觉证据

target crop、render-before crop、diff overlay、render-after crop。

代码证据

code span、patch diff、edit operator、framework。

验证证据

hard gates、domain score、delta、accepted/rejected、negative case。

Architecture

ViReCode-TF：训练无关的自演化记忆系统

WVM

当前任务 working visual memory：target、code、render、diff、failed rubric items。

VCEM

长期 visual-code episodic memory：跨任务检索具体修复 episode。

VCSM

从重复 VCE 抽象出的 skill cards：card grid spacing repair、axis label repair 等。

MVG

Memory Verification Guard：检查 component/failure/framework/layout 是否适用，防止负迁移。

Benchmarks

首篇论文建议覆盖的基准

域	构造记忆	评测	理由
UI/Web	WebSight + Web2Code perturbation	Design2Code held-out + Web2Code eval	数据充足，失败类型直观
Chart/Plot	Chart2Code-160k / ChartMimic perturbation	ChartMimic + Plot2Code	axis/legend/title 等 residual 容易定义
Multi-domain	online VCE only	Vision2Code-mini / Omni-I2C subset	证明不是 UI-only

Evaluation

不能只看 final score

Output quality

executability, visual fidelity, OCR/text, layout, domain rubric, maintainability。

Repair efficiency

score gain per patch/render/token, rounds to threshold, latency/cost。

Memory utility

hit rate, accept rate, memory gain, reuse count, negative transfer。

Self-evolution

cold vs warm memory curve, online write precision, pruning effect。

MVG robustness

stale rejection accuracy, false accept, regression rate。

Leakage control

frozen-memory protocol, chronological online protocol, no test memory。

Training-Free vs Train

两条路线怎么做

维度	ViReCode-TF	ViReCode-RL
模型	冻结 base VLM/code model	训练 patch/generator policy
贡献	外部 visual-code memory + verifier-gated reuse	auto-rubric reward post-training
风险	retrieval 噪声、memory leakage	reward hacking、RL instability
第一步	做 VCE schema、retrieval、MVG、online write	先训练 repair patch model，不做 full-code RL
最佳论文顺序	Paper 1	Paper 2 / extension

First Paper Claim

最强 claim

The same frozen model becomes better at visual code generation by remembering verified rendered repair episodes.

Rendered visual-code memory Training-free self-evolution Residual-specific retrieval Verifier-gated reuse Negative VCE Memory utility metrics

Deliverables

本目录下文件

virecode_literature_review_2026-05-23.md：完整中文文献综述、趋势、分类、关键结论。
virecode_training_free_and_train_plan.md：Training-free 与 Train/RL 详细研究方案。
virecode_paper_method_matrix.csv：可导入表格工具的论文/系统对比矩阵。
virecode_summary_deck.html：当前 PPT-style 摘要页面。

建议下一步：先实现 20–50 个 VCE 的 UI+chart 最小原型，生成 VCE card figure，再扩展到 Design2Code/ChartMimic/Plot2Code/Vision2Code-mini。