GenClaw：基于代码驱动的 Agent 图像生成
GenClaw：基于代码驱动的 Agent 图像生成
论文来源: arXiv:2605.30248v1
提取时间: 2026-05-31
🔑 核心论点 (Core Thesis)
GenClaw 提出了一种代码驱动的 Agent 图像生成范式，模拟人类艺术家的创作工作流：构想 (Conceptualize) → 素描 (Sketch) → 上色 (Color)。它用可执行代码替代传统黑盒 Prompt 重写机制，作为中间表示层，实现精确的空间控制、结构化推理和可追溯的生成管道。
“GenClaw 的核心转变并非从简单到复杂的 Prompt Engineering，而是从端到端黑盒生成跃迁至 ‘像人类艺术家一样创作’。”
🏗️ 架构：三层管线设计
层级
功能
关键组件
- 认知结构层
解析意图、填充世界知识、计算约束
VLM/LLM + 搜索工具 + 推理模块 → 输出结构化 JSONL 记录 - 可执行画布层
作为"数字画笔"实现精确布局和逻辑
SVG、HTML/CSS、Three.js、Python → 渲染确定性素描 - 视觉生成与评审层
渲染纹理/写实感并验证输出
现成图像模型 (Qwen-Image、Gemini) + VLM 评审器实现可追溯性
🚀 核心创新与能力
- 代码作为中间表示 (Code as IR)
• 桥接语言推理与像素合成
• 显式控制坐标、对象计数、图层遮挡 (z-order)、排版
• 消除黑盒生成中的不可控变量 - 推理与生成解耦 (Decoupled Reasoning & Generation)
• 世界知识与推理过程与纹理合成分离
• 减少幻觉，提升组合准确性 - 物理模拟 (Physical Simulation)
• 使用 Three.js / Python 创建确定性"物理草稿"
• 模拟镜面、弹簧、浮力、几何约束等物理效果 - 分层与结构化标注 (Layered & Structured Annotation)
• 基于 JSONL 的图层分解
• 支持精确定位、局部标注，最小化未标注区域 - 可追溯管线 (Traceable Pipeline)
• 错误可追溯至具体阶段 (搜索、代码生成、渲染)
• 优于传统端到端黑盒模型的归因能力
📊 实验结果与基准测试
基准测试
关键指标
GenClaw 表现
优势说明
GenEval++
组合控制 (计数/位置)
0.950 / 0.925
显式 SVG 约束优于 Prompt 重写
LongText-Bench
文本渲染 (EN/ZH)
0.989 / 0.988
HTML/SVG 文本层消除像素猜测错误
Mind-Bench
知识 grounding
0.57 (总体)
多轮搜索+推理将事实与渲染解耦
Img-Edit
分层标注 (总体)
0.57
JSONL 图层掩码保留未标注区域 (PSNR ↑27.87)
物理模拟
VLM评分 / PSNR
4.29 / 27.87
确定性代码草稿引导写实物理渲染
⚙️ 技术实现细节
结构化输出格式 (JSONL)
{
“objects”: [
{“type”: “circle”, “x”: 100, “y”: 200, “r”: 50}
],
“text”: [
{“content”: “Title”, “font”: “Arial”, “pos”: [10, 10]}
],
“relations”: [
{“parent”: “circle”, “child”: “text”, “type”: “occlusion”}
],
“knowledge”: {
“source”: “search_tool”,
“fact”: “verified_fact”
}
}
后端代码选择策略
后端技术
适用场景
SVG
复杂构图、对象计数、空间关系
HTML/CSS
排版、海报、信息图、网页布局
Three.js / Python
物理模拟、3D 场景、几何预览
Canvas / Plotting
轻量级 2D 预览和掩码
⚠️ 局限性与未来方向
局限性
描述
高模型依赖
抽象代码草稿需强大模型 (如 Gemini-3.1) 翻译为写实图像；弱模型保留扁平 SVG 风格或产生伪影
效率开销
多步 Agent 管线增加延迟；简单任务中单步生成更具效率
代码生成不稳定性
LLM 可能产生坐标偏差、错误的 z-order 遮挡、缩放错误，影响空间精度
未来方向:
1 优化代码到图像的翻译效率
2 提高 LLM 代码生成的可靠性
3 扩展复杂场景的分层分解能力
💡 核心洞察
“GenClaw 的真正范式转变不在于从简单到复杂的 Prompt Engineering，而是从黑盒生成到’像人类艺术家一样创作’的更深层跃迁。”
“代码作为可控的中间画布，桥接语言推理与像素合成，无缝融合程序逻辑与生成模型的视觉表现力。”
📋 总结
GenClaw 代表了一种从黑盒端到端生成到结构化、可追溯、代码驱动的 Agent 图像生成的范式转变。通过三层管线设计（认知结构 → 可执行画布 → 视觉生成），它将人类艺术家的创作流程（构想 → 素描 → 上色）映射为可计算的 Agent 管线，实现了更高的空间控制精度和推理可追溯性。
其核心价值在于：
• 可解释性: 每一步推理和生成都可追溯
• 可控性: 代码作为中间表示提供了精确的空间和结构控制
• 可组合性: JSONL 分层结构支持局部编辑和增量更新
• 物理一致性: 引入物理模拟确保渲染结果的物理合理性