LLaDA-Image - 蚂蚁集团开源的统一图像生成与编辑模型

LLaDA-Image是什么

LLaDA-Image 是蚂蚁集团 inclusionAI 开源的 6B 参数统一图像生成与编辑模型。模型采用先纯图预训练、后语言对齐的创新路线，用全扩散架构（LLaDA2.0-mini 理解 + 6B DiT 生成）实现文生图、指令编辑和中英文字渲染。Turbo 版仅需 2–4 步可出图，在 Qwen-Image-Bench 中英文双赛道均获开源第一。

LLaDA-Image的主要功能

• 文本到图像生成：根据自然语言描述生成高保真、细节丰富的照片级图像。
• 指令式图像编辑：上传参考图并输入自然语言指令，精准修改指定区域同时保持其余部分不变。
• 中英双语文字渲染：在生成图像中准确呈现中文和英文文本，支持海报、排版及艺术字设计。
• VQ 条件生成：基于视觉量化（VQ）token 作为条件输入，实现可控的图像生成。
• 参考图编辑：以上传图片为参考，进行风格迁移、内容修改等编辑操作。
• Turbo 快速推理：蒸馏版模型仅需 2–4 步采样可生成 1024×1024 高质量图像。

LLaDA-Image的技术原理

• 全扩散统一架构：模型由理解模块 LLaDA2.0-mini（基于 MoE 的扩散语言模型）和生成模块 6B DiT 组成，两者后端均为扩散模型，通过 Connector 桥接，实现语义理解与像素生成的解耦。
• 分阶段训练策略：采用”先学会画，再学会听话”的路线，先进行纯图像预训练和中期训练建立强视觉生成先验，再引入成对语言监督完成文本-视觉对齐。
• 高质量数据构建：生成训练累计使用约 2.2 亿样本，其中 98% 为真实图像；语言对齐阶段的图文描述由 Qwen 系列大模型生成并校验，确保指令跟随的准确性。
• 高效训练优化：全链路使用参数无关的 RMSNorm 替代 LayerNorm，并采用 Muon 优化器，提升大规模训练的稳定性和效率。
• Twin-DMD 快速蒸馏：Turbo 版本通过 Twin-DMD 蒸馏技术将 Base 模型压缩，2–4 步采样可生成 1024×1024 高质量图像，实现速度与质量的平衡。

微信关注回复“开源”，加入AI开源项目交流群

如何使用LLaDA-Image

• 环境配置：安装 Python 3.11、PyTorch 2.8、Diffusers 0.39.0 及 FlashAttention 2.8.3 等依赖，搭建本地推理环境。
• 获取权重：从 Hugging Face 或魔搭 ModelScope 下载 LLaDA-Image（高保真版）或 LLaDA-Image-Turbo（快速版）的模型文件。
• 文本生成图像：加载模型后输入描述文本，Base 版设置 50 步、guidance scale 5.0，Turbo 版设置 2–4 步、guidance scale 1.0，生成 1024×1024 图像。
• 指令编辑图像：上传参考图并输入自然语言编辑指令（如”将背景换成海边”），模型自动保持未编辑区域不变。
• 注意尺寸规范：文生图与 VQ 条件生成的输入尺寸需为 16 的倍数，编辑任务需为 32 的倍数。