MOSS-Image-SFT - 支持自然语言、标签与 JSON 布局控制的文生图微调模型

MOSS-Image-SFT 是 OpenMOSS 团队 MOSS-Image 系列中的一个监督微调（SFT）文生图模型，由 MOSS-Image-Base 派生而来。据项目说明，它与基座模型使用相同的架构和推理管线，因此能力边界一致，差别主要体现在微调后的输出组织方式上。模型面向需要在图像中稳定排布文字、按位置摆放物体的生成场景，适合已经熟悉 diffusers 工作流、希望用结构化提示词控制画面布局的开发者与创作者。

维护者与状态

该项目由 OpenMOSS-Team 维护，托管在 Hugging Face 上，任务类型为 text-to-image，框架标注为 diffusers。仓库创建于 2026-10-11，最后更新于 2026-10-16。截至 2026-10-18，近 30 天下载量为 1036，点赞数为 246。事实表中没有给出正式 release 信息，因此这里不对版本发布情况作额外说明。

主要能力

以下内容来自项目自述，属于维护者对模型能力的描述，并非中立评测结论。

• 三种提示词形态：据项目说明，模型支持自然语言提示词、标签序列，以及用于控制文字位置与物体排布的 JSON 布局。
• 文字渲染与版面组织：README 中给出了基座与 SFT 的对照示例，称 SFT 版本在白板类场景中能产生更清晰的文字分组和更有序的版面。该对比为项目自述，未附量化指标。
• 布局到图像：可以把 JSON 布局直接作为提示词传入，用 summary.caption 与 items 描述场景、需要渲染的文字、物体及其位置，坐标格式为 bbox_format: "yxyx"、bbox_coord_space: "abs_centralized"。在 Python API 中用 json.dumps(layout, ensure_ascii=False) 序列化后传给 pipe；在 Gradio 中把 JSON 粘贴进 Prompt 字段，并设置匹配的图像尺寸。
• 结构化编辑：据项目说明，布局还可用于受控编辑，通过修改文字、元素描述和边界框来调整图像内容与构图。
• 提示词增强技能：项目附带 MOSS-Image Prompt Enhancer，把图像想法转成详细描述或空间布局提示词，面向具备本地文件与 Python 工具能力的 GPT-6 系列 agent。随附脚本把像素坐标草稿转换为带整数中心坐标的紧凑 JSON，本身不调用图像生成服务。用法是把技能文件夹装进 agent 的 skills 目录，然后用 $moss-image-prompt-enhancer 调用，并给出图像想法、期望的输出类型与画布尺寸；编译结果粘贴到 MOSS-Image 的正向提示词中，若输出为布局则需使用相同的生成尺寸。

使用入口

模型与说明页面位于 OpenMOSS-Team/MOSS-Image-SFT。

据项目说明，运行需要 Python 3.10 或更高版本，以及支持 CUDA 的 NVIDIA GPU；需先安装与自身 CUDA 环境兼容的 PyTorch 2.9 或更高版本构建，再安装依赖：

pip install "diffusers>=0.38" "transformers>=5.3" "accelerate>=1.10" "safetensors>=0.6" "Pillow>=10"

调用方式为通过 DiffusionPipeline.from_pretrained 加载，指定 custom_pipeline="pipeline_moss_image" 并开启 trust_remote_code=True，transformer 与文本编码器使用 bfloat16，VAE 与初始噪声使用 float32。模型与自定义管线代码会自动下载并缓存，也可以传入完整的本地模型目录。项目说明中提到，内置 VAE 使用 FLUX.2 的小型解码器。

采样默认值为：Flow-matching Euler 采样器、50 步、CFG 3、shift 5、负分支跳过第 22 层（从 0 开始计数）、负向提示词为空。默认引导每步需要两次 transformer 前向；传入 uncond_skip_layers=[] 可关闭负分支跳过，或设置 negative_prompt 提供负向提示词。Python API 的图像尺寸必须是 16 的正整数倍。

项目还提供 Gradio 界面、CPU offload 与编译选项，具体步骤需参照项目快速开始文档。ComfyUI 用户可在 ComfyUI Manager 中搜索 MOSS-Image 安装原生插件；据项目说明，并入 ComfyUI 官方仓库的工作仍在进行中。

许可与限制

许可证为 apache-2.0。据项目说明，模型权重与随附推理代码均以 Apache License 2.0 发布。

使用边界方面，项目自述中明确的限制包括：需要 Python 3.10 及以上版本与支持 CUDA 的 NVIDIA GPU；图像宽高必须是 16 的倍数；默认采样配置下每步执行两次 transformer 前向，计算开销相应增加。布局生成时，JSON 中的坐标空间与生成尺寸需要保持一致，否则位置控制可能失准。提示词增强技能依赖具备本地文件与 Python 工具能力的 agent 环境，并非独立服务。项目说明建议就分辨率、采样、提示词与 LoRA 训练参考其用户指南，但这些建议的具体内容未在素材中展开。