为什么选择本地部署Stable Diffusion？
Stable Diffusion 3.5（以下简称SD3.5）是Stability AI于2025年底发布的最新一代开源图像生成模型。与Midjourney等云端工具相比，本地部署SD3.5有以下核心优势：
- 完全免费：无订阅费用，生成次数无限制
- 数据隐私：所有数据在本地处理，不上传任何内容到云端
- 高度可控：通过LoRA、ControlNet、IP-Adapter等插件实现精准控制
- 商业自由：SD3.5 Medium采用宽松的社区许可证，免费商用
- 无限定制：海量社区模型和插件，满足各种专业需求
本教程将带你从零开始完成SD3.5的本地部署，全程约需30-60分钟（取决于网速和硬件配置）。
一、SD3.5 MMDiT架构简析
SD3.5采用了全新的MMDiT（Multimodal Diffusion Transformer）架构，这是与之前U-Net架构的根本性区别：
架构核心特点
- 双流Transformer：文本和图像各自拥有独立的Transformer流，通过双向注意力机制进行交叉
- Flow Matching：取代了传统的DDPM噪声调度器，训练和推理速度更快
- 三级模型体系：SD3.5 Large（8B参数）、SD3.5 Medium（2.5B参数）、SD3.5 Turbo（推理加速版）
模型参数对比
| 模型 | 参数量 | 显存需求 | 生成速度 | 画质 | 推荐场景 |
|---|---|---|---|---|---|
| SD3.5 Large | 8B | 12GB+ | 约15秒/张 | 最高 | 专业创作/高画质需求 |
| SD3.5 Medium | 2.5B | 8GB | 约8秒/张 | 优秀 | 日常创作/推荐大多数用户 |
| SD3.5 Turbo | 2.5B | 6GB | 约2秒/张 | 良好 | 快速预览/批量生成 |
对于大多数用户，SD3.5 Medium是最佳选择——它在画质、速度和硬件需求之间取得了最佳平衡。
二、硬件要求
| 组件 | 最低要求 | 推荐配置 | 高性能配置 |
|---|---|---|---|
| GPU | NVIDIA 8GB显存（如RTX 3060） | RTX 4070 Ti 12GB | RTX 4090 24GB |
| CPU | 4核/8线程 | 8核/16线程 | 16核/32线程 |
| 内存 | 16GB | 32GB | 64GB |
| 硬盘 | 20GB SSD | 100GB NVMe SSD | 500GB NVMe SSD |
| 操作系统 | Windows 10 64位 | Windows 11 / Ubuntu 22.04 | 同推荐 |
关键提示：AMD显卡用户也可以运行SD3.5，但性能约为同级别NVIDIA显卡的60%-70%，且部分插件兼容性较差。推荐使用NVIDIA显卡。
三、ComfyUI安装步骤
ComfyUI是当前最流行的SD3.5前端界面，以节点式工作流著称，灵活性和可定制性极强。
步骤1：安装Python环境
# 下载Python 3.10.x（推荐3.10.11）
# https://www.python.org/downloads/release/python-31011/
# 安装时勾选 "Add Python to PATH"步骤2：下载ComfyUI
# 打开命令提示符/终端，执行：
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
# 创建并激活虚拟环境
python -m venv venv
venv\Scriptsctivate # Windows
# source venv/bin/activate # Linux/Mac步骤3：安装依赖
# 安装PyTorch（根据你的CUDA版本选择）
# CUDA 12.1 推荐：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
# 安装ComfyUI依赖
pip install -r requirements.txt步骤4：下载SD3.5 Medium模型
# 在ComfyUI目录下创建模型目录
mkdir -p models/checkpoints
# 从HuggingFace下载SD3.5 Medium
# 方式1：直接下载
# https://huggingface.co/stabilityai/stable-diffusion-3.5-medium
# 方式2：使用huggingface-cli
pip install huggingface_hub
huggingface-cli download stabilityai/stable-diffusion-3.5-medium --local-dir models/checkpoints/sd35-medium --local-dir-use-symlinks False步骤5：启动ComfyUI
# 基础启动
python main.py
# 启用低显存模式（8GB显存推荐）
python main.py --lowvram
# 启用FP8精度（进一步降低显存占用）
python main.py --lowvram --fp8启动后，在浏览器中打开 http://127.0.0.1:8188 即可看到ComfyUI的界面。
四、WebUI Forge安装（备选方案）
如果你更喜欢传统的WebUI界面，可以选择基于Forge的SD3.5前端：
# 下载WebUI Forge
git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git
cd stable-diffusion-webui-forge
# 安装依赖
pip install -r requirements_versions.txt
pip install -r requirements.txt
# 下载SD3.5模型到models/Stable-diffusion/目录
# 启动
python launch.py --lowvram --fp8Forge的优势在于界面更直观、插件生态更丰富，适合从WebUI迁移过来的用户。但在工作流灵活性和性能优化方面，ComfyUI更具优势。
五、Prompt编写技巧
SD3.5的Prompt结构与之前版本有显著变化，采用了T5+CLIP双文本编码器：
基本Prompt模板
# 正向Prompt示例
a beautiful young woman with long flowing hair, standing in a sunlit meadow,
golden hour lighting, warm color palette, bokeh background,
shot on Canon EOS R5, 85mm f/1.2, highly detailed, 8K
# 反向Prompt（Negative Prompt）
blurry, low quality, distorted face, extra fingers, watermark,
text, deformed, bad anatomy, uglySD3.5 Prompt要点
- 自然语言优先：SD3.5对自然语言描述的理解能力远超前代，不再需要大量”标签式”关键词
- 构图在前：先描述主体位置、相机角度、镜头参数，再描述细节
- 光照为核心：明确指定光照类型（golden hour、studio lighting、neon等）对画面效果影响巨大
- 风格词放最后：如”photorealistic”、”anime style”、”oil painting”等放Prompt末尾效果更好
六、LoRA与ControlNet使用
LoRA（低秩适配器）
LoRA允许你在不修改基础模型的情况下，为特定风格或主题进行微调：
# ComfyUI中使用LoRA的节点配置
# 1. Load Checkpoint节点：加载SD3.5 Medium
# 2. Load LoRA节点：
# - model_name: "your-lora-name.safetensors"
# - strength_model: 0.8（推荐0.5-1.0之间）
# - strength_clip: 0.8
# 3. CLIP Text Encode节点：编写PromptControlNet
ControlNet允许你使用参考图（边缘图、深度图、姿态图等）来精确控制生成结果：
# ComfyUI中ControlNet工作流
# 1. 加载预处理器：Canny边缘检测 / Depth深度估计 / OpenPose姿态
# 2. 加载ControlNet模型（SD3.5专用版本）
# 3. 设置控制强度（推荐0.6-0.85）
# 4. 连接到采样器节点的positive条件七、性能优化
如果你的硬件配置较低，以下优化方法可以显著提升体验：
| 优化方法 | 效果 | 适用场景 |
|---|---|---|
--lowvram |
显存占用降低约40% | 8GB显存 |
--fp8 |
显存占用再降约20%，画质损失极小 | 6-8GB显存 |
--fp16_e4m3fn |
使用FP16替代FP32 | 所有配置 |
| SD3.5 Turbo | 推理速度提升5-8倍 | 快速预览 |
| 批处理（Batch Size=4） | 充分利用GPU并行能力 | 12GB+显存 |
| TAESD（轻量VAE） | VAE解码速度提升2倍 | 所有配置 |
八、常见问题FAQ
Q1: 显存不足（OOM）怎么办？
依次尝试以下方案：① 使用SD3.5 Medium而非Large ② 添加 --lowvram --fp8 启动参数 ③ 降低生成分辨率至768×768 ④ 使用SD3.5 Turbo模型 ⑤ 添加 --medvram 或 --tinyvram 参数。
Q2: 生成速度太慢？
推荐方案：① 更新至最新版CUDA（12.1+）② 使用SD3.5 Turbo进行预览 ③ 关闭不必要的后台程序 ④ 考虑升级GPU（RTX 4070 Ti性价比最高）。
Q3: 画面质量不满意？
建议：① 改用自然语言Prompt ② 使用高质量VAE（如SD3.5内置的sdxl_vae.safetensors）③ 添加LoRA增强风格 ④ 使用ControlNet精确控制构图 ⑤ 调整采样步数至25-35步。
Q4: ComfyUI启动报错？
最常见原因是Python版本不兼容——SD3.5要求Python 3.10.x。如果使用其他版本，可能出现torch编译失败或依赖冲突。建议卸载所有Python版本后重新安装3.10.11。
结语
Stable Diffusion 3.5的本地部署虽然比云端工具多了一些技术门槛，但换来的是完全免费、无限生成、高度可控的创作体验。随着ComfyUI生态的成熟和SD3.5自身架构的优化，本地AI绘画已经从”极客玩具”变成了”设计师工具”。希望这篇教程能帮助你顺利跑通SD3.5，开启AI绘画的创作之旅。
评论0