Stable Diffusion写实人像工作流下载：ComfyUI一键生成超写实人像

引言：AI写实人像的技术突破

写实人像生成一直是AI绘画领域最具挑战性的方向之一。2026年4月发布的Stable Diffusion 3.5（SD3.5）在人物面部细节、皮肤纹理、光影真实感等方面实现了质的飞跃。其MMDiT架构带来了72.3%的Human Preference得分，远超SDXL的61.5%。本文将详细解析SD3.5写实人像的技术原理，并提供一套经过实战验证的完整工作流，包含IP-Adapter FaceID人脸参考、ControlNet++姿态控制、FaceDetailer面部精修等高级技巧。

一、SD3.5写实人像的技术优势

1.1 MMDiT架构对人像生成的提升

SD3.5采用的MMDiT（Multimodal Diffusion Transformer）架构从根本上改变了对人物特征的处理方式。传统U-Net架构在处理人脸时，需要通过多层卷积逐级提取特征，容易导致细节丢失。MMDiT则通过多头注意力机制在全局范围内建立特征关联，使得眼睛虹膜纹理、嘴唇细纹、皮肤毛孔等微细节都能被精确还原。

关键性能对比数据：

指标	SD3.5	SDXL	提升幅度
Human Preference（整体偏好）	72.3%	61.5%	+17.6%
文本渲染准确率	89.2%	72.1%	+23.7%
面部细节保真度	85.1%	68.7%	+23.9%
光影一致性	78.4%	62.3%	+25.8%

其中面部细节保真度和光影一致性的提升对于写实人像尤为关键，直接决定了生成图像是否具有”照片级”的真实感。

1.2 SD3.5 Medium模型推荐

对于写实人像场景，推荐使用SD3.5 Medium（8B参数）。该版本在质量和效率之间达到了最佳平衡：

• 8B参数规模，单张1024px图像仅需8GB显存
• 面部细节表现力接近大型模型
• 生成速度在RTX 4090上约4.5秒/张（1024px）
• 对Prompt的指令遵循度极高，支持复杂的面部描述

二、核心工作流架构

以下是完整的SD3.5写实人像工作流，包含6个核心模块：

2.1 模块一：模型加载与基础配置

# === 节点配置 ===

# [Node 1] Load Checkpoint
model_name: "sd3.5_medium.safetensors"
# 输出: MODEL, CLIP, VAE

# [Node 2] Load LoRA（可选）
model_name: "sd35_portrait_enhancer.safetensors"
strength_model: 0.6    # LoRA强度，人像增强
strength_clip: 0.4

# [Node 3] CLIP Text Encode（正向Prompt）
text: '''professional portrait photography,
28-year-old East Asian woman,
natural makeup, clear skin texture,
soft studio lighting, shallow depth of field,
Canon EOS R5, 85mm f/1.4 lens,
neutral background, looking at camera,
high detail, photorealistic
'''

# [Node 4] CLIP Text Encode（负向Prompt）
text: '''cartoon, anime, illustration, painting,
blurry, low quality, deformed face,
extra fingers, bad anatomy, watermark
'''

2.2 模块二：IP-Adapter FaceID人脸参考

IP-Adapter FaceID是写实人像工作流中最关键的组件。它允许你提供一张参考人脸照片，SD3.5会以该人脸为基础生成新的人像，保持面部特征的高度一致性。

# === IP-Adapter FaceID 配置 ===

# [Node 5] Load Image
# 输入参考人脸照片（建议正面、光线均匀、无遮挡）

# [Node 6] IP-Adapter FaceID Apply
ip_adapter_model: "ip-adapter-faceid_sd3.5.safetensors"
image: [Node 5] 的输出
weight: 0.65           # 人脸相似度（0.5-0.75为佳）
start_at: 0.0          # 从第几步开始应用
end_at: 0.8            # 在第几步停止应用
# 注意：不建议设为1.0，留最后20%步数让模型自然融合

# [Node 7] FaceID Prep（人脸特征提取）
image: [Node 5] 的输出
# 自动提取面部关键点、轮廓特征

参数调优建议：

• weight=0.5-0.6：参考人脸的影响较弱，适合生成”类似风格”的人像
• weight=0.65-0.75：高度相似，适合制作特定人物的AI写真
• weight>0.8：可能出现面部崩坏，不推荐

2.3 模块三：KSampler采样参数

SD3.5的采样参数与SDXL有很大差异，最关键的变化是推荐使用较低的CFG值：

# === KSampler 参数配置（SD3.5专用） ===

# [Node 8] KSampler
sampler_name: "DPM++ 2M Karras SDE"
scheduler: "normal"
steps: 30              # 推荐范围25-35
cfg: 5.0               # SD3.5推荐4-6（SDXL通常7-12）
denoise: 1.0           # 全新生成时设为1.0
seed: -1               # 随机种子

# SD3.5 vs SDXL 参数对比
# ┌─────────────┬─────────┬──────────┐
# │ 参数        │ SDXL    │ SD3.5    │
# ├─────────────┼─────────┼──────────┤
# │ CFG         │ 7-12    │ 4-6      │
# │ Steps       │ 25-40   │ 25-35    │
# │ Sampler     │ DPM++ 2M│ DPM++ 2M │
# │ Scheduler   │ Karras  │ Karras   │
# │ Denoise     │ 1.0     │ 1.0      │
# └─────────────┴─────────┴──────────┘

# 为什么SD3.5需要更低CFG？
# MMDiT架构对文本理解更精准，过高的CFG反而会导致
# 图像出现过度饱和的色彩和"塑料感"的伪影。
# CFG=5是目前社区验证的最佳平衡点。

2.4 模块四：ControlNet++姿态控制

新增的ControlNet++节点相比经典ControlNet有显著提升：

# === ControlNet++ 配置 ===

# [Node 9] Load ControlNet Model
model_name: "controlnet++_sd3.5_pose.safetensors"

# [Node 10] Load Image（姿态参考图）
# 上传一张包含目标姿态的照片
# ControlNet++会自动提取OpenPose骨骼数据

# [Node 11] Apply ControlNet++
strength: 0.7           # 姿态控制强度
start_percent: 0.0
end_percent: 0.7

# ControlNet++ vs 经典ControlNet改进：
# 1. 更精准的骨骼提取（减少多余肢体）
# 2. 更自然的手部姿态（手指不再扭曲）
# 3. 更好地处理复杂姿势（侧身、仰角、俯角）
# 4. 支持多人场景的姿态分离控制

2.5 模块五：FaceDetailer v2面部精修

即使使用SD3.5，生成的面部在高分辨率下仍可能存在细微瑕疵。FaceDetailer v2节点专门用于面部区域的二次精修：

# === FaceDetailer v2 配置 ===

# [Node 12] FaceDetailer v2
# 输入：KSampler生成的初步图像

# 内部参数：
face_size: 512           # 面部裁切尺寸（越大细节越多）
strength: 0.3            # 修复强度（不宜过高）
detector_model: "bbox/face_yolov8m.pt"  # 面部检测模型
patch_model: "sd3.5_medium.safetensors"  # 修复用同款模型
patch_sampler: "DPM++ 2M Karras SDE"
patch_steps: 15          # 面部修复步数（比主生成少）
patch_cfg: 4.0           # 面部修复CFG（比主生成略低）

# FaceDetailer v2 工作原理：
# 1. 使用YOLOv8检测图中所有人脸区域
# 2. 裁切每个面部区域到512x512
# 3. 在裁切区域进行独立的 diffusion 修复
# 4. 使用高斯混合将修复后的面部融合回原图
# 5. 确保边缘过渡自然，无明显接缝

2.6 模块六：CodeFormer v2面部修复

对于需要进一步提升面部清晰度的场景，CodeFormer v2是最终的修复手段：

# === CodeFormer v2 配置 ===

# [Node 13] CodeFormer v2
codeformer_model: "codeformer_v2.pth"
weight: 0.5              # 修复强度
# 0.1-0.3: 轻微增强，保持原始风格
# 0.4-0.6: 适度修复，推荐范围
# 0.7-0.9: 强力修复，可能过度平滑
# 1.0:   完全重建（可能改变面部特征）

# CodeFormer v2 vs v1 改进：
# 1. 更好的面部结构保持（不会把人"变脸"）
# 2. 眼睛细节增强（虹膜纹理更清晰）
# 3. 皮肤纹理保留（不会过度磨皮）
# 4. 处理速度提升约40%

# [Node 14] Save Image
filename_prefix: "sd35_portrait_final"

三、完整工作流连接图

# SD3.5 写实人像完整工作流连接关系

[1] Load Checkpoint (SD3.5 Medium)
  ├── MODEL → [2] Load LoRA → [8] KSampler.model
  │                              ↑ + [6] IP-Adapter融合
  ├── CLIP → [3] CLIP Encode(+)
  │         → [8] KSampler.positive
  └── CLIP → [4] CLIP Encode(-)
            → [8] KSampler.negative

[5] Load Image (参考人脸)
  → [6] IP-Adapter FaceID
  → [7] FaceID Prep

[10] Load Image (姿态参考)
  → [11] ControlNet++ → [8] KSampler

[8] KSampler
  → [12] FaceDetailer v2
    → [13] CodeFormer v2
      → [14] Save Image

# 推荐生成顺序：
# 1. 先不加IP-Adapter和ControlNet，测试基础Prompt效果
# 2. 加入IP-Adapter FaceID，调整weight到满意的人脸相似度
# 3. 加入ControlNet++，微调姿态控制强度
# 4. 最后运行FaceDetailer + CodeFormer精修

四、Prompt撰写技巧

4.1 写实人像Prompt结构模板

# 高质量写实人像Prompt模板

[Prompt结构]
[摄影类型], [人物描述], [表情/姿态], [光线描述],
[镜头/相机参数], [环境/背景], [画质关键词]

# 实际示例
professional studio portrait,
35-year-old Caucasian man with short brown hair and green eyes,
confident smile, slight head tilt to the right,
Rembrandt lighting with soft fill,
shot on Hasselblad X2D, 100mm f/2.8 lens, f/2.8,
dark gray seamless backdrop,
ultra sharp focus, 8K resolution, RAW photo quality,
skin pores visible, fine hair detail

4.2 常见问题排查

问题	可能原因	解决方案
面部变形	CFG过高 / IP-Adapter weight过高	降低CFG至5以下，IP-Adapter降至0.65
皮肤”塑料感”	过度使用面部修复	降低FaceDetailer/CodeFormer强度
姿态不准确	ControlNet++强度不足	提高strength至0.7-0.8
色彩不自然	SD3.5的CFG饱和特性	后处理时降低饱和度5-10%
生成速度慢	Steps过多 / 未启用xformers	Steps降至25-30，确保xformers已安装

五、Unimatch Optical Flow：视频人像的未来

SD3.5生态还引入了Unimatch Optical Flow光流节点，这是连接静态人像生成与视频人像动画的桥梁。通过计算帧间像素运动，Unimatch可以实现：

• 将生成的静态人像转换为自然转头、眨眼等微动画
• 保持面部一致性，避免视频中的”面目模糊”问题
• 与LTX-2/LTX2.3视频节点配合，实现”一张照片→动态视频”

# Unimatch Optical Flow 基础配置

# [Node 15] Unimatch Optical Flow
model_name: "unimatch_motion.pth"
reference_image: [14] Save Image 的输出
motion_type: "subtle"     # subtle / moderate / dramatic
frames: 30                # 输出帧数
fps: 24                   # 帧率

# 输出：30帧的微动画序列，可直接用LTX2.3编码为视频

结语

SD3.5的MMDiT架构将写实人像生成推向了新的高度。通过IP-Adapter FaceID、ControlNet++、FaceDetailer v2、CodeFormer v2四大核心组件的协同工作，我们现在可以生成几乎无法与真实照片区分的AI人像。掌握这套工作流的关键在于理解每个模块的作用和参数范围，通过渐进式调试找到最佳的参数组合。建议从本文提供的基础配置开始，根据实际效果逐步微调，最终形成适合自己风格的专属工作流。