EasyControl：将人像转为吉卜力风格图像的免费工具

综合介绍

EasyControl 是一个开源项目，项目基于扩散变换器（DiT）架构，提供高效、灵活的图像生成控制。其中，Ghibli Control LoRA 是其特色功能之一，通过仅用 100 张亚洲人脸及其 GPT-4o 生成的吉卜力风格图像训练，能将真实人像转为吉卜力动画风格，同时保留面部特征。EasyControl 支持多种条件输入，包括边缘、深度、姿势等，Ghibli 模型则是风格化生成的亮点。项目使用 Apache 2.0 许可证，仅限研究用途。截至 2025 年 4 月 3 日，最新更新包括 Ghibli 风格模型和在线演示。

免费体验：https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli

功能列表

• 将人像转为吉卜力风格：输入真实人脸图像，生成吉卜力动画风格图像。
• 保留面部特征：基于 100 张亚洲人脸训练，确保转换后细节不失真。
• 支持多种条件控制：包括边缘（Canny）、深度（Depth）、姿势（Pose）等。
• 灵活分辨率输出：支持不同高度和宽度的图像生成。
• 高效生成：结合因果注意力机制和 KV Cache 技术，加快推理速度。
• 即插即用模块：Ghibli LoRA 可与 DiT 模型（如 FLUX.1-dev）无缝集成。

使用帮助

EasyControl 适合有技术基础的用户，尤其是研究者和创意工作者。以下是安装和使用 Ghibli 功能的详细指南。

安装流程

1. 准备环境
   需要 Python 3.10 和带 CUDA 支持的 PyTorch。创建 Conda 环境：

conda create -n easycontrol python=3.10
conda activate easycontrol

2. 克隆仓库
   下载 EasyControl 项目：

git clone https://github.com/Xiaojiu-z/EasyControl.git
cd EasyControl

3. 安装依赖
   安装所需库：

pip install -r requirements.txt

GPU 用户需确保 PyTorch 支持 CUDA。

4. 下载 Ghibli 模型
   从 Hugging Face 获取 Ghibli LoRA：

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="Xiaojiu-Z/EasyControl", filename="models/Ghibli.safetensors", local_dir="./")

若无法访问，可用镜像站：

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download Xiaojiu-Z/EasyControl --local-dir checkpoints

5. 验证安装
   运行测试脚本：

python demo.py

若生成图像，安装成功。

主要功能操作

1. 生成吉卜力风格图像

• 操作步骤
  初始化模型并加载 Ghibli LoRA：

import torch
from PIL import Image
from src.pipeline import FluxPipeline
from src.lora_helper import set_single_lora
device = "cuda"
base_path = "FLUX.1-dev"  # 基础模型路径
pipe = FluxPipeline.from_pretrained(base_path, torch_dtype=torch.bfloat16).to(device)
set_single_lora(pipe.transformer, "models/Ghibli.safetensors", lora_weights=[1], cond_size=512)
prompt = "Ghibli Studio style, Charming hand-drawn anime-style illustration"
subject_image = Image.open("test_imgs/portrait.png").convert("RGB")
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
num_inference_steps=25,
subject_images=[subject_image],
cond_size=512,
generator=torch.Generator("cpu").manual_seed(1)
).images[0]
image.save("output/ghibli_result.png")

• 结果
  输出吉卜力风格图像，保存至 output/ghibli_result.png。

2. 在线演示使用

• 操作步骤
  访问 Hugging Face 空间 https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli：
  1. 上传人像图片。
  2. 输入提示词：Ghibli Studio style, Charming hand-drawn anime-style illustration。
  3. 设置高度和宽度（受硬件限制，默认 256x256，高分辨率需本地运行）。
  4. 点击“Generate Image”，等待 20-40 秒。
• 结果
  生成低分辨率吉卜力风格图像。

特色功能操作

高分辨率生成

• 操作步骤
  本地运行时，修改高度和宽度参数：

  image = pipe(prompt, height=1024, width=1024, ...)
  

• 注意
  需要至少 12GB GPU 内存，否则可能失败。

清理缓存

• 操作步骤
  每次生成后清理缓存：

  def clear_cache(transformer):
  for name, attn_processor in transformer.attn_processors.items():
  attn_processor.bank_kv.clear()
  clear_cache(pipe.transformer)
  

使用技巧

• 提示词必须包含 Ghibli Studio style, Charming hand-drawn anime-style illustration 以触发风格。
• 输入图像建议为清晰人像，分辨率 512x512 以上。
• 在线演示受限于硬件，仅支持低分辨率（256x256）。

应用场景

1. 动漫角色设计
   将真实人像转为吉卜力风格，快速生成动画角色原型。
2. 艺术创作
   艺术家用 Ghibli 模型创作手绘风格插图，提升效率。
3. 教育研究
   研究者探索条件控制在风格化生成中的应用。

QA

1. 为什么在线生成的分辨率低？
   在线演示受硬件限制，仅支持 256x256，需本地运行以生成 1024x1024 图像。
2. 生成的图像不像吉卜力风格怎么办？
   确保提示词包含触发词，或检查输入图像是否清晰。
3. 支持非人像输入吗？
   可以，但 Ghibli 模型针对人脸优化，其他输入效果可能不佳。