🎬 Entrenamiento de LoRA para Vídeo WAN

⚠️ En desarrollo intenso
Esta configuración sigue siendo experimental.
Úsala como inspiración para generación de vídeo basada en WAN (T2V/I2V/V2V/S2V), no como una guía lista para producción.

Si te gustaría contribuir a nuestro Entrenamiento de Vídeo WAN Experimento, contáctanos aquí: Contactos de Soporte.

Ordenar un servidor GPU para Vídeo en WAN

🧩 1. Configuración del Entorno

Crea un entorno de Python limpio usando Conda (recomendado) o venv:

bash 
# 1) Conda / Virtual Environment
conda create -n wan22 python=3.10 -y
conda activate wan22

# 2) Install PyTorch (CUDA 12.x Build)
pip install --upgrade torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install xformers accelerate transformers datasets peft bitsandbytes==0.43.3 safetensors einops
pip install opencv-python pillow tqdm

# 3) Clone Trainer
git clone https://github.com/Wan-Video/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -r requirements.txt || true
cd ..

💡 Consejo: En las GPU A100 de NVIDIA, siempre usa precisión BF16 para un entrenamiento estable y eficiente.

🧠 2. Configuración del Modelo

Coloque sus pesos del modelo WAN 2.2 (según su tarea: T2V, I2V, V2V o S2V), junto con los archivos de VAE y el codificador de texto, en los directorios esperados por el entrenador —o páselos manualmente mediante la opción --model_name_or_path

Ejemplos:

bash 
--model_name_or_path Wan-AI/Wan2.2-T2V-A14B   # Text-to-Video
--model_name_or_path Wan-AI/Wan2.2-I2V-A14B   # Image-to-Video

🎬 3. Preparación del Conjunto de Datos

WAN requiere un archivo de conjunto de datos en formato JSONL con una entrada por cada fragmento de vídeo.

Formato de ejemplo:

JSON 
{"video": "/data/myset/clip_0001.mp4", "prompt": "a cozy coffee shop scene at golden hour", "fps": 24, "seconds": 4, "resolution": "1280x720"}
{"video": "/data/myset/clip_0002.mp4", "prompt": "rainy neon city street, cinematic", "fps": 24, "seconds": 4, "resolution": "1280x720"}

📖 Notas:

  • Para Texto-a-vídeo (T2V), puede referirse a imágenes estáticas, fotogramas o un vídeo de prueba. El prompt y las especificaciones objetivo (fps, segundos, resolución) son obligatorios.

  • Guarda tus conjuntos de datos como:

    • /data/wan22/train.jsonl
    • /data/wan22/val.jsonl

⚙️ 4. accelerate Configuración

Inicializar una vez:

bash 
accelerate config default

O bien definir manualmente en ~/.cache/huggingface/accelerate/default_config.yaml:

YAML 
compute_environment: LOCAL_MACHINE
distributed_type: NO
mixed_precision: bf16
num_processes: 1
gpu_ids: "0"
dynamo_backend: NO

👉 Para entrenamiento con múltiples GPUs, configure:

YAML 
distributed_type: MULTI_GPU

🚀 5. Ajuste fino de LoRA (Ejemplo en A100 40GB)

🧩 Texto-a-vídeo (720p, 4 seg, BF16)

bash 
conda activate wan22
cd DiffSynth-Studio

accelerate launch \
  train_wan_lora.py \
  --model_name_or_path "Wan-AI/Wan2.2-T2V-A14B" \
  --output_dir /data/wan22_lora_out \
  --dataset_json /data/wan22/train.jsonl \
  --resolution 720 --fps 24 --clip_seconds 4 \
  --train_batch_size 1 \
  --gradient_accumulation_steps 8 \
  --max_train_steps 20000 \
  --learning_rate 1e-4 --warmup_steps 500 \
  --lora_rank 64 --lora_alpha 64 \
  --use_bf16 --enable_xformers --gradient_checkpointing \
  --checkpointing_steps 1000 \
  --validation_json /data/wan22/val.jsonl --validation_steps 2000

🖼 Imagen-a-vídeo (I2V)

Cambiar solo el modelo:

bash 
--model_name_or_path "Wan-AI/Wan2.2-I2V-A14B"

🔧 6. Ajustes recomendados para A100

Casos de uso Ajuste recomendado
VRAM abundante Aumentar --train_batch_size a 2 o usar --lora_rank 96–128
VRAM limitado Aumentar --gradient_accumulation_steps to 12–16
LoRAs de Personaje/Estilos 6k–12k pasos, rango 32–64
Precisión Siempre prefiera BF16 sobre FP16
Optimización Activar --gradient_checkpointing + --enable_xformers

💾 7. Retomar Entrenamiento / Puntos de Control

bash 
accelerate launch train_wan_lora.py \
  ... (same parameters) \
  --resume_from_checkpoint "/data/wan22_lora_out/checkpoint-10000"

🧠 8. Inferencia / Pruebas

La mayoría de los flujos de trabajo de WAN (CLI, ComfyUI, etc.) admiten cargar adaptadores LoRA directamente.

Ejemplo en CLI:

bash 
python infer_wan.py \
  --model_name_or_path "Wan-AI/Wan2.2-T2V-A14B" \
  --lora_path "/data/wan22_lora_out" \
  --prompt "cozy coffee shop at golden hour, bokeh" \
  --negative_prompt "distorted faces, artifacts" \
  --resolution 720 --fps 24 --seconds 4 \
  --output /data/wan22/samples/test001.mp4 \
  --use_bf16 --enable_xformers

💡 ComfyUI: Usa el cargador WAN → adjunta LoRA(s) → genera tus videos de prueba.

🧮 9. Entrenamiento con Multi-GPU (Mismo Anfitrión)

Aprovecha múltiples GPU (ej. 2 × A100 de 40 GB) para un ajuste fino más rápido.

bash 
accelerate config  # set distributed_type=MULTI_GPU, num_processes=2
accelerate launch \
  --multi_gpu \
  train_wan_lora.py \
  ... (same parameters) \
  --train_batch_size 1 --gradient_accumulation_steps 8

Para configuraciones con 4+ GPU, habilita --seq_parallel si está soportado — reduce significativamente la carga de VRAM.

⚡ 10. Referencia de Hiperparámetros

Tipo LR rango Alfa Pasos Lote Acumulación de gradientes Notas
Genérico 1e-4 64 64 10k–20k 1 8–12 Línea base equilibrada
Personaje 1e-4 64–128 64 8k–12k 1 8 Ideal para clips cortos de 2–4 segundos
Estilo 1e-4 32–64 64 6k–10k 1 8–12 Mayor rango estilístico
Evaluación — — — cada 1–2 mil — — Pruebas 2–4 fijas + 2 indicaciones reales

🧾 Resumen

Entrenamiento LoRA de WAN permite:

  • Personalización rápida de los modelos de generación de vídeo WAN 2.2
  • Consistencia de estilo, tema y personaje en las salidas
  • Ajuste fino eficiente usando LoRA y xFormers con bajo consumo de VRAM

Configuración recomendada:

  • ⚙️ CUDA 12.x
  • 🧠 NVIDIA A100 (40 GB)
  • 💡 precisión BF16
  • 🧩 xFormers + comprobación de gradientes

🏁 Resumen del flujo de trabajo

Esta plantilla permite desplegar contenedores de Docker acelerados por GPU como ComfyUI y contenedores sin soporte para GPU, tales como n8n. 
Environment  →  Model Setup  →  Dataset Prep  →  LoRA Fine-tune  →  Inference

🎥 Entrena más inteligente. Genera más rápido. WAN más robusto.