LoRA y PEFT

1La idea: el cambio de pesos vive en pocas dimensiones

Un fine-tuning completo aprende una actualización $\Delta W$ para cada matriz de pesos y la suma al valor entrenado previamente: $W = W_0 + \Delta W$. LoRA parte de una observación empírica: aunque $W_0$ sea enorme, la actualización que hace falta para especializar el modelo tiene un "rango intrínseco" bajo. Es decir, $\Delta W$ se puede aproximar bien con el producto de dos matrices delgadas. En lugar de aprender los $d\times k$ números de $\Delta W$, aprendes solo los de esas dos matrices.

El truco es puramente algebraico. Para un peso congelado $W_0 \in \mathbb{R}^{d\times k}$, LoRA aprende:

$W_0$ nunca cambia: sus gradientes están apagados. Los únicos parámetros que reciben gradiente son los de $B$ y $A$. Como $r$ (el rank) es pequeño — típicamente 8, 16 o 32 frente a dimensiones de miles — el número de parámetros entrenables se desploma.

2El forward con factor de escala

En cada capa adaptada, la salida se calcula como el peso base más el aporte de bajo rango, ponderado por un factor de escala $\alpha/r$:

El escalar $\alpha$ es lora_alpha. Dividir por $r$ mantiene la magnitud del aporte estable cuando cambias el rank: si duplicas $r$, el factor $\alpha/r$ se reduce a la mitad, de modo que subir el rank no infla automáticamente la contribución del adaptador. Una convención común es fijar $\alpha = 2r$ (o $\alpha = r$) y ajustar desde ahí.

3Cuántos parámetros ahorras

Un fine-tuning completo de una matriz entrena $d\cdot k$ parámetros. LoRA entrena solo los de $B$ y $A$: $r\,d + r\,k = r\,(d+k)$. El ratio de compresión por matriz adaptada es:

Con $d=k=4096$ y $r=8$, ese ratio es $\approx 0{,}39\%$: entrenas menos de cuatro de cada mil parámetros de esa capa. Por eso el adaptador cabe en unos pocos megabytes y el entrenamiento entra en GPUs modestas. Esa economía es la razón de ser de PEFT (parameter-efficient fine-tuning): mover el mínimo de pesos posible.

4Qué capas adaptar: target_modules

LoRA no se aplica a todo el modelo, sino a un conjunto elegido de capas lineales. En un Transformer los candidatos naturales son las proyecciones de la atención (q_proj, k_proj, v_proj, o_proj) y las del bloque MLP (gate_proj, up_proj, down_proj).

lora_dropout aplica dropout a la entrada del aporte de bajo rango; es una regularización barata que ayuda cuando el conjunto de datos es pequeño y el adaptador tiende a memorizar.

5Adaptador separado vs. modelo fusionado

Durante el entrenamiento y también en despliegue puedes mantener el adaptador aparte: cargas el modelo base una vez y le enchufas los pesos de $B$ y $A$. Esto habilita algo potente: entrenar varios adaptadores sobre un mismo base (uno por tarea, cliente o idioma) y cambiar entre ellos sin duplicar los gigabytes del modelo original.

Cuando ya no necesitas esa flexibilidad y quieres cero overhead en inferencia, fusionas el adaptador dentro de los pesos base con merge_and_unload(). La operación es la misma suma del forward, resuelta una sola vez:

El resultado es una sola matriz: desaparece la ruta paralela de LoRA y la inferencia corre exactamente como el modelo original, sin la multiplicación extra por $B$ y $A$. A cambio pierdes la modularidad — ya no puedes desenchufar el adaptador. Fusiona cuando el adaptador esté congelado y elegido; mantenlo separado mientras experimentes.

6Configurarlo en PEFT

Con la librería peft de HuggingFace, todo lo anterior es una LoraConfig. Fíjate en los tres controles del módulo: r, lora_alpha y target_modules.

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=16,                       # rank de la descomposición
    lora_alpha=32,              # escala α (aquí α = 2r)
    lora_dropout=0.05,          # regularización del aporte
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    bias="none",
    task_type="CAUSAL_LM",
)

model = get_peft_model(base_model, config)
model.print_trainable_parameters()   # p.ej. 0.4% del total

Tras entrenar y validar, fusionas para servir el modelo como uno solo:

# fusiona los adaptadores en los pesos base y descarga la envoltura PEFT
merged = model.merge_and_unload()
merged.save_pretrained("qwen3-0.6b-especializado")

Lecturas y recursos

✦Ejercicios

De menor a mayor complejidad. El último es el que hace un practicante de verdad.