Cómo funciona un LLM

1La tubería de una predicción

El modelo recibe texto ya convertido en token ids (enteros). Cada id se transforma en un vector denso mediante una tabla de embeddings $E \in \mathbb{R}^{V \times d}$, donde $V$ es el tamaño del vocabulario y $d$ la dimensión oculta. La representación inicial de la secuencia es simplemente la fila correspondiente de $E$ para cada token:

Esos vectores pasan por una pila de bloques Transformer. Cada bloque hace dos cosas: una capa de atención que mezcla información entre posiciones (cada token mira a los anteriores), y un MLP (feed-forward) que transforma cada posición por separado. El MLP es donde vive la mayor parte de los parámetros del modelo, y ambas subcapas se envuelven con conexiones residuales y normalización para que el entrenamiento sea estable en decenas de capas. Al final, la representación de la última posición se proyecta al vocabulario para producir los logits, un número por cada token posible.

token_ids → embeddings → [ bloque × N: atención causal + MLP + residual/norm ] → logits → softmax → p(siguiente token)

2Atención causal — el corazón del Transformer

Cada posición construye tres vectores a partir de su representación $h$: una consulta (query), una clave (key) y un valor (value), mediante matrices aprendidas:

La atención compara cada query con todas las keys (producto punto), normaliza con softmax y usa esos pesos para promediar los values. El escalado por $\sqrt{d_k}$ evita que los productos punto crezcan demasiado (donde $d_k$ es la dimensión por cabeza, que veremos abajo). La máscara causal $M$ pone $-\infty$ en las posiciones futuras, de modo que el token en la posición $i$ solo puede mirar hacia atrás ($j \le i$):

Se usan varias cabezas en paralelo (multi-head): con $H$ cabezas, cada una opera en dimensión $d_k = d/H$ sobre su propia proyección, y sus salidas se concatenan y se proyectan con $W_O$:

3De logits a probabilidades

La representación final de la última posición, $h_L$, se proyecta con la matriz de "des-embedding" $W_U \in \mathbb{R}^{d \times V}$ para obtener el vector de logits $z$. El softmax lo convierte en una distribución de probabilidad válida (suma 1) sobre todo el vocabulario $\mathcal{V} = \{0,\dots,V-1\}$:

Aquí está la frontera conceptual más importante del curso: el entrenamiento mueve estos logits (ajustando los pesos para que el token correcto reciba más probabilidad); la inferencia solo elige entre las probabilidades que ya existen.

4Muestreo: temperature, top-k, top-p

Con la distribución en mano hay que elegir un token. La opción más simple es greedy: tomar el más probable.

La temperatura $T$ reescala los logits antes del softmax: $T \lt 1$ agudiza la distribución (más determinista), $T \gt 1$ la aplana (más creativa/aleatoria):

• top-k: se conservan solo los $k$ tokens más probables y se re-normaliza.
• top-p (nucleus): se conserva el conjunto más pequeño cuya probabilidad acumulada alcanza $p$, es decir $\sum p \ge p_{\text{top}}$.

5KV cache: por qué la generación es viable

Generar token a token repetiría el cálculo de la atención sobre toda la secuencia en cada paso — costo cuadrático. El KV cache guarda las claves y valores ya calculados $K_{\le t}, V_{\le t}$; en el paso siguiente solo se computa la query nueva $q_{t}$ y se atiende contra el caché. El costo por token pasa de recomputar $O(t^{2}\,d)$ a $O(t\,d)$:

A cambio, el caché ocupa memoria que crece con la longitud del contexto — un tema central cuando llevemos el modelo a un dispositivo (Módulo 10).

6Tres cosas que no son lo mismo

Fine-tuning cambia pesos. RAG (Módulo 8) cambia contexto. Confundirlos es la causa número uno de meter en el modelo algo que debía ir en el prompt.

// candle: cargar Qwen y sacar los logits del último token
let logits = model.forward(&input_ids, 0)?;   // [batch, seq, vocab]
let last = logits.i((0, seq_len - 1))?;        // logits del siguiente token
let probs = softmax(&last, D::Minus1)?;      // distribución

Lecturas y recursos

✦Ejercicios

De menor a mayor complejidad. El último es el que hace un practicante de verdad.