Destilación de LLMs: el pequeño aprende del grande
Un modelo enorme sabe mucho, pero es caro y lento. La destilación de conocimiento consiste en que un modelo alumno pequeño imite al modelo profesor grande: no solo copia sus respuestas, sino su forma de "dudar" entre opciones. Toca los controles de cada sección para verlo en acción.
Mucho conocimiento, demasiado tamaño
Arrastra el deslizador para comparar un profesor y un alumno de distintos tamaños. Los números son aproximados y orientativos, pero la idea es la que importa: la calidad crece despacio, el coste crece deprisa.
| Profesor | Alumno | |
|---|---|---|
| Memoria (FP16) | ~140 GB | ~2 GB |
| Velocidad relativa | 1× | ~40× |
| Coste por millón de tokens | 1× | ~1/50 |
| Calidad típica (sin destilar) | 100 | 52 |
| Calidad típica (destilado) | 100 | 70 |
Lo valioso no es la respuesta, sino la duda del profesor
Un dataset normal solo dice "la palabra correcta es alfombra". Pero el profesor, al predecir la siguiente palabra, reparte probabilidad entre muchas opciones: eso es la etiqueta blanda, y encierra lo que Hinton llamó conocimiento oscuro: sabe que "silla" es casi tan plausible como "alfombra" y que "nube" no lo es.
Etiqueta dura
Un bit de información por posición: alfombra = 1, todo lo demás = 0. El alumno aprende qué es correcto, pero no qué es casi correcto ni qué es absurdo.
Etiqueta blanda
Toda una distribución sobre el vocabulario. Contiene relaciones entre palabras (silla ≈ alfombra ≫ nube) que al alumno le costaría miles de ejemplos descubrir por su cuenta. Subir la temperatura hace esas relaciones más visibles.
Entrena al alumno paso a paso
El alumno empieza sin saber nada (probabilidades casi uniformes). En cada paso ajusta sus logits para acercarse al profesor. Elige qué pérdida usar y mira cómo cambia lo que aprende.
L = α · T² · KL( p_profesor(T) ‖ q_alumno(T) ) + (1 − α) · CE( y_dura, q_alumno )
α = 1, T alta
Pura imitación de la distribución. El alumno reproduce incluso las dudas "razonables" del profesor. Riesgo: hereda también sus errores.
α = 0
Solo etiqueta dura. El alumno aprende a maximizar alfombra y aplasta el resto. Funciona, pero desperdicia lo que el profesor sabe.
El factor T²
Al dividir los logits por T, los gradientes se reducen ~1/T². Multiplicar por T² compensa para que el término blando y el duro tengan una escala comparable.
Tres formas de destilar un LLM
La idea de Hinton usa logits, pero con LLMs modernos hay más caminos. Elige uno y pulsa «Avanzar» para recorrer el flujo.
Comprueba lo aprendido
Ventajas
- Modelos pequeños que rinden muy por encima de su tamaño.
- Inferencia más barata y rápida, apta para móvil o edge.
- Transfiere capacidades concretas (razonamiento, formato) sin reentrenar desde cero.
Límites
- El alumno hereda sesgos y errores del profesor.
- Rara vez supera al profesor en la tarea destilada.
- Las licencias de muchos modelos restringen usar sus salidas para entrenar competidores.