Inicio / Fundamentos / Redes neuronales / ¿Por qué normalizamos en deep learning?

Fundamentos · Redes neuronales

¿Por qué normalizamos en deep learning?

Compara los datos originales, min-max y la estandarización. Explora cómo influye la escala en el entrenamiento de una red neuronal.

El efecto de la escala

En una misma tabla puedes tener habitaciones, metros cuadrados y otras medidas con unidades distintas. Explora qué cambia al ponerlas en una escala comparable y cómo puede afectar al entrenamiento.

¿Qué es normalizar?

Normalizar permite comparar variables en escalas similares. Prueba dos transformaciones habituales.

1. Min-max

x' = (x − mín) ÷ (máx − mín)
  • El mínimo y el máximo de referencia se convierten en 0 y 1. Un valor nuevo fuera de ese intervalo también puede quedar fuera de 0 a 1.
  • Con píxeles de 0 a 255 basta con dividir entre 255.
  • Un valor extremo puede concentrar el resto de valores en una franja estrecha.

2. Estandarización

x' = (x − media) ÷ desviación
  • Los datos de referencia pasan a tener media 0 y desviación típica 1 si la desviación original es mayor que cero.
  • La escala resultante admite valores positivos y negativos sin límites fijos.
  • Usa la media y la desviación de los datos de entrenamiento para transformar datos nuevos.

De la desviación típica a la campana de Gauss

La desviación típica mide la dispersión respecto de la media. En una distribución normal, aproximadamente el 95 % de los valores cae a menos de dos desviaciones típicas de la media. La proporción depende de la distribución.

Aproximadamente el 95 % entre −2 y +2.

Compara tres casos

Compara el número de habitaciones y la superficie de diez viviendas ficticias.

¿Por qué ayuda a aprender?

La estrella marca el mínimo del error. En esta simulación, el descenso de gradiente zigzaguea en el valle estrecho. En el valle redondo puede avanzar en línea recta.

Sin normalizar
Pasos · 0
Normalizado
Pasos · 0

Dentro de la red también

Las activaciones pueden cambiar de escala entre capas. BatchNorm usa estadísticas del lote durante el entrenamiento. LayerNorm calcula las estadísticas entre las características de cada entrada. Las barras ilustran cómo se puede estabilizar la escala.

capa 1capa 12

En resumen

Escalas comparablesLa magnitud de una variable depende de sus unidades.
Descenso más directoEn la simulación, el valle redondo permite llegar al mínimo con menos pasos.
Activaciones más establesNormalizar dentro de la red puede ayudar a controlar la escala entre capas.

¿Por qué importa la escala al entrenar una red neuronal?

Una transformación como min-max o la estandarización permite comparar variables con magnitudes distintas. En el ejemplo de descenso de gradiente, las escalas comparables dan lugar a una trayectoria más directa hacia el mínimo.

Cómo se utiliza en este recurso

Explora tres intervalos en la campana de Gauss, cambia la escala de tres conjuntos de datos y compara las dos trayectorias de descenso de gradiente. Alterna la normalización entre capas para ver cómo afecta a las barras.

Alcance y límites

Las superficies de error y las activaciones son ilustrativas. La proporción del 95 % entre −2 y +2 corresponde a una distribución normal estándar.

Preguntas frecuentes

¿Qué diferencia hay entre min-max y estandarizar?

Min-max usa los extremos del conjunto de referencia para llevarlos a 0 y 1. Estandarizar resta la media y divide por la desviación típica.

Recursos relacionados

Perceptrón multicapa paso a pasoMedia, varianza y desviación típica: laboratorio de dispersiónDiagrama de caja y bigotes

Responsable editorial: Freesamia. Texto y enlaces revisados el . Criterios editoriales.