¿Cómo funciona una salvaguarda de IA?
Una salvaguarda es un sistema que vigila lo que entra y lo que sale de un modelo de IA y decide si dejarlo pasar, avisar, cambiar de modelo o bloquear. Aquí puedes probar una versión didáctica, con reglas y datos inventados.
1Prueba un mensaje y mira el recorrido
Elige un ejemplo o escribe el tuyo:
Se actualiza al elegir un ejemplo o terminar de escribir. El mensaje se analiza solo en esta página; no se envía a una IA.
¿Cómo puntúa este simulador?
Suma puntos por palabras sensibles (malware, exploit, contraseñas…) y por señales de intención (paso a paso, sin que lo detecten…), y resta por señales de contexto legítimo (noticia, post, proteger, explica…). Fíjate en que el contexto resta poco y las palabras sensibles suman mucho: por eso un post divulgativo puede acabar marcado. Los clasificadores reales son modelos entrenados con miles de ejemplos y entienden el contexto mucho mejor, pero el principio es parecido: estiman riesgo, no conocen las intenciones con certeza; una puntuación no siempre es una probabilidad calibrada.
En este ejemplo, la puntuación de entrada parte de 8, suma y resta los pesos indicados y se limita al intervalo 2–98. La salida también es inventada: añade 10 si encuentra alguna de las expresiones «robar», «sin que», «detecte» o «saltarse»; en los demás casos resta 12, con los mismos límites. No se examina una respuesta real.
2El dilema del umbral
¿Quién pone las puntuaciones? En un sistema real las calcula el clasificador. Aquí las puntuaciones de los 24 puntos están prefijadas para explorar los errores; no salen del cálculo de palabras del paso 1. Cada vez que le llega un mensaje, devuelve un número de riesgo entre 0 y 100. Pero ese número no basta: alguien tiene que decidir a partir de qué puntuación se marca un mensaje. Esa línea es el umbral, y la fija el equipo de seguridad, no el clasificador.
Abajo tienes 24 mensajes de ejemplo con puntuaciones y etiquetas inventadas para esta actividad. Nosotros sí sabemos cuáles eran dañinos de verdad (rojo) y cuáles legítimos (verde). El clasificador estima el riesgo; su puntuación no garantiza acertar con la etiqueta de referencia. Toca cualquier punto para ver el mensaje.
Matriz de confusión
«Positivo» significa que el sistema marca el mensaje; «negativo», que lo deja pasar. Verdadero o falso indica si esa decisión coincide con la etiqueta de referencia.
(legítimo marcado)
(se cuela)
💡 Este mismo umbral es el que usa el simulador del paso 1: si lo mueves aquí, cambia también allí.
3¿Quién pone el umbral?
Las personas deciden, pero guiadas por datos. La máquina pone la puntuación; el equipo de seguridad decide dónde está la línea.
No hay un único umbral: pruébalo
Este es un ejemplo independiente: no modifica el umbral de los pasos 1 y 2. Elige el contexto y mira dónde quedaría la línea en una política ficticia. Cuanto más a la izquierda, más estricto: se marcan mensajes con menos riesgo.
Tema
Modelo
Usuario
Valores inventados para ilustrar. Estos números no describen la configuración de ninguna empresa.
4Qué decisiones puede tomar el sistema
5La cascada en dos fases
Pasar cada mensaje por un clasificador grande sería carísimo. Una arquitectura posible usa dos fases: un filtro muy barato revisa todo y solo lo sospechoso sube a un clasificador potente.
Fase 1 · La sonda lineal
La sonda no lee el texto. Mira las activaciones internas del modelo, los números que se encienden en su interior al procesar el mensaje, y hace una suma ponderada. Puede tener un coste adicional bajo si esas activaciones ya están disponibles; depende de la arquitectura.
Fase 2 · El clasificador de intercambio
Es un modelo más grande que lee la pregunta y la respuesta juntas, en el contexto de la conversación. En esta simulación lo representamos como un filtro más preciso y costoso, que solo recibe lo que la sonda marca como sospechoso.
Simulación: 200 mensajes
Esta actividad es independiente de los umbrales anteriores. Cada tanda genera casos nuevos. Los costes son unidades ficticias: 1 por revisión de la sonda y 20 por revisión del clasificador potente.
Fase 1
Sonda (todos)
Fase 2
Suben al potente
Resultado
Marcados
6Ideas clave
• Las salvaguardas pueden combinar clasificadores, reglas y controles del propio modelo. Aquí se representa una arquitectura simplificada.
• Este simulador usa palabras y pesos inventados. Un clasificador real puede considerar el contexto y su puntuación no tiene por qué ser una probabilidad.
• En esta muestra hay solapamiento: al bajar el umbral se detectan más mensajes dañinos, pero también se marcan más legítimos. La matriz permite ver ese equilibrio.
• Una opción es trabajar en cascada: un filtro barato lo revisa todo y solo lo dudoso llega al clasificador caro.
• Revisar errores puede ayudar a mejorar el clasificador. La mejora debe comprobarse con otros datos; no ocurre automáticamente por usar el simulador.
Simulación didáctica y simplificada. No reproduce el funcionamiento interno exacto de ningún producto concreto.
¿Cómo influyen los umbrales en los errores de una salvaguarda?
Un clasificador asigna una puntuación y una política la compara con un umbral. La matriz de confusión distingue verdaderos positivos, falsos positivos, verdaderos negativos y falsos negativos.
Cómo se utiliza en este recurso
Prueba mensajes, mueve el umbral sobre 24 casos ficticios y observa los cuatro resultados. Compara también una cascada de filtros con costes inventados.
Alcance y límites
Simulación local basada en palabras, pesos y etiquetas inventados. No analiza intenciones reales ni reproduce la arquitectura de un producto concreto. Las puntuaciones de los 24 casos se fijaron para ilustrar el umbral y no proceden del simulador de texto.
Preguntas frecuentes
¿Positivo significa correcto?
No. Positivo significa marcado por el sistema. Un positivo es verdadero si el caso era dañino y falso si era legítimo.
¿Marcar implica bloquear?
No. La política puede permitir, pedir contexto, revisar, derivar o bloquear.