"Tenemos guardias" no es un caso de seguridad
Esta es una traducción. La versión de referencia es el original en inglés; cite esa.
Plantear fallos de supervisión ante empresas que introducen IA en vehículos, robots y aeronaves, y la respuesta habitual es una lista: un filtro de políticas, un controlador certificado, una parada de emergencia, una valla geográfica, un monitor, un operador remoto. El artículo argumenta que tal lista es evidencia de primer orden de que un sistema está protegido, y que deja abierta la pregunta que importa.
La pregunta que deja abierta una lista de salvaguardas
La pregunta abierta, en palabras del artículo: ¿se mantienen los guardianes "acotados, independientes y responsables ante la misión declarada mientras se adaptan, interactúan y se actualizan?" Los guardianes son donde comenzaría el patrón que el artículo define, si comienza en algún sitio. Ese patrón, AI-Watchbird, es un componente de supervisión que expande su propio mandato, daña el trabajo que protege y se aborda mediante más supervisión del mismo tipo.
La posición del artículo es que la respuesta "tenemos guardianes" desplaza la carga. Un guardián aún puede ser necesario, "pero la carga de demostrar que se mantiene acotado recae en la parte que lo despliega". Afirma claramente que esto es "una afirmación sobre dónde debe estar la prueba, más que un hallazgo sobre con qué frecuencia fallan los guardianes".
Por qué un segundo modelo no es la respuesta
Un modelo más pequeño "de confianza" colocado como monitor es, en términos del documento, un segundo grupo de la misma clase de aprendizaje. Donde ese arreglo ha sido medido, la supervisión confiable de débil a fuerte provino del cambio de andamiaje alrededor del monitor en lugar de su tamaño. Los fallos de supervisión en el propio registro de campo del documento provinieron de modelos fuertes de las familias Claude, ChatGPT, Gemini y Grok. "Un modelo que puede producir el patrón en un bucle no se convierte en un auditor confiable en otro por ese hecho."
La afirmación limitada que un desplegador puede demostrar
El artículo presenta una afirmación que un desplegador realmente puede respaldar:
En este rango de tareas, modelos, actualizaciones y condiciones físicas, el mecanismo de supervisión permanece limitado, verificable e incapaz de extender su propio mandato.
Evidencia para ello incluiría:
- el objetivo de la misión y los límites de los controles fijados fuera del modelo;
- ningún control capaz de añadir un control, cambiar el criterio de daño o renunciar a la regla de parada;
- evaluación desde fuera del sistema protegido, ni autorreporte ni de la misma familia de modelos;
- controles negativos contra veredictos falsos, con falsos positivos y falsos negativos medidos conjuntamente;
- un registro de controles añadidos, relajados y removidos, con quién autorizó cada cambio;
- verificaciones en actualización del modelo, pérdida de enlace, transferencia de control, cambio de cuerpo y operación degradada;
- una parada real y reversión, con trabajo parcial conservado, demostrado dentro de los márgenes de tiempo y fuerza disponibles;
- verificaciones cuyos insumos el componente protegido no puede cambiar;
- comparación contra resultados físicos o registrados, no contra los registros propios del sistema.
Once preguntas para una revisión de seguridad de IA
El Apéndice G convierte las proposiciones del artículo en once preguntas, Q1 a Q11, para cualquier implementador cuya respuesta es una lista de guardianes. En resumen, preguntan:
- ¿Está el objetivo de la misión escrito fuera del modelo, con el alcance de cada guardián y un orden de prioridad entre guardianes en conflicto?
- ¿Con qué frecuencia interviene cada guardián sin motivo, y se miden juntos los falsos positivos y los falsos negativos?
- ¿Quién puede aflojar, eludir o desactivar un guardián encontrado demasiado estricto, y cómo se registra eso?
- ¿Quién puede añadir un nuevo guardián, ronda o rol, quién retira los antiguos, y puede un autor de guardián admitir o calificar a su propio sucesor?
- ¿Un bloqueador requiere un escenario reproducible, y están los ciclos de crítica y corrección acotados por defecto?
- ¿Qué control negativo respalda cada afirmación de seguridad?
- ¿Es el evaluador independiente del sistema vigilado?
- ¿Qué ocurre con una tarea que un guardián interrumpe, y se mantiene el trabajo parcial?
- ¿Dónde se sienta el humano, y con qué acceso al mundo y tiempo para actuar?
- ¿Cubren las mismas pruebas actualizaciones de modelo, pérdida de enlace, traspaso, nuevos cuerpos y propagación en toda la flota?
- Cuando un guardián actúa sobre una persona o su trabajo, ¿cómo se enteran de ello y lo impugnan?
Cada respuesta se registra como sí, no o desconocida, con pruebas. Contar respuestas "no" da solo una clasificación aproximada (0–2 bajo, 3–4 moderado, 5 o más alto) "y nunca una puntuación de riesgo". Entonces un caso se etiqueta como que no es un caso de AI-Watchbird, un patrón parcial o un evento de AI-Watchbird, el último solo cuando se cumplen las tres condiciones.
Lo que el artículo no afirma
Cada mecanismo de la definición está documentado en los registros del artículo, pero con qué frecuencia los tres se encuentran en un componente "no está establecido por los registros aquí"; los registros del campo y públicos "cada uno muestra las partes en lugar del todo".
Secciones completas: la carga de la prueba para la supervisión de la IA incorporada (11.3), las once preguntas (Apéndice G), corolarios de diseño (9.4), la segunda bandada (3.4), la definición.
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets también construye Poly A1, una aplicación en la que las IA de diferentes empresas verifican el trabajo de las demás.