Un auditor de solo lectura para registros de eventos de agentes de IA
Esta es una traducción. La versión de referencia es el original en inglés; cite esa.
AI-Watchbird-Sheckley es un pequeño módulo de Python que lee el registro de eventos de una ejecución de IA multiagente e informa de señales de que su supervisión está creciendo, estancándose o destruyendo el trabajo. No tiene autoridad: nunca bloquea, edita o abre nada.
Por qué auditar el bucle de supervisión en sí mismo
El artículo revisó salvaguardas existentes, contadores de pasos y presupuestos, y evaluadores de modelo-juez el 14 de septiembre de 2026. Ninguna de las herramientas en la documentación pública revisada toma el bucle de supervisión en sí mismo como la unidad de medida. Ninguna mide el crecimiento de los controles, rondas más allá de un presupuesto definido por hallazgos, una salvaguarda cuyo veredicto nunca varía, una victoria sin un control negativo, o trabajo parcial destruido en un techo.
Diseño: leer, informar, nunca bloquear
El módulo está escrito en Python 3 solo con la biblioteca estándar y sin acceso a la red. Se instala como el paquete ai-watchbird-sheckley y se ejecuta como un comando del mismo nombre; audit --json emite un informe legible por máquina. Lee el registro de eventos de una ejecución e informa. Su código de salida no depende de las señales que informa. Su lista de señales está congelada, por lo que agregar una señal requiere un token de autoridad y un cambio de versión. Permanece silencioso en una ejecución limpia, que una prueba obliga.
También incluye tres reglas de presupuesto como funciones puras que una tubería puede llamar:
- R1,
stop_rule: una ronda de crítica y una ronda de correcciones por etapa. Un bloqueador cuenta solo con un escenario concreto, un enlace al objetivo de la misión declarada y confirmación del coordinador. Devuelvefix_once,close,incompleteocut, y nunca una nueva fase. - R2,
settle_at_ceiling: mantiene lo que un participante produjo antes de un límite, marcado como parcial. - R3,
admit_control: admite una nueva verificación, ronda, rol o puerta solo con un token de autoridad; de lo contrario, devuelve un rechazo como un registro.
Nueve señales para la supervisión de múltiples agentes
La parte de medición reporta nueve señales, W1 a W9: expansión de mandato (una fase no derivada de un objetivo de misión registrado), una guardia ciega o destructiva (un veredicto sobre 20 o más decisiones, cada aprobación revocada, o una entrada requerida faltante), un trinquete de control (controles añadidos sin un token de autoridad), un bucle autorrealimentado (rondas sobre presupuesto, o una ronda abierta después de una sin bloqueador confirmado), una victoria contrafecha (una victoria sin un control negativo o una sonda A/A), construido para nadie (artefactos desactivados por defecto sin llamadores), trabajo parcial destruido, un bloqueador no confirmado impulsando trabajo, y un límite sin autor registrado.
Probado contra sus propios falsadores
Seis falsadores establecen cómo una implementación que afirmara las reglas sería refutada, por ejemplo, si una segunda ronda de crítica pudiera programarse sin un token de autoridad, o si detener un proceso en el límite descartara su salida parcial. Cada uno tiene una prueba. Un script de mutación aplica dieciocho mutaciones dirigidas; cada una pone la batería de pruebas en rojo, y una mutación de control que edita solo un comentario la deja en verde.
En seis registros de reproducción, el control limpio y la etapa de la mañana no producen señales. En la ejecución reconstructida de horizonte largo, donde las etapas realmente ejecutaron cinco, cinco y una rondas, stop_rule habría cerrado los tres en el punto de presupuesto.
Lo que el módulo no hace
El artículo es directo sobre los límites:
- Ningún registro sin procesar se incluyó en las repeticiones. Se reconstruyeron a partir de recuentos publicados, y "donde no se publicó un número exacto, se utiliza el valor más pequeño plausible y se marca".
- Una señal reporta que un patrón está presente. La causa y la pérdida están fuera de lo que mide una señal.
- Solo ve lo que está registrado. Una puerta nunca registrada, un objetivo nunca escrito, y el trabajo que las personas dejan de intentar porque hay una guardia son invisibles para él.
- Es digital y de solo lectura, y no debe enviar comandos a un robot, dron, piloto automático o actuador. Un perfil encarnado se propone únicamente como formato de evento.
El módulo es en sí mismo un nuevo control, por lo que su propia regla R3 le aplica primero. Cuando se integró un puerto del mismo en la tubería del autor, fue admitido con una condición de retirada, no reportó señal en tres ejecuciones reales, y fue eliminado el 15 de septiembre por una decisión humana datada.
Ejecutarlo
El Apéndice B proporciona los comandos, ejecutados desde la carpeta del módulo: pip install ., luego ai-watchbird-sheckley audit <log.jsonl> para un registro de eventos, ai-watchbird-sheckley replay replays/ para regenerar la tabla de reproducción, y python3 -m unittest -v para las pruebas unitarias y de falsificación. Un registro de eventos es un archivo de líneas JSON con un evento por línea.
La implementación de referencia, las pruebas, los registros de reproducción y los datos de la prueba aleatoria se archivan en Zenodo como AI-Watchbird-Sheckley versión 1.1.0 bajo el DOI de concepto 10.5281/zenodo.22774269, que se resuelve a la versión actual.
Secciones completas: el módulo (10), lo que ya existe (10.1), diseño (10.2), falsificadores (10.3), reproducciones (10.4), lo que el módulo no hace (10.5), en la canalización del autor (10.6), ejecutar el módulo (Apéndice B).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets también construye Poly A1, una aplicación en la que las IA de diferentes empresas verifican el trabajo de los demás.