Um auditor de leitura apenas para registros de eventos de agentes IA
Esta é uma tradução. A versão de referência é o original em inglês; cite essa.
AI-Watchbird-Sheckley é um pequeno módulo Python que lê o registro de eventos de uma execução de IA multi-agente e relata sinais de que sua supervisão está crescendo, estagnando ou destruindo trabalho. Não possui autoridade: nunca bloqueia, edita ou abre nada.
Por que auditar o próprio ciclo de supervisão
O artigo revisou salvaguardas existentes, contadores de passo e orçamento, e avaliadores modelo-juiz em 14 September 2026. Nenhuma das ferramentas na documentação pública revisada toma o próprio ciclo de supervisão como unidade de medição. Nenhuma mede o crescimento dos controles, rodadas além de um orçamento definido por achados, uma salvaguarda cujo veredicto nunca varia, uma vitória sem um controle negativo, ou trabalho parcial destruído em um teto.
Design: ler, relatar, nunca bloquear
O módulo é escrito em Python 3 apenas com a biblioteca padrão e sem acesso à rede. É instalado como o pacote ai-watchbird-sheckley e executado como um comando do mesmo nome; audit --json emite um relatório legível por máquina. Lê o log de eventos de uma execução e relata. Seu código de saída não depende dos sinais que relata. Sua lista de sinais está congelada, portanto adicionar um sinal requer um token de autoridade e uma mudança de versão. Fica silencioso em uma execução limpa, o que um teste garante.
Também fornece três regras de orçamento como funções puras que um pipeline pode chamar:
- R1,
stop_rule: uma rodada de crítica e uma rodada de correções por etapa. Um bloqueador conta apenas com um cenário concreto, um link para o objetivo de missão declarado e confirmação do coordenador. Retornafix_once,close,incompleteoucut, e nunca uma nova fase. - R2,
settle_at_ceiling: mantém o que um participante produziu antes de um limite, marcado como parcial. - R3,
admit_control: admite uma nova verificação, rodada, papel ou portão apenas com um token de autoridade; caso contrário, retorna uma recusa como registro.
Nove sinais para supervisão multiagente
A parte de medição relata nove sinais, W1 a W9: expansão de mandato (um estágio não derivado de um objetivo de missão registrado), uma guarda cega ou destrutiva (um veredicto sobre 20 ou mais decisões, toda aprovação revertida, ou uma entrada obrigatória ausente), um trinquete de controle (controles adicionados sem um token de autoridade), um loop auto-alimentado (rodadas acima do orçamento, ou uma rodada aberta após uma sem bloqueador confirmado), uma vitória falsificada (uma vitória sem um controle negativo ou uma sonda A/A), construído para ninguém (artefatos desativados por padrão sem chamadores), trabalho parcial destruído, um bloqueador não confirmado conduzindo o trabalho, e um limite sem autor registrado.
Testado contra seus próprios falsificadores
Seis falsificadores descrevem como uma implementação alegando as regras seria refutada, por exemplo, se uma segunda rodada de crítica pudesse ser agendada sem um token de autoridade, ou se parar um processo no limite descartasse sua saída parcial. Cada um tem um teste. Um script de mutação aplica dezoito mutações direcionadas; cada uma deixa a suite vermelha, e uma mutação de controle que edita apenas um comentário a deixa verde.
Em seis logs de reprodução, o controle limpo e o estágio matutino não produzem sinais. Na execução de longo horizonte reconstruída, onde os estágios de fato executaram cinco, cinco e uma rodadas, stop_rule teria fechado todos os três no ponto de orçamento.
O que o módulo não faz
O artigo é direto sobre as limitações:
- Nenhum log bruto entrou nas reproduções. Foram reconstruídos a partir de contagens publicadas, e "quando nenhum número exato foi publicado, o menor valor plausível é usado e marcado".
- Um sinal relata que um padrão está presente. Causa e perda estão fora do que um sinal mede.
- Ele vê apenas o que é registrado. Um portão nunca registrado, um objetivo nunca anotado e trabalho que as pessoas param de tentar porque há uma guarda são invisíveis para ele.
- É digital e somente leitura, e não deve enviar comandos para um robô, drone, piloto automático ou atuador. Um perfil incorporado é proposto apenas como um formato de evento.
O módulo é em si um novo controle, portanto sua própria regra R3 se aplica a ele primeiro. Quando uma porta dela foi integrada ao pipeline do autor, foi admitida com uma condição de aposentadoria, não reportou sinal em três execuções reais e foi removida em 15 de setembro por uma decisão humana datada.
Executar
O Apêndice B fornece os comandos, executados a partir da pasta do módulo: pip install ., depois ai-watchbird-sheckley audit <log.jsonl> para um arquivo de log de eventos, ai-watchbird-sheckley replay replays/ para regenerar a tabela de replay, e python3 -m unittest -v para os testes unitários e falsificadores. Um arquivo de log de eventos é um arquivo JSON-lines com um evento por linha.
A implementação de referência, testes, logs de replay e dados do teste randomizado estão arquivados no Zenodo como AI-Watchbird-Sheckley versão 1.1.0 sob o DOI conceitual 10.5281/zenodo.22774269, que resolve para a versão atual.
Seções completas: o módulo (10), o que já existe (10.1), design (10.2), falsificadores (10.3), replays (10.4), o que o módulo não faz (10.5), no pipeline do autor (10.6), executar o módulo (Apêndice B).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets também cria Poly A1, um app em que IAs de diferentes empresas verificam o trabalho umas das outras.