Lo que un retiro de autobús escolar dice sobre la supervisión remota
Esta es una traducción. La versión de referencia es el original en inglés; cite esa.
Dos registros públicos distintos involucran vehículos automatizados que pasan autobuses escolares con los brazos de parada extendidos. En uno de ellos, una regla dentro del sistema de conducción pasó por alto la parada; en el otro, el sistema consultó a un humano y el humano se equivocó. Leídos lado a lado, muestran por qué el documento argumenta que la supervisión humana debe situarse en unas pocas decisiones fronterizas y no en acciones individuales.
Dos eventos, no uno
Estos son eventos diferentes y no deben fusionarse.
La retirada. El sistema de conducción automatizada de Waymo incluye una regla que establece que no debe obstaculizar vehículos prioritarios como autobuses escolares. Un lanzamiento de software en agosto de 2025 cambió cómo el sistema predice las intenciones de otros usuarios de la carretera. Posteriormente, según el informe de retirada de la empresa, "el ADS determinó que podría estar obstaculizando el autobús escolar u otro vehículo prioritario, y luego razonó que debería proceder para dejar de obstaculizar el otro vehículo", en un momento en que el autobús escolar tenía su brazo de parada extendido. La retirada abarcó 3,067 vehículos. Su solución establece que el sistema "no prioriza el movimiento para evitar obstaculizar vehículos por encima de permanecer apropiadamente detenido frente a un autobús escolar".
El agente remoto en Austin. El 12 de enero de 2026 en Austin, un vehículo automatizado se detuvo detrás de un autobús escolar y preguntó a la asistencia remota si era un autobús escolar con señales activas. Según el informe preliminar de National Transportation Safety Board, un agente remoto "respondió 'No' a la pregunta", y el vehículo "reanudó el viaje y pasó junto al autobús escolar mientras sus brazos de parada aún estaban extendidos".
Qué muestra cada uno
En la recuperación, se disparó una regla protectora donde debería haberse mantenido una protección más fuerte, la de los niños en el autobús. El artículo lo califica como documentación de daño a los protegidos (condición 2 de su definición). Señala que los documentos registran las situaciones que coincidieron con la regla, no una definición modificada de daño, por lo que el registro no muestra que la guardia ampliara su propio mandato.
En Austin, la lectura del artículo es directa: «la duda del modelo fue correcta y el agente remoto, cuestionado sobre una sola acción, se equivocó.» El sistema hizo lo que un diseño prudente pide. Se detuvo y preguntó. Tras la respuesta del humano, continuó.
Fallo del control humano en bucle y dónde se sitúa el humano
La Proposición P6 predice que la supervisión humana se mantendrá donde esté concentrada en pocas decisiones de frontera (el objetivo, la admisión de un nuevo control, la parada) tomadas con acceso al mundo y tiempo para actuar, y fallará donde esté dispersa en aprobaciones de acciones individuales o se ejerza a través de artefactos. Un agente remoto que responde a una pregunta de sí-o-no sobre una acción es la segunda ubicación.
El software muestra la misma división a escala. Un desarrollador informó que los usuarios aprueban el 97% de las solicitudes de permiso, y en un estudio con 1.053 evaluadores los humanos detectaron el 13,6% de comandos peligrosos, frente al 89% para un clasificador automatizado. En palabras del artículo: «Un humano al que se le pide que apruebe cada paso se convierte en un sello de goma».
La supervisión de IA física requiere tiempo y acceso
Un cuerpo aporta tiempo e irreversibilidad. Un veredicto erróneo en un repositorio puede revertirse; uno entregado a velocidad de carretera no. El artículo señala que el interruptor humano que funcionó en sus registros de campo «requiere tiempo y acceso que un sistema físico podría no proporcionar». Añade un requisito adicional de los casos físicos: un humano en el límite necesita acceso al mundo y tiempo para actuar.
El registro de carretera muestra la misma tensión en otro lugar. En el accidente de Tempe de 2018, los investigadores encontraron que el diseño del sistema «impedía la activación del frenado de emergencia para la mitigación de colisiones, confiando en cambio en la intervención del operador», y que la «prolongada distracción visual del operador, un efecto típico de la complacencia de la automatización» le impidió ver al peatón a tiempo.
Supervisión humana del Artículo 14 de la Ley de IA de la UE
El Artículo 14 de la Ley de IA de la UE requiere supervisión humana de sistemas de IA de alto riesgo, según un calendario que el documento registra en su Apéndice I: un reglamento de enmienda de 2026 trasladó las obligaciones para sistemas de alto riesgo independientes al 2 de diciembre de 2027 y para los integrados en productos al 2 de agosto de 2028. El Artículo 26 requiere que los implantadores asignen la supervisión a personas con «la competencia, capacitación y autoridad necesarias, así como el apoyo necesario». El documento interpreta esas palabras como la prueba de P6 en forma estatutaria: autoridad para detener, y apoyo que proporciona acceso y tiempo. También advierte: «Un requisito de supervisión que se cumple agregando avisos de aprobación puede convertirse en sí mismo en una segunda bandada».
Estos dos registros del camino documentan cada uno una condición de la definición del documento. La frecuencia con la que se cumplen las tres condiciones en un componente «no está establecida por los registros aquí».
Secciones completas: en el camino (6.2), por qué un cuerpo cambia la pregunta (6.1), Proposición P6, avisos de permiso (8.4), requisitos de supervisión humana (11.4), el registro normativo (Apéndice I).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets también construye Poly A1, una aplicación en la que las IAs de diferentes empresas se verifican mutuamente el trabajo.