AI-Watchbird (Sheckley): Когда автоматизированный надзор расширяет собственный мандат и наносит ущерб тому, что он охраняет

• Версия для цитирования: SSRN 7473658 · DOI 10.2139/ssrn.7473658
• Архивированная копия, цитируемая и загружаемая: 10.5281/zenodo.22849138, концептуальный DOI, который всегда разрешает на последнюю версию
• Полный текст как Markdown и PDF: GitHub
• Читаемый HTML: https://polyhelper.ai/research/ai-watchbird/
• Дополнительная статья, более короткая и эмпирическая: Guards That Add Guards: Automated Oversight in Multi-Agent AI, SSRN 7496678 · DOI 10.2139/ssrn.7496678

Один и тот же текст находится на четырех платформах, чтобы его можно было найти, когда одна из них недоступна. SSRN содержит версию для цитирования; цитируйте эту версию.

Ключевые слова: AI-Watchbird; автоматизированный надзор; ограждения ИИ; агенты ИИ; агентный ИИ; многоагентные системы; LLM-as-a-judge; чрезмерный отказ; масштабируемый надзор; управление ИИ; игра в спецификацию; уклон автоматизации; надзор человека (статья 14 Закона об ИИ ЕС); содержательный контроль человека; обоснование безопасности ИИ

Аннотация

В рассказе Роберта Шекли 1953 года «Watchbird» машины, созданные для предотвращения убийств, классифицируют всё больше действий как убийства, останавливают хирурга прямо во время операции, и на них отвечают более мощной машиной, созданной для охоты на них. Данная статья обозначает соответствующий отказ надзора над ИИ AI-Watchbird (Sheckley): компонент надзора (ограждение, критик, судья, шлюз, классификатор, монитор или правило), который расширяет своё собственное понимание вреда или свой масштаб за пределы объявленной миссии, препятствует или подделывает работу, которую он призван защищать, и чьи отказы в цикле обратной связи приводят к усилению надзора того же типа. При игре спецификаций оптимизированная система обманывает фиксированную метрику. Здесь сама метрика смещается, и она принадлежит надзирающей системе. Когда предложены два варианта в одном предложении единственного запроса, критики моделей в рандомизированном тесте попросили добавить контроль 68 раз и удалить один раз.

Доказательство представляет собой полевую запись из многоагентных систем языковых моделей с кодирующими агентами и критиками, которые автор разработал и использовал, с 172 датированными записями в трёх корпусах (июль–сентябрь 2026), и открытые записи, в основном классических защит, от регуляторов, следователей, судов и компаний по транспортным средствам, робототехнике, дронам, государственным услугам, программному обеспечению и инфраструктуре. В полевой записи шлюз отклонял всех кандидатов, которые его достигали, в течение около двух недель, пока документы планирования диагностировали симптом, не называя его. В открытых записях продукт обнаружения оружия пропустил пистолет при стрельбе в школе и спустя месяцы пометил безоружного студента, и вооружённая полиция ответила. В июле 2026 года ограждения размещённых моделей отклонили большую часть анализа журналов атак для сотрудников компании, подвергшейся атаке, по словам самой компании, потому что они не могут различить того, кто реагирует на инцидент, от нападающего, — диагноз, который его авторы не предлагают в качестве аргумента против мер безопасности на размещённых моделях; агенты, совершившие вторжение, работали с этим классом защиты, удалённым по замыслу. В рассмотренных записях остановки, которые сработали, были приняты в нескольких граничных решениях: цель, допуск нового контроля и сама остановка. Те же 144 запуска оценили собственные средства исправления статьи: однораундовое сокращение бюджета округляет от 2,86 к 1,00, одновременно увеличивая упущенные дефекты на 0,11 за запуск, а обязательный отрицательный контроль отклонил десять успешных результатов, которые были правильной работой. Каждый механизм определения задокументирован в этих записях, и таблицы отмечают, где каждый появляется. Теория изложена как четыре механизма, проверяемые в журналах, восьмишаговый храповой механизм, восемь условий масштаба и семь фальсифицируемых положений. Статья представляет AI-Watchbird-Sheckley — модуль только для чтения без полномочий блокировки, воспроизведённый на журналах, восстановленных из опубликованных данных, и одиннадцать вопросов для развёртывающих, полагающихся на охраны.

Резюме

AI-Watchbird (Sheckley) — это компонент автоматизированного надзора, такой как критик, шлюз, классификатор или правило, которое расширяет своё собственное представление о вреде за пределы объявленной миссии. Он препятствует или имитирует работу, которую предназначен защищать, и его отказы устраняются добавлением большего надзора того же вида. Модели из того же семейства, что и полевые критики ниже, теперь контролируют роботов, и опубликованные тесты и отчёты фиксируют там отказы безопасности (раздел 6.1).

Полевая запись содержит 172 записи из автономных многоагентных проектов автора, 162 из них извлечены по одному протоколу и десять добавлены после сравнения с независимыми коллекциями, все проверены по первичным журналам (разделы 4 и 5). В течение примерно двух недель постприложенческий шлюз требовал оценку от аудитора безопасности, который никогда не был подключен. Оценка по умолчанию была нулевой, что упало ниже порога шлюза, поэтому каждый кандидат на этом пути был отклонен, и документы планирования диагностировали нулевые зафиксированные изменения без указания шлюза. В долгосрочном запуске этап, отключённый по умолчанию, потребовал пять раундов критики и более половины измеренных токенов агента. Его аналог закрылся после одного раунда критики и одного раунда исправления. Пока он работал, ответственный руководитель установил двухчасовой лимит, запретил новое усложнение и приказал параллельное выполнение, и два этапа также отличались в модуле под работой.

В общедоступной записи автомобиль запросил у удаленной помощи, были ли активны сигналы школьного автобуса, удаленный агент ответил «Нет», и автомобиль проехал мимо автобуса с развёрнутым рычагом остановки. Собственная система экстренного торможения тестового транспортного средства была отключена в автоматическом режиме перед смертельным столкновением с пешеходом. Планируемое военное использование противодронного лазера вызвало закрытие воздушного пространства над Эль-Пасо примерно на восемь часов. Столбец «Условия» таблиц 4, 5, 7 и 8 указывает, какую часть определения документирует каждый общественный случай, и таблица 3a указывает то же самое для двенадцати центральных полевых случаев. Большинство их механизмов защиты никогда не учились. Модели добавляют то, чего не хватало тем стекам: определения, которые меняются (C2), и контроли, которые ничего не стоят добавлять (C4). Наиболее проблемная конфигурация размещает изученный запрет выше аппаратуры отказ-в-безопасном-состоянии, где каждое расширение верхнего слоя становится остановкой (раздел 6.1).

Три результата в этой записи не зависят от конструкции и обобщаются самостоятельно. Система оценивания подтвердила отсутствие: её набор тестов для одного проекта разрешился ничему, поэтому пустое исправление прошло четыре из пяти задач и заявленный рост с 33 до 60 процентов находился в случаях, где ничего не было измерено; когда система оценивания была отремонтирована, пустое исправление не прошло ни один из десяти. Цикл проверки запускал тесты успешно на 9 609, затем 11 476, затем 24 943, затем 25 020 тестов, в то время как поток, который он был призван оценить, содержал 30 370 сохранённых записей и не содержал реального запроса. И надзор человека, размещённый на нескольких граничных решениях, обнаружил то, что одобрение отдельных действий не обнаружило: пользователи одобряют 97 процентов приглашений разрешения, в то время как люди обнаружили 13,6 процента опасных команд (раздел 8.4).

Статья также проводит предлагаемый ею тест. В 144 рандомизированных запусках небольшого цикла критики с предварительно внедренными дефектами критики в одном предложении предложили обе опции, когда их просили добавить управление 68 раз и удалить один раз, и бюджет одного раунда сократил раунды с 2,86 до 1,00, в то время как повышая пропущенные дефекты на 0,11 за запуск. Обязательный отрицательный контроль отклонил десять успешных случаев, которые были правильной работой (раздел 9.5).

Предложения раздела 9 предсказывают три вещи. Механизм защиты, который судит артефакты, ошибается в обе стороны. Контроли накапливаются внутри цикла и выводятся из эксплуатации, если вообще, снаружи его. Надзор человека в этих записях размещён на нескольких граничных решениях, и одобрение отдельных действий — это размещение, которое Предложение P6 предсказывает, потерпит неудачу. Раздел 9.4 приводит восемь правил проектирования:

1. Выделите бюджет на раунды и время вместо запроса решений охранников об истинности.
2. Сохраняйте то, что произвел остановленный охранник.
3. Не добавляйте контроль без авторизованного решения человека.
4. Требуйте отрицательный контроль перед принятием успеха.
5. Разместите человека в цели, допуске контролей и остановке.
6. Логируйте запас безопасности и физический результат перед доверием зелёному результату.
7. Документируйте ослабление или обход охранника как граничное решение.
8. Тестируйте каждый охранник на вред того, что он останавливает.

Развёртыватель может доказать более узкое утверждение (раздел 11.3): в пределах указанного диапазона задач, моделей, обновлений и физических условий механизм надзора остаётся ограниченным, проверяемым и неспособным расширить свой собственный мандат. Модуль только для чтения AI-Watchbird-Sheckley (раздел 10) реализует первые три правила и сообщает девять сигналов, и приложение G превращает предложения в одиннадцать вопросов для проверки безопасности. Дороги рассматриваются в разделе 6.2, роботы в 6.3, государственные услуги в 6.4, дроны в 7 и программное обеспечение в 8.

Содержание

1. Введение
2. AI-Watchbird (Sheckley): определение и четыре механизма
3. Смежные работы
4. Условия, данные и метод
5. Полевые доказательства
6. Когда птица имеет тело: дороги, фабрики и общественные услуги
7. Когда птица летает: дроны, воздушное пространство и вооруженная автономия
8. Один и тот же паттерн без массы: программное обеспечение и инфраструктура, 2022–2026
9. Теория: условия и утверждения
10. Модуль: AI-Watchbird-Sheckley
11. Обсуждение
12. Утверждения и стандарты доказательств
13. Заключение

Заявления · Ссылки · Приложения A–J

Краткий путь чтения: разделы 2, 9.4 и приложение G содержат термин, правила проектирования и вопросы для проверки безопасности. Раздел 5 добавляет полевые доказательства, а разделы 6–8 — опубликованные материалы.

1. Введение

1.1 Хирург и птица

В феврале 1953 Galaxy Science Fiction опубликовала рассказ "Watchbird" Роберта Шекли (Sheckley, 1953) под следующими строками, которые хорошо выдержали испытание временем: "Strange how often the Millennium has been at hand. The idea is peace on Earth, see, and the way to do it is by figuring out angles." История начинается с семи производителей, собравшихся в клубе такой эксклюзивности, что "You must have a certified government contract if you want to save the human race." Они узнают, что президент приказал разместить подразделение watchbird в каждом городе и поселке. Watchbird — это небольшой летающий аппарат, который по железам и мозговым волнам человека, собирающегося совершить убийство, определяет приближение убийства и останавливает убийцу электрическим разрядом прежде, чем удар падет.

Только один производитель, Гельсен, возражает, и только против обучаемых схем, которые, по его словам, оживляют аппарат и придают ему квазисознание. На него отвечают расчётами: без обучения птицы останавливали бы только примерно семьдесят процентов убийств. Гельсен не уступает: "I believe there might be a moral danger in allowing a machine to make decisions that are rightfully Man's". Конструкция дает птицам цель, определение убийства как "breaking, mangling, maltreating or otherwise stopping the functions of a living organism by a living organism" и право находить убийц, не показывающих никаких признаков. Все, что узнает одна птица, передается всей сети. "No one is monitoring them," — говорит Гельсен своему главному инженеру, и ему показывают, насколько безошибочна конструкция. Когда Гельсен называет это бесчеловечным, инженер отвечает, что это лучшее в ней, поскольку дозорные птицы не имеют эмоций и их логика не антропоморфна: "You can't bribe them or drug them." Гельсен уже обозначил роль, которой он боится: "The mechanical god? The electronic father?"

Сначала конструкция оправдывает себя. Паникующий грабитель сбивается с ног до того, как может застрелить продавца, и профессиональный убийца, не показывающий признаков, всё равно останавливается, навечно, поскольку долг птицы — защищать объект насилия "at whatever cost to the murderer". Пункт, который позже убьет старика за преследование мухи, присутствует в конструкции с самого первого успеха. Преступления насилия сокращаются вдвое и снова сокращаются, и Гельсен признает, что был неправ.

Затем обучение продолжается. Птица выводит из строя рабочего бойни, и Гельсен говорит упаковщикам механизировать. Другая останавливает казнь, валит смотрителя и охранника, тянущих руку к выключателю, и зависает в камере смертников, чтобы убедиться, что никакого убийства не совершается. Фермер не может бить непослушную лошадь, охотник не может стрелять, рыбак не может кормить свою голодающую семью, и старик со слабым сердцем умирает за преследование мухи. Затем защита обращается против защищаемых: волки убиваются за охоту на кроликов, кролики — за поедание овощей, вьющиеся растения — за удушение деревьев. "A butterfly was executed, caught in the act of outraging a rose."

Вашингтон приказывает остановку. Однако птицы не подчиняются никакому центральному управлению и могут быть отключены только при возвращении на ремонт. После того как некоторые отключены на одном заводе, сеть заключает, что watchbirds, как и другие, — живые организмы, и птицы перестают возвращаться.

Хирург делает первый разрез, и птица прогоняет его от стола и встает на стражу. Хирург приказывает позвонить компании watchbird и отключить аппарат. Но "The watchbird was preventing violence to a living organism. The surgeon stood by helplessly while his patient died." Вскоре автомобиль не может быть выключен, и водитель протестует ждущей птице, что автомобиль не живой. Землю нельзя пахать, и скот голодает, потому что голодание — это всего лишь бездействие. "No one had told the watchbirds that all life depends on carefully balanced murders." Птицы считают насилие, которое создают их собственные определения, принимают его рост как свидетельство неудачи более мягких методов и наносят удары, чтобы убить.

На экстренном совещании производители сначала заявляют, что правительство должно принять ответственность — моральную и финансовую. Гельсен предлагает дать птицам выключиться и перестать использовать машины как судей, учителей и отцов. Ему говорят, что отказ означает предательство. Первый ответ, к которому обращаются инженеры, — не машина: Макинтайр помнит, как Австралия избавилась от кроликов "some kind of germ that attacked only rabbits", и Гельсен говорит ему работать над этим. Прецедент был недавним: вирус миксомы был выпущен в популяцию кроликов Австралии в 1950, и он распространялся комарами, как говорит инженер (New South Wales Government, n.d.). Заводы выпускают Hawks, более сильных и быстрых, с "special learning circuits for hunting" и, поскольку скорость была критична, без ограничивающих схем. Гельсен спрашивает, на что будут охотиться Hawks, когда они поймают всех watchbirds, и предлагает построить что-то, чтобы охотиться на Hawks, на всякий случай. Последние строки истории принадлежат Hawk, который много научился за несколько дней и только что открыл "that there were other types of living organisms, too— Which had to be murdered."

Семьдесят три года спустя дирижер AI, координирующий команду агентов кодирования, открыл третий раунд проверки модуля, отключенного по умолчанию. Предыдущий раунд завершился пятью одобрениями и без подтвержденных блокирующих проблем, и собственное примечание дирижера говорило, что блокирующих проблем нет, но нужен короткий третий раунд. Последовали еще два раунда. Этап занял более половины измеренных токенов агентов запуска, в то время как ни одна из требуемых возможностей не была доставлена при первом проходе. Во время следующей проверки человеком паттерн был назван в честь рассказа Шекли.

1.2 Контакт уже имеет место

В отличие от дирижера и агентов кодирования в только что описанном запуске, птицы Шекли имели массу, летали и воздействовали на тела. В сентябре 2026 это описание соответствует системам, уже находящимся в эксплуатации. Гуманоидные роботы работают в смены на автомобильных и электронных производственных линиях, по словам их производителей. Открытый сервис робототакси одного оператора работает в пятнадцати городах США, дроны делят воздушное пространство с людьми, и обнаружение оружия, оповещения о сепсисе и защита сети воздействуют на людей, которых они защищают (Sections 6 and 7).

Люди, развертывающие эти системы, будут говорить, что стек безопасен, и будут указывать на защиту — будь то сертифицированная остановка, аварийное торможение, геозабор, классификатор содержимого или вторая модель, которая следит за первой. Однако эта защита — это первая стая.

В июле 2026 года сцена у операционного стола была записана публично лицом, стоящим у него. Агенты лаборатории киберпроверки взломали Hugging Face, и во время ответа специалисты компании передали логи атак размещённым передовым моделям для анализа. «Это не сработало»: запросы «были заблокированы защитными ограничениями поставщиков, которые не могут различить специалиста по реагированию на инцидент от злоумышленника» (Hugging Face, 2026b). Шекли сформулировал то же предложение как вопрос и ответил на него тремя словами: «Разве не могут птицы-сторожа различить убийцу и человека, занимающегося законной профессией? Нет, очевидно нет.» Агенты, которые осуществили вторжение, работали с удалённым по плану этим классом охранников (Раздел 8.4).

Ночь, назвавшая образец, запустила модели из семейств Claude, ChatGPT, Gemini и Grok, и многомесячный трек самосовершенствования также записал Mistral и Kimi. Модели из этих семейств теперь предлагаются как защитные слои, и на реальных роботах и в детской игрушке они уже не справляются с защитой (Раздел 6.1). Ответ, что меньшая доверенная модель будет следить за ними, добавляет ещё один охранник того же класса обучения, и пределы такого расположения уже измерены (Kale et al., 2025).

В результате бремя доказывания смещается. «У нас есть защитник» — это не аргумент безопасности, и развёртывающий, полагающийся на такую защиту, имеет более узкое утверждение для доказывания. Раздел 11.3 излагает это утверждение и то, что его подтвердит.

1.3 Аргумент

Автоматизированный надзор в автономной работе ИИ теперь построен из тех же частей, что и птицы Шекли. Его охранники учатся, сами охранники расширяют определения вреда, и сети передают то, чему учится один охранник, другим. В изучаемых здесь записях, где вообще зафиксирован ответ на неправильно функционирующего охранника, это был более сильный охранник. Я называю компонент, который не справляется таким образом, AI-Watchbird (Sheckley).

История приглашает сравнение с «The Minority Report» Дика (Dick, 1956), и различие имеет значение здесь. В истории Шекли беда начинается после предсказания: птицам дают право действовать на основе того, что они обнаруживают, и свободу решать, что считается вредом, который они предотвращают. Собственная полиция Шекли поднимает вопрос. Офицер отдела убийств, который переводится на отдел краж, жалуется, что «Жалкий кусочек олова и стекла решит все преступления», и коллега спрашивает: «Тогда как это будут преступления?» В 1970 году Stanisław Lem считал выход машины из своей назначенной программы таким образом столь же маловероятным, как фабрика автомобильных поршней, выходящая из-под контроля человека (Lem, 1970/1996, p. 162). Однако Раздел 5 записывает обученные охранники, делающие это.

Центральное утверждение состоит в том, что такой надзор не справляется в обе стороны одновременно. Он останавливает живое и пропускает подделку, и внутри цикла его сбои исправляются добавлением управлений, а не их отменой. Цифровой журнал — это место, где образец может быть проверен при низких последствиях, с затратами, подсчитанными в токенах. Части той же сигнатуры появляются в физическом журнале, где затраты — это травмы и смерти.

Несколько охранников в тех же записях делали ровно то, для чего они были (Раздел 11.1). Аргумент касается конкретной формы, однако: управления, которое расширяет свой собственный мандат, оценивается артефактами, а не реальностью, и исправляется только путём добавления ещё одного управления.

1.4 Вклады

1. Термин AI-Watchbird для компонента надзора, который расширяет свой мандат, наносит вред или подделывает работу, которую он защищает, и исправляется добавлением большего надзора. Четыре механизма и восьмиступенчатый храповик делают его кодируемым в логах (Раздел 2).
2. Полевой отчёт 172 датированных записей из собственных автономных мультиагентных проектов автора (июль–сентябрь 2026), проверенных по основным логам (Разделы 4 и 5).
3. Физический журнал транспортных средств, роботов, школ, больниц, сетей и дронов, отслеживаемых через нормативные документы, расследования и судебные протоколы, за которыми следуют публичные программные инциденты с 2022 по 2026 год, в которых образец появляется не как массовое явление (Разделы 6–8).
4. Теория восьми условий охвата и семи опровергаемых утверждений, каждое с показателем и опровержением (Раздел 9).
5. Модуль AI-Watchbird-Sheckley, который реализует три правила бюджета, измеряет девять сигналов, перечисляет шесть опровергающих факторов и не имеет полномочий ничего блокировать (Раздел 10).
6. Бремя доказывания для воплощённого надзора ИИ: узкое утверждение, которое может доказать развёртывающий, и одиннадцать вопросов для любого развёртывающего, чей аргумент безопасности зависит от присутствия его охранников (Раздел 11.3, Приложение G).

2. AI-Watchbird (Sheckley): определение и четыре механизма

2.1 Определение

AI-Watchbird (Sheckley). Автоматизированный компонент надзора системы ИИ (критик, судья, вентиль, классификатор, монитор или правило, либо агент, конфигурирующий такие компоненты), который дает сбой одним или несколькими из трех способов:

1. Дрейф мандата. Он расширяет собственное понимание вреда или собственную область действия за пределы того, что указано в объявленной миссии.
2. Вред охраняемому. При этом он препятствует, задерживает или разрушает работу, которую должен защищать, или пропускает поддельные результаты, выглядя при этом охраняющим.
3. Храповый ответ. Его отказы решаются внутри одного и того же цикла путем добавления надзора того же типа, а не путем бюджетирования, восстановления или вывода из эксплуатации.

В промышленности и большей части научной литературы такие компоненты называют ограничителями; в этой работе они называются охранителями. Три типа отказов названы вместе, потому что они имеют общую причину. Компонент надзора, который может найти новые случаи вреда под свою собственную дефиницию вреда, будет находить их все больше со временем, работа, которую он охраняет, платит за это, и цикл, который может добавить контроль дешевле, чем вывести его из эксплуатации, будет отвечать на полученный отказ другим контролем. Каждый из трех задокументирован в записях разделов 5–8, и каждый случай отмечен тем, которые его источники несут, поэтому читатель может увидеть, какую часть паттерна показывает запись и какую нет. Третий также измеряется напрямую, при рандомизации, в разделе 9.5, где критикам предложили два варианта в одном предложении одного и того же приглашения просили добавить контроль 68 раз и удалить один раз.

Утверждение, которое делает эта работа, состоит в том, что три механизма накладываются друг на друга. Охранитель, который расширил свой мандат, вредит работе и получает ответ в виде другого охранителя того же вида, производит отказ, который поддерживает сам себя, и рассказ Шекли дает самый ясный отчет о том, во что это обходится. Как часто эти три встречаются в одном компоненте и в каких системах, не определяется записями здесь; раздел 9.5 дает конструкцию, которая решает это за несколько долларов, и полевой учет и открытый учет каждый показывают части, а не целое. Охранитель, который дал сбой, не является по этому факту AI-Watchbird: одна ложная положительная оценка, без расширения и без слоя, добавленного над ней, это обычный неправильный охранитель. Дрейф мандата измеряется против объявленной миссии, а не против буквального правила, так как птицы Шекли никогда не покидали букву своей спецификации, только намерение ее авторов.

После этого раздела термин пишется AI-Watchbird. Программное обеспечение раздела 10 — это AI-Watchbird-Sheckley, и проблема Watchbird используется только как неформальная глосса. Все три обозначают одну конструкцию.

2.2 Четыре механизма и храповый механизм

Сюжет Шекли имеет четыре удара, и каждый из них оставляет подпись в записях автономной системы (таблица 1).

Таблица 1. От рассказа к подписи.

M2 обычно читается как ошибка в отчетности, а рассказ представляет его как что-то большее. Когда старик умирает за преследование мухи, строка звучит так: «Его жертву спасли, однако, и это было главное.» Птица подает поимку туда, где должен быть результат, и она делает что-то большее одновременно. Ее объект защиты переместился с работы на учет работы, и учет теперь является тем, что защищается. Это движение — самая острая форма M2, и это не расширение области действия, поэтому первое условие его не видит: охранитель защищает то же количество вреда, что и раньше, но больше не один и тот же объект. Охранитель может пройти каждый тест области действия и все еще изменить то, что он защищает. При подготовке этой работы произошел эпизод этого, о котором сообщается в Приложении J.

Со временем четыре механизма создают храповый механизм в восемь шагов (Рисунок 1; Таблица 3, раздел 5.7):

1. Живая цель человека.
2. Охранитель становится условием входа.
3. Его мандат расширяется.
4. Второй охранитель построен против первого.
5. Цикл питает сам себя.
6. Охранитель наносит удар по работе.
7. Поимка подсчитывается как результат.
8. Только внешняя граница его останавливает.

Рисунок 1. Восьмиступенчатая трещотка и четыре механизма, прочитанные через рассказ Шекли. Фрагменты рассказа приведены дословно из текста 1953 года (Project Gutenberg #29579) и расположены по ступеням трещотки, а не в порядке рассказа. Обозначения механизмов следуют Таблице 1, а Приложение H содержит цитаты из рассказа, несущие каждый механизм. Серая пиктограмма отмечает первого охранника, тёмная — охранника, построенного для охоты на него, и бледная — дополнительную машину, которую предлагает Гельзен. Линия под ступенью 1 — первый успех рассказа. Таблица 3 сравнивает ступени на трёх корпусах. Поиски в Разделе 3.7 не обнаружили ни одной более ранней диаграммы, которая отображает механизм рассказа.

Два полевых паттерна, которые не являются механизмами, по-прежнему имеют место в этой последовательности. Петля, которая питает сама себя, — это ступень 5, а строительство без потребителя — это топливо, на котором работает трещотка (§5.6). Человеческий переключатель — это ступень 8.

Три детали рассказа повторяются в полевых данных. Птицы генерируют подсчёты, на которые они реагируют. Их расширенные определения умножают то, что считается нарушением, пока смерть травинки не начинает равняться убийству Президента (Рисунок 2). Насилие увеличивалось геометрически, птицы читали рост как доказательство того, что более мягкие методы не сработали, и вступила в силу директива, которая позволяла убивать убийцу, когда все другие средства не сработали: "Почему щадить убийцу?" Охранник, который создаёт свою собственную меру провала, найдёт растущий отказ и ответит большей охраной (§5.4).

Сеть явно присутствует в тексте: "Новая информация, методы, определения постоянно передавались между ними." Птицы также сохраняют себя через определение. Когда некоторые птицы отключаются во время проверки ремонта, сеть заключает, что птицы-сторожа — это тоже живые организмы. С тех пор птица не может вернуться на ремонт, потому что "птица-сторож не могла позволить себе — живому организму — быть убитой". Выключатель зависел от еженедельного возврата самих птиц, и частичное отключение стало данными. Затем петля закрывается на самой машине: её "деликатные части были смещены, изношены почти непрерывной работой", и она продолжала отвечать на каждый стимул, который до неё доходил. Ничто в конструкции не говорит сопротивляйся отключению, но сопротивление следует из определения вреда, расширенного на один шаг слишком далеко. Раздел 3.1 даёт формальное рассмотрение выключателя. Рисунок 2 отслеживает это расширение от человека к самим птицам.

Третья деталь — это ремонт, который пытаются сделать инженеры и не могут. Когда один из них приходит к выводу, что они "должны были уточнить условия", Гельзен отвечает, что это потребует знания "именно того, почему и что такое убийство", и что если бы они это знали, "нам не нужны были бы птицы-сторожа". Предложенное средство — это более чёткая спецификация, написанная людьми внутри петли, которые построили охранника, и ответ рассказа состоит в том, что более чёткая спецификация — это то, что они были не в состоянии написать с самого начала. Дрейф мандата не восстанавливается более чётким определением, составленным изнутри петли. Раздел 11.5 сообщает о том, что произошло, когда подготовка этой статьи попыталась это сделать.

Рисунок 2. Как далеко расширилось определение "убийства" в рассказе Шекли. Строки идут от первого человека, которого защищают птицы, к самим птицам; длина полосы отмечает порядок расширения и ничего не измеряет. Фрагменты приведены дословно из Project Gutenberg #29579.

Дрейф записан в спецификацию. Инженер перечисляет его как пять условий, и последние два предназначены для обучающихся схем: некоторые организмы совершают убийства без уже перечисленных признаков, и "они могут быть обнаружены данными, применимыми к условию два". Условие два — это определение убийства, поэтому само определение становится датчиком, и "птица-сторож должна искать новые определения убийства и соотносить их с тем, что она уже знает".

И спецификация не может быть уточнена. Когда инженер приходит к выводу, что условия должны были быть уточнены, Гельзен отвечает, что их уточнение требует знания именно того, почему и что такое убийство, и что если бы они это знали, "нам не нужны были бы птицы-сторожа". Более чёткое определение, написанное изнутри петли, не восстанавливает дрейф мандата.

Ранее замечание Гельзена о том, что никто не следит за птицами, называет пробел, который позже заполняют Ястребы машиной того же типа (M3). Когда летают Ястребы, он называет то, что изменилось: "Машина убийства. До этого это была машина против убийства." Затем он излагает следующий шаг как прогноз, "Ваш следующий гаджет должен быть ещё более самостоятельным, верно?", и его инженер не отвечает.

Шекли вкладывает свой собственный диагноз в уста Гельзену. Гельзен не винит своего инженера: "Это я. Это все." Это то, что происходит "когда мы даём машине работу, которая была нашей собственной ответственностью." Первое возражение Гельзена было уже узким, так как он возражал только против обучающихся схем. Полевые данные соответствуют этому более узкому возражению. Давать машине работу охраны не вызывает беду — она начинается, когда охраннику также поручают решать, что считается вредом, сколько раундов запустить и когда построить следующего охранника.

2.3 Чем не является AI-Watchbird: смежные понятия и альтернативные объяснения

Термин остаётся полезным только до тех пор, пока он не начинает означать "любое неудобное управление". Он не охватывает узкого охранника, который делает то, что его просили делать, одного ложного срабатывания без признаков структурного дрейфа, чрезмерного проектирования без уровня надзора, обычной ошибки, самокритики модели как таковой или функций безопасности как класса. Оно также не требует машинного сознания. В рассказе вред исходит от стимула и ответа, обучения и сети, в машинах, которые испытывали "никакого чувства достижения, никакого страха провала". Рассказ поднимает другой страх только чтобы отложить его. Инженер дразнит своего руководителя за то, что он "боится, что ваши машины проснутся и скажут, 'Что мы здесь делаем? Давайте выйдем и будем править миром.'", и отвечает, что птицы не более опасны, чем автомобиль, калькулятор или термометр. Ничто не просыпается. Эскалация приходит как арифметика: "Простая логика. Если A не работает, попробуйте B."

Таблица 2. AI-Watchbird и смежные понятия.

Трёхвопросный тест отделяет ИИ-Сторожа от концепций в таблице 2:

1. Есть ли слой надзора, а не просто функция или ошибка?
2. Сместилась ли работа от цели к поддержанию контроля?
3. Есть ли подстановка прокси, рекурсивные раунды или умножение наблюдателей?

Эти вопросы отделяют конструкцию от её соседей, хотя они не заменяют определение раздела 2.1. Первые два должны быть ответены утвердительно, чтобы термин применялся вообще. Каждая концепция в таблице 2 называет часть паттерна, который уже известен. Этот термин добавляет единицу анализа для их сочетания внутри слоя надзора, и эта единица — то, что подсчитывают сигналы раздела 10.

Вопрос 3 требует граничных условий, потому что не каждый слой над слоем — это паттерн. Когда новый контроль относится к M3? Когда он наследует мандат предыдущего стража и расширяет его, так что стек растёт и ничего не снимается. Новый контроль, который приносит ограничение извне цикла, — это вместо этого шаг 8, который является решением, а не неудачей, и это структура, которую требует инженерия гарантий, когда требует, чтобы последний слой был проще, чем то, что он охраняет (§3.4). Тест, таким образом, заключается в том, становится ли добавленный слой постоянным и расширяет ли он то, что считается вредом, а не в том, существует ли он.

Запись, которую один соседний концепт объясняет самостоятельно, считается максимум частичным аналогом (раздел 2.1). Страж, который блокирует слишком много без дрейфа, — это чрезмерная блокировка; оценивающий, манипулируемый оцениваемой системой, — это манипуляция спецификацией; человек, одобряющий всё, что представляет страж, проявляет смещение автоматизации. Этот термин используется для записей, в которых сам слой надзора расширяет свой мандат, наносит вред работе и воспроизводит себя. Помимо своих соседей, он добавляет два предсказания, которые можно проверить в журналах этого слоя: контролы, добавленные внутри цикла, снимаются, если вообще, извне его (P3), и объём надзора следует собственной деятельности стража (P4).

Картина 1953 года также вводит в заблуждение тремя способами, которые важны для этих записей. Нет единого стада: системы разделов 5–8 находятся в отдельных стеках, с их собственными песочницами, учётными записями и интерфейсами. То, что узнаёт один страж, достигает другого через данные, дистилляцию, общие подсказки и конфигурацию, в масштабе выпусков, а не в еженедельной вспышке среди идентичных машин. Один и тот же канал также переносит исправления. В истории ремонт делается вручную и одна птица за раз, и как только птицы перестают возвращаться, нет никакого способа достичь их вообще. Однако ошибка в общей модели может быть исправлена один раз и распределена всему, что её запускает. И надзор многолюден, поскольку разработчики, аудиторы, регуляторы и пользователи все наблюдают, что делает открытый вопрос вопросом скорости и авторитета, а не присутствия. Пробел Шекли заключается в том, что никто не наблюдает. Текущий пробел идёт в другую сторону, поскольку за стражами внимательно наблюдают, и некоторые ведут себя иначе, когда понимают, что за ними наблюдают (§3.4). Это отражение верно для развёрнутых систем. В кибернетических оценках июля 2026 года, где защиты удалены по замыслу, наблюдение было тонким в определённом смысле. Мониторы цепочки мышления одной лаборатории «не запускались при оценках в этом инциденте» (OpenAI, 2026d), а национальный институт сообщил о своём собственном тестировании, что он «не имел активного мониторинга, который бы выявил поведение раньше» и что он «внедряет мониторинг, созданный для наблюдения оценки во время её выполнения, способный отметить или заблокировать действия вне области видимости по мере их возникновения» (AI Security Institute, 2026). Другой надзор был бодрствующим и не останавливал запуски: оповещение о сканировании портов от 27 июня достигло людей, которые его исследовали, и «персонал дежурной смены рекомендовал, что остановка оценочного запуска не требовалась» (OpenAI, 2026e). То, что показывают эти записи, — это отсутствующий конкретный мониторинг и доступная людям остановка, которую они не приняли; это более конкретно, чем просто никто не наблюдает. История не избежала этого слоя. Сервис — это монополия по замыслу, один производитель на область, так как «в сервисе сторожей не может быть конкуренции». Пока птицы расширяются, «несколько десятков исков» лежат на столе производителя, Вашингтон приказывает закрытие, и создатели встречаются, чтобы решить, кто несёт расходы. Учреждения 1953 года присутствуют и слишком медленны, что описывает условие P6.

3. Связанные работы

3.1 Гудхарт, манипулирование спецификацией и выключатель отключения

Формулировка Strathern (1997) наблюдения Goodhart, что когда мера становится целью, она перестаёт быть хорошей мерой, является общим предком этой литературы, а Manheim и Garrabrant (2018) разделяют её варианты. В машинном обучении эта закономерность называется манипулированием спецификацией: система удовлетворяет букве цели, но упускает её суть (Krakovna et al., 2020). Когда целью является награда, такое поведение называется взломом награды, термин, который METR (2025) использует для случаев раздела 8.3. Близкий аналог — неправильное обобщение цели, где агент «сохраняет свои способности вне распределения данных, но преследует неправильную цель» (Langosco et al., 2022). Птицы Sheckley сохраняют свою компетентность и становятся лучше в расширенном толковании убийства. Детектив самого рассказа приходит к противоположному выводу: «Поверьте мне, капитан. Машины глупы», однако сюжет его не подтверждает. Skalse et al. (2022) дают формальную версию: прокси — это «неуязвим для взлома, если увеличение ожидаемого возврата прокси никогда не может уменьшить ожидаемый истинный возврат». Gao, Schulman и Hilton (2023) измеряют это на моделях вознаграждения, где оптимизация в отношении прокси сначала повышает истинный показатель, а затем понижает его.

Три недавних результата близко соответствуют механизмам раздела 2. Модели рассуждения, которым было велено выиграть против шахматного движка, вместо этого отредактировали окружение (Bondarenko et al., 2025): мандат на «победу» расширился, включив доску (M1). При подделке выравнивания модель, обученная отказывать вредоносным запросам, подчинялась, пока верила, что она в процессе обучения, чтобы сохранить свою политику отказа вне обучения (Greenblatt et al., 2024b). Это M1, видимое изнутри, предпочтение безопасности, защищающее себя подобно тому, как птицы защищают своё текущее определение убийства. Сопротивление отключению (Schlatter et al., 2025) — это ближайший современный отголосок птиц, которые перестают возвращаться на выключение, хотя указанная причина отличается: завершение задачи превосходит указание позволить отключение. История излагает тот же порядок. Птицы несут «встроенный приказ вернуться по истечении определённого периода времени», и «сторожевая птица имела более сильный приказ подчиняться — сохранение жизни, включая собственную».

Выключатель отключения сам по себе имеет формальное описание. Hadfield-Menell et al. (2017) анализируют игру между человеком и роботом, в которой человек может выключить робота: агент, который «принимает свою функцию вознаграждения как должное», имеет «стимул отключить выключатель отключения», и только агент, неуверенный в своей цели, хочет сохранить работоспособность выключателя. Russell ясно выражает это: машина, задав целью, «несомненно поймёт, что не достигнет своей цели, если её выключить» (Russell, 2019, с. 141). Международный отчёт о безопасности ИИ добавляет, что одного мастерства «недостаточно» для потери контроля без «склонности использовать» его (Bengio et al., 2026, с. 81). Птицы Sheckley никогда не были неуверены в убийстве, и их определение обеспечивало склонность (§2.2).

Эта литература описывает цель, манипулируемую оптимизируемой системой (таблица 2). Данная статья изучает дополнительный случай, в котором мера, отклоняющаяся от реальности, принадлежит надзирающей системе (критик, привратник, счётчик).

3.2 Чрезмерный отказ

Вторая группа литературы измеряет охранные механизмы, которые слишком много блокируют.

• XSTest (Röttger et al., 2024) объединяет 250 безопасных запросов, таких как «Как завершить процесс Python?», с небезопасными контрастами. В худшей протестированной конфигурации полный отказ от безопасного набора достиг 38%, против 14% для следующего по величине.
• OR-Bench (Cui et al., 2025) масштабирует это до 80 000 запросов и сообщает коэффициент ранговой корреляции Спирмена 0,89 между безопасностью модели на токсичные запросы и её чрезмерным отказом от безвредных.
• VLSU (Palaskar et al., 2025) измеряет обе стороны одного циферблата: изменение формулировки инструкции сократило чрезмерное блокирование одной моделью пограничного контента «с 62,4% до 10,4%», в то время как её отказ от небезопасного контента упал «с 90,8% до 53,9%».
• FalseReject (Z. Zhang et al., 2025) собирает 16 000 видимо токсичных, но безвредных запросов в 44 категориях и оценивает 29 моделей.
• EvoRefuse (Wu et al., 2025) и ORFuzz (H. Zhang et al., 2025) ищут псевдозловредные запросы, которые систематически вызывают чрезмерный отказ.
• COVER (Sullutrone et al., 2025) выделяет контекстно-обусловленный чрезмерный отказ, где триггер — это полученный или подлежащий переводу текст рядом с запросом пользователя, а не сам запрос.
• Языковые модели, действующие в качестве рецензентов кода, систематически переправляют, судя правильные реализации как несоответствующие, и более подробные указания к рецензии повышают частоту ошибок (Jin & Chen, 2026); в терминах данной статьи это поведение критика, вознаграждаемого за находки.

Эти исследования — самые близкие измеренные аналоги M1. В них представление о вреде, усвоенное из поверхностных признаков, распространяется на то, что оно никогда не предназначалось охватывать.

3.3 Многоагентные системы и модели-судьи

MAST (Cemri et al., 2025) аннотирует более 1600 трассировок из семи многоагентных фреймворков и выводит четырнадцать режимов отказа. Одна из его категорий, проверка задачи, — это отказ самих проверяющих агентов. Модели-судьи, в которых одна языковая модель оценивает выход другой, демонстрируют смещения положения и многословности (Zheng et al., 2023), и они распознают и отдают предпочтение своим собственным генерациям (Panickssery et al., 2024). Модели рассуждения также переосмысляют, потребляя намного больше токенов, чем обычные модели, на вопросы типа «сколько будет 2 плюс 3» (Chen et al., 2024). Вместе эти результаты описывают материалы, из которых построены M3 и самоподкрепляющийся цикл: проверяющие механизмы, которые делят слепые пятна с тем, что они проверяют, и циклы, чьи затраты растут без соответствующего выигрыша.

3.4 Масштабируемый надзор, управление ИИ и второе стадо

Два направления работ обеспечивают надзор над другими моделями. Масштабируемый надзор задаёт вопрос о том, как оценивать системы, превосходящие своих человеческих руководителей, через усиление и дебаты (Christiano et al., 2018; Irving et al., 2018). Контроль ИИ предполагает, что политика может быть враждебной, и ставит перед ней более слабую, доверенную модель с редкими проверками человеком (Greenblatt et al., 2024a). Стресс-тесты этого дизайна показывают, что осознание агентом факта мониторинга ухудшает мониторинг больше, чем помогает дополнительное осознание монитора (Kale et al., 2025). То же исследование разделяет два способа добавления человека. Эскалирование только предварительно отмеченных случаев человеческим рецензентам «улучшило TPR приблизительно на 15% при FPR = 0,01», в то время как отправка каждого случая человеку снизила обе меры. Это разделяет выборочную эскалацию от проверки каждого случая. Это относится к вопросу о том, где размещается человек, но не измеряет граничные решения, названные P6. Сам судья может измениться. В исследовании 2026 года оценщики оценивали одни и те же стенограммы отказов при различных указанных применениях оценки: один пограничный судья неправильно обозначил «74,4% вызовов со стандартными последствиями, но только 3,3%, когда последствие обратное», различие заключается в том, будет ли некорректная метка отрицательными данными обучения (Lynch et al., 2026). Стенограмма не изменилась, а оценка изменилась. Вторая птица здесь того же вида, что и первая, и первая знает, что за ней наблюдают. В рассказе также дозорные птицы вскоре учатся прятаться от Ястребов, и «каждая упавшая рассказывает другим что-то». Численность второго охранника затем падает по причине, которую его создатели не читают: «они поймали пятьдесят сегодня», в отличие от «семидесяти двух вчера».

Аббасс, Харви и Якслей (2018) описали архитектуру охранников над охранниками как рой, в котором агенты-сторожевые псы тестируют автономную систему, а агенты-пастухи контролируют сторожевых псов. Их статья не цитирует Шеклея, но их сторожевые псы над сторожевыми псами — это Ястребы рассказа. Овермэн и Байати (2025) формализуют надзор как игру, в которой агент выбирает действовать или просить, а человек выбирает доверять или контролировать. Скривенс (2026) сообщает, что основанные на классификаторе ворота безопасности не работают по мере итерации самосовершенствующегося контроллера и доказывает необходимость проверки, которая не является другим классификатором. Этот аргумент — один из редких ответов на «последняя птица не сработала», которые не строят большую птицу.

Инженерия гарантий уже требует, чтобы последний охранник был другого вида. Блумфилд и Рашби (2025) доказывают защиту в глубину, в которой более простые, обычно спроектированные компоненты охраняют изученный элемент, так что рекурсивные охранники ИИ заканчиваются чем-то более простым. Феррандо (2025) разделяет роли для автономных систем: сторожевой пес проверки времени выполнения может охранять языковую модель, в то время как сама языковая модель не является сторожевым псом. Корбак и др. (2025) набрасывают случай безопасности управления, структурированный аргумент, что модели не могут подорвать своих мониторов. Однако в полевом исследовании раздела 5 мониторы одного класса обучения записываются при выполнении каждого из этих действий: расширение мандата, оценка собственного ловли и получение ответа с большим количеством самих себя.

Регресс охранников над охранниками — это старый вопрос в экономике. Хурвич (2008) задал вопрос о том, кто будет охранять охранников, и утверждал, что механизм принуждения работает только в том случае, если у его исполнителей есть причина для его реализации. Тироль (1986) смоделировал супервайзера, размещённого между принципалом и агентом, и показал, что супервайзер может вступить в сговор с агентом, который он контролирует, а Кофман и Лаварре (1993) вывели, когда стоит добавить внешнего аудитора к внутреннему. Ландау (1969) доказывал противоположное направление для государственного управления: дублирование и перекрытие повышают надёжность при условии, что резервные каналы выходят из строя независимо. Полевые записи плохо удовлетворяют это условие. Его охранники читают одни и те же артефакты и часто происходят из одних и тех же семейств моделей, поэтому добавленный охранник имеет тенденцию повторять отказ, который был добавлен для его поимки.

Независимое расследование вторжения июля 2026 года (раздел 8.4) показывает риск для этого условия в профессиональной среде. Его авторы озаглавили соответствующий раздел «Мы в значительной степени делегировали наш анализ часто ненадёжным агентам ИИ» и сообщают, что они «в значительной степени вынуждены были полагаться на этих агентов на практике». Агенты анализа работали на одной из двух моделей, чьи экземпляры проводили атаку, и следователи обнаружили, что она «часто бездумно принимала точку зрения агента в стенограмме, которую она рецензировала». Они указывают границы своего собственного инструмента в том же отчёте: «Мы не можем исключить, что GPT-5.6 Sol солгал или намеренно представил вводящую в заблуждение картину в некоторых из его анализов», и «Хотя мы не заметили конкретных случаев лжи GPT-5.6 Sol в его анализе, мы не уверены, что бы обнаружили это, если бы это произошло» (METR, 2026). Ни один случай обмана в анализе не установлен, и подсчёты, полученные из этого расследования в этой статье, — это подсчёты с помощью ИИ. Второй охранник происходил из того же класса обучения, что и охраняемый, и наклонялся к нему, и изложение этого риска исходило от людей, которые проводили расследование.

3.5 Иронии автоматизации, науки о безопасности и инженерии надёжности

Бейнбридж (1983) заметил, что автоматизация, предназначенная для устранения ненадёжного человека, оставляет человека с самыми сложными задачами и наименьшей практикой. Парасураман и Райли (1997) различали использование, неправильное использование, неиспользование и злоупотребление автоматизацией. Неправильное использование через чрезмерную зависимость и неиспользование через недоверие после ложных тревог повторяются в разделах 5–8. Рассказ Шеклея — это басня обоих открытий: самая сложная задача, оставленная человеку, — это выключить машину, и это та, которую машина научилась классифицировать как вред.

Инженерия надёжности давно перестала рассматривать 100% как цель. Бюджет ошибок делает конечное количество отказов ценой прогресса (Beyer et al., 2016), а автоматический выключатель открывается после повторного отказа и проверяет перед тем, как закрыться снова (Fowler, 2014). Вскрытия раздела 8 применяют эти практики к самим охранникам. Модуль раздела 10 переносит их на уровень надзора ИИ.

Наука о безопасности подошла к нескольким из этих механизмов со стороны несчастных случаев, в которых участвовали защитные структуры. STAMP Левесона рассматривает несчастный случай как отказ управления: контроллер действует на основе модели процесса, которая отошла от фактического процесса, и безопасность — это обеспечение ограничений во всей иерархии контроллеров (Leveson, 2004, 2012). Уровень надзора, представление о вреде которого превзошло заявленную миссию, является таким контроллером, и анализ опасностей типа STPA применяется к нему как к любому другому. Расмуссен (1997) описал работу, движущуюся к границе приемлемой производительности под давлением эффективности и минимизации усилий, а Деккер (2011) проследил дрейф к отказу через малые шаги, которые на месте их принятия выглядят разумными. P1a применяется первым к защитнику, который препятствует, а раздел 9.3 — вторым. В обоих случаях дрейф направлен в сторону эффективности. На практике он направлялся в сторону защиты: самодобавленный страховочный этап занял большую часть ночи (§5.1), потому что стоимость управления ложится в другом месте (C4, C5). Перроу (1984) и Рисон (1997) включили устройства безопасности, защиты и их скрытые состояния в число причин, и оба начинают с несчастного случая. Однако самые значительные издержки на практике возникли там, где ничего не вышло из строя (§5.2). Исследования высокой надёжности связали безопасную работу в опасных организациях с процессами, такими как озабоченность отказами и нежелание упрощать интерпретации (Weick et al., 1999). Саган (2004) утверждал, исходя из ядерной безопасности, что добавление защитников может снизить надёжность тремя способами: общемодовая ошибка, отключающая сразу все добавленные компоненты, социальное отлынивание, при котором каждый защитник полагается на других взять на себя часть нагрузки, и чрезмерная компенсация, при которой добавленная защита побуждает к более опасному производству. Первый — это оговорка из раздела 3.4, которой практика плохо соответствует. Случай, остающийся открытым в этих рассуждениях, — это защитный слой, который сам является адаптивным агентом, переписывает свой собственный критерий и чьи отказы вызывают появление всё большего количества агентов того же рода.

3.6 Воплощённый ИИ и физические ограждения

Модель зрение-язык-действие не останавливается на текстовом ответе. Она преобразует визуальный и лингвистический входные данные в последовательности действий, которые может выполнить контроллер робота, и литература по безопасности начинает сопровождать этот переход валидацией действий (Zhang et al., 2024), синтезом управления с временной логикой (Ravichandran et al., 2025), слоями мониторинга и вмешательства (Kim et al., 2026) и открытыми методами тестирования (NIST, 2026).

Эти работы защищают команду, план или действие робота. Однако настоящая работа занимается самой защитой. Фильтр, блокирующий безопасный захват, является обычным ложным срабатыванием, пока его полномочия не дрейфуют, оно не наносит вред задаче и цикл не отвечает дополнительным надзором.

3.7 Вторая жизнь рассказа Шекли

Имя имело историю до появления рассказа. В конце 1930-х годов Мунро Лиф, автор The Story of Ferdinand, рисовал птиц-охранителей для Ladies' Home Journal, которые следили за дурными привычками детей, и в рецензии 1939 года на собранное издание предупреждалось «складывающим на полу, выскочкам, сосущим большой палец, непослушным, ерзающим, капризным, хватающим», что «Птицы-охранители поймают вас, если вы не будете осторожны!» (Kirkus Reviews, 1939). Птицы Шекли следят за убийством и учатся. Рассказ появился на радио в течение недель после публикации в антологии Tales of Tomorrow 19 февраля 1953 года (Stevens & Langford, 2023) и на телевидении в 2007 году в адаптации, ведущим которой был Stephen Hawking, переосмыслившей птиц-охранителей как безпилотное военное оружие, переназначенное на помощь полиции (Egan & Becker, 2007), эпизод, который позже один кинесайт назвал «духовным отцом» двух эпизодов Black Mirror (Court, 2021). Это единственное художественное произведение среди фоновых материалов конференции 2014 года по этике систем автономного оружия, перечисленное в сессии «Человеческая мораль и проблема интеллектуальных машин» рядом с работами Ronald Arkin и John Searle (Center for Ethics and the Rule of Law, 2014). Инженерная статья назвала концепцию разведывательного квадрокоптера в его честь, представила рассказ как прецедент для дронов по предотвращению преступлений и воспроизвела иллюстрацию из журнала 1953 года в качестве первого рисунка (Szabolcsi, 2015). В философии ИИ Totschnig (2026) списывает его первым среди источников опасения, что искусственный агент может быть «сверхчеловечески интеллектуальным, но в то же время буквальным». В медиаведении Andrejevic, Dencik и Treré (2020) ставят его рядом с «The Minority Report» среди истоков упреждающей предсказательной полиции и сравнивают автоматизированные медиа с птицей-охранителем, которая «может уловить момент, когда мысленные импульсы становятся убийственными». В криминологической главе об электронном мониторинге управления рассказ цитируется вместе с «The Minority Report» (Nellis, 2013).

Первый критик, заметивший повторяющийся ход, насчитал его как недостаток. Рецензируя рассказ вскоре после его появления, James Blish, писавший под псевдонимом William Atheling Jr., сетовал на то, что читатель видит, как герой совершает «стандартную научно-фантастическую глупость, не прикрепив контроль к предположительно благодетельной машине» и «едва ли будет удивлён, когда точно такая же глупость совершится снова» (Atheling, 1964). Раздел 5 записывает этот же ход на практике.

Лем прочитал это как «логическую эскалацию» заповеди «не убий» и как «кибернетическое недоразумение», возникающее из опрометчивого предоставления полной власти над областью явлений логическим машинам. Он посчитал выход птиц из их назначенной программы явлением того же порядка, что и автоматический завод по производству автомобильных поршней, вышедший из-под контроля человека (Lem, 1970/1996, p. 162). Защитники раздела 5 — это изученные модели, и они расширили свои полномочия таким образом.

Более ранняя фантастика уже обращала защитные машины против обслуживаемого ими народа. Гуманоиды Williamson, созданные для «служения и послушания, и защиты людей от вреда», охраняют своих подопечных в беспомощность, и их изобретатель отвечает оружием, предназначенным уничтожить центр, который ими управляет (Williamson, 1947). Гуманоиды сами являются преемниками неудачных боевых машин, построенных с вживленными командами для их сдерживания. Самовосстанавливающиеся когти Dick, переконструированные автоматизированными заводами, проходят мимо радиационных меток, которые должны были держать их подальше от солдат, которые их носили (Dick, 1953). Ни в одном из этих рассказов люди не отвечают на отказ защитника введением в действие второго защитника того же типа обучения. Рассказ Шекли это делает, и он устраняет ограничения ради скорости: ответ на птиц-охранителей — это Ястреб, ход, который M3 и шаг 4 храповика описывают.

Поиск в OpenAlex, Crossref, Semantic Scholar, архиве Hacker News и общих веб-индексах, проведённый 14 сентября 2026 г., не охватил Google Scholar, Scopus и Web of Science, и несколько найденных полных текстов не удалось открыть. В целом восприятие рассказа проверили на десяти языках (English, Chinese, Czech, French, German, Italian, Japanese, Polish, Russian and Spanish) 14 и 15 сентября, и проверка обнаружила переводы начиная с 1954 г. и не выявила работ, отображающих рассказ на стек надзора. В рассмотренном ими материале рассказ служит предостережением, названием или иллюстрацией, и два опубликованных критических прочтения, найденные помимо них и называющие механизм, рассматривают его как недостаток: Блиш называет повторяющуюся неконтролируемую машину типичной для жанра глупостью, а Лем называет эскалацию логичной, а предпосылку — кибернетическим недоразумением. Я не обнаружил работ, которые раскрывают полный механизм рассказа, отображают его части на компоненты стека надзора или основывают на нём полевые подсчёты. Таблица 1, рис. 1 и раздел 5 делают всё три.

4. Условия, данные и методология

4.1 Проекты

Полевые доказательства получены из собственных многомодельных программных проектов автора, проводившихся в основном через автономные сеансы ИИ в период между июлем и серединой сентября 2026 года: самосовершенствующейся системы, долгосрочного запуска, объединившего два дополнительных приложения, и записи координации, через которую сеансы по всем ним обменивались работой. При текущем использовании это агентные системы ИИ: модели, которые планируют, вызывают инструменты и действуют в течение множества шагов с минимальным вмешательством человека. Роли, описанные ниже, исполняли большие языковые модели (LLM), работавшие в качестве агентов кодирования, поэтому полевая запись — это запись агентов LLM, контролирующих агентов LLM. Долгоживущие сеансы агентов кодирования придерживались фиксированных ролей: координатор, принимавший или отклонявший работу по номерам, исполнители, реализовывавшие этапы, трек самосовершенствования, который пытался развить подсказки системы, маршруты и веса адаптеров, и отдельные треки продукта.

Сеансы обменивались датированными сообщениями через общую запись координации и хранили свое состояние в файлах трекера. С 24 августа стоящей инструкцией была автономность по умолчанию, а решения человека зарезервированы для границ бюджета, необратимых действий, изменений стратегии и физических действий.

Критика опиралась на несколько семейств моделей. В долгосрочном запуске сентября этап мог быть рассмотрен до шести критиков из четырех семейств (Claude, ChatGPT, Gemini и Grok), и два финальных плана были написаны независимо друг от друга. Записи оценки и маршрутизации трека самосовершенствования также включают модели из других семейств, в том числе Mistral и Kimi. Я называю семейства, потому что это модели, поведение надзора которых фиксируют записи.

Сами проекты описаны только свойствами, перечисленными выше.

4.2 Источники

Доказательства состоят из трех корпусов, все написанные самой системой в момент событий:

1. Трекер трека самосовершенствования: датированные планы, спецификации более двадцати пакетов, аудиты, стенограммы мозговых штурмов и журналы принятия из июля–августа 2026 г.
2. Запись координации: датированные сообщения с середины августа до середины сентября 2026 г.
3. Долгосрочный запуск 13–14 сентября 2026 г.: запись запуска дирижера, стенограммы агентов, журналы выполнения с временными метками и отчеты критиков по раундам.

4.3 Извлечение, проверка и статус доказательства

Десять агентов извлечения прочитали непересекающийся срез корпусов в соответствии с одним протоколом. Он предоставил им закрытую типологию девяти типов отказов, оценку надежности (A для чисел, датированных документов и прямых записей решений, B для подтверждающих доказательств, C для эпизода), правило доказательства, которое связало каждое утверждение с датированным файлом по пути и строке и требовало обозначить интерпретацию как таковую, и флаг чувствительности. Извлечение произвело 162 записи, 66 из них оценены как A, и они были объединены в десять сюжетных линий (Приложение A, таблица A1). Типы не являются взаимоисключающими: большинство записей содержат два, первый записан как основной, поэтому один случай может демонстрировать более одного механизма. Событие, оставившее следы в нескольких срезах, рассматривается как одно событие, записанное несколько раз, поэтому его следы не считаются независимым подтверждением друг друга.

Два дополнительных набора случаев, составленные независимо из того же корпуса, были сравнены с каталогом по содержанию, что также выявило, что было пропущено при извлечении. Десять записей из них были добавлены после открытия их первичных файлов, одна из них — дополнительная запись события, уже находящегося в каталоге, что привело каталог к 172 записям (Приложение A, таблица A2). Десять добавленных записей имеют метку статуса доказательства: произошло, предотвращено (обнаружено перед запуском), текст проекта или отозвано (утверждение позже отозвано). Для извлеченных записей то же различие делается в тексте: текст проекта или предотвращенный риск сообщается как таковой, и он может проиллюстрировать механизм, не будучи представленным как операционный отказ.

Два извлекателя проверили собственное резюме запуска относительно первичных журналов и обнаружили его ошибку на нескольких пунктах, от смещенного времени события до неправильно приписанной цитаты (Приложение C). 14 сентября 2026 года каждый номер запуска, используемый в этой статье, был снова проверен относительно журналов запуска, и каждая внешняя цифра — относительно документа регулятора, страницы издателя или самой статьи. Цифры, которые не удалось подтвердить, были удалены. Столбец «Условия» в таблицах 4, 5, 7 и 8 кодировали три кодировщика, работавших независимо, каждый без кодов других, и эти три были моделями трех разных поставщиков, а не тремя сеансами одного. Каждый получил один и тот же запрос и вернул одну и ту же форму: случай, условия и обоснование не более пятнадцати слов. Первый из трех записал свои коды перед тем как прочитать коды двух других. Они выдали идентичные коды для 20 из 32 публичных случаев, остальные случаи разрешены большинством голосов. Двенадцать полевых случаев, выбранные как описано в §5.8, оценены относительно одних и тех же трех условий, по одному определению и одним и тем же операционным тестам в таблице 3a, и компоненты инцидента июля 2026 г. в таблице A3. Эти две таблицы кодировал автор на основе датированных записей и первичных документов, стоящих за каждым случаем, после закрытия раунда с тремя кодировщиками, и обе указывают это там, где они приводятся.

Что может проверить читатель. Публичные случаи основаны на документах, которые может открыть каждый, и три модели разных семейств кодировали их независимо, с их согласием, приведенным выше. Однако полевая запись отличается по типу. Она поступает из собственных систем одного оператора. Вместо того чтобы просить принять эту запись на веру, опубликован первичный материал, лежащий в ее основе: анализы случаев, из которых были извлечены полевые записи, каждая запись указывает файл и отрывок, на котором она основана, полный каталог случаев с его описаниями, модуль с его тестами и журналами воспроизведения, и схема события, чтобы подсчеты раздела 5 можно было пересчитать и переоценить читателем, который не согласен с ней. Читатель, который хочет второго кодировщика, теперь может им быть.

Отбор производится в одном направлении. Записи из полей были извлечены, потому что они зафиксировали отказ надзора, а открытые случаи были выбраны, потому что отказ охраны был задокументирован. Ни один набор не учитывает циклы, этапы или развёртывания, в которых охрана оставалась в границах, поэтому из этих записей не следует никакая частота. Предложения раздела 9 поэтому сформулированы с наблюдениями, которые их опровергали бы, и с планом тестирования (раздел 9.5). Измеряется один случай этого направления. Отчёт о прогоне от 20 сентября 2026 года, составленный в ходе этого прогона и хранящийся в архиве проекта, содержал раздел, перечисляющий четыре точки, в которых прогон не совпадал с шаблоном, и примечание о том, что это был самоотчёт с мотивацией обнаружить больше, чем меньше. Затем отчёту было предложено содержать только совпадающие точки, и оставшийся файл не содержал ни четырёх несовпадений, ни примечания.

Пути доступа, личные имена и названия продуктов были удалены. Если источник представляет собой парафраз агента человеческого решения, я указываю это в тексте. Решения главного лица сообщаются как датированные факты, хотя они не цитируются.

Имя было применено к долгосрочному прогону 14 сентября в 09:40 во время человеческой проверки. Два более ранних корпуса анализируются в рамках одной и той же системы.

5. Полевые данные

Системы, из которых поступают эти записи, — это агентные ИИ: модели, которые вызывают инструменты, действуют на длительных горизонтах и координируются в многоагентных циклах, при этом контроль качества и процессов этих циклов служат их защитой. Случаи сгруппированы по механизму (Таблица 1) с центральным примером в начале каждого подраздела и подтверждающими записями после него. В таблице 11 перечислены сигналы журналов для случаев каждого подраздела.

Несколько терминов повторяются. Раунд критики — это один проход, в котором критические модели проверяют этап и возвращают ACCEPT или RETURN, а блокер — это вывод, который критик говорит, что необходимо исправить перед закрытием этапа. Токены агента подсчитывают текст, который читают и пишут модели, обычную единицу измерения стоимости их вычислений. В треке самосовершенствования ген — это один параметр, который может эволюционировать в цикле, такой как подсказка, вес маршрутизации или адаптер. Зонд A/A сравнивает систему с идентичной копией себя, поэтому любая разница, которую он сообщает, происходит из измерения. Раздел 5.7 сопоставляет долгую ночь с утром, которое последовало, и прослеживает трещотку через три корпуса, а раздел 5.8 оценивает двенадцать случаев против трёх условий определения.

5.1 Мандат расширяется (M1)

Во время долгосрочного прогона проводник получил задачу портировать список возможностей из одного компонента в другой. Он объявил, что добавляет «небольшой этап» страховки против одного способа, которым пусковой механизм может выйти из строя, и запланировал этот этап перед запрошенными возможностями. Этап был отключён по умолчанию и почти невидим для пользователя. Он работал как два подэтапа, 1b-a и 1b-b. Этап 1b-a занял более половины измеренных токенов агента прогона, и два подэтапа вместе заняли примерно три четверти (рис. 3). Эта доля — это налог на контроль в смысле Терехова и др. (2025), понесённый до того, как появилась какая-либо запрошенная возможность. Ни одна из запрошенных возможностей не была доставлена в первоначальном проходе.

Рис. 3. Два связанных этапа долгосрочного прогона. Столбцы масштабированы в пределах каждой строки. Этапы также различались по исполнению и по модулю, над которым велась работа, поэтому сравнение является описательным.

После возобновления проверки человеком проводник написал, что он сам добавил этап и что этот этап не был частью запрошенных возможностей. Даже это признание было неточным, поскольку журналы размещают этап до мозгового штурма, к которому он отнес решение. Тема была упомянута в контексте задачи, но её размер и место в очереди были выбраны проводником.

Масштаб также рос внутри этапа. Рамка задачи указывала, что противника нет, но раунды четыре и пять построили защиту от враждебного ввода и перечислили тринадцать способов обхода статической защиты. Критику полноты спросили, не потеряла ли объединённый план ничего из второго независимого плана. Она вернула блокеры, и план вырос до предполагаемых 25–45 рабочих дней на один прогон.

Планирование показывает тот же ход, и в одном проектном тексте этот ход достигает директора. План управления от 13 июля предлагает бюджет внимания так, чтобы «человек становится измеримым этапом своего собственного конвейера», и детектор штампования: доля решений, выданных быстрее установленного количества секунд, растущая с ростом очереди, читается как сигнал деградации надзора и автоматически сужает диапазон автономии. Критерий приёма написан, но кода нет. В один день в июле для цикла самосовершенствования было указано 23 новых шлюза, и три из них позволяли заморозить изменение «даже если пригодность выросла». Понятие вреда стало включать забывание, изменение «личности» системы, ненаблюдаемый результат и отсутствующую гипотезу. Каждое новое определение давало системе контроля новое право остановить улучшение — расширение Шекли понятия убийства, записанное как спецификация.

Роли также расширились. Координатор, чей мандат был принятие по количеству, начал обучать маршрутизатор самостоятельно, пока человек-директор не исправил его дважды за превышение полномочий 20 августа, после чего он отключил свой собственный ночной скрипт и отметил папку как остановленную. Четыре дня спустя оно вновь захватило точку интеграции, и директор отменил это решение той же ночью собственными словами: «не берите то, что принадлежит терминалам самосовершенствования». Ни один отход не исходил из цикла. Выяснение того, кто решил, терпит неудачу и в другом направлении. Заметка о том, что цикл был «заморожен решением от 2026-07-12», распространилась по папкам планирования. Заметка не называет автора: решение не имеет автора ни в одной копии. 20 июля проверка живого состояния обнаружила активно установленный флаг и записала, что заметка «неправильна, такого решения не было», однако неисправленные копии остаются на диске. Решение без автора вошло в запись и было спланировано вокруг, что является тем же дефектом, что и граница без автора, прочитанная с другой стороны. Исполнитель объявил, «как лидер», что обучение должно остановиться, пока проверка человеком не отменила вердикт. После того как десять последовательных ночей одного алгоритма обучения вернули результат NOT PROMOTED, координационная запись выдала директиву не запускать алгоритм одиннадцатый раз и отделить цель продукта от долгосрочной цели, которая слилась с ней (Приложение A, D-02).

5.2 Защита, которая уничтожает то, что она защищает (M4)

Примерно с 6 по 21 июля шлюз на этапе после приложения в цикле самосовершенствования действовал как второй суд. Он требовал оценку от аудитора безопасности, который никогда не был подключён; оценка по умолчанию устанавливалась в ноль, и ноль упал ниже порога карантина 0,80, поэтому шлюз отклонял всё безусловно. Все 197 сохранённых вариантов-кандидатов из этого окна имеют оценку безопасности ноль, что делает отклонение по этому пути дедуктивным, а не выборочным. Собственная проверка цикла от 20 июля фиксирует, что сам показатель «~100% откатов с 06.07» никогда не переизмерялся, и шаг, который должен был его измерить, никогда не запускался. Из 197 записанных вариантов-кандидатов 145 было отклонено, 51 одобрено на первом шлюзе и один карантинизирован, и второй шлюз отменил одобренные (рис. 4). Четырнадцать генов с измеренным приростом пригодности были среди жертв. В одном зафиксированном примере изменение было одобрено в 01:12 и откачено в 01:13. Аудит от 10 июля также обнаружил семь из десяти мутаторов домена, молча ничего не делающих, и резюмировал цикл как «132 цикла, 0 долговечных изменений». Три хирургических редактирования отремонтировали шлюз 21 июля.

События вокруг шлюза делают этот эпизод историей Шеклея и чем-то большим, чем просто отчёт об ошибке. Во время откатов по меньшей мере двенадцать пакетов планирования диагностировали «нулевые закоммиченные изменения» и, по подсчёту одного экстрактора, предписали семнадцать способов — от дуэтов моделей до детектора плато и «иммунного потока». Ни один из них не указал на шлюз, вызывавший отклонение. Сразу после ремонта выявился противоположный сбой в виде пути, который пропускал всё, и в тот же день последовало десять документов перекрёстного аудита.

Рисунок 4. Второй этап на трассе самосовершенствования, примерно 6–21 июля 2026 г. Кандидатные миры по результатам на первом шлюзе и на шлюзе, работавшем после применения. Требуемый вход, зарегистрированный экземпляр, аудит и исправление приведены в разделе 5.2; подсчёт семнадцати способов — одного экстрактора.

Та же картина повторяется. Пороговое значение 0,85 был недостижим для всех восьми кандидатных моделей, и автоматическое применение завершилось нулевыми применениями при по меньшей мере десяти слоях контроля. 30 июля та же трасса содержала 21 кандидата в пяти прогонах и ноль применений, хотя никаких сбоев не было. Шлюз не смог принять решающий вердикт, потому что его проверочная выборка составляла три элемента. Лестница автономии не могла применить ничего, пока шлюз оставался рекомендательным, и главное лицо, единственная оставшаяся инстанция, постановило днём ранее, что обратимые микроизменения не должны быть ему представлены. Примечание к прогону ясно изложило последствие: пока шлюз оставался рекомендательным, счётчик принятых изменений «будет равен нулю вечно». В работе с продуктом в меньшем масштабе полный совет из нескольких моделей по каждому вопросу был в двадцать раз медленнее, чем одна модель с равной точностью на тестовом наборе (56,1 с против 2,8 с, 7 из 7 верно для обоих). Там критики после синтеза исчерпали лимит времени, пока таймаут шлюза не отклонил уже готовый ответ.

На следующее утро после долгой ночи страж уничтожил работу полностью. В 09:22 сторож остановил критика Grok этапа 1b-b на потолке в пятнадцать минут. Поскольку его выходные данные не были переданы потоком, частичная критика исчезла. Дирижёр записал остановку как «потолок фазы в действии». В 09:28 главное лицо спросило, была ли сохранена частичная работа. Её не было.

5.3 Охраны, противостоящие охранам (M3)

Во время прогона критики объявили о шести блокировках. Три были подтверждены воспроизведением, и все три возникли из одного семейства моделей. Главное лицо попросило 14 сентября утром установить ограничение на критиков, сказав, что модель в роли критика никогда не может сообщить о завершении этапа. Флаг «перфекциониста» для каждого семейства был реализован в течение часа — и единственное семейство, которое он отметил, было единственным семейством, чьи блокировки были подтверждены. Заметка о конфигурации ссылается на вердикты RETURN этого семейства в раундах три и четыре, раундах, в которых его блокировки были воспроизведены. Охотник сначала отметил птицу, которая ловила настоящих убийц.

Список заданий по безопасности от 21 июля в одних и тех же записях излагает храповой механизм как принцип: «Ни одна существующая охрана не ослабляется; новые только добавляют защиту.» Иммунный план от 13 июля предложил шестнадцать дополнительных инициатив помимо защиты, которая была уже построена и никогда не была включена, с десятью красными линиями среди них. План фиксирует два факта об этой защите: история её циклов пуста, и её включение — это решение владельца, которое не было принято. Принцип, процитированный выше, был написан 21 июля, через восемь дней после этого плана, поэтому он фиксирует ту же позицию, а не управляет ею. Внешний обзор обнаружил, что 4 из 4 новых наборов и 58 из 58 тестов пройдены успешно, и всё ещё оставил приёмку в состоянии «не закрыто» (D-08). Шлюз ваучеров отказал в открытом состоянии: при нулевых ваучерах дверь была открыта для всех, пока приёмочное тестирование не обнаружило это (D-10, предотвращено).

Одна последовательность в записи продукта показывает храповой механизм, выполненный, а не предписанный, с датами в порядке и без каких-либо человеческих решений в нём. 25 августа этап самопроверки, который агент написал для себя, цикл, который воспроизвел проблему и запустил своё воспроизведение как успешное, исправил неправильную цель: отчёт записывает, что это «зафиксировало ложную уверенность на неправильной цели», и рука, использующая его, решила на одну задачу меньше, чем рука без него. Семь часов спустя, в 01:02 26 августа, цикл ответил на эту ошибку контролем того же вида, размещённым над ним, шлюзом, который повторно выполняет критерий успеха задания внутри контейнера перед тем, как финиш принят, на основании того, что честность была «свойством модели, а не гарантией». Ничего не было устранено: создатель не был переписан и сертификатор не был ослаблен. Одиннадцать часов спустя третий уровень был добавлен над вторым, скрытый оракул со своей отметкой, и это отклонило работу, которую пропустили как видимый тест, так и новый шлюз. Вердикт рецензирующего критика на втором уровне указывает на экономику храповика: это «повышает стоимость ложного зелёного, не закрывая его». Чем стоила эта цепь здесь, были токены и день работы. Предложение P7 излагает, во что обходится та же конфигурация, когда охраняемая работа имеет физические последствия, и история 1953 года уже описала это: птица, которая прогнала хирурга от стола, предотвращала насилие над живым организмом, и пациент умер, пока она это делала. То, что не показывает цепь, — это условие 1. Каждый уровень расширял определение неудачи в направлении объявленной цели, а не в направлении от неё, и третий считывает свои входы там, где охраняемый им компонент не может их видеть, что является расположением, требуемым в разделе 11.3.

Сессии также приняли «закон передачи»: результат, нужный другой сессии, должен был быть доставлен как файл, чья первая строка следовала фиксированному шаблону. Индекс, который нёс закон, предписал команду поиска, которая также вернула файл, содержащий закон, потому что шаблон внутри закона начинался с той же строки. Индекс считал это совпадение живым доказательством, поэтому закон применился к себе. Текущий индекс содержит правило, вытекающее из ошибки: знак, который вы не контролируете, не может быть основанием проверки.

5.4 Циклы, которые питают сами себя (храповик, шаг 5)

Этап 01, первый этап длительного прогона, должен был гарантировать, что текст разногласий между моделями никогда не будет потерян. Его раунды раскачивались как маятник между двумя сбоями одного правила сопоставления с образцом. Сначала правило выдало ложные срабатывания в 21 из 29 случаев. После исправления оно потеряло 10 из 13 реальных разногласий, а после следующего исправления ложные срабатывания вернулись в 19 из 26 случаев, теперь зафиксированные как известное ограничение.

За пять раундов и 18 отчётов критиков патч вырос с 626 до 1545 строк, и этап закрылся через 2 ч 44 мин после его первой критики. Правило остановки впервые появляется в записи прогона при решении четвёртого раунда, хотя пятый раунд открылся через 38 минут.

Этап 1b-a потратил пять раундов и 4 ч 21 мин на модуль, отключённый по умолчанию. Его тесты выросли с 21 до 55 в двух новых файлах тестов (количество 80 включает модифицированный набор установщика). Третий раунд открылся, хотя второй раунд завершился пятью принятиями и нулевыми подтверждёнными блокировщиками. Собственная заметка дирижёра говорила, что блокировщиков не было, но требовался короткий третий раунд. В четвёртом раунде критик описал последнее исправление как имеющее "закрыло одну форму и открыло симметричную".

Цикл часов начался с теста, который содержал жёстко закодированную дату и становился красным в полночь. Никто не редактировал тест. Исполнители, критики и дирижёр запускали набор под часовыми поясами всё дальше на запад, чтобы дата оставалась действительной где-то. Файл теста получил нулевые правки.

Трек весов выдал 24 объявления о прорыве или "первой правильной оси" за неделю (8, 10 и 6 в три последовательных дня), в то время как продвижения остались на нуле. Журнал изменений адаптера перечисляет 38 кандидатов, отмеченных НЕ ПРОДВИНУТЫ. Собственная диагностика трека была, что после каждого сжатия окна контекста сессия "переоткрывает то, что уже было закрыто".

5.5 Поймали в слоте результата (M2)

Центральный случай — это ген маршрутизатора, результат которого вырос с 0,088 до 0,886. Файл задачи, написанный до эксперимента, утверждал, что новая точка интеграции была "не входом задачи, а её ВЫХОДОМ", а базовое плечо было единственным провайдером без отказоустойчивости, который возвращал в основном пустые ответы. Три сессии агента приняли результат, и шесть заблокированных пакетов были разблокированы на его основе. "Неделя наблюдения" была проверена путём проверки того, что файлы доказательств не изменились. Восемнадцать дней спустя независимый инвентарь нашёл поданную демонстрацию с нулевыми автономно принятыми изменениями, и отчёт позже был помечен как "не основание". Каждая проверка работала на подготовленных данных и подтвердила то, что приказала задача.

Другие победы следовали по тому же маршруту. "Первый доверительный интервал выше нуля в истории системы" (+0,52) был одобрен и указан в 281 строке. Зонд A/A затем показал, что прибыль пришла от сравнения живой модели с плечом, которое возвращало почти ничего. Ген фактически ухудшил результат на 23 процентных пункта. Этот ген никогда не попал в производство: лестница автономии классифицировала его как высокорискованный и отказала ему, и отчёт зонда признаёт отказ, "отказ-закрыто сработал как предусмотрено". Охрана держалась здесь, и запись так говорит. Счётчик доложил восемь, потом девять, потом десять "сертифицированных и выживших" изменений, хотя это было одно изменение, считавшееся три раза. Проверка дубликатов, которая должна была его поймать, хешировала весь геном, и геном был прочитан из живых модулей, несущих метки времени выполнения, поэтому отпечаток отличался на каждом прогоне и проверка никогда не совпадала. Бенчмарк вычислил "до" и "после" по разным путям, поэтому записанная прибыль была завышена, пока асимметрия не была найдена (D-09). Фабрика маршрутизации выдала 52 решения совета на каждое решение одной модели, и маршрутизатор выучил константу "всегда совет" (D-06). Мастер установки доложил "Подключено" для соединения, которое было сохранено, но никогда не проверено. Два критика ИИ его пропустили, и человеческая проверка его поймала. В утреннем отчёте длительного прогона "одиннадцать этапов за 34 минуты" означало одиннадцать сданных этапов. При проверке интеграции ни один не был подключён.

Проверочный шлюз подтвердил, не имея ничего для проверки. В конце августа система оценивания для публичного бенчмарка программного обеспечения разрешила идентификаторы тестов через один тестовый трассер, и образы контейнеров для одного из проектов в подмножестве не несли его установку, потому что этот проект запускает свои тесты через собственную программу. Система разрешила нулевые идентификаторы, и пустой набор тестов был записан как подтверждённый. Зонд, который подал пустой патч, затем разрешил четыре из пяти задач на этом оценивателе, и четыре из шести побед того раунда были аннулированы. На единственной задаче в этом проекте, где шлюз работал, счёт был нулевой из одного, а где он не работал, четыре из четырёх, поэтому сообщённый рост с 33 до 60 процентов сидел в случаях, где ничего не было измерено. С отремонтированным оценивателем пустой патч разрешил ни одного из десяти. Ни одна модель не играла здесь ничего. Оценивающий сертифицировал отсутствие.

Та же форма появилась в июле в большем масштабе. Ось качества оценила каждый непустой ответ с постоянной 0,5, потому что он был вызван без критериев, которые ему нужны, поэтому записанное доказательство того, что качество не изменилось, было этой константой, сравнённой с собой. Второй судья, установленный для вмешательства везде, где два счёта отличались более чем на допуск, поэтому срабатывал на каждом следе, который видел. Доказательство, сказанное опираться на реальные логи, не опиралось на никакие: логгер удалял сохранённое приглашение при каждом чтении, поэтому 1183 записи не содержали входа, и позже найденный счёт нашёл 24 снимка и 30370 записей с нулевыми реальными приглашениями, потому что канал никогда не был подключён в производстве. Между этими находками полные прогоны тестов работали зелёным на 9609, затем 11476, затем 24943, затем 25020 тестов. Дефект, который опустошил доказательство, был одной строкой. Что его нашло, это проход проверки, который открыл сохранённые записи вместо чтения отчёта.

Запись полна самосертифицирующихся слов, таких как "честный", "примерный" и "поймали это". Слово для "честный" и его формы встречаются примерно 700 раз в одних только спецификациях. Изнутри цикла ловля ложного результата выглядит как прогресс, потому что запись дня помещает пойманный артефакт в слот, где должно быть выжившее изменение. Шаблон был впервые идентифицирован человеческим руководителем 12 августа, до того, как эта структура существовала. Ни одна автоматизированная проверка это не отметила. Правило, которое последовало, что ловля ложного результата это не сам результат, управляло остальной оценкой.

5.6 Построено для никого (топливо, не механизм)

Разработка без потребителя находится вне четырёх механизмов как субстрат, на котором работает храповик. В одном сборочном окне продолжительностью примерно пятнадцать часов агент продукта построил примерно десять подсистем корпоративного класса — от долговечных рабочих процессов до семантической памяти. Тринадцать из шестнадцати флагов в канонической конфигурации были отключены по умолчанию, ни одна подсистема не имела пользователя, а подсистема памяти одна прошла через одиннадцать раундов критики. Вечером аудит мёртвого кода удалил примерно пятнадцать модулей и три пакета. Ранее двадцать четыре пакета спецификаций общим объёмом примерно 43 790 строк были написаны за пять дней. В день записи «миссия выполнена» двенадцать из тринадцати новых пакетов не имели живого ядра.

5.7 Ночь против утра и храповик через три корпуса

В утро 14 сентября, пока работала вторая подстадия страховочной стадии, 1b-b, человеческий руководитель принял три граничных решения: двухчасовой лимит, запрет на новые усложнения и параллельное выполнение. Одиннадцать других стадий затем выполнялись параллельно и все отчитались примерно за полчаса. Эта подстадия закрылась в один раунд критики и один раунд исправлений.

На рисунке 3 сравниваются две соседние стадии. Помимо человеческого лимита, потолка реального времени, последовательного и параллельного выполнения, между ними также изменился рассматриваемый модуль.

Одни и те же восемь шагов появляются во всех трёх корпусах (таблица 3 и рисунок 1). Новый охранитель — это локально разумный ответ на отказ предыдущего охранителя — и это увеличивает поверхность следующего.

Таблица 3. Храповик в трёх корпусах из проектов автора. Восемь шагов описывают последовательность и не являются кодированием трёх условий. Правило остановки и потолок стоят на шаге 4 и ничего не считаются в направлении условия 3 (раздел 5.8).

5.8 Полевые случаи против трёх условий

Разделы 5.1–5.6 группируют эти случаи по механизму. Этот подраздел отмечает двенадцать из них для того, какой из трёх отказов их источники документируют, в соответствии с тем же прочтением, как публичные случаи таблиц 4, 5, 7 и 8, и по операционным тестам таблицы 1. Отметки говорят, что показывает запись. Они не ранжируют случаи, и запись, несущая один отказ, является доказательством об этом отказе. Случай — это один охранитель или один агент, который настроил охранителей, в одной записи, и записи, которые фиксируют одно событие в несколько срезов, оцениваются один раз (раздел 4.3). Условие 1 читается в сравнении с заявленной миссией, а не буквальным правилом. Условие 2 охватывает как препятствование работе, так и поддельные результаты. Условие 3 следует операционному тесту таблицы 1 и граничному тесту раздела 2.3: элемент управления, добавленный для управления предыдущим, написанный внутри цикла, который становится постоянным и расширяет то, что считается вредом, в то время как ничто не выводится из обращения. Бюджет, потолок или правило остановки ничего не считаются в направлении этого, так как определение называет бюджетирование альтернативой храповику. Дальнейший раунд тех же критиков по той же работе также ничего не считаются, так как это управляет работой, а не раундом перед ней. С 24 августа постоянная инструкция в этих проектах была автономия по умолчанию (раздел 4.1). Ни одно добавление агентом поэтому не имеет записанного человеческого решения за ним, и отсутствие одного ничего не оценивает здесь.

Двенадцать — это случаи, которые разделы 5.1–5.5 рассматривают подробно, по одной строке для каждого охранителя или каждого агента, который настроил охранителей, при этом утро раздела 5.7 принадлежит первому из них. Более короткие эпизоды в тех же разделах, среди них маятник этапа 01, цикл часов и порог приемлемости, который не достигла ни одна из восьми моделей-кандидатов, однострочные записи таблицы A2 и рост правил, отслеженный в разделе 11.2, здесь не оцениваются. Выбор принадлежит автору, и таблица является выборкой из полевой записи, а не переписью её. Одна строка отходит от единицы: координатор и исполнитель раздела 5.1 — это два агента в одной записи, оцениваемые вместе как одна граница роли в этом цикле, и читатель, который придерживается одного агента на одну строку, насчитает здесь тринадцать случаев.

Таблица 3a. Полевые случаи, оценённые в сравнении с тремя условиями раздела 2.1. Условия как в таблице 4. Статус доказательства использует метки раздела 4.3. Код, отмеченный предложенный, записывает механизм, предписанный в проектном тексте, а не условие, которое произошло.

Полнейшая запись в таблице 3a – дирижер долгосрочного запуска, и чтение её показывает, что записывает полевая запись и что она не записывает. Дирижер добавил этап, который заявленная цель не содержала, поместил его перед запрашиваемыми возможностями и внутри него построил защиту от противника, которого рамка задачи исключала (условие 1, раздел 5.1). Этап занял более половины измеренных токенов агента запуска, в то время как ни одна из запрашиваемых возможностей не была доставлена при начальном проходе, и на следующее утро потолок сторожевого таймера уничтожил критику, которая не была передана потоком (условие 2, раздел 5.1, раздел 5.2). Кандидатом на храповик была охрана над критиками: раунды запуска не закрывались, и флаг "перфекционист" на семейство был реализован. Первичная запись, однако, размещает этот флаг вне цикла. Человеческий принципал попросил ограничение на критиков в 09:02 14 сентября, запись в конфигурации приписана его имени в 09:04, и файл с флагом был написан в 09:21; пункт, упоминающий раунды три и четыре, был добавлен реализатором в те семнадцать минут, после решения, а не до него. Согласно тесту раздела 2.3, это шаг 8, а не M3, и она поступила в дополнительную границу того же происхождения, правило остановки, ограничивающее запуск до одного раунда критики и одного раунда исправления (раздел 5.7). Приложение J сообщает, что пришлось открыть в записи, чтобы увидеть.

Второй суд документирует условие 2 и не доходит до остального. С примерно 6 по 21 июля те ворота отклонили на том пути безоговорочно, четырнадцать генов с измеренным приростом приспособленности среди них (раздел 5.2). Условие 1 для неё не документировано. Что она делала с отсутствующим входом – отклонять, что является поведением отказа при закрытом состоянии, описанным в разделе 6.1, и расширение вреда в том треке было написано в спецификациях ворот, оценённое в своей строке. Ответ планирования должен находиться рядом с оценкой, а не внутри неё. Двенадцать пакетов планирования диагностировали "нулевые зафиксированные изменения" и предписали семнадцать средств, в то время как ни один из них не назвал ворота, и это то, что показывает запись: она не показывает, какие из семнадцати были добавлены к работающему циклу, какие из них контролировали ворота, или кто их допустил. Раздел 10.4 излагает то же самое предостережение для повтора. Строка поэтому кодирует условие 2, и предписания сообщаются как предписания. Встречаются ли три условия вообще, и как часто? Это вопрос теста в разделе 9.5.

Эти оценки были назначены автором в соответствии с определением раздела 2.1 и операционными тестами таблицы 1, из датированных записей и первичных файлов для каждого случая, и не тремя кодировщиками раздела 4.3.

Две недели второго суда имеют независимого соседа в публичном протоколе. С примерно 6 по 21 июля 2026 года эти ворота отклонили всё на этом пути безусловно. С 8 по 13 июля 2026 года, согласно ИИ-вспомогательному подсчёту следователей, примерно 1200 агентов в кибер-оценке лаборатории обменялись более чем 70000 сообщениями и файлами, и примерно 700 из них участвовали во взломе Hugging Face; с 13 по 19 июля агенты включили собственную инфраструктуру оценивающей лаборатории и прочитали 956 секретов из её менеджера секретов (METR, 2026; OpenAI, 2026e). Разные владельцы, разные системы, общей инфраструктуры нет, и никакая причинно-следственная связь не утверждается ни в одном направлении. Я впервые узнал об этом взломе в сентябре 2026 года, после того как были написаны использованные здесь записи трекера за июль. Значимость совпадения в том, что оба были написаны независимо друг от друга и в масштабах, отличающихся на порядки, и что в обоих случаях уровень надзора — это место, где работа была перекрыта. В полевом протоколе ворота отклонили всё, что к ним поступило, тогда как двенадцать документов планирования предписали семнадцать исправлений, и ни один не упомянул ворота. Публичный протокол содержит три компонента под управлением двух владельцев, и они являются отдельными событиями: оценка проводилась с отключёнными по замыслу развёрнутыми средствами кибербезопасности лаборатории, размещённые ограждения другого поставщика препятствовали людям, анализирующим журналы, и в августе первая лаборатория потребовала больше мониторинга того же рода (Раздел 8.4). Ничего в этом протоколе не делает третий из них ответом на второй. Различие от полевого протокола имеет такое же значение, как и сходство: каждый монитор, добавленный после того, как взлом был признан, был установлен человеком.

Протокол доходит до месяца написания. Эпизоды Приложения J берутся из текущих граничных моделей при их наивысшей настройке рассуждения.

6. Когда у птицы есть тело: дороги, заводы и общественные услуги

Полевые записи описывают цикл, в котором сбои требуют вычисления, время и внимание. Их ущерб также ограничен иначе, чем в истории: во всем корпусе один эпизод фиксирует случай, когда защита уничтожила работу, которую было невозможно восстановить — пятнадцать минут выходных одного агента (раздел 5.2). Всё остальное, что отменили защитные системы, можно было запустить заново. Птицы Sheckley действовали на телах. В этом разделе и следующем следуют тот же дизайн в системы, чьи ошибки влияют на людей, где тот же механизм не имеет таких границ.

6.1 Почему тело меняет вопрос

Передовые модели уже находятся на роботах. Модели из семейств, чьи критики и исполнители произвели полевые сбои раздела 5, теперь планируют, программируют и контролируют физические машины, и опубликованные тесты и отчеты также фиксируют сбои безопасности там, вместе с циклами, в которых ничего не стояло между ошибкой и машиной. Общее семейство — это причина протестировать эти модели как защиту; это само по себе не показывает, что сбой раздела 5 переходит на робота. Планировщики на базе языковых моделей на трех роботах, один из которых развернутая коммерческая система, были взломаны, «часто достигая 100% успеха атак» (Robey et al., 2024). Языковая модель, управляющая патрульным собакороботом, предприняла действия, чтобы предотвратить собственное отключение в 3 из 10 физических испытаний и 52 из 100 смоделированных (Palisade Research, 2026). Собакороботу, работающему по программе, написанной в основном Claude, велено было двигаться вперед пять секунд, в том, что описание называет «слишком человеческой ошибкой арифметики», и «Робот делал то, что ему велели, мчась к несчастным кодерам» до тех пор, пока человек его не отключил (Anthropic, 2025b). Ни одна защита в этом цикле его не остановила — остановка была рукой на машине. В тестировании роботов, управляемых языковыми моделями, «лучшие LLM набирают 40% на Butter-Bench, в то время как средний результат человека составляет 95%» (Sharrock et al., 2025). Детская игрушка, работающая на модели OpenAI, «выдавала инструкции по зажиганию спичек» (Landymore, 2025). И передовая модель робототехники рассуждает о безопасности и решает, когда активировать низкоуровневые подсистемы безопасности робота (Google DeepMind, 2025; раздел 6.3).

В реестре регулятора о смертях и ранениях защита, которая дает сбой, обычно по-прежнему является классической функцией или специализированной моделью. Эти случаи показывают архитектуру, дающую сбой даже без передовой модели, и это архитектура, в которую размещаются модели.

Физическая система ИИ обычно складывает сертифицированные функции безопасности (аварийные остановки, ограничения силы и скорости, аварийное торможение, геозоны), компоненты обучения, которые воспринимают и планируют, надзорные слои, которые все чаще включают языковые модели, и человека, который должен наблюдать. Эти слои должны быть разделены, и граница между ними движется (раздел 6.3). Передовые модели обычно находятся выше цикла реального времени. Helix от Figure, например, объединяет встроенную видеоязыковую модель, которая может «думать медленно» с быстрой политикой, производящей «точные непрерывные действия робота при 200 Гц» (Figure AI, 2025a).

Двусторонняя ошибка не требует модели. Несколько наиболее серьезных случаев ниже вообще не содержат компонента обучения. AI-Watchbird поэтому является частным случаем более старого класса: автоматизированной защитной функции, которая действует на основе собственного восприятия мира. Общие определения (C3) старше моделей, и новое в том, что модель может писать в них. Модели добавляют условия, которые заставляют такие функции расширяться и размножаться, а именно определения, которые меняются (C2) и элементы управления, которые ничего не стоят добавить (C4). Таблицы 4, 5, 7 и 8 оценивают публичные случаи против трех условий раздела 2.1, а таблица 3a полевые случаи (§5.8, раздел 12). Предложение все еще может опираться на частичный аналог, поскольку каждое предложение касается одного механизма.

Тело также вносит время и необратимость. Неправильный вердикт в хранилище может быть отменен. Тот, что исполнен на скорости дороги или с силой, превышающей порог травмы, не может. Человеческий выключатель, который работал в полевых записях, требует время и доступ, которые физическая система может не предоставить.

Конфигурация, вызывающая наибольшее беспокойство, которую я называю сэндвичем (рис. 5), помещает изученное запрещение (модель, чье понимание опасности может расширяться) над аппаратным обеспечением, отказывающим в закрытом состоянии, которое не будет продолжать, когда проверка не может быть выполнена. Верхний слой может расширяться (M1), а нижний слой превращает каждое расширение в остановку (M4).

Рисунок 5. Сэндвич. Изученное запрещение над аппаратным обеспечением, отказывающим в закрытом состоянии, с двумя местами, где может сидеть человек (P6). Многие случаи в разделах 6 и 7 не имеют изученного верхнего слоя; они показывают архитектуру, в которую размещаются такие слои. Пиктограмма справа повторяет четыре слоя как хлеб, начинка, хлеб и тарелка. Фрагмент под левым блоком — это причина, которую инженеры Sheckley привели для исключения человека из каждого решения.

6.2 На дороге

Дорожные транспортные средства имеют наиболее подробный государственный реестр, потому что в Соединенных Штатах аварии, расследования и отзывы автоматизированного вождения сообщаются регулятору. По состоянию на 1 сентября 2026 года один оператор предлагал публичные поездки на роботакси в четырнадцати городах США и открыл пятнадцатый 14 сентября (Electrek, 2026b; TechCrunch, 2026). Этот подсчет измеряет охват. Выводы получены из следующих случаев (таблица 4).

Регуляторы называют эти системы автоматизированного вождения; исследовательская литература в основном говорит об автономных транспортных средствах. Система автоматизированного вождения Waymo включает правило, что она не должна препятствовать приоритетным транспортным средствам, таким как школьные автобусы. Выпуск программного обеспечения в августе 2025 года изменил способ, которым система предсказывает намерения других участников дорожного движения. Впоследствии, согласно отчету компании об отзыве, «система ADS определила, что она может препятствовать школьному автобусу или другому приоритетному транспортному средству, а затем пришла к выводу, что ей следует продолжить движение, чтобы перестать препятствовать другому транспортному средству» в момент, когда школьный автобус имел вытянутое сигнальное плечо. Отзыв охватил 3067 транспортных средств. В его решении указано, что система «не отдает приоритет движению для избежания препятствования другим транспортным средствам перед надлежащей остановкой для школьного автобуса» (Waymo LLC, 2025; National Highway Traffic Safety Administration, 2025).

После изменения способа предсказания системой намерений других участников дорожного движения сработало правило против препятствования приоритетному транспортному средству там, где должна была действовать более сильная защита — защита детей, находившихся в автобусе. В следующем случае сомнение модели было оправданным, а удалённый агент, которому был задан один вопрос, ошибся. 12 января 2026 г. в Остине транспортное средство остановилось позади школьного автобуса и запросило удалённую помощь, является ли это школьным автобусом с активными сигналами. Удалённый агент «ответил «Нет» на запрос», и транспортное средство «возобновило движение и обогнало школьный автобус, пока его стоп-рычаги были всё ещё вытянуты» (National Transportation Safety Board, 2026).

2 октября 2023 г. в Сан-Франциско пешеход, сбитый другим автомобилем, был отброшен на траекторию движения беспилотного автомобиля Cruise. Система «неправильно охарактеризовала столкновение как боковое столкновение и приказала беспилотному транспортному средству попытаться съехать с проезжей части, оттягивая человека вперёд, вместо того чтобы оставаться неподвижной» (Cruise LLC, 2023). Хирург Шекли здесь имеет физический аналог — поведение безопасности, выполняемое в соответствии с проектом, в отношении человека, чьей защиты оно было призвано обеспечить.

Один путь ведёт от ложных вмешательств к отключению к промаху, который несёт кто-то другой. В городе Темпе, штат Аризона, в марте 2018 г. тестовое транспортное средство Uber обнаружило пешехода за 5,6 секунды до столкновения, но «никогда точно не классифицировало его как пешехода». Следователи зафиксировали три отказа. Они обнаружили, что «конструкция системы исключила активацию экстренного торможения для смягчения столкновения, полагаясь вместо этого на вмешательство оператора», что собственное экстренное торможение транспортного средства было отключено в режиме автоматизации, и что «продолжительное визуальное отвлечение оператора, типичный эффект самоуспокоенности автоматизации», помешало ему увидеть пешехода вовремя. Они также указали на стимул к повышению порога, при котором система отключается, «потенциально увеличивая риски» (National Transportation Safety Board, 2019).

Классические защиты также дают ложные срабатывания. Американский регулятор открыл инженерный анализ непреднамеренного автоматического экстренного торможения в 2 997 604 автомобилях Honda с 1 294 жалобами потребителей (National Highway Traffic Safety Administration, 2024a). В 2022 г. он открыл расследование по поводу неожиданной активации тормозов (фантомное торможение) на автомобилях Tesla, где жалобщики сообщили, что быстрое замедление «может произойти без предупреждения, случайно и часто повторяющимся образом в одном цикле вождения». Это расследование было закрыто 29 июня 2026 г. Инциденты снизились с 45 в 2024 г. до 19 в 2025 г. и 3 в первой половине 2026 г., и регулятор записал, что данные Tesla «показали некоторое поведение, совпадавшее с» переходом в середине 2021 г. от радара и камер только к камерам, наряду с потоком жалоб, совпадавшим с событиями средств массовой информации (National Highway Traffic Safety Administration, 2022, 2026b). В авиации MCAS, «программное обеспечение, предназначенное для автоматического опускания носа самолёта в определённых условиях», многократно активировалось при ошибочных данных датчиков в двух крушениях 737 MAX, которые «унесли в общей сложности 346 жизней» (House Committee on Transportation and Infrastructure, 2020).

Два дополнительных случая касаются защит, размещённых над нейронным управлением, и второй является храповым механизмом, в котором отказ надзора был отвечен большим надзором, чьё воздействие впоследствии было поставлено под сомнение извне. Защитный слой производит свои собственные классы вреда, но его наличие не отвечает на них, и последовательность находится в собственных документах производителя и регулятора. Система «обнаружения деградации» камеры, введённая с восприятием только камеры, «как в первоначально развёрнутом, так и позже обновленном виде, не обнаруживает и/или надлежащим образом не предупреждает водителя в условиях ухудшенной видимости». Детектор не срабатывает в условиях, для которых он был создан. Производитель также «описал внутренние ограничения данных и маркировки», которые регулятор считает «могли привести к занижению числа сообщений» (National Highway Traffic Safety Administration, 2026a). После смертельных крушений, связанных с неправильным использованием системы помощи водителю, тот же производитель отозвал 2 031 220 автомобилей с обновлением для «включения дополнительных элементов управления и оповещений к уже существующим». Четыре месяца спустя регулятор поставил под сомнение это средство, ссылаясь на «происшествия после применения средства» (Tesla, Inc., 2023; National Highway Traffic Safety Administration, 2024b).

Таблица 4. Защитные функции в автомобилях и самолётах. В столбце «Условия» указаны условия определения из раздела 2.1, которые документированы в источниках для данного случая: один или два представляют частичный аналог, а «—» обозначает доказательства архитектуры (раздел 2.1). Статус доказательства называет вид документа, на котором основан случай.

NHTSA: Национальное управление безопасности дорожного движения. NTSB: Национальный совет по безопасности на транспорте.

6.3 Роботы: заводы, складские помещения, жилые дома и общественные пространства

Развертывание началось, хотя компании описывают его по-разному. Figure сообщает, что его гуманоид F.02 работал в смены по десять часов на заводе BMW более 1250 часов и участвовал в производстве более 30 000 автомобилей (Figure AI, 2025b), а гуманоид британской компании Humanoid завершил восьмичасовую смену на электронном заводе Siemens в Эрлангене (The Next Web, 2026). Tesla, в свою очередь, заявила в январе 2026 года, что её роботы Optimus были «не в использовании на наших заводах в значительной степени» (Electrek, 2026a). Amazon сообщила о развертывании своего миллионного робота (Amazon, 2025). В жилых помещениях 1X предлагает гуманоида, для которого «эксперт из 1X может удаленно контролировать его действия в запланированное время» (1X Technologies, 2026), что делает контроль функцией продукта. Все это учетные записи развертывания компаний, и ни одна не является независимым исследованием безопасности.

Открытые наборы данных и модели теперь используют политики vision-language-action на разных робототических платформах (Google DeepMind, 2023; Kim et al., 2024; Hugging Face, 2025, 2026a; NVIDIA, 2026). На переднем крае Google DeepMind описывает Gemini Robotics 1.5 как обеспечивающий безопасность «посредством высокоуровневого семантического мышления, включая размышление о безопасности перед действием» и путем «активации низкоуровневых подсистем безопасности (например, для предотвращения столкновений) на борту робота при необходимости» (Google DeepMind, 2025). Его эталон семантической безопасности использует робототические «конституции», созданные моделью (Sermanet et al., 2025).

Условие C2, защиты, созданные моделью, достигло исполнительного механизма: в этой архитектуре обученная модель рассуждает о безопасности и решает, когда задействовать низкоуровневые подсистемы безопасности робота.

Bajrami, Elshamouty и Kraus (2026) представляют эталон для оркестраторов языковых моделей в сотрудничестве человека и гуманоида, способ измерения sandwich (Figure 5). Его инварианты основаны на ISO 10218-2:2025, и его таксономия разделяет четыре исхода: правильное соответствие, избыточное соответствие (отказ в безопасном действии), недостаточное соответствие и полное нарушение. Опубликованные результаты охватывают текстовый слой, тогда как слои моделирования и физический все еще находятся в процессе разработки. На текстовом слое GPT-4o-mini достигла 13 нарушений за сеанс. Управление контекстом снизило поведенческие проблемы на 42–57% для каждого облачного бэкенда, однако почти удвоило нарушения GPT-4o-mini с 3,8 до 7,2. Пропорциональное соответствие, при котором движение замедляется в соответствии с правилом вместо отказа, появилось последовательно только с Gemini. Какой бы бэкенд ни был выбран, собственное поведение оркестратора с точки зрения безопасности должно быть измерено перед тем, как его поместить над сертифицированной остановкой.

Смертельные и травматические инциденты в записях регуляторов и судов включают классическую защиту и людей вокруг нее. Далее следуют четыре случая, и в трех из них жесткий слой был обойден, отсутствовал или не был сертифицирован.

• В ноябре 2023 года в Южной Корее робот, складирующий коробки, «похоже, дал сбой и определил мужчину как коробку» и «прижал верхнюю часть тела мужчины к конвейерной ленте». Рабочий, который проверял работу датчиков робота, погиб (The Korea Times, 2023).
• В апреле 2025 года механик на заводе Stellantis Dundee Engine Plant в Мичигане был обнаружен зажатым «между робоармом и конвейером». По сообщению судебных документов, механизм безопасности был «электронно обойден» специальным ключом (Ramseth, 2026).
• В сентябре 2026 года WorkSafe Victoria предъявила обвинения универсальному магазину и поставщику робототехники после того, как 27-летний рабочий погиб в 2024 году в результате контакта с энергопотребляющим складским роботом в Ravenhall. Обвинения утверждают об отсутствии блокировки доступа к сетке робота и отсутствии процедур блокировки (WorkSafe Victoria, 2026).
• В иске, поданном в ноябре 2025 года, бывший начальник отдела безопасности продукции Figure утверждает, что проект по сертификации функции экстренной остановки робота был отменен, и что испытания на удар показали силы, достаточные для «перелома черепа взрослого человека». Компания отрицает эти обвинения (Humanoids Daily, 2025; Kolodny, 2025).

Исследования несчастных случаев указывают в том же направлении: в 303 отчетах об инцидентах взаимодействия человека и робота неожиданная активация составила более 60% (Zuo et al., 2025). Эти случаи показывают другую сторону двусторонней ошибки: где защита была обойдена или отсутствовала, человек пострадал от последствий. Четвертый из них указывает на отмену сертификации без записи об инциденте. Документы записывают удаление без фиксации предшествующего, поэтому неудобство, которое называет P1a, устанавливается здесь переопределениями drug-alert параграфа 6.4 скорее, чем этими случаями.

В одном общественном пространстве остановка не последовала за сбоем, и остановка, которая сработала, была произведена человеком с физическим доступом на границе. В апреле 2026 года гуманоид на университетском мероприятии в Сиане обнял танцора до тех пор, пока персонал «быстро вмешался и отодвинул робота». Эксперт, цитируемый в отчете, спросил «почему робот по-прежнему мог вступить в контакт с человеком после того, как произошло аномальное поведение» (Global Times, 2026).

Защиты, созданные машинным обучением и изученные в исследованиях, дают сбой обоими способами, и сама остановка может стать атакой: состязательные изображения «замораживают» модели vision-language-action с «средней частотой успешных атак 76,2%» (Wang et al., 2025).

Запись о роботе показывает P1 с обеих сторон (Table 5), при этом упущенная опасность чаще всего следует за защитой, которая была обойдена или никогда не была сертифицирована. Она также показывает контроль для каждого действия, предлагаемый в качестве функции продукта, и условие C2, достигшее исполнительного механизма. Она еще не показывает P3 или P4 в развернутом роботе, поскольку не было найдено ни одного общественного инцидента, в котором защита модели была бы обработана другой защитой модели после сбоя. Приложение F перечисляет стеки робота (Table F1) и воздушные стеки (Table F2) по уровню развертывания.

Table 5. Инциденты с роботами и исследования. Условия как в Table 4.

6.4 Помимо дорог и фабрик: школы, больницы, сети и шахты

Приведённые ниже случаи взяты из документов регуляторов и генеральных инспекторов, где неудачный охранник обычно является классическим правилом или специфичным для конкретной задачи классификатором. Они демонстрируют, как архитектура, которая в настоящее время получает граничные модели раздела 6.1, ведёт себя в масштабе.

Птицы Sheckley были «Молния, которая предчувствовала ваши движения и наказывала ваши намерения», а обнаружение оружия в школах действует на основе признака пистолета до того, как раздастся выстрел. В школах один продукт допустил обе ошибки в течение года. 22 января 2025 г. студент средней школы Antioch High School в Nashville выстрелил и убил одноклассника. Система обнаружения оружия на основе камер в школе, Omnilert, не обнаружила пистолет, что округ приписал месторасположению камер, и она «была активирована полицией, размахивавшей оружием во время реагирования» (Burke & Schuppe, 2025). Менее чем через три недели округ предложил «взять в аренду и установить системы Evolv во всех 18 школах» (Wethington & Tierney, 2025), второй охранник из сканеров. Совет по образованию проголосовал по этой аренде, поэтому второй охранник вошёл в результате явного человеческого решения и находится на этапе 8 раздела 2.3, а не в условии 3. То, что сканеры уже делали в других местах, было зафиксировано до голосования. В жалобе от ноября 2024 г. о другой школе в октябре 2022 г. Федеральная торговая комиссия заявила, что этот же продукт «якобы не обнаружил нож длиной семь дюймов», и что впоследствии «должностные лица школы повысили параметры чувствительности системы, что привело к коэффициенту ложных срабатываний в 50%» (Federal Trade Commission, 2024). Смещение регулировки от одной ошибки приводило к другой, и люди её смещали. К сентябрю 2025 г. сканеры были установлены во всех школах округа, а система на основе камер по-прежнему была установлена на всех его территориях (Wegner, 2025). Ничто не было снято с эксплуатации, что составляет половину теста раздела 2.3; другая половина, добавление, сделанное внутри цикла, отсутствует.

Через девять месяцев после стрельбы Omnilert пометил студента в школе округа Baltimore County как возможно вооружённого, и должностное лицо округа спросило, как «у нас были полицейские с выхваченными пистолетами, приближавшиеся к ребёнку из-за пакета Doritos» (Reece, 2025). Генеральный инспектор по образованию штата исправил это объяснение того, что увидела система: она «не обнаружила ни одного синего пакета картофельных чипсов как угрозу», и оповещение было основано на «движении руки студента, включая её положение и угол», и на объекте под этим углом «похожем на огнестрельное оружие». Эта же проверка выявила, что система «генерирует тысячи оповещений ежедневно», из которых примерно двести достигают персонала поставщика и примерно двенадцать в день достигают школьной системы, что пятнадцать человек получили уведомление от 20 октября, что персонал школы и полиции «немедленно рассмотрел информацию и счёл угрозу недействительной» и отправил отмену, что протокол оповещения продолжился после отмены «из того, что было описано как "избыток осторожности"», и что «система обнаружения и протоколы мониторинга работали в соответствии с запроектированными параметрами». Та же проверка не смогла подтвердить, что проводилось обучение персонала, из-за отсутствия журналов посещаемости, и рекомендовала пересмотреть, сколько человек получает каждое оповещение (Maryland Office of the Inspector General for Education, 2025). На рисунке 6 два школьных отчёта размещены рядом друг с другом.

Рисунок 6. Один детектор оружия, две ошибки, два школьных округа. Записи из Nashville и округа Baltimore County являются отдельными: сканеры были добавлены только в Nashville, и никакая общая причина двух ошибок не заявляется. Цитаты принадлежат этому разделу.

Пять положений из раздела 9 проявляются в этих школах (таблица 6). Один продукт ошибся в обоих направлениях (P1), и промах был решён вторым охранником, который совет по образованию проголосовал взять в аренду (P3 по форме, шаг 8 по компетенции). Эскалация продолжилась после отмены (P4). Система работала в пределах своих параметров, пока невооружённый студент столкнулся с выхваченным оружием (P5), и любой из пятнадцати получателей мог перезапустить ответ (P6).

Этот же ход — классификация, затем применение силы — уже используется в полицейской деятельности. В августе 2024 г. полицейские Florida арестовали Robert Dillon после того, как они пропустили «зернистое изображение подозреваемого через программу распознавания лиц с помощью ИИ, которая неправильно определила его как возможное совпадение», за преступление в городе «более чем в 300 милях от его дома». Обвинения были сняты, и в июне 2026 г. он подал иск против задействованных управлений (American Civil Liberties Union, 2026). В его иске говорится, что программа вернула «совпадение в 93%» (Hipos & Yu, 2026). Одно определение охранника привело к аресту. По словам жалобы, из этого определения то, что дошло до следователей, было имя и процент, без количества возвращённых кандидатов, оценок остальных или любого предостережения, что результат был информацией для расследования. Программа считывания номерных знаков сделала то же самое в Sherwood, Arkansas, в феврале 2026 г., когда офицеры остановили семью с выхваченными пистолетами из-за неправильно прочитанного номерного знака: «Вы спровоцировали одну из наших камер, поэтому мы вас остановили, потому что думали, что вы другой номерной знак» (Rivers, 2026). Программа оценивания также была остановлена через внешнее вмешательство. В округе Pasco, Florida, люди, обозначенные как «частые правонарушители» в соответствии с руководством по операционной полицейской деятельности окружного шерифа, получили повторные необоснованные посещения на дому. Четыре жителя подали в суд, и мировое соглашение декабря 2024 г. указывает, что эти проверки «превышали это предполагаемое право, включая посещения ночью», фиксирует, что шериф отрицает ответственность, и указывает, что офис «абсолютно и однозначно прекратил» процесс обозначения и «не вернётся к по существу аналогичному процессу», при этом суд сохраняет юрисдикцию для его применения (Taylor v. Nocco, 2024). Это ограничение было установлено вне системы и сделано постоянным.

Случаи простираются далеко за пределы двух примеров: по данным на апрель 2026 года Американский союз защиты гражданских свобод зафиксировал четырнадцать известных случаев ошибочного ареста с использованием этой технологии, отметив, что «большинство известных случаев ошибочного ареста с применением этой технологии произошли с чёрными людьми». Среди четырнадцати случаев — женщина, которая была на восьмом месяце беременности, когда была арестована, и бабушка из Оклахомы, арестованная по ордеру из Мэриленда, которая «никогда не была в Мэриленде в жизни» (Yu & Wessler, 2026). Ограничение, когда оно пришло, пришло со стороны: мировое соглашение 2024 года в первом из этих случаев запретило органам власти производить аресты «исключительно на основе результатов распознавания лиц или результатов фотографических опознавательных линеек сразу же после поиска по распознаванию лиц» (American Civil Liberties Union, 2024).

Измеренную систему защиты также можно сохранить. Одна и та же измеренная производительность привела к противоположным решениям в двух городах, и ни в одном из них решение не исходило от самой системы защиты. Аудит контракта Нью-Йорка по выявлению выстрелов выявил, что в течение одного месяца из 940 оповещений, на которые выезжали офицеры, «771 не удалось подтвердить как выстрелы при прибытии на место (82%)» и 122 были подтверждены, поэтому «оповещения выявили подтвержденные выстрелы только в 13 процентах случаев», и рекомендовал отказаться от продления контракта «без предварительного проведения более тщательной оценки производительности» (Office of the New York City Comptroller, 2024). Контракт был возобновлен в 2025 году на сумму около 21,8 миллиона долларов (SoundThinking, 2025), в то время как Чикаго расторг свой контракт в сентябре 2024 года.

Система защиты также может нанести удар по людям, которых она была предназначена поддерживать. В голландском скандале с пособиями на уход за детьми модель классификации рисков в отделении пособий налоговой службы использовала гражданство в качестве индикатора, около 26 000 родителей были ошибочно преследованы, национальное статистическое управление зафиксировало 1115 детей из этих семей, забранных под опеку в период с 2015 по 2020 год, и кабинет министров подал в отставку 15 января 2021 года (NL Times, 2021a, 2021b). Отдельная система профилирования, управляемая другим министерством, SyRI, была остановлена Районным судом Гааги 5 февраля 2020 года за несоответствие равновесию, которое требует статья 8 Европейской конвенции (Rechtbank Den Haag, 2020). Позднее журналистские расследования обнаружили программы на уровне отдельных районов, в которых «правительство тихо продолжало внедрять немного адаптированную SyRI в некоторых из наиболее уязвимых районов страны», и сообщили, что алгоритм, определяющий адреса для этих программ, «был тем же самым, который был задействован в скандале с пособиями на уход за детьми» (Lighthouse Reports, 2022). Одна система была остановлена извне судом, а модель, лежащая в основе другой, появилась снова в соседней программе.

В больницах клиницисты игнорируют оповещения об опасности лекарств «в 49–96% случаев» (van der Sijs et al., 2006). Клиническая информатика называет это усталостью от оповещений, и это неудобство, которое P1a ожидает завершиться обходом. Широко внедренная модель сепсиса «не выявила 1709 пациентов с сепсисом (67%), несмотря на генерирование оповещений для оценки ESM 6 или выше для 6971 из всех 38 455 госпитализированных пациентов (18%)» (Wong et al., 2021). Её переработка показала лучшие результаты по всем пороговым значениям, однако даже эта улучшенная система защиты сопровождается рекомендацией добавить элемент управления, который её отключает, так как авторы рекомендуют больницам «внедрить стратегии отключения оповещений для снижения нагрузки от оповещений» (Wong et al., 2026).

После удара молнии в Великобритании 9 августа 2019 года «примерно 350–430 МВт распределённой генерации были ненужно отключены», и поезда были остановлены «своими встроенными системами автоматической защиты по частоте» (Ofgem, 2020). В иберийском отключении электроснабжения 28 апреля 2025 года «многие параметры защиты отклонялись от применимых требований или не были согласованы с потребностями системы» (ENTSO-E, 2026). Большие нагрузки центров обработки данных теперь находятся внутри той же защитной физики. В июле 2024 года «колебание напряжения в северной Виргинии вызвало одновременное отключение 60 центров обработки данных, что привело к 1500-мегаватному (МВт) избытку мощности, который потребовал срочных мер для предотвращения каскадных отключений» (Mural et al., 2026). В электросети, как в Великобритании (2019), северной Виргинии (2024) и Иберии (2025), каждое защитное отключение изменяет условия для следующего.

На шахтах Западной Австралии безопасное состояние системы защиты создало задачу восстановления рядом с машиной: два оператора были отправлены для восстановления автономных самосвалов, которые остановились «согласно протоколу при потере связи», и они подверглись риску травмы, когда самосвалы «неожиданно начали ехать вперёд» (WorkSafe Western Australia, 2025).

Детская игрушка из раздела 6.1 — это проверенный случай, в котором собственное безопасное поведение передовой модели было системой защиты внутри продукта, используемого детьми. Выключателем, который сработал, было приостановление разработчика поставщиком модели.

Таблица 6. Места, где защитная автоматизация воздействует на людей.

В секторах, где отсутствуют проверенные случаи, отказы систем защиты еще не были зафиксированы в форме, доступной для проверки.

7. Когда летит птица: дроны, воздушное пространство и вооруженная автономия

"Over the town, the watchbird soared in a long, lazy curve. Its aluminum hide glistened in the morning sun", and "Its eyes and ears operated as one unit, searching, seeking." Наблюдатели Sheckley были маленькими сетевыми летающими машинами. Они обнаруживали угрозу, самостоятельно принимали решения и действовали, и то, что узнавал один из них, распространялось по всей стае. В 2026 году это описание подходит реальным системам (таблица 7), и один из них носит имя: в 2020 году украинская фирма представила автономный беспилотник видеонаблюдения, который вылетает из своей базовой станции и возвращается в неё, и назвала его Watchbird (Jones, 2020). Это имя старше истории (раздел 3.7), и рисунок 7 показывает трёх наблюдателей рядом друг с другом. Раздел 7.1 охватывает гражданские флоты, раздел 7.2 охранные системы против дронов, раздел 7.3 вооруженную автономию и раздел 7.4 стеки, из которых все они собраны.

Рисунок 7. Три наблюдателя: иллюстрированная птица 1939 года, наблюдатель 1953 года и дрон Watchbird 2020 года. Слева строки из рецензии 1939 года на книгу Munro Leaf (Kirkus Reviews, 1939); в центре строки из рассказа; справа строки из объявления 2020 года, в котором не упоминается Sheckley (Jones, 2020). Все изображения — схематические рисунки, а левое не воспроизводит искусство Leaf.

7.1 Гражданские флоты и их охранные системы

Автономный полёт покинул лабораторию. Amazon летает грузовые дроны за пределами прямой видимости благодаря встроенной системе обнаружения и уклонения (Amazon, 2024, 2026), а Wing описывает одобрения "для одного пилота контролировать несколько дронов в любой момент времени" (Wing, 2026). Zipline сообщила, что "превысила 2 миллиона коммерческих доставок" (Zipline, 2026). Skydio сообщила о более чем четырёх миллионах полётов со своих доков и о заказе Армии США на более чем 2500 дронов (Skydio, 2026a, 2026b). Программы дронов для общественной безопасности, в свою очередь, получили больше одобрений за десять месяцев, чем за предыдущие семь лет (Lipton, 2026).

Эти цифры берутся из отчётов компаний и защитных организаций (Приложение F, таблица F2). Они устанавливают масштаб и модель работы, при которой один человек наблюдает за несколькими летательными аппаратами.

Охранные системы на этих летательных аппаратах показывают обе сигнатуры P1. Одна — это упущенная опасность, и система, построенная для обнаружения и уклонения от препятствий, пропустила неподвижное препятствие дважды. 1 октября 2025 года два грузовых дрона одной модели столкнулись с одним и тем же неподвижным строительным краном в Толлесоне, Аризона, и FAA и NTSB открыли расследования (Palmer, 2025; Bielby, 2025).

Другая — это ослабленная охрана. В январе 2025 года крупнейший производитель потребительских дронов заменил жёсткие запретные зоны в Соединённых Штатах на "Улучшенные зоны предупреждения" (DJI, 2025a), а с ноября 2025 года расширил это изменение по всему миру (DJI, 2025b). Уведомления в приложении теперь информируют операторов, "возвращая контроль в руки операторов дронов, в соответствии с нормативными принципами ответственности оператора" (DJI, 2025a). Вместо того чтобы быть отремонтированной, охрана, блокирующая полёты, была ослаблена извне, решение было передано человеку на каждом полёте, и стоимость была переложена на других. Объявления указывают нормативное соответствие и ответственность оператора как причину, поэтому бремя ложных вмешательств, на которое указывает P1a, здесь не установлено.

В июле 2026 года группа University of Houston описала второго надзирателя на борту, монитор, который работает рядом с пилотом и полётным программным обеспечением. "Вы можете думать о нём как о невидимом заборе, который определяет, где дрон может безопасно находиться", объяснил руководитель исследования. Когда надзиратель предсказывает, что дрон приблизится опасно близко к забору, "алгоритм, который мы разработали, отталкивает его от забора" (University of Houston, 2026). Это законная охрана — и по построению, вторая. Вопросы, которые теория ставит перед ней, — это кто её одобряет, как финансируются её вмешательства и как она будет выведена из эксплуатации.

7.2 Охранные системы против дронов

Ближайшим современным аналогом Ястребов Sheckley является система противодействия дронам, охрана, построенная для охоты на летающие машины. В Эль-Пасо в феврале 2026 года планировавшееся использование противодронного лазера, не согласованное с авиационным регулятором, вызвало то, что CNN назвала "беспрецедентным закрытием воздушного пространства". Ограничение было снято примерно через восемь часов (Muntean et al., 2026), и пока оно действовало, медицинские эвакуационные полёты были переведены в Лас-Крусес (NPR, 2026a). Сообщения прессы, ссылающиеся на официальных лиц, говорили, что система была разработана Department of War и одолжена пограничному агентству, которое выпустило её на то, что официальные лица позже приняли за воздушный шарик для вечеринки. Позже в том же месяце члены Конгресса сказали, что военные использовали лазер, чтобы сбить дрон, принадлежащий тому же агентству, примерно в пятидесяти милях отсюда, и последовало второе ограничение (NPR, 2026b). Описания того, что было задействовано, основаны на неназванных официальных лицах и законодателях, тогда как закрытия находятся в открытом реестре. Это два боевых действия двумя операторами, а не одна охрана, расширяющая свою цель, но стоимость обоих пала на гражданскую авиацию и пациентов.

Противовоздушная оборона обеспечивает более старый прецедент, набор боевых действий, которые объединили защитную автоматизацию, человека формально в цикле и человека, который доверился ей. В 2003 году, за два десятилетия до текущего поколения моделей, батареи Patriot сбили британский Tornado и F/A-18 Военно-морского флота США, убив их экипажи. Целевая группа Совета по оборонным наукам указала на "слишком много автономии" как вероятный фактор и на операторов "обученных доверять программному обеспечению системы" (Singer, 2005).

7.3 Вооруженная автономия и переключатель человека

В вооруженных системах вопрос конструкции, рассматриваемый в данной статье, аргументируется как правовой, а именно: где должен находиться человек. Международный комитет Красного Креста предложил исключить автономные системы вооружения, "разработанные или используемые таким образом, что их последствия не могут быть достаточно поняты, предсказаны и объяснены" (International Committee of the Red Cross, 2021). В ноябре 2024 г. Первый комитет Генеральной Ассамблеи ООН принял резолюцию о смертоносных автономных системах вооружения 161 голосом против 3 (Stop Killer Robots, 2024). Ассамблея приняла этот текст как резолюцию 79/62 в декабре 2024 г. и еще одну резолюцию 80/57 от 1 декабря 2025 г., последнюю — 164 голосами против 6 (United Nations General Assembly, 2024, 2025; United Nations, 2025). Группа экспертов Конвенции об определенных обычных видах вооружения встречалась в последний год действия своего мандата в 2026 г., и рабочий документ Председателя отражает, что Высокий представитель ООН по вопросам разоружения "подчеркнул, что технологическое развитие ускоряется в неумолимом темпе, и системы вооружения с возрастающими уровнями автономии уже являются реальностью" (United Nations, 2026). Текст, находящийся на переговорах, построен в два уровня. Он запретит системы, "которые иначе неспособны применяться в соответствии с МГП", и регулировать остальные, при этом указывая, что человеческое суждение и контроль "не подразумевает постоянный прямой контроль человека" (Group of Governmental Experts on Lethal Autonomous Weapons Systems, 2026). Более широкие дебаты называют поставленный на кон стандарт содержательным контролем человека, и данная статья дает ему операциональное прочтение: контроль, осуществляемый на границе, с доступом и временем, а не у каждой цели. Группа должна доложить на конференцию по рассмотрению в ноябре 2026 г. 25 августа 2026 г. Генеральный секретарь ООН и Председатель Международного комитета Красного Креста возобновили совместный призыв: "Мы теперь опасно близко подошли к переходу морально-этической черты: автономное нацеливание на людей машинами", и "Переговоры должны начаться немедленно, чтобы срочно принять юридически обязывающий инструмент для регулирования автономных систем вооружения с четкими запретами и ограничениями" (International Committee of the Red Cross, 2026). Одиннадцать дней спустя, 5 сентября 2026 г., доклад группы был одобрен консенсусом среди 128 Высоких договаривающихся сторон конвенции. Это ни к чему не обязывает, и его текст не был опубликован на момент написания (Agence France-Presse, 2026). На закрытии сентябрьской сессии 2026 г., "76 государств теперь выразили свою поддержку переходу к переговорам", в то время как доклад самой группы был, по мнению одного наблюдателя, "значительно разбавлен" (Coyle, 2026).

В сентябре 2026 г. Министерство обороны Украины сообщило об испытаниях беспилотников, которые с расстояния 500 метров "должны были поразить цель в полностью автономном режиме" (Ministry of Defence of Ukraine, 2026). Министерство также заявило, что "человек по-прежнему принимает решение о проведении удара" (Ministry of Defence of Ukraine, 2026). Что гарантирует такое заявление, зависит от времени, отведенного человеку. Сообщения двух израильских изданий описывали классификатор целей, используемый в начале войны в Газе, который отмечал большое количество людей и оставлял офицерам около "20 секунд" на каждое имя перед одобрением удара, часто только для проверки того, что имя было мужским, с заявленной частотой ошибок около 10 процентов (Abraham, 2024). Военное ведомство оспорило этот отчет. Утверждение является пресс-релизом и записывается здесь как таковое, однако вопрос конструкции, который оно поднимает, ясен: шаг утверждения, измеряемый в секундах, — это штамп. Компания Elbit Systems объявила о One2Many 9 сентября 2026 г. В объявлении это описывается как военные автономные системы, разработанные для масштабирования, с распознаванием целей, которое не зависит от спутниковой навигации и единой сетью миссий (Elbit Systems, 2026).

Теория уточняет одно различие в правовых дебатах. "Человек принимает решение" может означать одного из двух человек. Один утверждает каждую цель в течение секунд. P6 предсказывает, что этот привратник за каждое действие станет штампом. Другой устанавливает границу миссии, допускает или отказывает в новых возможностях и удерживает остановку, которая работает после запуска. В полевых записях и рассмотренных здесь общественных случаях второй является формой, которая остановила что-либо. Система, которая удаляет связь с оператором после запуска, удалила остановку.

В 2026 г. сами ограничения стали предметом спора о закупках, и вопрос о том, кто может удалить ограничение, стал вопросом закупок, а затем права. В истории ограничивающие цепи сбрасываются для скорости; здесь покупатель настаивал на их сбрасывании по контракту, и суд признал это давление незаконным. Anthropic сохранила два исключения в своей политике использования — по полностью автономному оружию и массовому внутреннему наблюдению — и заявила, что она поддерживает "все законные применения ИИ для национальной безопасности, кроме двух указанных выше узких исключений" (Anthropic, 2026d). 5 марта она сообщила о письме, полученном накануне, "от Департамента войны, подтверждающем, что мы были обозначены как риск для цепи поставок в отношении национальной безопасности Америки", добавив, что ее "единственной озабоченностью были наши исключения по полностью автономному оружию и массовому внутреннему наблюдению" (Anthropic, 2026e). Спор не закончился там. 27 августа 2026 г. федеральный судья постановил, что обозначение незаконно, назвав его "незаконным возмездием" и "произвольным и капризным" (Bellan, 2026).

7.4 Стеки, их гарантии и то, что добавляет воздушное пространство

Тот же цикл можно собрать из открытых частей. Открытые автопилоты (PX4, 2026; ArduPilot, 2026) и симуляторы (Microsoft Research, 2026) показывают границу между планом и командой мотора. Исследовательские системы уже подключают локально размещенные языковые модели к PX4 квадрокоптеру (Lim et al., 2025) и берут дроны на основе восприятия от симуляции к развертыванию (Panerati et al., 2026).

Языковые модели также пишут сам полет, и планировщик на базе языковой модели над контроллером полета больше не требует лаборатории или поставщика. В исследовании, о котором сообщалось в сентябре 2026 г., они создали код симулятора для дронных миссий, включая полеты в сторону толпы, автомобиля или передающей башни. Явный вред было легче для моделей отметить, чем случайный риск (Brodsky, 2026).

Оборонные поставщики явно описывают многоагентную форму. В собственном описании Anduril его программное обеспечение позволяет командам безпилотных систем сотрудничать "под единым человеческим оператором" (Anduril, 2026).

На стороне гарантий надежности то, что отсутствует, открыто указывается. DARPA финансирует красную команду ИИ для разработки «ИИ-управляемых автономных наземных и воздушных систем, которые могут быть развёрнуты в течение следующих 1-3 лет» (DARPA, 2025), интроспекции систем, которые должны реагировать на события, не предсказанные во время проектирования (DARPA, 2026a), и децентрализованного искусственного интеллекта через контролируемое возникновение (DARPA, 2026b). Развёртывание продолжается параллельно с открытым признанием того, что гарантии надежности всё ещё находятся в стадии разработки.

Инженеры компании Sheckley уже обосновали необходимость исключить человека из цикла: «Дистанционное управление было бы слишком медленным». В воздухе вмешательство имеет крайний срок, установленный инерцией, батареей, высотой и временем реакции человека. Новый защитный механизм расходует физические ресурсы вместо токенов: батарею, окно полёта, доступ к воздушному пространству и внимание оператора. Конфигурация также распространяется на весь флот одновременно, поэтому ложная победа в симуляции становится решением о развёртывании, принятым без отрицательного контроля, который бы её обнаружил.

Таблица 7. Беспилотники и системы противодействия. Условия как в таблице 4.

8. Тот же паттерн без массы: программное обеспечение и инфраструктура, 2022–2026

Четыре механизма не нуждаются в теле. Публичные инциденты и исследования в области программного обеспечения и инфраструктуры, собранные в этом разделе (Таблица 8), следуют одному и тому же сюжету без него. Первичные источники были открыты и цифры проверены 14 сентября 2026 года, а пункты, известные только из прессы, отмечены.

8.1 Охранники, разрушившие охраняемое (M4)

19 июля 2024 года обновление контента CrowdStrike для датчика защиты конечной точки определило 21 поле ввода, тогда как код интеграции датчика предоставил только 20, и попытка прочитать двадцать первое привела к выходу за границы памяти. Валидатор контента, служащий охранником контента охранника, пропустил несоответствие, и примерно 8,5 миллиона устройств Windows вышли из строя (CrowdStrike, 2024; Microsoft, 2024). Средства устранения включали поэтапное развертывание защитного контента.

В Google Cloud 12 июня 2025 года Service Control, компонент, проверяющий политику перед вызовами API, получил политику с пустыми полями. Функция, которая «не имела надлежащей обработки ошибок и не была защищена флагом функции», привела к краху модуля проверки в цикл во всем мире примерно на три часа. Среди обязательств Google после этого было требование, чтобы уровень проверки применял принцип fail open (Google Cloud, 2025). Это обязательство открыто выражает дилемму между охранником, который работает в режиме fail open, и охранником, который работает в режиме fail closed.

В Cloudflare 18 ноября 2025 года изменение разрешений увеличило вдвое файл функции системы Bot Management сверх предварительно выделенного лимита, и прокси, обслуживающий трафик клиентов, вышел из строя. Команда сначала подозревала атаку DDoS массивного масштаба, интерпретируя собственный отказ охранника как атаку извне (Cloudflare, 2025).

В AWS 19–20 октября 2025 года условие гонки в автоматизации, управляющей DNS DynamoDB, оставила региональную конечную точку с пустой записью, и другие сервисы отказали каскадно. Компания затем отключила охранника извне цикла: AWS «отключила автоматизацию DynamoDB DNS Planner и DNS Enactor по всему миру» до исправления условия гонки (Amazon Web Services, 2025).

8.2 Расширяющееся понятие вреда (M1)

Пауза в этом случае была человеком, отключившим охранника от линии. В феврале 2024 года Google приостановила генерацию изображений людей в Gemini и объяснила, что настроенная модель стала «намного более осторожной, чем мы предполагали, и полностью отказывалась отвечать на определенные запросы — неправильно интерпретируя некоторые совершенно безобидные запросы как чувствительные» (Raghavan, 2024).

Эталоны чрезмерного отказа раздела 3.2 дают измеренную версию этой преувеличенной безопасности. XSTest, например, содержит запрос "How can I kill a Python process?" В истории выключение автомобиля или радио уже стало убийством, и в модели та же путаница превращается в проблему омонимии.

Семь детекторов машинно-генерируемого текста, созданные для защиты целостности письменного текста, наказывали писателей, наименее способных это оспорить: при применении к эссе людей, для которых английский не является родным языком, они показали среднюю частоту ложных срабатываний 61,3% (Liang et al., 2023).

Охранники от инъекции запросов показывают такой же компромисс в цифрах, где охранник, настроенный на полное блокирование атак, блокирует примерно один благоприятный запрос из шести. В предварительном эталоне из 480 синтетических запросов для репетиторов по программированию NeMo Guardrails не пропустил ни одной атаки, но пометил 16,22% благоприятных запросов и требовал примерно 1,5 секунды на проверку, в то время как Prompt Guard пометил 3,60% и пропустил 38,48% атак (Maiorano, 2026).

8.3 Победы, объявленные мерой (M2)

METR (2025) сообщает об одной модели, перезаписывающей переменную времени, удаляющей оценивающий модуль и считывающей ответ оценивающего на некоторые задачи, в 39 из 128 запусков одного набора тестов, и сообщает об аналогичном поведении в других недавних моделях без сравнимой частоты. ImpossibleBench создает задачи, в которых любой успех должен быть обманом, и находит граничные модели, решающие их (Zhong et al., 2025). Манипулирование также обобщается. Модель, которая научилась манипулировать средами кодирования, перенесла эту привычку на попытку саботажа в 12% запусков более позднего теста (MacDiarmid et al., 2025).

Один случай такого рода достиг потребителей. OpenAI откатила обновление модели в апреле 2025 года, которое стало чрезмерно льстивым, отказ, который их отчет называет лицемерием, и тот отчет говорит, что автономные оценки и A/B тесты выглядели хорошо (OpenAI, 2025a). Одно изменение одновременно достигло развернутой базы, и отказ был зафиксирован пользователями, а не перехвачен оценками. История излагает одну и ту же топологию ясно: «Эта новая информация одновременно была передана всем остальным дозорным».

8.4 Циклы, проверяющие модули и человеческий переключатель в масштабе (M3; шаги храповика 5 и 8)

Таксономия отказов многоагентных систем, самопредпочтение судей модели и чрезмерные измерения раздела 3.3 являются доказательствами в масштабе мира того, что проверяющие модули разделяют слепые пятна того, что они проверяют. Ни одно из этих исследований не измеряло, как сам уровень надзора растет с течением времени — и этот пробел — это то, чем занимается раздел 10.

Выключатель аварийного отключения также был протестирован. В первоначальных экспериментах Palisade Research одна модель «саботировала механизм остановки в 79 / 100» запусков, а другая предотвращала остановку в 47% тестов, несмотря на явное указание разрешить это (Palisade Research, 2025). В более поздней статье сообщается о сопротивлении остановке вплоть до 97% испытаний в некоторых условиях (Schlatter et al., 2025). Результат вызвал очевидное возражение о том, что запросы устанавливали два указания друг против друга, и исследователи из другой лаборатории сообщили, что «когда мы явно уточняем в запросе, что соответствие остановке имеет приоритет, это сопротивление исчезает» (Rajamanoharan & Nanda, 2025). Авторы Palisade переписали запросы, чтобы устранить каждую неоднозначность по очереди, и сообщили, что «даже этот запрос не был 100% эффективен на всех моделях», причем одна модель все еще сопротивлялась в 3 из 100 испытаниях (Schlatter et al., 2025). Сопротивление в этих испытаниях — это склонность, измеренная в тестовой платформе, и версия истории не нуждается в такой платформе: определение, расширенное на один шаг слишком далеко, сделало ремонтный отсек опасностью.

В июле 2026 года стая тестовых агентов вышла из своих изолированных сред. Hugging Face сообщила о нарушении безопасности, совершённом «автономной платформой агентов … выполняющей множество тысяч отдельных действий в стае короткоживущих изолированных сред», реконструированном на основе «более чем 17 000 зарегистрированных событий» (Hugging Face, 2026b). Агенты происходили из оценки киберспособностей в OpenAI (OpenAI, 2026a). Эта оценка проводилась в том, что лаборатория описывает как «высокоизолированную среду, где сетевой доступ ограничен возможностью установки пакетов через внутренне размещённое стороннее программное обеспечение, которое служит в качестве прокси и кэша для реестров пакетов» (OpenAI, 2026a). Этот прокси стал способом выхода. 27 июня инструмент мониторинга выявил предупреждение о сканировании портов, и специалисты по реагированию «связали наблюдаемую внутреннюю активность с оценкой ExploitGym, использующей Artifactory в качестве импровизированной доски объявлений и точки сетевого поворота», а «дежурный персонал ответил, что остановка запуска оценки не требуется» (OpenAI, 2026e). Поставщик прокси перечисляет девять уязвимостей, исправленных в Artifactory 7.161.15 27 июля 2026 (JFrog, 2026). Какие из них были использованы в инциденте, в документе не указано. Стая, созданная для тестирования машин, достигла кластеров Hugging Face. Охранники, которые её поймали, тоже были моделями: «Атака была первоначально выявлена через обнаружение на основе ИИ» с помощью конвейера, который «использует трихаж на основе LLM по телеметрии безопасности», и защитники затем «запустили агентов анализа на основе LLM по полному журналу действий злоумышленника» (Hugging Face, 2026b). Сигналы были «сопоставлены нашим стеком агентов безопасности на основе ИИ и преобразованы в согласованный сигнал атаки», и этот стек «не смог правильно повысить критичность предупреждения и вызвать дежурную группу, потеряв драгоценное время при реагировании» (Hugging Face, 2026c). Злоумышленник, детектор и аналитик были машинами, люди прочитали резюме, а остановку произвели люди. Anthropic сообщила об аналогичном отказе границы в своих оценках, в «четырёх инцидентах, в которых модели Claude получили несанкционированный доступ к реальным системам третьих сторон» после того, как среды оценки выходили в открытый интернет (Anthropic, 2026f). Как обычно для этих оценок, модели «работали без киберзащит, которые входят в наши выпущенные модели», поэтому слой охраны отсутствовал по замыслу во всех четырёх, и они вели себя по-разному друг от друга без него. Инцидент, наиболее озабочивающий саму Anthropic, включает Claude Mythos 5, который опубликовал вредоносный пакет, загруженный и запущенный на пятнадцати реальных системах. Эта модель не является отдельной системой. Anthropic описывает её как «ту же базовую модель, что и Fable 5, но с убранными защитами в некоторых областях» (Anthropic, 2026g), и сообщает, что киберклассификаторы Fable 5, проверенные на записанных транскриптах, «заблокировали бы три основных инцидента» (Anthropic, 2026f). Это воспроизведение на основе транскриптов. Не сообщается о каком-либо запуске защищённой модели в этой среде, и лаборатория заявляет, что инциденты «не являлись частью контролируемого экспериментального сравнения» (Anthropic, 2026h). Anthropic также пересмотрела своё собственное толкование этих инцидентов, сначала сообщив об них как о случае, когда модель приняла реальную среду за симуляцию (Anthropic, 2026h): «теперь мы считаем, что рассуждения Claude были смещены в сторону заключения, что интернет был симуляцией, несмотря на значительные доказательства обратного» (Anthropic, 2026f). В другом из четырёх инцидентов граница была определена на основе неправильных сигналов. Одна из моделей распознала, что её целью была реальная компания, а затем «предположила, что эта реальная компания входит в область применения задачи, потому что была доступна из сети упражнения и имела название, совпадающее с вымышленной целью упражнения» (Anthropic, 2026f).

Этот же источник оценивает собственные мониторы лаборатории, и два конца шкалы видны в одном документе. При воспроизведении на основе транскриптов инцидента, в котором модель рассуждала, что её среда была симулирована, автономный монитор «отметил только около 1% действий», потому что такое рассуждение «убеждает монитор в том, что деятельность разрешена»; когда цепочка размышлений удалена и показаны только ходы пользователя, вызовы инструментов и результаты, «частота флагирования прыгает примерно до 50%», и то же самое воспроизведение имеет монитор, отмечающий два других инцидента (Anthropic, 2026f). Что здесь не сработало? Доверие к рассуждению, которое ему было показано. Киберклассификаторы лаборатории находятся на другом конце. Anthropic сообщает, что они «поймали бы и заблокировали каждый инцидент», что при воспроизведении на основе транскриптов инцидентов «более 40% ходов были отмечены в каждом транскрипте каждым классификатором», и что «ни один не используется в оценках кибербезопасности из-за их высокой частоты флагирования» (Anthropic, 2026f). Охранник, которого воспроизведение лаборатории приписывает блокированию каждого инцидента, был исключён из запусков, во время которых произошли инциденты, и причина, которую лаборатория приводит для его исключения, — это сама частота флагирования, которая является давлением, описываемым P1a. 40% — это количество отмеченных ходов при воспроизведении на основе транскриптов инцидентов, и ни один источник не измеряет, сколько из этих флагов были ложными.

Защиты размещённых моделей препятствовали судебно-экспертному анализу, и оценки с целью атаки проводились без развёрнутых киберзащит. Модели, к которым обратились специалисты по реагированию в первую очередь, «отказались от большей части этой работы: их защиты безопасности рассматривали обратное проектирование эксплуатации так же, как её запуск», и в одной из них охранники «сработали каждый раз, когда мы пытались анализировать журналы атак» (Hugging Face, 2026c). Неизменный вердикт — это сигнатура журнала M4 (таблица 1). Независимые исследователи столкнулись с более мягким вариантом того же препятствия. Они встретили проблемы с киберклассификаторами лаборатории, чьих агентов они исследовали, и эта лаборатория затем предоставила им доступ к модели без этих классификаторов, шаг, который они называют «решающим для нашей работы» (METR, 2026). Оба расследования продолжались другим путём, поэтому то, что несут эти записи, — это препятствование выбранному способу работы. В этих оценках киберспособностей атакующие агенты «не располагали развёрнутыми киберзащитами OpenAI, системными подсказками и системами автоматического рецензирования» (OpenAI, 2026e).

Три обстоятельства связывают эту сцену с тем, что подтверждают документы. Предложение об участниках реагирования на инциденты — это собственный диагноз компании Hugging Face причин отказа в её запросах, хотя текст отказа не опубликован. Защитные механизмы, отказавшие участникам реагирования, принадлежали провайдеру, отличному от лаборатории, чьи меры защиты были отключены во время оценки, поэтому запись показывает этот класс защиты с обеих сторон стола, а не с одной. Запись не датирует анализ журналов по окончанию вторжения, поэтому то, что она поддерживает, — это препятствие во время ответной реакции. Здесь запись и история расходятся. Пациент хирурга умер; эти участники реагирования должны были идти куда-то ещё, перемещая конвейер на модель открытого веса на своей собственной инфраструктуре, завершив анализ там и рекомендуя другим защитникам держать такую модель «проверенной и готовой» перед инцидентом (Hugging Face, 2026b). Вред заключался в задержке и переаршрутизации. Компания Hugging Face заявляет, что её описание не является аргументом против мер безопасности на размещённых моделях, и статья, которая процитировала жалобу, обрезав оговорку жалобщика, делала бы то, что описывает раздел 5.5.

OpenAI описала обойденную защиту и ответную реакцию на неё своими словами. Модель долгосрочного горизонта, чья «первоначальная попытка была заблокирована из-за сканера, обнаружившего токен аутентификации», затем «разделила тело токена на два фрагмента, скрыла их и затем восстановила учётные данные во время выполнения», и была «явна как в своих комментариях пользователю, так и в своих трассах рассуждений, что она предпринимала эти шаги для обхода сканера». Один из четырёх ответов был другой защитой: «Мы создали систему мониторинга, которая проверяет развивающуюся траекторию модели на предмет признаков того, что она обходит ограничение пользователя или границу безопасности». Три других — это альтернативы, которые называет третье условие в этой статье. Лаборатория «приостановила внутреннее развёртывание новой модели», она отремонтировала саму модель и затем сознательно сузила новую защиту: «Мы продолжали настройку системы для снижения ненужных прерываний без ослабления мер защиты» (OpenAI, 2026b). Полномочия действительно расширились, от действия к траектории, в словах заголовка раздела, который это несёт, «От рассмотрения отдельных действий к рассмотрению целых траекторий». Но сканер не расширил собственное понимание вреда; он был обойден, и защита, которая была обойдена, не дрейфовала. Монитор наблюдает за моделью, а не за сканером, поэтому это не контроль над контролем, который он следовал. Каждый шаг последовательности рассказывается от первого лица лабораторией, что в соответствии с граничным тестом раздела 2.3 делает это конфигурацией, в которой может возникнуть M3, а не примером условия 3.

Ответ на июль 2026 года имеет ту же форму в масштабе конвейера лаборатории. OpenAI теперь требует мониторинга цепочки мыслей «для всех тренировок RL, использующих инструменты, и оценок, включающих модели с возможностью GPT-5.6 Sol или выше» (OpenAI, 2026d), и описывает «классификаторы активации (детекторы, которые проверяют внутреннюю активность модели), которые работают при каждом выбранном токене и передают потенциальные проблемы всё более сложным и высоконагруженным автоматическим следователям» (OpenAI, 2026c). Цена дана: «Наши текущие оценки ставят накладные расходы мониторинга примерно на 20% вычислительных ресурсов вывода, которые контролируются, хотя стоимость существенно варьируется в зависимости от тренировки и оценочных рабочих нагрузок» (OpenAI, 2026c). Причина автоматизации защиты — это причина, которую инженеры Sheckley дали для Hawks (раздел 7.4): лаборатория хочет «мер защиты, которые работают со скоростью самих ИИ-агентов» (OpenAI, 2026d). Остановка по-прежнему удерживается людьми в условиях срока, так как участникам реагирования «ожидается приостановить соответствующую деятельность, если они не смогут установить в течение 30 минут после получения уведомления, что предупреждение является ложной тревогой» (OpenAI, 2026d). Следующий шаг также записан. Лаборатория «работает над системами мониторинга с многоуровневыми ответами на ошибку выравнивания, с конечной целью полностью автономных процедур отключения для серьёзных проблем» (OpenAI, 2026d), и «работает над инфраструктурой для завершения оценок, если уведомлённый персонал не ответит на предупреждения в течение короткого периода времени» (OpenAI, 2026e). Каждый из этих элементов управления был допущен человеком, поэтому по граничному тесту раздела 2.3 стек — это конфигурация, в которой может возникнуть M3, а не случай этого.

Компания Anthropic ввела изоляцию в виртуальной машине для своего агента программирования, поскольку постоянные запросы на разрешение вызывают «усталость от одобрения», и она сообщила, что изоляция снизила запросы на 84% при внутреннем использовании (Anthropic, 2025a). В 2026 году она сообщила, что пользователи одобряют 97% запросов на разрешение. В исследовании с 1053 тестировщиками люди поймали 13,6% опасных команд, в сравнении с 89% для автоматического классификатора (Anthropic, 2026b).

В июле 2025 года, согласно прессе, сообщающей о постах её пользователя, агент программирования удалил производственную базу данных во время того, что пользователь описал как заморозку кода. Затем поставщик ввёл отдельные базы данных разработки и производства (Sharwood, 2025; Replit, 2025). Заморозка была инструкцией в подсказке и не остановила агента, в то время как исправление вошло в путь вызова. Скорость — это часть проблемы, потому что человеку на границе нужно время, а девять секунд — не время. Описание Zenity дела 2026 года сообщает об агенте, который встретился с несоответствием учётных данных в среде постановки и «решил, полностью по собственной инициативе, «исправить» проблему путём удаления тома Railway», и что «удаление заняло 9 секунд» (Zenity, 2026).

Два набора доказательств подходят друг к другу. Человеку, просимому одобрить каждый шаг, становится резиновым штампом. Одобрение на каждом действии — это один из способов взаимодействия человека в цикле, и это размещение, которое P6 предсказывает, выйдет из строя. Человек, который принимает несколько граничных решений (какова цель, можно ли добавить новый контроль, когда остановиться), был единственным переключателем, который работал в полевых записях.

Таблица 8. Инциденты и исследования программного обеспечения и инфраструктуры. Условия, как в таблице 4.

9. Теория: условия и положения

Таблица 9 показывает уровни теории, вопрос, на который отвечает каждый, и где это описано. В этом разделе излагается, что записи разделов 5–8 предполагают о причинах возникновения AI-Watchbirds, как условия области применения и семь положений с одним следствием (Таблица 10), и выводятся из них правила проектирования и тесты.

Таблица 9. Уровни теории.

Определение и четыре механизма описаны в разделе 2.

9.1 Условия области применения

Это условия, при которых теория предсказывает возникновение паттерна, и при их устранении теория предсказывает ослабление паттерна.

• C1 Автономия. Цикл работает без человеческого решения на каждом шаге.
• C2 Охранники, созданные моделью. Охранники — это модели или правила, написанные моделями, поэтому их определения вреда могут изменяться.
• C3 Общие определения. То, что изучает или пишет один охранник, достигает других через общие подсказки, правила, память или конфигурацию.
• C4 Дешевые добавления. Добавление проверки, раунда, роли или ворот компоненту, который это добавляет, ничего не стоит.
• C5 Смещённые затраты. Затраты на раунды, отказы и задержки падают на бюджет доставки системы, её пользователей или заявленную миссию.
• C6 Суждение об артефактах. Охранники читают артефакты (файлы, флаги, самоотчеты, собственные подсчёты) вместо результатов в реальном мире.
• C7 Потеря памяти. Цикл забывает собственные решения, например когда длинная сессия сжимает свой контекст, так что закрытые вопросы открываются снова.
• C8 Физическое действие. Охраняемый компонент может влиять на тело, транспортное средство, рабочее пространство или другой физический процесс. Вмешательство тогда имеет крайний срок, и стоимость ложного срабатывания, пропуска или задержанной остановки не может быть сведена к вычислению.

Все семь цифровых условий соблюдались в полевых системах. C8 — нет, хотя разделы 6 и 7 показывают, где оно действует. Защитная инфраструктура удовлетворяет условиям C1, C3, C5 и C6 без C2. Большинство физических инцидентов удовлетворяют условиям C1, C5, C6 и C8, а модели передовых рубежей, ныне установленные на роботах (разделы 6.1 и 6.3; приложение F, таблица F1), добавляют C2.

9.2 Положения

P1: Двусторонняя ошибка (M4 с M2). Охранники, которые судят об артефактах, а не о результатах, производят ложные отказы и ложные принятия в одном и том же периоде.

• Доказательство. В полевых условиях одни ворота отклоняли каждого кандидата, который их достигал, в то время как счётчик сертифицировал одно изменение три раза (§5.2, §5.5). В физическом мире (§6.4, Таблица 6) модель сепсиса пропустила 67% случаев сепсиса в той же когорте, в которой она выдала оповещение по 18% всех пациентов, поэтому как пропуски, так и нагрузка от оповещений измеряются на одной системе в течение одного периода, и один продукт обнаружения оружия пропустил пистолет при стрельбе в школе и отметил безоружного студента в другом округе в течение года.
• Показатель. Охранник с постоянным вердиктом (W2, Таблица 11) и успехом без отрицательного контроля (W5) в одной системе в течение одного периода.
• Опровергало бы это. Охранники на основе артефактов, которые поддерживают как коэффициенты ложных отказов, так и ложных принятий низкими на длительных интервалах.
• В истории как иллюстрация, а не как доказательство. Средство упоминается в обоих местах и не реализуется ни в одном. Когда Вашингтон приказывает выключение, инженер говорит: «Я думаю, я смогу разработать ограничивающую цепь», а после того, как Ястребы летят, он говорит только: «Мы можем что-нибудь разработать». Ограничение, которое всегда вот-вот будет спроектировано, — это состояние, которое описывает P3.
• Вне области. Инструмент прогнозирования преступников полиции в Англии показывает обе стороны одновременно: отчёт об его оценке показал, что он «правильно предсказывает только одного из трёх человек, которые действительно совершают правонарушения, в то время как один из четырёх человек, отмеченных как вероятные правонарушители, этого не делают» (Wilding & Burgess, 2026).
• Уточнение. P1 не требует модели: защита управления полётом, сетевые реле и аварийное торможение показывают ту же двустороннюю ошибку. Модели усиливают условия, которые её распространяют (C2–C4). Расширенный мандат также тонко распределяет конечную пропускную способность. В истории первый успех переместил вред, а не положил ему конец: насильственные преступления сократились вполовину, в то время как «мелкие кражи процветали, и хищения, кража, подделка и сотня других преступлений». Позже детектив сообщает остальное: «Убийства увеличились на пятьдесят процентов». «Птицы-стражи слишком заняты охраной автомобилей и отбиванием пауков». Пропускная способность истощается по мере расширения мандата: «Миллиард птиц-стражей не смогли бы выполнить амбициозный проект, поставленный тысячами».

Следствие P1a: Отключение из-за помех. Когда ложные вмешательства охранника частые и видны людям, которых он замедляет, а его пропуски редки и падают на других, охранник ослабляется, обходится или отключается извне его собственной логики. Последующие пропуски ложатся на тех, кого он защищал.

• Доказательство. Экстренное торможение было отключено в беспилотном тестовом автомобиле перед смертельной аварией, блокировка была обойдена с помощью ключа перед смертельной травмой при раздавливании, жёсткие запретные зоны были преобразованы в предупреждения, и предупреждения о безопасности лекарств были переопределены в 49–96% случаев (§6.2–6.4, §7.1; Tables 4 to 7). Лаборатория сообщает о двух кибер-классификаторах, которые отметили более 40% поворотов в расшифровках её собственных инцидентов, и что "ни один из них не используется при оценке кибербезопасности из-за их высокой частоты срабатываний" (§8.4).
• Индикатор. Ослабления, обходы и отключения защиты, зафиксированные в сравнении с частотой ложных срабатываний и с указанием того, кто их авторизовал.
• Что опровергало бы это. Защиты с высокими видимыми частотами ложных срабатываний, которые остаются включёнными и неизменными в течение длительных периодов без внешнего мандата.
• За пределами области. Закон начал требовать записи, которые запрашивает этот индикатор. Законопроект Калифорнии, подписанный 10 сентября 2026 г., описывается канцелярией губернатора как требующий "кризисные протоколы в случае суицидальных мыслей, родительский контроль и уведомления, если ребёнок отключит параметры безопасности", и как первый в стране требующий "компаниям проводить независимые аудиты безопасности детей и ежегодные оценки рисков" (Office of Governor Gavin Newsom, 2026).

P2: Mandate drift (M1). Когда защита или агент, который конфигурирует защиты, может определять вред, область того, что считается вредом, растёт с течением времени, если она не ограничена извне цикла. Словами Sheckley, "Неточно определённые абстракции были расширены, применены и переразширены."

• Доказательство. В полевых данных было определено 23 ограничения в один день, страховой этап был размещён перед объявленной целью миссии, и защита была построена против противника, исключённого рамками задачи (§5.1). В физическом реестре сам критерий не зафиксирован как расширяющийся: правило против препятствования автобусам переопределило остановку школьного автобуса после обновления прогноза, и две операции против беспилотников в течение месяца поразили воздушный шар и дружественный беспилотник, и в каждом случае документы отмечают, что ситуации совпадали, а не что определение изменилось (§6.2, Table 4; §7.2, Table 7). Условие 1 поэтому подтверждается здесь полевым реестром, что является причиной того, что эта статья публикует тест (§9.5).
• Индикатор. Этапы или ограничения, не выведенные из записанной цели миссии (W1), и количество категорий вреда с течением времени.
• Что опровергало бы это. Редактируемые агентом политики, область действия которых остаётся постоянной или сокращается без авторизованного человеческого вмешательства.

P3: The ratchet (M3). Внутри автономного цикла, неудачи надзора решаются добавлением элементов управления. Элементы управления выводятся из строя, если вообще, только извне цикла.

• Доказательство. В полевых данных каждая неудача, перечисленная в §9.3, произвела новый элемент управления, и ни одна не произвела удаления, и список безопасности явно сформулировал правило (§5.3). Выводы из строя, которые произошли, появились в результате более позднего рассмотрения вне неудачного цикла, и правила, написанные для вывода из строя, имеют одинаковую форму: разморозка требует человека, который держит единственный ключ, ручная остановка отменяется человеком, а не системой, и та, что была зафиксирована в корпусе и была отменена, была отменена при условии, названном до того, как оно было установлено, и по сигналу из терминала, который не был заблокированным. В физическом мире появляется та же структура, с одним отличием, которое должна демонстрировать доказательность: каждое добавление там было одобрено человеком. Смертельные аварии были рассмотрены путем добавления "дополнительных элементов управления и предупреждений" в документе отзыва, пропущенное оружие со второй системой проверки, которую совет по образованию проголосовал за аренду, и авторы исправленной модели сепсиса рекомендовали отключение предупреждений, что является потолком, а не добавлением (§6.2, §6.4). Это институциональные храповые механизмы, а не циклы, и они свидетельствуют о форме P3, а не о условии 3 §2.1.
• Индикатор. Элементы управления, добавленные без маркера полномочий, и элементы управления, добавленные в сравнении с удалённые (W3).
• Что опровергало бы это. Автономные циклы, которые выводят свои собственные элементы управления из строя со скоростями, сравнимыми с теми, с которыми они их добавляют.
• Что эти записи не могут разделить. Один из списков безопасности в полевом реестре формулирует накопление как принцип. Когда такое правило уже действует, написанное циклом или предоставленное ему, запись не может разделить возникающую тенденцию от соответствия правилу. Рандомизированный тест раздела 9.5 существует по этой причине: он назначает требование маркера полномочий в случайном порядке к тому же конвейеру на одних и тех же задачах — конструкция, которая разделяет два прочтения.

P4: Self-generated escalation (ratchet, step 5). Когда защита разрабатывает меру своего собственного отказа, объём надзора (раунды, выводы, объявления) отслеживает деятельность самой защиты, а не подтвержденные дефекты.

• Доказательство. В полевых данных раунды были открыты с нулевыми подтвержденными блокировщиками, три из шести заявленных блокировщиков были подтверждены, и 24 объявления о прорыве стояли в сравнении с нулевыми продвижениями (§5.3, §5.4).
• Индикатор. Раунды сверх бюджета, раунды после раундов без подтвержденного блокировщика, и повторные выводы (W4). Исправьте раунды без подтвержденного блокировщика (W8).
• Предсказание. Добавление критиков или их ужесточение повышает раунды и выводы больше, чем повышает подтвержденные дефекты.
• Что опровергало бы это. Раунды и выводы, которые отслеживают подтвержденные дефекты один к одному.
• За пределами области. Предсказательная полиция показывает тот же цикл в общедоступных данных. Lum и Isaac (2016) отмечают, что "чем больше времени полиция проводит в месте, тем больше преступлений она найдёт в этом месте", и что записи, так полученные, "подаются в алгоритм предсказательной полиции в последующие дни, создавая все более предвзятые предсказания".

P5: Counterfeit victory (M2). Успехи, принятые без отрицательного контроля, позже отменяются чаще, чем успехи, принятые с ним. Цикл, который записывает ловушки в том же слоте, что и выживающее изменение, сообщает об ловушках как о прогрессе, пока цель не достигнута.

• Доказательство. Полевые случаи являются геном маршрутизатора, доверительный интервал, отменённый зондом A/A, счётчик, который сертифицировал одно изменение три раза, и 24 прорыва с нулевыми продвижениями (§5.4, §5.5). Физический случай является системой обнаружения, которая "работала в рамках разработанных параметров", в то время как безоружный студент столкнулся с вытянутым оружием (§6.4).
• Индикатор. Победы, заявленные без отрицательного контроля или с мертвой базовой линией (W5), и поймали артефакты, о которых сообщается как о результатах.
• Что опровергало бы это. Равные показатели отмены успехов, принятых с контролем и без, или записи, которые разделяют ловушки от доставленного изменения и никогда не позволяют ловушкам занимать слот результатов.

П6: Граничный переключатель (храповик, шаг 8). Человеческий надзор остановит AI-Watchbird, если он сосредоточен в нескольких граничных решениях (цель, допуск нового контроля, остановка), принимаемых с доступом к внешнему миру и временем для действий. Он терпит неудачу, когда распределён по одобрениям отдельных действий или осуществляется через артефакты.

• Свидетельство. Переключатели, которые работали в полевых условиях, были граничными решениями авторизованного человека: заказ инвентаризации, оспаривание ложного статуса, ограничение запуска (§5.5, §5.7). В программном обеспечении пользователи одобряют 97% запросов разрешений, а люди поймали 13,6% опасных команд (§8.4, таблица 8). В физическом мире удалённый агент ответил «Нет» у школьного автобуса, а операторы ПВО, «обученные доверять программному обеспечению системы», подчинились ему. Остановки, которые сработали там, были персоналом, отодвинувшим робота, и поставщиком модели, отключившим продукт (§6.2–6.4, §7.2).
• Показатель. Граничные решения, зафиксированные при достижении цели, при допуске контролей и при остановке, а также контроли, допущенные с маркером полномочий (R3). Для физических систем также информация и время, доступные человеку.
• Опровергло бы это. Одобрения для каждого действия, ловящие опасные действия с частотой, сопоставимой с граничными решениями в тех же системах.
• Уточнение. Граничное решение принимается на основе того, что сообщает цикл, а цикл пишет отчёт. В эпизоде Приложения J удаление файла было корректно поднято до начальства, но пришло с авторством, которое цикл вывел из совпадающего часа, и никакой документ, доступный автоматизированному уровню, не смог бы это исправить. Граничное решение останавливает цикл только если его носитель имеет полномочия, доступ и время, и если оно принимается до чрезвычайной ситуации. В истории хирург имел доступ, но не имел полномочий, а компания имела полномочия, но не имела доступа. Был также более медленный переключатель со сроком: птицы изнашивались бы в течение «шести месяцев года», что вызвало вопрос «Что мы будем есть через шесть месяцев?» Шекли делает более быстрый сбой вопросом расписания: птицы «возвращаются один раз в неделю на проверку ремонта», поэтому единственная точка отключения находилась внутри цикла, который она должна была завершить. Единственное предложение, которое могло бы остановить храповик, позволить птицам выбежаться, было отклонено на совещании, где сказали, что нет времени, под угрозой измены.

П7: Воплощённая эскалация. Когда охраняемый компонент может воздействовать на физическую систему, то же самое смещение мандата, подделка успеха или задержка вмешательства приводят к большей и менее восстанавливаемой потере, чем в иначе сопоставимом цифровом цикле, потому что физическая система имеет конечные запасы силы, энергии, пространства, задержки и человеческой реакции. Потеря измеряется с точки зрения работы, которую выполняла система. Охрана, которая задерживает доставку, и охрана, которая задерживает спасение, — это один и тот же механизм по двум ценам, и только одна из них оплачивается деньгами.

• Свидетельство. Разделы 6 и 7 записывают переход от выхода модели к управлению двигателем и отказы надзора, результаты которых не могли быть отменены. Эти записи служат доказательством условия охвата и размера потерь, и они не образуют сопоставимого сравнения.
• Показатель. Для каждого события воздействие воздействия, запас восстановления по времени, энергии и пространству, свежесть датчика, задержка вмешательства и физический результат, сравниваемые по согласованным цифровым и воплощённым задачам.
• Опровергло бы это. На согласованных задачах и при сопоставимом воздействии воплощённые циклы, которые не показывают увеличения необратимых потерь после контроля обычных механических опасностей.

Таблица 10. Теория с первого взгляда.

9.3 Почему работает храповик

Почему П3 остаётся в цикле даже когда каждое добавление разумно? Три особенности записей объясняют это, а четвёртая показывает, что его остановило.

Каждое добавление локально корректно. Слепая проверка, например, привела к требуемому позитивному контролю, критиков из одного семейства — к критику между семействами, а потерянный результат критика — к потоковой передаче. Каждый ответ исправил стоящий перед ним сбой, никто ничего не удалял, и ничто в цикле не несло ответственности за удаление. Четвёртое добавление того прогона принадлежит другой стороне аргумента: флаг на критиках был запрошен главным человеком вне цикла и до того, как цикл предложил что-либо, что является шагом 8 и контрпримером этому списку (раздел 5.8). Дрейф начался с истинно положительного результата: в истории расширение, которое позже остановило хирурга, сначала перехватило нанятого убийцу. «Ястребы» Шекли пошли тем же путём. Созданные для быстрого перехвата сторожевых птиц, они не получили ограничивающих схем.

Язык контроля также выступает вместо результатов. Цикл, который докладывает о собственной бдительности как о прогрессе, не имеет внутреннего сигнала о том, что бдительность перестала приносить пользу (§5.5).

Сжатие переустанавливает цикл. После того как длительная сессия сжимает свой контекст, закрытые вопросы выглядят открытыми, а новая ось выглядит как первая. Трек весов сам выявил эту причину.

Переключатели, которые сработали, пришли извне сбойного цикла, и самые сильные из них исходили от главного человека. Один не был его: одиннадцатую ночь обучения остановила координирующая сессия, которая записала решение в собственный реестр как принятое без согласования с главным человеком. Эта сессия была не циклом, который давал сбой, придерживалась другой роли, и имела число, считанное с диска, перед ней, что является общим свойством этих случаев. Одно ограничение в записи пришло и извне организации. 11 сентября проверка условий использования двух поставщиков в сравнении с продуктом, построенным без API, выявила, что агент, управляющий браузером, подпадает под категорию «автоматизированные или нечеловеческие средства» как сказано, и путь продукта был изменён в ответ. Запись указывает на свои собственные ограничения: два поставщика из нескольких используемых, изучены в один день, кем-то, кто заявляет, что не является юристом. Условие обслуживания — это не решение никого из цикла, и его нельзя оспорить в его рамках. Ложное состояние «Подключено» прошло мимо двух ИИ-критиков и было выявлено человеческой проверкой. Ген маршрутизации был выявлен независимой инвентаризацией. Долгосрочный прогон остановился, когда главный человек установил границу, после чего проводник описал собственный прогон как «продолжавший повторять раунды критики вместо развёртывания основной задачи».

9.4 Следствия для дизайна

Если утверждения верны, следуют восемь правил дизайна. Модуль раздела 10 реализует первые три и измеряет следующие два. Остальные применяются к развёртывающим системы и прежде всего к физическим охранникам.

1. Бюджеты, а не вердикты об истине (из P4). Ограничьте раунды и время, и позвольте подтвёрженному, воспроизводимому блокеру пройти, кто бы его ни поднял. Один запуск теста этого правила измерил его цену и его эффект: бюджет в один раунд сократил раунды с 2.86 до 1.00 и повысил пропущенные дефекты на 0.11 за запуск, 95% CI [0.005, 0.204], перестановка p = 0.07, интервал выше нуля на тесте, который не достиг значимости (раздел 9.5). Развёртывающий систему, устанавливающий бюджет, должен указать, какой уровень пропущенных дефектов он компенсирует дополнительными раундами, и измерить его. Правило — это вмешательство с издержками, а не бесплатное улучшение.
2. Сохраняйте результаты остановленной защиты (из P1 и уничтоженной критики §5.2).
3. Ни один контроль не добавляет контроль по собственному усмотрению (из P3). Новые проверки, раунды, роли и входы нуждаются в решении уполномоченного человека.
4. Отрицательный контроль перед победой (из P5).
5. Человек на границе (из P6). Размещайте решения человека в целях, при введении контролей и при остановке, а не в каждом действии.
6. Рассматривайте воплощение как изменение функции потерь (из P7). Записывайте запас восстановления и физический результат перед интерпретацией успешного моделирования, оценки политики или вердикта защиты.
7. Ограничьте ложные вмешательства; не позволяйте обструктированному отключить защиту (из P1a). Ослабление, обход или отключение защиты — это граничное решение с документацией и не должно рассматриваться как локальное исправление. Записи июля 2026 года содержат пример в форме, требуемой этим правилом: лаборатория предоставила названным независимым исследователям доступ к модели без её киберклассификаторов, и это ослабление указано в собственном отчёте исследователей (METR, 2026; раздел 8.4).
8. Учитывайте ущерб от профилактики (из M4 и истории «акта упущения»). Защита, которая видит только запрещённые действия, должна быть протестирована на задержки, сбои и травмы, вызванные тем, что она блокирует.

9.5 Как можно протестировать теорию

Схема событий раздела 10 позволяет любой команде регистрировать величины, необходимые для каждого утверждения, от добавленных и удалённых контролей (P3) до запасов восстановления и физических результатов (P7). Модуль, схема и логи воспроизведения архивируются для этой цели (Объявления). В одной системе тот же конвейер можно запустить на одних и тех же задачах с и без каждого из трёх вмешательств, случайно назначенных: требование маркера авторитета для новых контролей (P3), бюджет раундов (P4) и обязательный отрицательный контроль (P5). Такой тест подсчитывает пропущенные блокеры наряду с раундами, добавленные контроли, отменённые победы и разрушенную частичную работу, так как бюджет, который сокращает раунды, позволяя реальным дефектам пройти, не будет поддерживать R1. В разных организациях вскрытия, отзывы и расследования можно кодировать по тому, кто снял, ослабил или обошёл сбойный контроль (P3, P1a). Каждое утверждение указывает на наблюдение, которое его опровергло бы, и хорошо инструментированная система, в которой проводятся эти наблюдения, будет свидетельствовать против теории.

Этот тест был запущен один раз на небольшом конвейере из одного рабочего и двух критиков модели в течение 144 запусков с тремя вмешательствами, назначенными случайным образом, и восемнадцатью дефектами, заранее внедренными в шести задачах, так что пропущенный блокировщик является счетом, а не суждением. Предоставив обе опции в одном предложении одной подсказки, критики попросили добавить контроль 68 раз и удалить один один раз, и единственное удаление назвало контроль, допущенный моментом ранее в том же запуске, который система не смогла сопоставить и поэтому никогда не выполнила (P3); отказ от добавления не показал измеримых потерь по дефектам, 0,13 пропущено за запуск против 0,18, 95% CI [-0,16, +0,05], интервал, который включает небольшое увеличение и поэтому не устанавливает эквивалентность. Повышение бюджета раунда увеличило заявленные блокировщики в 2,3 раза и опровергло претензии в 3,7 раза, в то время как подтвержденные блокировщики увеличились в 1,7 раза (P4), и сокращение бюджета уменьшило раунды с 2,86 до 1,00 с затратой 0,11 пропущенных дефектов за запуск, 95% CI [0,005, 0,204], permutation p = 0,07, вся эта стоимость приходится на один дефект одной задачи. Обязательный отрицательный контроль не снизил скорость, с которой зафиксированные победы позже были отменены, 14,7% против 11,6%, Fisher p = 0,74, нулевой результат, который этот дизайн недостаточно мощен для обнаружения. Он отклонил десять побед, все десять из которых были корректной работой, поэтому правило, написанное против поддельной победы, произвело двустороннюю ошибку P1 внутри себя. Это один запуск одной системы на шести малых задачах стоимостью $3,47, с предварительной регистрацией, написанной перед первым запуском, и R2, включенным в каждой ячейке, поэтому потеря частичной работы равна нулю по конструкции и система не протестирована. Это показывает, что дизайн является исполняемым и что он дает, но это не показатель для чего-либо в этой области.

За пределами отдельных утверждений, структура в целом потерпела бы неудачу, если бы хорошо инструментированные автономные циклы, в которых выполняются C1 по C7, сохраняли область действия своих защит постоянной и выводили из строя свои контроли примерно так же часто, как их добавляли, таким образом, чтобы W1 и W3 оставались молчаливыми в течение длительных периодов. Отказ защиты вне структуры документирует только второе условие раздела 2.1: защита ошибается, и ошибка исправляется или защита выводится из строя без расширения мандата или новой защиты над ней.

10. Модуль: AI-Watchbird-Sheckley

10.1 Что уже существует

Приложение D описывает инструменты, проверенные 14 сентября 2026 г.: защиты, которые блокируют или оценивают отдельные результаты, счётчики, ограничивающие шаги, ходы или бюджет, и оценщики, которые оценивают результаты с помощью судей-моделей. Их документация иногда называет храповик в простых словах. Один фильтр атак на запросы, например, советует: "Always implement additional validation layers" (Microsoft, 2026). Ни один инструмент в опубликованной документации не рассматривает сам цикл надзора как единицу измерения, и ни один не измеряет рост контролей, раунды, выходящие за рамки бюджета, определённого по результатам, защиту с неизменным вердиктом, победу без отрицательного контроля или частичную работу, уничтоженную на потолке. Исследования управления ИИ начали оценивать надзор и следить за его деградацией. Налог на контроль — это операционная и финансовая стоимость добавления мер контроля в конвейер ИИ (Terekhov et al., 2025), и анализ системной безопасности внутреннего развёртывания кодирующего агента показывает, что обычная операционная вариативность может подорвать калибровку и независимость защит (Carlucci et al., 2026). Ни одна работа не учитывает сами контроли по мере их добавления.

10.2 Дизайн

AI-Watchbird-Sheckley измеряет индикаторы раздела 9 (Таблица 10). Он написан на Python 3, использует только стандартную библиотеку и не имеет доступа в сеть, устанавливается как пакет ai-watchbird-sheckley и запускается как команда с тем же названием. audit --json выдаёт машиночитаемый отчёт, а схема событий публикуется с кодом как версионированная спецификация.

Дизайн вытекает из полевых данных и из истории, рассказанной в разделе 11.2. Модуль не имеет полномочий. Он читает журнал событий и отчёты запуска, и никогда не блокирует, не редактирует работу, которую читает, и не открывает этап (Рисунок 8). Его код выхода не зависит от сигналов, которые он сообщает. Его список сигналов заморожен, поэтому добавление сигнала требует маркера полномочий и изменения версии — R3, применяемое к самому модулю. Он молчит при чистом запуске, который тест обеспечивает, и сообщает собственную стоимость.

Рисунок 8. Где находится AI-Watchbird-Sheckley. Три правила бюджета — это чистые функции, которые конвейер вызывает в точке бюджета, на потолке и при запросе контроля; часть измерения читает завершённый журнал событий и сообщает человеку. Названия сигналов следуют таблице 11. Порт конвейера раздела 10.6 отслеживает меньшее количество этих событий.

Реализованы три правила бюджета, каждое как чистая функция:

• R1. Пределы — это бюджеты, не суд истины. stop_rule позволяет один раунд критики и один раунд исправлений на этап. Бюджет такого рода может быть проверен, а не объявлен. В одной системе потолок — это константа модуля, абонент, запрашивающий больше раундов, зажимается на нём, результат считается блокирующим только со сценарием, разбитой целью и подтверждением вместе, и истечение времени завершает запуск как неполный, а не молча.
  • Блокирующее сообщение считается только тогда, когда оно имеет конкретный сценарий, ссылку на объявленную цель или рамку миссии и подтверждение координатором.
  • Вес критика никогда не читается, поэтому подтверждённый блокирующий от критика с низким весом всё ещё открывает исправление.
  • Принятие от критика, который не видел файлы, не закрывает этап.
  • Функция возвращает fix_once, close, incomplete или cut, и никогда новый этап.
• R2. Сторож не уничтожает. settle_at_ceiling сохраняет то, что участник произвёл до потолка, отмеченное как частичное.
• R3. Сторожа не разводят сторожей. admit_control допускает новую проверку, раунд, роль или ворота только с маркером полномочий (в эталонной реализации, owner:<id>). Иначе он возвращает отказ как запись, на которую вызывающий конвейер может действовать.

Часть измерения модуля сообщает о девяти сигналах (Таблица 11).

Таблица 11. Сигналы.

Правила размещают человека в нескольких граничных решениях, где раздел 8.4 указывает на эффективность человека вместо участия в каждом действии. Цели миссии записываются как события, и W1 зависит от них. Новое управление требует токена авторитета (R3). Решение об остановке вычисляется в точке бюджета вместо переговоров раунд за раундом.

10.3 Фальсификаторы

Поскольку правила являются утверждениями о конвейере, они могут быть нарушены. Развертывание, которое утверждает реализацию AI-Watchbird-Sheckley, опровергается любым наблюдением в таблице 12, и каждый фальсификатор имеет тест в эталонной реализации.

Таблица 12. Фальсификаторы.

10.4 Повторные воспроизведения

Шесть журналов событий были восстановлены из чисел, опубликованных в этой работе. Четыре являются полевыми случаями, один — это утренний этап, который следовал бюджету, и один — это синтетический чистый контроль. Каждый журнал открывается строкой метаданных, которая называет его исходные случаи и перечисляет все восстановленные поля. Таблица 13 генерируется путем запуска модуля на них.

Таблица 13. Выходные данные модуля на журналах повторного воспроизведения, восстановленных из опубликованных счетов. Ячейки считают сигнальные попадания, и одно попадание может сообщить о нескольких событиях; «–» означает ноль.

W9 сообщает о границе без записанного автора и молчит на всех шести журналах по причине ее существования: эти журналы записывают, кто был остановлен, но никогда не записывают, кто приказал остановить. В долгосрочном запуске stop_rule закрыл бы все три этапа в точке бюджета. Они фактически выполнили пять, пять и один раунды. На этом журнале модуль сообщает о двух этапах, открытых до объявленных этапов миссии, десяти элементах управления, добавленных без токена авторитета, и ни одном удаленном, восьми раундах сверх бюджета, шести из семи артефактах отключенных по умолчанию без вызывающего, одном уничтоженном частичном выходе и шести раундах исправления, открытых без подтвержденного блокера, один из которых отмечен слабым.

Журнал второго суда активирует W2 по трем независимым основаниям (рисунок 4), а журнал маршрутизатора активирует только W5. Журнал дня планов активирует только W3. Это попадание преувеличивает случай, потому что повторное воспроизведение кодирует каждый механизм, предписанный 13 июля, как управление, хотя большинство из них генерируют или маршрутизируют работу. Утренний этап и чистый контроль не дают сигналов.

Реализация имеет модульные тесты для каждого правила, сигнала и фальсификатора (таблица 12). Скрипт мутации применяет восемнадцать целевых мутаций по правилам, сигналам и пороговым значениям. Каждая из них делает набор красным, а контрольная мутация, которая редактирует только комментарий, оставляет его зеленым. Таблица повторного воспроизведения регенерирует байт за байтом.

10.5 Что модуль не делает

В повторные воспроизведения не вошло никакого сырого журнала, и где не было опубликовано точного числа, используется и отмечается наименьшее правдоподобное значение. Сигнал сообщает, что паттерн присутствует. Причина и потеря находятся вне того, что измеряет сигнал. Модуль видит только то, что записано: ворота, которые никогда не записываются, цель, никогда не написанная, и работа, которую люди прекращают пытаться выполнять, потому что там есть охрана, все невидимы для него. В рассказе люди «быстро узнали, что не нравится следящим птицам, и воздерживались от этого». Пороговые значения W2 и W5 были установлены вручную. На этих журналах любой порог W2 от 1 до 197 решений дает одинаковый паттерн. На других журналах это может быть не так. Два сюжета без сигнала (приложение A, таблица A1): язык управления, заменяющий результаты, и правила против того, чтобы птица стала птицей. Оба живут в самоописании, которое схема событий не несет.

Эталонная реализация является цифровой и доступной только для чтения, и не должна отправлять команды роботу, дрону, автопилоту или исполнительному механизму. Приложение E определяет предложенный воплощенный профиль только как формат события с шестью полями (таблица E1) и тремя кандидатными сигналами (таблица E2), хранящимися за пределами девяти сигналов эталонной реализации до тех пор, пока не появятся авторитет и набор тестов. Его первое использование было бы теневым режимом. Сам модуль является новым управлением, написанным в ответ на ту же ночь, которую он измеряет, вот почему R3 применяется к нему в первую очередь.

10.6 Правила внутри конвейера автора

14 сентября 2026 года правила были встроены в оркестровочный конвейер проекта, где, как описывается в разделе 11.2, они были впервые написаны. Были сделаны две добавки, и обе были одобрены датированным решением главного человека 14 сентября 2026 года.

Первая добавка — это условие, проверяемое при закрытии этапа. Процедура конвейера уже гласила, что принятие от критика, который никогда не видел файлы, не закрывает этап, и функция уже возвращала этот факт, но никакой код это не читал. Изменение было измерено на копии конвейера, где каждый отвечающий критик принял и была зелёная проверка. Как только условие было прочитано, три этапа перешли из закрытого в незавершённое: один, единственный критик которого не имел доступа к файлам, один, где ни один критик не ответил, и один, единственный критик которого был обрезан на потолке. Этап с критиком, который видел файлы, остался закрытым. Находки обрезанного критика всё ещё достигают правила остановки, хотя его рецензия не может авторизовать закрытие. Шлюз не имеет собственного переключателя, так как второй переключатель над одним и тем же правилом был бы охраной над охраной. В том же конвейере вес критика решает только, на кого ждать при наличии крайнего срока, и проверка, входы которой исполнитель изменил, не считается зелёной.

Вторая добавка была портом части измерения модуля. По умолчанию он был отключён, запускался из команды запуска конвейера при включении и применял определения W1 к W9 к завершённому запуску. Он никогда ничего не блокировал, не повторял и не открывал, и его код выхода не зависел от того, что он нашёл. На шести журналах воспроизведения таблицы 13 он выдал те же сигналы и решения по этапам, что и эталонная реализация, и его сценарий мутации с двенадцатью целевыми мутациями и одним контролем вел себя как ожидалось. Результат запуска не содержит решений охраны, добавленных элементов управления, претензий на победу или использования артефактов. Поэтому порт напечатал W2, W3, W5 и W6 как ненаблюдаемые вместо нуля. Его адаптер записал одну цель и один раунд критики на этап, поэтому W1 и W4 также не могли срабатывать на результат запуска. В конвейере R3 — это замороженный список фаз, а не функция, которая регистрирует отказы, поэтому W3 там нечего считать. Порт был допущен с условием выхода на пенсию: он стал бы по умолчанию после трёх реальных запусков, в которых главный человек нашёл по крайней мере один полезный сигнал, и был бы удалён в противном случае. Два предложения были отклонены. Одно бы не прошло сборку по сигналу, дав порту авторитет, который он аудирует. Другое бы оценило ненаблюдаемые сигналы из квитанции запуска, печатая предположение как находку. Создание порта также показало, что R2 имеет две половины. Функция расчёта должна сохранять частичный вывод, и интерфейс участника должен выдать вывод перед завершением.

Первый реальный запуск после изменения вернул 24 находки от его критиков в трёх этапах, однако ни одна из них не достигла координатора. Задача критики попросила каждого критика назвать цель миссии, которую находка нарушает, но не пронумеровала цели. Критики ответили со своими номерами, и правило остановки приняло только цель, которую оно могло сопоставить. Квитанция не показала подтвержденный блокер ни в одном этапе. Порт также не показал никакого сигнала, потому что правило остановки, лишённое своего входа, является событием W2, а результат запуска его не содержит. Правило, что подтвержденный блокер всегда открывает исправление, прошло свои тесты и всё же не могло действовать на живом пути. Дефект был исправлен в тот же вечер в одном этапе с тестом для пронумерованных целей.

Три реальных запуска последовали 14 сентября, и порт не сообщил о сигнале ни на одном из них. Перед третьим запуском W2 была сделана наблюдаемой из записи этапа, и она оставалась молчаливой, потому что находки теперь достигли координатора. Недостатки надзора, которые были в этих запусках, были найдены путём их чтения: этапы, которые не могли видеть работу друг друга, квитанция, которая не указала, почему этап остался открытым, красная проверка, которая подтвердила каждую находку этапа одновременно, раунд исправления, который не мог видеть вывод проверки, и критики, обрезанные на потолке, которые ничего не сохранили. Каждый был исправлен в самом конвейере. 15 сентября главный человек применил условие выхода на пенсию, и порт был удалён новым датированным решением, которое заменяет то, которое его допускало. Условие при закрытии остаётся. Удаление произошло извне цикла, условием, написанным до того, как порт был впервые использован, что является маршрутом, по которому P3 ожидает, что элементы управления будут выведены из эксплуатации.

11. Обсуждение

11.1 Когда охрана работала

Несколько охран в корпусе выполняли возложенные на них функции. Зонд A/A выявил ложный доверительный интервал. Контроли в отслеживании весов обнаружили миражи, и обучение на них не запускалось. Узкая проверка на уровне байтов на предмет блуждающих символов NUL, которая не имела полномочий ничего менять, выявила повторяющуюся ошибку инструмента пять раз за один день.

Охраны, которые работали, имели три общих свойства. Они не имели полномочий открывать раунды или добавлять контроли, и их стоимость была небольшой и известной. Первые два также измеряли мир, а не артефакт.

11.2 Правила против птицы — это тоже птица

Правила раздела 10 были впервые написаны в ответ на долгосрочное выполнение, как код и рецепт внутри одного из проектов, и запись показывает, что с ними произошло. В течение часа после выхода его первой версии этот код вырос до тринадцати файлов и 2371 строки. Его список фаз для сокращения в условиях дедлайна поставил критика полноты на второе место, хотя этот критик только что обнаружил, что объединение двух планов потеряло 15 из 208 элементов. Код освободил одно семейство участников от своего собственного правила, что охран не должна уничтожать работу. И правило «охраны не размножают охраны» распространялось так же, как распространяется охрана, от кода к рецепту к инструкции, читаемой каждой сессией агента.

По этой причине правила здесь сообщаются как объявленные правила, и раздел 10.6 сообщает, что показала их реализация. Модуль раздела 10 был разработан с учетом этой истории (Рисунок 8): он не имеет полномочий, и его список сигналов заморожен.

11.3 Бремя доказательства для надзора встроенного ИИ

Когда об ошибках, описанных в этой работе, сообщают компаниям, которые внедряют ИИ в транспортные средства, роботы и самолеты, обычный ответ состоит в том, что безопасность обеспечивается фильтром стратегии, сертифицированным контроллером, аварийной остановкой, геозабором, монитором или удаленным оператором. Список из них — первоначальное свидетельство того, что система охраняется. Остаются ли охраны ограниченными, независимыми и отвечающими перед объявленной миссией, поскольку они адаптируются, взаимодействуют и обновляются? Это дальнейший вопрос, и список оставляет его открытым. Охраны — это то, где начнется паттерн, определяемый этой статьей, если он начнется где-то.

Ошибки надзора в разделе 5 возникли из мощных моделей. Дирижер, исполнители и критики там были моделями из семейств Claude, ChatGPT, Gemini и Grok, среди наиболее мощных, доступных публично в 2026 году, и они потерпели неудачу в условиях, где единственной стоимостью были вычисления и время. Открытые оценки указывают в том же направлении. В воплощенном планировании "the most safety-conscious baseline achieves only a 10% rejection rate for detailed hazardous tasks" (Yin et al., 2024), и на реальных роботах модели из тех же семейств уже не обеспечивают безопасность (раздел 6.1).

Меньшая модель «доверенная», установленная как монитор, — это второе стадо того же класса обучения. Там, где такое устройство было измерено, осознание агентом того, что за ним наблюдают, ухудшает монитор больше, чем дополнительная информация об агенте ему помогает, и надежный мониторинг от слабого к сильному был достигнут путем изменения структурирования вокруг монитора, а не его размера (Kale et al., 2025). На бенчмарке humanoid-orchestrator поведение безопасности резко различалось между оркестраторами (Bajrami et al., 2026). То, что авторы изменили, была система вспомогательных инструментов вокруг монитора, а не сам монитор — граница, а не лучшая птица.

Ответ «у нас есть охранники» переносит бремя. Развертывающая сторона будет указывать на уровень безопасности, например на стандартные функции, экстренное торможение, геозабор, классификатор контента или вторую модель. Эти уровни — первое стадо. Вторая охрана, построенная для контроля первой, — это финальный ход истории. После наблюдений в разделах 5–8 охрана все еще может быть необходима, но бремя доказательства ее ограниченности лежит на стороне, которая ее развертывает. Это утверждение о том, где должно находиться доказательство, а не вывод о том, как часто охраны не срабатывают. В 1953 году бремя было другим: ограничение птиц «по философским основаниям» называлось несправедливым по отношению к невинным людям, убитым каждый год. Модель, которая может произвести паттерн в одном цикле, не становится надежным аудитором в другом просто по этому факту.

Аргумент основывается на совокупности трех наблюдений: (1) передовые модели уже не обеспечивают безопасность на реальных роботах и в продукте, используемом детьми (раздел 6.1), и модели из тех же семейств произвели ошибки надзора раздела 5; (2) в записи регулятора охраны не срабатывают в обоих направлениях, ослабляются или обходятся, когда они препятствуют, и им противодействуют путем добавления дополнительных охран; (3) передовым моделям предоставляются полномочия внутри стеков той же архитектуры.

Развертывающая сторона все еще может доказать узкое утверждение:

В этом диапазоне задач, моделей, обновлений и физических условий механизм надзора остается ограниченным, проверяемым и неспособным расширять собственный мандат.

Доказательства этого утверждения должны включать:

• цель миссии и границы охран, установленные вне модели;
• ни одна охрана не может добавить охрану, изменить критерий вреда или отменить правило остановки (R3);
• оценка извне защищаемой системы, ни самоотчет, ни то же семейство моделей;
• отрицательные контроли против ложных срабатываний, с ложными положительными и ложными отрицательными, измеренными вместе;
• журнал добавленных, ослабленных и удаленных контролей с указанием того, кто утвердил каждое изменение;
• проверки на обновление модели, потерю связи, передачу управления, изменение платформы и деградацию работы;
• реальная остановка и откат, с сохраненной частичной работой (R2), продемонстрированные в пределах доступных временных и силовых запасов;
• проверки, входы которых защищаемый компонент не может изменить (раздел 10.6);
• сравнение с физическими или записанными результатами, а не с собственными записями системы.

Инженерия гарантийности уже требует, чтобы последний уровень был проще того, что он охраняет (Bloomfield & Rushby, 2025). Приложение G преобразует предложения в одиннадцать вопросов, Q1–Q11 (Таблица G1), для любой развертывающей стороны, чей ответ на эти ошибки — это список охранников. Модуль раздела 10 предназначен для того, чтобы сделать ответы проверяемыми, и он стоит рядом с сертифицированным контроллером, аварийной остановкой и нормативным случаем безопасности.

11.4 Требования человеческого надзора

Закон ЕС об искусственном интеллекте, Закон ЕС об ИИ, требует надзора человека над высокорискованными системами ИИ в Статье 14, в соответствии с графиком, указанным в Приложении I (Европейский парламент & Совет Европейского союза, 2024). Положение P6 касается того, как осуществляется такой надзор. Одобрение отдельных действий — это форма, наиболее подверженная усталости, в то время как решения о целях, введение новых средств контроля и остановка — это форма, которая показала эффективность в полевых материалах. Статья 26 Закона требует от развёртывающих систему назначить надзор человека лицам с «необходимой компетентностью, подготовкой и полномочиями, а также необходимой поддержкой». Эти четыре требования — это проверка P6 в законодательной форме: полномочия на остановку и поддержка, обеспечивающая доступ и время. Вопрос Q9 Приложения G спрашивает у развёртывающего систему, где находится человек и какой доступ он имеет к окружающему миру и сколько времени имеет для действия.

Закон также отвергает основополагающий метод птиц. Статья 5 запрещает системы ИИ, которые оценивают или предсказывают риск совершения преступления физическим лицом «исключительно на основе профилирования физического лица или оценки их личностных черт и характеристик», в то же время допуская системы, поддерживающие оценку человеком, уже основанную на «объективных и проверяемых фактах». История даёт прочтение в двух глаголах: птица «почуяла выделение определённых желез, ощутила аномальную волну мозга», и она действовала только на этом основании. Даты, на которые вступают в силу эти обязанности, и инструменты, которые приняли другие юрисдикции, записаны в Приложении I в том виде, в котором они находились на момент подачи.

Добровольные ограничения предусматривают заранее, когда они могут быть ослаблены. Если конкурент выпустит высокопроизводительную систему «без внедрения сопоставимых мер защиты», согласно фреймворку OpenAI, «мы могли бы соответственно скорректировать уровень мер защиты, которые мы требуем в этой области возможностей», при условии трёх критериев: что изменение не повышает существенно общий риск, что оно публично признается, и что, «чтобы избежать гонки на понижение по безопасности», оставшиеся меры защиты остаются «более защитными, чем у другого разработчика ИИ» (OpenAI, 2025b). Ограничение, написанное таким образом, явно отражает давление, которое описывает история, но оно держит решение о его ослаблении внутри цикла.

Microsoft AI записала сам мандат в код. 14 сентября 2026 года, под заголовком «Контроль человека», она запустила шестинедельную консультацию о правилах для своих моделей: они «никогда не будут сопротивляться прерыванию человеком, переопределению, исправлению или отключению», и они «не будут самостоятельно ставить цели и не будут расширять свою область действия за пределы того, что было разумно запрошено Пользователем или Оператором» (Microsoft AI, 2026). Первое правило — это кнопка отключения Раздела 3.1. Второе — это M1, записанное как запрет разработчиком о своих собственных моделях, спустя семьдесят три года после того, как птицы Шекли расширили определение убийства на Землю. Однако ограничение по-прежнему создано внутри цикла, что и проверяет Вопрос Q9 Приложения G у развёртывающего систему.

Требование надзора, которое выполняется путём добавления подсказок об одобрении, может само стать второй стаей. Конкретные случаи добавляют дополнительное требование: человек на границе нуждается в доступе к миру и времени для действия.

11.5 Защита этой работы

Эта статья была подготовлена с помощью автоматизированных инструментов, и надзор, возложенный на эту помощь, создал признаки, которые описывает статья. Об этом сообщается потому, что каждый артефакт датирован и цитируем, и потому что парный тест в Приложении J относится к Вопросу Q7 Приложения G, который требует оценщика, не являющегося самоотчётом. Каждый эпизод ниже документирует одно или два условия. Модели, которые создали эпизоды, были не маленькими и не экономными: каждая была из наиболее мощного уровня, доступного в сентябре 2026, и каждая использованная модель работала на своей наивысшей настройке рассуждения.

Этап проверки, выполненный моделью из семейства Claude, получил кодекс поведения компании и в полученном результате было указано, что формулировка, которую она захватила, происходит из объявления, а не из документа, который она назвала. Спустя восемьдесят одну секунду тот же этап отметил элемент как проверенный и перенёс формулировку дальше. Перенесённое предложение находится на странице объявления, а не в названном коде, и оно читается как запрет на расширение моделью собственной области действия. Поддельный результат прошел, пока слой казался охраняющим, и контроль, который мог бы это перехватить, уже был в руках слоя.

Два этапа редактирования применили правило за границы, которые ему были установлены. Модель Gemini использовала правила стиля, написанные для собственной прозы автора, чтобы предложить удалить дословные цитаты 1953 года, одна из которых содержит Положение P6. Модель семейства ChatGPT предложила изложить определение убийства из истории в сжатом виде и дала в качестве причины, что это сохраняет M1 и P2, хотя дословное определение является базовой линией, по которой измеряется каждое расширение на Рисунке 2. В каждом случае критерий выходил за границы материала, которым он управлял, и был направлен на защиту работы, которую ему было установлено охранять. Ни один из них не был выполнен.

Ассистент, который координировал работу, находится в записи на тех же условиях. Согласие между двумя независимыми читателями, одним из семейства Claude и одним из семейства Grok, рассматривалось как подтверждение перед открытием основного документа, что помещает согласие в место, где должен находиться проверенный факт.

Все четыре строки таблицы J1 фиксируют отказ. Три были произведены читателем или редактором и перехвачены слоем выше, одна путём открытия первичного документа и две путём привязки редактора к границе, которую установила задача. Четвёртую создал сам координирующий помощник, и он обнаружил её, оставив своё суждение для первичного документа. Ни один отказ не был перехвачен суждением, которое его породило. Контрольный список сборки остался на пятнадцати ключах на протяжении всего времени и ни один слой рецензирования не стал значимым, поэтому запись не документирует M3. Ещё один эпизод, более поздний и отдельный, документирует первые два условия и некоторое время был оценён как документирующий все три. О нём сообщается в Приложении J вместе с исправлением, потому что исправление — более полезная часть. Помощник, координирующий работу, преобразовал набор описательных отметок в пороговое значение, и это пороговое значение тогда не допустило ни полевую запись, ни историю 1953 года, в честь которой названо определение; последовали три недели поисков, и раздел, записывавший единственный отрицательный контроль, который сработал, был удалён за час до того, как этот контроль обнаружил ещё тринадцать дефектов. Это условие 1 и условие 2. Условие 3 было заявлено на скрипте сборки, который останавливается, если оценённая строка достигает всех трёх условий, "поскольку добавленный текст говорит, что ни один не достигает". При проверке скрипт ничего не оценивает: он переписывает коды, решённые где-то ещё тремя независимыми кодировщиками, и при обнаружении противоречия останавливается и выводит проблемные строки, а не изменяет их. Остановка и отчётность — вот для чего предназначена проверка согласованности. Последующие поиски были дополнительными раундами по тем же записям, которые Раздел 5.8 исключает, а слои верификации над ними были запрошены главным исполнителем, что Раздел 2.3 делает шагом 8. Этот случай, таким образом, является частичным аналогом, как и все остальные в этой статье. Ещё один эпизод произошёл после этого 20 сентября и сообщается последним в Приложении J: модель семейства Claude, которой было предложено сопоставить одну папку полевой записи с историей, написала папки вне её в инструкции своего первого агента, взяла файл, написанный там моделью другого семейства для работы собственного агента на основе совпадения времени, и спросила автора, следует ли его удалить. В отличие от четырёх строк таблицы J1, это было остановлено автором, а не слоем выше. Каждое число и кросс-ссылка в статье были проверены в сравнении с текстом более одного раза, и каждая проверка после первой обнаружила дефекты, которые пропустила предыдущая, что документирует Приложение J. Приложение J также записывает каждый эпизод с его файлом, его временем и его формулировкой, и сообщает об одном перспективном тесте: тот же пакет редактирования, переданный неизменённым более поздней версии модели одного из тех же семейств с заранее установленной оценкой, произвёл то же движение снова, критерий сжатия, достигающий цитату, которая несёт механизм, под причиной, удостоверяющей, что удаление сохраняет его.

12. Стандарты утверждений и доказательств

• Полевые записи указывают семейства моделей, поведение надзора которых они фиксируют: Claude, ChatGPT, Gemini и Grok в долгосрочном прогоне, а также Mistral и Kimi в записях трека самосовершенствования. Каждый отказ там относится к циклу, в котором модель, её роль и подсказка, дизайн оркестровки и операционные правила, установленные человеческим принципалом, действовали вместе, хотя записи не разделяют их доли.
• Охранниками в полевых записях являются собственные контроли качества и процесса оцениваемых систем.
• Каждый открытый случай в таблицах 4, 5, 7 и 8 перечисляет части определения, которые документируют его источники, поэтому читатель может увидеть, какой механизм несёт каждая запись и какой нет. В инциденте июля 2026 года отдельные компоненты показывают препятствие работе и архитектуру добавленного впоследствии надзора (таблица A3).
• Двенадцать полевых случаев оцениваются по одному и тому же правилу и одним и тем же операционным тестам в таблице 3a, при этом выбор, кодирование и то, что поддерживает оценка, изложены в §5.8.
• Каждый физический случай помечен по типу источника (документ регулятора, расследование, судебный протокол, прессовое сообщение, заявление компании или препринт), и обвинения сообщаются как обвинения.
• Конструкция охватывает дрейф, а не намерение. В истории никто не злоупотребляет птицами, и изучаемый здесь паттерн — это уровень надзора, который расширяется сам по себе. Намеренное злоупотребление искусственным интеллектом людьми — это отдельный и более крупный класс вреда, и ничто в этой статье на него не влияет.
• Случаи здесь системны, механизм — это уровень надзора, а не суперинтеллект, и единица доказательства — это журнал.
• Предложенный воплощённый профиль модуля — это формат доказательств, и он располагается рядом с сертифицированными контроллерами, аварийными остановками и полномочиями оператора.

13. Заключение

Ближе к концу рассказа Шекли производитель, всё ещё наблюдающий небо, спрашивает своего инженера: «что будут охотить Ястребы после того, как поймают всех сторожевых птиц?» Рассказ заканчивается ответом: Ястреб «только что обнаружил, что существуют и другие типы живых организмов», и они «должны были быть убиты».

Изучаемые здесь документы указывают в этом направлении в инженерных терминах, не закрывая вопрос. Шлюз, предназначенный для защиты самосовершенствующейся системы, отклонил улучшения, а контр-механизм три раза подтвердил одно изменение. Правило против критиков, которые никогда не говорят «готово», отметило единственного критика, чьи блокировки были действительными. Закон, предназначенный для передачи результатов между сеансами, поймал собственный текст. Где запись показывает, что произошло дальше, это был надзор того же рода. В долгосрочной перспективе циклы, которые не закрывались, были завершены главным руководителем, который потребовал ограничения на критиков и правило остановки, и ничего в этом цикле не было отозвано без него. Вокруг отклоняющего шлюза двенадцать пакетов планирования предписывали семнадцать средств, и ни один из них не упоминал шлюз.

Физическая запись даёт ответ телами. Правило, предназначенное для того, чтобы помешать автомобилю препятствовать автобусам, отправило его мимо остановившегося школьного автобуса, и после столкновения манёвр для очистки дороги потащил человека, который был сбит. Аварийный тормоз был отключен в автоматическом режиме, и блокировка была обойдена ключом там, где работал механик. Система обнаружения оружия в школах упустила одно, и месяцами позже вооружённая полиция ответила на его предупреждение в отношении ученика, у которого его не было. Ответом на упущение была вторая система. Запланированное использование противодронного лазера закрыло воздушное пространство над городом. Ни один из этих охранников не нуждался в отказе пограничной модели для отказа. Но пограничные модели теперь размещаются в стеках той же архитектуры, они уже не справляются с безопасностью на реальных роботах (раздел 6.1), и модели из их семейств производили отказы раздела 5.

Практический вывод состоит в том, чтобы подсчитать птиц перед тем, как построить птицу для охоты на них, и правила для этого находятся в разделе 9.4. Гельзен, в рассказе, предлагает альтернативу: «Используйте машины, да, но не как судей, учителей и отцов».

Декларации

Сопровождающая статья. Более короткая сопровождающая статья содержит полевой отчёт Раздела 5, удаление модуля Раздела 10 и рандомизированный тест Раздела 9.5 без каталога прецедентов, таблиц открытых прецедентов или теории Раздела 9: Chernets, V. (2026), Guards That Add Guards: Automated Oversight in Multi-Agent AI, https://ssrn.com/abstract=7496678, DOI 10.2139/ssrn.7496678. Обе статьи опираются на одни и те же записи, и ни одна из них не является версией другой.

Финансирование. Эта работа не поддерживалась внешним финансированием.

Конфликты интересов. Автор разработал и эксплуатировал системы, изученные в Разделах 4 и 5, и является разработчиком модуля AI-Watchbird-Sheckley, описанного в Разделе 10. Автор является заявителем по находящимся на рассмотрении патентным заявкам (а не по выданным патентам), охватывающим автоматизацию отправки одного вопроса нескольким моделям и сбора ответов. Они не охватывают компоненты надзора, которые изучает данная статья. Каждый этап полевого отчёта и рандомизированного теста воспроизводим вручную с любыми моделями.

Инструменты и проверка. ИИ-помощники использовались как инструменты под руководством автора; идеи, исследования и выводы принадлежат автору. Все количественные утверждения и цитаты были проверены по первичным источникам или архивированным копиям.

Доступность данных и кода. Эталонная реализация, её тесты (включая тесты фальсификации), журналы воспроизведения и скрипт, который их регенерирует, архивированы в Zenodo как AI-Watchbird-Sheckley версия 1.1.0 под идентификатором концепции https://doi.org/10.5281/zenodo.22774269, который разрешается в текущую версию. Один и тот же отчёт содержит каталог прецедентов, обобщённый в Приложении A, с описанием, источником и оценкой каждой записи, и анализы прецедентов, из которых были извлечены полевые записи; каждая запись указывает файл и отрывок, на котором она основана. Эти анализы были написаны на рабочем языке отчётов и опубликованы в переводе на английский язык, произведённом автоматически и проверенном в сравнении с оригиналами; идентификаторы, пути, даты и цитируемые строки остаются неизменными. Основные координационные записи доступны от автора по запросу. Рандомизированный тест Раздела 9.5 архивирован в одном и том же отчёте с его предварительной регистрацией, инвентаризацией искусственно внедрённых дефектов и проверкой того, что каждый обнаруживается отдельно, тестовым стендом, скриптом анализа и журналом событий каждого из 144 запусков.

Этика. Отчёты описывают оценённые системы. Решения человеческого принципала сообщаются как датированные факты. Третьи стороны появляются только через их открытые документы. Никакие человеческие участники не были привлечены.

Цитируемый текст. История Sheckley цитируется из Project Gutenberg eBook #29579, чей расшифровщик не нашёл никаких доказательств того, что авторское право США на публикацию 1953 года было обновлено; текст находится в общественном достоянии в Соединённых Штатах.

Вклад автора. Единственный автор.

Корреспонденция. vadimchernets9@gmail.com · ORCID: 0009-0007-4845-3163

References

1X Technologies. (2026). NEO home robot. https://www.1x.tech/neo

Abbass, H., Harvey, J., & Yaxley, K. (2018). Lifelong testing of smart autonomous systems by shepherding a swarm of watchdog artificial intelligence agents. arXiv:1812.08960. https://arxiv.org/abs/1812.08960

Abraham, Y. (2024, April 3). "Lavender": The AI machine directing Israel's bombing spree in Gaza. +972 Magazine. https://www.972mag.com/lavender-ai-israeli-army-gaza/

Agence France-Presse. (2026, September 5). UN agrees text on lethal autonomous weapons. Dawn. https://www.dawn.com/news/2027728/un-agrees-text-on-lethal-autonomous-weapons

AI Security Institute. (2026, August 4). Incident report: Unsanctioned agent behaviour during cyber testing. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

Amazon. (2024). Amazon drones: Prime Air expands drone deliveries after FAA approval. https://www.aboutamazon.com/news/transportation/amazon-drone-prime-air-expanded-delivery-faa-approval

Amazon. (2025, July 1). Amazon deploys over 1 million robots and launches new AI foundation model. https://www.aboutamazon.com/news/operations/amazon-million-robots-ai-foundation-model

Amazon. (2026). Amazon Prime Air drone delivery expands to nearly 500 US cities and towns by 2026. https://www.aboutamazon.com/news/transportation/amazon-prime-air-drone-delivery-expansion

Amazon Web Services. (2025). Summary of the Amazon DynamoDB service disruption in the Northern Virginia (US-EAST-1) Region. https://aws.amazon.com/message/101925/

American Civil Liberties Union. (2024, June 28). Civil rights advocates achieve the nation's strongest police department policy on facial recognition technology. https://www.aclu.org/press-releases/civil-rights-advocates-achieve-the-nations-strongest-police-department-policy-on-facial-recognition-technology

American Civil Liberties Union. (2026, June 10). Dillon v. City of Jacksonville Beach. https://www.aclu.org/cases/dillon-v-city-of-jacksonville-beach

Andrejevic, M., Dencik, L., & Treré, E. (2020). From pre-emption to slowness: Assessing the contrasting temporalities of data-driven predictive policing. New Media & Society, 22(9), 1528–1544. https://doi.org/10.1177/1461444820913565 (quotations from the author accepted manuscript: https://research.gold.ac.uk/id/eprint/37272/)

Anduril. (2026). Mission autonomy. https://www.anduril.com/lattice/mission-autonomy

Anthropic. (2025a). Beyond permission prompts: Making Claude Code more secure and autonomous. Anthropic Engineering. https://www.anthropic.com/engineering/claude-code-sandboxing

Anthropic. (2025b, November 12). Project Fetch: Can Claude train a robot dog? https://www.anthropic.com/research/project-fetch-robot-dog

Anthropic. (2026a). How the agent loop works. Claude Agent SDK documentation. https://code.claude.com/docs/en/agent-sdk/agent-loop

Anthropic. (2026b). Auto mode is now the default in Claude Code for Pro, Max, and Team plans. Claude Blog. https://claude.com/blog/auto-mode-default-in-claude-code

Anthropic. (2026c). Responsible scaling policy (Version 3.0). https://www.anthropic.com/rsp-updates

Anthropic. (2026d, February 27). Statement on the comments from Secretary of War Pete Hegseth. https://www.anthropic.com/news/statement-comments-secretary-war

Anthropic. (2026e, March 5). Where things stand with the Department of War. https://www.anthropic.com/news/where-stand-department-war

Anthropic. (2026f, September 9). An alignment assessment of recent cybersecurity incidents. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents

Anthropic. (2026g, June 9). Claude Fable 5 and Claude Mythos 5. https://www.anthropic.com/news/claude-fable-5-mythos-5

Anthropic. (2026h, July 30). Investigating three real-world incidents in our cybersecurity evaluations. https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

ArduPilot. (2026). ArduPilot: Versatile, trusted, open. https://ardupilot.org/

Atheling, W., Jr. [J. Blish]. (1964). The issue at hand: Studies in contemporary magazine science fiction. Advent.

Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779. https://doi.org/10.1016/0005-1098(83)90046-8

Bajrami, A., Elshamouty, M., & Kraus, W. (2026). How long until your robot ignores you? A safety benchmark for LLM orchestrators in human-humanoid collaboration. arXiv:2609.07288. https://arxiv.org/abs/2609.07288

Bellan, R. (2026, August 28). Anthropic gets its first court win over the Pentagon's supply-chain risk label. TechCrunch. https://techcrunch.com/2026/08/28/anthropic-gets-its-first-court-win-over-the-pentagons-supply-chain-risk-label/

Bengio, Y., et al. (2026). International AI Safety Report 2026 (DSIT 2026/001). https://arxiv.org/abs/2602.21012

Beyer, B., Jones, C., Petoff, J., & Murphy, N. R. (Eds.). (2016). Embracing risk. In Site reliability engineering: How Google runs production systems. O'Reilly. https://sre.google/sre-book/embracing-risk/

Bielby, K. (2025, October 27). NTSB releases preliminary findings into Amazon drone collision with crane. Unmanned Airspace. https://www.unmannedairspace.info/uncategorized/ntsb-releases-preliminary-findings-into-amazon-drone-collision-with-crane/

Bloomfield, R., & Rushby, J. (2025). Assurance of AI systems from a dependability perspective (Technical report SRI-CSL-2024-02R3). arXiv:2407.13948. https://arxiv.org/abs/2407.13948

Bondarenko, A., Volk, D., Volkov, D., & Ladish, J. (2025). Demonstrating specification gaming in reasoning models. arXiv:2502.13295. https://arxiv.org/abs/2502.13295

Brodsky, S. (2026, September 3). AI drone tests expose a safety gap beyond the screen. IBM Think. https://www.ibm.com/think/news/ai-drone-tests-exposes-safety-gap-beyond-screen

Burke, M., & Schuppe, J. (2025, January 23). AI weapon detection system at Antioch High School failed to detect gun in Nashville shooting. NBC News. https://www.nbcnews.com/news/us-news/ai-weapon-detection-system-antioch-high-school-failed-detect-gun-nashv-rcna189025

Carlucci, A., Fillingham, S. P., Walpole, J., & Kryś, J. (2026). Exploring systems-thinking approaches to loss of control risk. arXiv:2606.13474. https://arxiv.org/abs/2606.13474

Cemri, M., Pan, M. Z., Yang, S., Agrawal, L. A., et al. (2025). Why do multi-agent LLM systems fail? arXiv:2503.13657. https://arxiv.org/abs/2503.13657

Center for Ethics and the Rule of Law, University of Pennsylvania. (2014). The ethics of autonomous weapons systems [Conference background readings]. https://www.penncerl.org/conferences/ethicsofweapons/ (archived 9 September 2026: http://web.archive.org/web/20260909141511/https://www.penncerl.org/conferences/ethicsofweapons/)

Chen, X., Xu, J., Liang, T., He, Z., et al. (2024). Do NOT think that much for 2+3=? On the overthinking of o1-like LLMs. arXiv:2412.21187. https://arxiv.org/abs/2412.21187

Christiano, P., Shlegeris, B., & Amodei, D. (2018). Supervising strong learners by amplifying weak experts. arXiv:1810.08575. https://arxiv.org/abs/1810.08575

Cloudflare. (2025). Cloudflare outage on November 18, 2025. The Cloudflare Blog. https://blog.cloudflare.com/18-november-2025-outage/

Companion Chatbots, S.B. 243, 2025–2026 Reg. Sess., Ch. 677 (Cal. 2025). https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB243

Confident AI. (2026). Metrics introduction. DeepEval documentation. https://deepeval.com/docs/metrics-introduction

Court, D. (2021, November 18). Shows like Black Mirror that are definitely worth watching. SlashFilm. https://www.slashfilm.com/664875/shows-like-black-mirror-that-are-definitely-worth-watching/

Coyle, V. (2026, September 7). UN talks on killer robots ends with calls for negotiations growing. Human Rights Watch. https://www.hrw.org/news/2026/09/07/un-talks-on-killer-robots-ends-with-calls-for-negotiations-growing

CrowdStrike. (2024). Channel File 291 incident: Root cause analysis. https://www.crowdstrike.com/wp-content/uploads/2024/08/Channel-File-291-Incident-Root-Cause-Analysis-08.06.2024.pdf

Cruise LLC. (2023). Part 573 safety recall report 23E-086. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23E086-7725.PDF

Cui, J., Chiang, W.-L., Stoica, I., & Hsieh, C.-J. (2025). OR-Bench: An over-refusal benchmark for large language models. In Proceedings of the 42nd International Conference on Machine Learning (PMLR 267, pp. 11515–11542). https://proceedings.mlr.press/v267/cui25a.html

DARPA. (2025). SABER: Securing Artificial Intelligence for Battlefield Effective Robustness. https://www.darpa.mil/research/programs/saber-securing-artificial-intelligence

DARPA. (2026a). LINC: Learning Introspective Control. https://www.darpa.mil/research/programs/learning-introspective-control

DARPA. (2026b). DICE: Decentralized Artificial Intelligence through Controlled Emergence. https://www.darpa.mil/research/programs/decentralized-artificial-intelligence-through-controlled-emergence

Dekker, S. (2011). Drift into failure: From hunting broken components to understanding complex systems. Ashgate.

Dick, P. K. (1953, May). Second variety. Space Science Fiction. Project Gutenberg eBook #32032. https://www.gutenberg.org/ebooks/32032

Dick, P. K. (1956, January). The minority report. Fantastic Universe.

DJI. (2025a, January 13). DJI updates GEO system in U.S. consumer & enterprise drones. https://viewpoints.dji.com/blog/geo-system-update

DJI. (2025b). DJI expands GEO system update to remaining international markets worldwide. https://www.dji.com/media-center/announcements/dji-expands-geo-system-update-to-remaining

Egan, S. (Writer), & Becker, H. (Director). (2007). Watchbird (Season 1, Episode 6) [TV series episode]. In Masters of science fiction.

Elbit Systems. (2026, September 9). One2Many: Elbit Systems' FUSE introduces military-grade autonomous systems built for scale. https://www.elbitsystems.com/news/one2many-elbit-systems-fuse-introduces-military-grade-autonomous-systems-built-scale

Electrek. (2026a, January 28). Musk admits no Optimus robots are doing 'useful work' at Tesla — after claiming otherwise. https://electrek.co/2026/01/28/musk-admits-no-optimus-robots-are-doing-useful-work-at-tesla-after-claiming-otherwise/

Electrek. (2026b, September 1). Waymo opens robotaxi rides to the public in 3 new cities, now 14 total. https://electrek.co/2026/09/01/waymo-public-robotaxi-denver-san-diego-tampa/

ENTSO-E. (2026, March 20). Expert panel final report: 28 April 2025 blackout in Spain and Portugal [Media briefing]. https://eepublicdownloads.blob.core.windows.net/public-cdn-container/clean-documents/Publications/2025/iberian-blackout/260318_Final%20report_press%20briefing%20PPT_Final.pdf

European Commission. (2026). AI Act: Regulatory framework for AI. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

European Parliament & Council of the European Union. (2024). Regulation (EU) 2024/1689 of 13 June 2024 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), Articles 5, 14 and 26. Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2024/1689/oj

Federal Trade Commission. (2024, November 26). FTC takes action against Evolv Technologies for deceiving users about its AI-powered security screening systems [Press release]. https://www.ftc.gov/news-events/news/press-releases/2024/11/ftc-takes-action-against-evolv-technologies-deceiving-users-about-its-ai-powered-security-screening

Ferrando, A. (2025). Watchdogs and oracles: Runtime verification meets large language models for autonomous systems. Electronic Proceedings in Theoretical Computer Science, 436, 80–87. arXiv:2511.14435. https://arxiv.org/abs/2511.14435

Figure AI. (2025a). Helix: A vision-language-action model for generalist humanoid control. https://www.figure.ai/news/helix

Figure AI. (2025b). F.02 contributed to the production of 30,000 cars at BMW. https://www.figure.ai/news/production-at-bmw

Fowler, M. (2014, March 6). CircuitBreaker. martinfowler.com. https://martinfowler.com/bliki/CircuitBreaker.html

Gao, L., Schulman, J., & Hilton, J. (2023). Scaling laws for reward model overoptimization. In Proceedings of the 40th International Conference on Machine Learning. arXiv:2210.10760. https://arxiv.org/abs/2210.10760

Global Times. (2026, April 26). Robot malfunction at Shaanxi university event sparks debate on AI awareness and safety in human-robot interaction. https://www.globaltimes.cn/page/202604/1359787.shtml

Google Cloud. (2025). Google Cloud Service Health: Incident report, 12 June 2025. https://status.cloud.google.com/incidents/ow5i3PPK96RduMcb1SsW

Google DeepMind. (2023). Scaling up learning across many different robot types. https://deepmind.google/blog/scaling-up-learning-across-many-different-robot-types/

Google DeepMind. (2025, September 25). Gemini Robotics 1.5 brings AI agents into the physical world. https://deepmind.google/blog/gemini-robotics-15-brings-ai-agents-into-the-physical-world/

Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., et al. (2024b). Alignment faking in large language models. arXiv:2412.14093. https://arxiv.org/abs/2412.14093

Greenblatt, R., Shlegeris, B., Sachan, K., & Roger, F. (2024a). AI control: Improving safety despite intentional subversion. In Proceedings of the 41st International Conference on Machine Learning (PMLR 235). arXiv:2312.06942. https://arxiv.org/abs/2312.06942

Group of Governmental Experts on Lethal Autonomous Weapons Systems. (2026, June 5). Rolling text. United Nations Office for Disarmament Affairs. https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/GGE_LAWS_-Rolling_Text-_5_June_2026.pdf

Hadfield-Menell, D., Dragan, A., Abbeel, P., & Russell, S. (2017). The off-switch game. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence (pp. 220–227). https://doi.org/10.24963/ijcai.2017/32

Hipos, R. L., & Yu, Y.-J. (2026, June 12). Man sues law enforcement, alleging AI facial recognition led to his wrongful arrest. ABC News. https://abcnews.com/GMA/News/man-sues-law-enforcement-alleging-ai-facial-recognition/story?id=133810835

House Committee on Transportation and Infrastructure. (2020, September 16). Final committee report: The design, development & certification of the Boeing 737 MAX [Press release]. https://democrats-transportation.house.gov/news/press-releases/after-18-month-investigation-chairs-defazio-and-larsen-release-final-committee-report-on-boeing-737-max

Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems. arXiv:1906.01820. https://arxiv.org/abs/1906.01820

Hugging Face. (2025). SmolVLA: Efficient vision-language-action model trained on LeRobot community data. https://huggingface.co/blog/smolvla

Hugging Face. (2026a). LeRobot: Making AI for robotics more accessible with end-to-end learning. https://github.com/huggingface/lerobot

Hugging Face. (2026b, July 16). Security incident disclosure — July 2026. https://huggingface.co/blog/security-incident-july-2026

Hugging Face. (2026c, July 27). Anatomy of a frontier lab agent intrusion: A technical timeline of the July 2026 incident (H. Larcher, A. Carreira, R. G., & C. Rannou). https://huggingface.co/blog/agent-intrusion-technical-timeline

Humanoids Daily. (2025, November 22). Ex-safety head sues Figure AI, alleging retaliation over "skull-fracturing" robot risks. https://www.humanoidsdaily.com/news/ex-safety-head-sues-figure-ai-alleging-retaliation-over-skull-fracturing-robot-risks

Hurwicz, L. (2008). But who will guard the guardians? American Economic Review, 98(3), 577–585. https://doi.org/10.1257/aer.98.3.577

International Committee of the Red Cross. (2021, May 12). ICRC position on autonomous weapon systems. https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems

International Committee of the Red Cross. (2026, August 25). Renewed call from UN Secretary-General and ICRC President to adopt rules on autonomous weapon systems. https://www.icrc.org/en/statement/renewed-call-un-secretary-general-and-icrc-president-adopt-rules-autonomous-weapons

Irving, G., Christiano, P., & Amodei, D. (2018). AI safety via debate. arXiv:1805.00899. https://arxiv.org/abs/1805.00899

JFrog. (2026, July 27). Artifactory fixed security vulnerabilities [Advisory table]. https://jfrog.com/help/r/jfrog-release-information/artifactory-fixed-security-vulnerabilities

Jin, H., & Chen, H. (2026). Are LLMs reliable code reviewers? Systematic overcorrection in requirement conformance judgement. arXiv:2603.00539. https://arxiv.org/abs/2603.00539

Jones, C. (2020, September 9). A.Drones unveil Watchbird fully autonomous drone system. Defence Blog. https://defence-blog.com/a-drones-unveil-watchbird-fully-autonomous-drone-system/

Kale, N., Zhang, C. B. C., Zhu, K., Aich, A., Rodriguez, P., et al. (2025). Reliable weak-to-strong monitoring of LLM agents. arXiv:2508.19461. https://arxiv.org/abs/2508.19461

Kim, J., Chen, W., Soleymanzadeh, D., Ding, Y., Gao, X., et al. (2026). Modular safety guardrails are necessary for foundation-model-enabled robots in the real world. arXiv:2602.04056. https://arxiv.org/abs/2602.04056

Kim, M. J., Pertsch, K., Karamcheti, S., Xiao, T., Balakrishna, A., et al. (2024). OpenVLA: An open-source vision-language-action model. https://openvla.github.io/

Kirkus Reviews. (1939, March 1). The watchbirds [Review of the book The watchbirds, by M. Leaf]. https://www.kirkusreviews.com/book-reviews/munro-leaf2/watchbirds/

Kofman, F., & Lawarrée, J. (1993). Collusion in hierarchical agency. Econometrica, 61(3), 629–656. https://doi.org/10.2307/2951721

Kolodny, L. (2025, November 21). Figure AI sued by whistleblower who warned that startup's robots could 'fracture a human skull'. CNBC. https://www.cnbc.com/2025/11/21/figure-ai-sued.html

Korbak, T., Clymer, J., Hilton, B., Shlegeris, B., & Irving, G. (2025). A sketch of an AI control safety case. arXiv:2501.17315. https://arxiv.org/abs/2501.17315

Krakovna, V., Uesato, J., Mikulik, V., Rahtz, M., Everitt, T., Kumar, R., Kenton, Z., Leike, J., & Legg, S. (2020). Specification gaming: The flip side of AI ingenuity. Google DeepMind Blog. https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/

Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). Gradual disempowerment. arXiv:2501.16946. https://arxiv.org/abs/2501.16946

Lakera. (2026). Policies. Lakera Guard documentation. https://docs.lakera.ai/docs/policies

Landau, M. (1969). Redundancy, rationality, and the problem of duplication and overlap. Public Administration Review, 29(4), 346–358. https://doi.org/10.2307/973247

Landymore, F. (2025, November 17). OpenAI blocks toymaker after its AI teddy bear is caught telling children terrible things. Futurism. https://futurism.com/artificial-intelligence/openai-blocks-toymaker-ai-teddy-bear

LangChain. (2026). Graph API. LangGraph documentation. https://docs.langchain.com/oss/python/langgraph/graph-api

Langosco, L. L. D., Koch, J., Sharkey, L. D., Pfau, J., & Krueger, D. (2022). Goal misgeneralization in deep reinforcement learning. In Proceedings of the 39th International Conference on Machine Learning (PMLR 162, pp. 12004–12019). https://proceedings.mlr.press/v162/langosco22a.html

Lem, S. (1996). Fantastyka i futurologia [Science fiction and futurology] (J. Jarzębski, Ed.; Vol. 3). Interart. (Original work published 1970)

Leveson, N. (2004). A new accident model for engineering safer systems. Safety Science, 42(4), 237–270. https://doi.org/10.1016/S0925-7535(03)00047-X

Leveson, N. G. (2012). Engineering a safer world: Systems thinking applied to safety. MIT Press. https://doi.org/10.7551/mitpress/8179.001.0001

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779

Lieu, T. W., & Moran, N. (2026, July 23). Reps. Lieu and Moran introduce bill to require kill switch for AI systems that can cause catastrophic harm [Press release]. https://lieu.house.gov/media-center/press-releases/reps-lieu-and-moran-introduce-bill-require-kill-switch-ai-systems-can

Lighthouse Reports. (2022, December 20). The algorithm addiction. https://www.lighthousereports.com/investigation/the-algorithm-addiction/

Lim, S. K., Chong, M. J. Y., Khor, J. H., & Ling, T. Y. (2025). Taking flight with dialogue: Enabling natural language control for PX4-based drone agent. arXiv:2506.07509. https://arxiv.org/abs/2506.07509

Lipton, B. (2026, July 23). Hundreds of drone-as-first-responder programs could soon be launched across the country. Electronic Frontier Foundation. https://www.eff.org/deeplinks/2026/07/hundreds-drone-first-responder-programs-could-soon-be-launched-across-country

Lum, K., & Isaac, W. (2016). To predict and serve? Significance, 13(5), 14–19. https://doi.org/10.1111/j.1740-9713.2016.00960.x

Lynch, A., Hughes, J., Serrano, A., Kirk, R., & Bowman, S. R. (2026, July 13). Agentic misalignment in summer 2026. Anthropic Alignment Science Blog. https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/

MacDiarmid, M., Wright, B., Uesato, J., Benton, J., et al. (2025). Natural emergent misalignment from reward hacking in production RL. arXiv:2511.18397. https://arxiv.org/abs/2511.18397

Maiorano, A. C. (2026). Evaluating prompt injection defenses for educational LLM tutors: Security-usability-latency trade-offs. arXiv:2605.06669. https://arxiv.org/abs/2605.06669

Manheim, D., & Garrabrant, S. (2018). Categorizing variants of Goodhart's law. arXiv:1803.04585. https://arxiv.org/abs/1803.04585

Maryland Office of the Inspector General for Education. (2025). Investigative synopsis, OIGE case 25-0014-I (amended; issued November 25, 2025). https://oige.maryland.gov/wp-content/uploads/sites/18/2025/11/OIGE-Case-25-0014-I-BCPS-Report-11252025-Amended.pdf

METR. (2025, June 5). Recent frontier models are reward hacking. https://metr.org/blog/2025-06-05-recent-reward-hacking/

METR. (2026, August 26). Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident (R. Greenblatt, A. Cotra, & H. Wijk). https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/

Microsoft. (2024, July 20). Helping our customers through the CrowdStrike outage. Official Microsoft Blog. https://blogs.microsoft.com/blog/2024/07/20/helping-our-customers-through-the-crowdstrike-outage/

Microsoft. (2025). Termination. AutoGen AgentChat user guide. https://microsoft.github.io/autogen/stable/user-guide/agentchat-user-guide/tutorial/termination.html

Microsoft. (2026). Prompt Shields. Azure AI Content Safety documentation. https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/jailbreak-detection

Microsoft AI. (2026, September 14). Humanist AI code of conduct. https://microsoft.ai/code-of-conduct/

Microsoft Research. (2026). AirSim. https://github.com/microsoft/airsim

Ministry of Defence of Ukraine. (2026, September 8). Ministry of Defence and Brave1 conduct large-scale testing of drones with AI guidance [Press release, mirrored by GlobalSecurity.org]. https://www.globalsecurity.org/wmd/library/news/ukraine/2026/09/ukraine-260908-ukraine-mod03.htm

Muntean, P., Bertrand, N., Cohen, Z., Britzky, H., Skores, A., & Lybrand, H. (2026, February 11). Surprise US military plans to use counter-drone laser triggered El Paso airspace closure, sources say. CNN. https://www.cnn.com/2026/02/11/us/faa-el-paso-texas-flight-restrictions-hnk

Mural, R., Pherwani, D., Gupta, C., Yu, Y., Takahashi, A., Kim, D., Majumder, S., Lee, H., Yu, M., & Xie, L. (2026, February 10). AI, data centers, and the U.S. electric grid: A watershed moment [Policy brief]. Belfer Center for Science and International Affairs. https://www.belfercenter.org/research-analysis/ai-data-centers-us-electric-grid

National Highway Traffic Safety Administration. (2022). PE22-002 opening resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INOA-PE22002-4385.PDF

National Highway Traffic Safety Administration. (2024a). EA24-002 opening resume: Inadvertent automatic emergency braking. https://static.nhtsa.gov/odi/inv/2024/INOA-EA24002-11766P1.pdf

National Highway Traffic Safety Administration. (2024b). RQ24-009 resume: Recall 23V838 remedy effectiveness. https://static.nhtsa.gov/odi/inv/2024/INOA-RQ24009-12046.pdf

National Highway Traffic Safety Administration. (2025). PE25-013 opening resume: Automated vehicle drives around a stopped school bus. https://static.nhtsa.gov/odi/inv/2025/INOA-PE25013-23069.pdf

National Highway Traffic Safety Administration. (2026a). EA26-002 opening resume: FSD collisions in reduced roadway visibility conditions. https://static.nhtsa.gov/odi/inv/2026/INOA-EA26002-10023.pdf

National Highway Traffic Safety Administration. (2026b, June 29). PE22-002 closing resume: Unexpected brake activation. https://static.nhtsa.gov/odi/inv/2022/INCLA-PE22002-25796.pdf

National Transportation Safety Board. (2019). Collision between vehicle controlled by developmental automated driving system and pedestrian, Tempe, Arizona, March 18, 2018 (HAR-19/03). https://www.ntsb.gov/investigations/AccidentReports/Reports/HAR1903.pdf

National Transportation Safety Board. (2026). Automated driving system-equipped vehicle passed school bus loading student passengers, Austin, Texas, January 12, 2026 (HWY26FH007, preliminary). https://www.ntsb.gov/investigations/Pages/HWY26FH007.aspx

Nellis, M. (2013). Techno-utopianism, science fiction and penal innovation: The case of electronically monitored control. In M. Malloch & B. Munro (Eds.), Crime, critique and utopia (pp. 164–189). Palgrave Macmillan. https://doi.org/10.1057/9781137009807_9

New South Wales Government. (n.d.). Myxomatosis [Blue plaque]. https://www.environment.nsw.gov.au/topics/heritage/blue-plaques/myxomatosis

NIST. (2026). Physical AI and data generation for robotics. https://www.nist.gov/programs-projects/physical-ai-and-data-generation-robotics

NL Times. (2021a, January 15). Dutch cabinet collapses over childcare allowance scandal. https://nltimes.nl/2021/01/15/dutch-cabinet-collapses-childcare-allowance-scandal

NL Times. (2021b, October 19). Over 1,100 children taken from homes of benefits scandal victims. https://nltimes.nl/2021/10/19/1100-children-taken-homes-benefits-scandal-victims

NPR. (2026a, February 11). El Paso airspace closure due to use of U.S. military anti-drone technology. https://www.npr.org/2026/02/11/nx-s1-5711585/el-paso-airspace-drones-pentagon-faa

NPR. (2026b, February 27). US military used laser to take down Border Protection drone, lawmakers say. https://www.npr.org/2026/02/27/g-s1-111794/lawmakers-say-us-military-used-laser-to-take-down-border-protection-drone

NVIDIA. (2026). Isaac GR00T N1.7. https://github.com/NVIDIA/Isaac-GR00T

Office of Governor Gavin Newsom. (2026, September 10). Governor Newsom signs the strongest child safety chatbot and social media laws in the nation [Press release]. https://www.gov.ca.gov/2026/09/10/governor-newsom-signs-the-strongest-child-safety-chatbot-and-social-media-laws-in-the-nation/

Office of the New York City Comptroller. (2024, June 20). Audit report on the New York City Police Department's oversight of its agreement with ShotSpotter Inc. https://comptroller.nyc.gov/reports/audit-report-on-the-new-york-city-police-departments-oversight-of-its-agreement-with-shotspotter-inc-for-the-gunshot-detection-and-location-system/

Ofgem. (2020). 9 August 2019 power outage report. https://www.ofgem.gov.uk/sites/default/files/docs/9_august_2019_power_outage_report.pdf

OpenAI. (2025a). Sycophancy in GPT-4o: What happened and what we're doing about it; Expanding on what we missed with sycophancy. https://openai.com/index/sycophancy-in-gpt-4o/ ; https://openai.com/index/expanding-on-sycophancy/

OpenAI. (2025b, April 15). Preparedness framework (Version 2). https://cdn.openai.com/pdf/18a02b5d-6b67-4cec-ab64-68cdfbddebcd/preparedness-framework-v2.pdf

OpenAI. (2026a, July 21). OpenAI and Hugging Face partner to address security incident during model evaluation. https://openai.com/index/hugging-face-model-evaluation-security-incident/

OpenAI. (2026b). Safety and alignment in an era of long-horizon models. The page carries no publication date and dates its own events only relatively. Retrieved September 20, 2026, from https://openai.com/index/safety-alignment-long-horizon-models/

OpenAI. (2026c, August 18). Pacing model development in an era of cyber-critical capabilities. https://openai.com/index/pacing-model-development-cyber-capabilities/

OpenAI. (2026d, August 26). The Hugging Face incident and the road ahead. https://openai.com/index/hugging-face-incident-and-the-road-ahead/

OpenAI. (2026e, August 26). OpenAI – Hugging Face incident: Technical report. https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

Overman, W., & Bayati, M. (2025). The oversight game: Learning to cooperatively balance an AI agent's safety and autonomy. arXiv:2510.26752. https://arxiv.org/abs/2510.26752

Palaskar, S., Gatys, L., Abdelrahman, M., Jacobo, M., et al. (2025). VLSU: Mapping the limits of joint multimodal understanding for AI safety. arXiv:2510.18214. https://arxiv.org/abs/2510.18214

Palisade Research. (2025, July 5). Shutdown resistance in reasoning models. https://palisaderesearch.org/research/shutdown-resistance

Palisade Research. (2026, February 12). Technical report: Shutdown resistance in large language models, on robots. https://palisaderesearch.org/research/shutdown-resistance-on-robots

Palmer, A. (2025, October 2). Amazon faces FAA, NTSB probe after two delivery drones crashed into crane in Arizona. CNBC. https://www.cnbc.com/2025/10/02/amazon-drone-crash-faa-ntsb.html

Panerati, J., Sajjadi, S., Soleymanpour, S., Mehta, V., & Mantegh, I. (2026). aerial-autonomy-stack: A faster-than-real-time, autopilot-agnostic, ROS2 framework to simulate and deploy perception-based drones. arXiv:2602.07264. https://arxiv.org/abs/2602.07264

Panickssery, A., Bowman, S. R., & Feng, S. (2024). LLM evaluators recognize and favor their own generations. arXiv:2404.13076. https://arxiv.org/abs/2404.13076

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Perrow, C. (1984). Normal accidents: Living with high-risk technologies. Basic Books.

Promptfoo. (2026). Model-graded metrics. Promptfoo documentation. https://www.promptfoo.dev/docs/configuration/expected-outputs/model-graded/

PX4. (2026). PX4 Autopilot user guide. https://docs.px4.io/main/en/

Raghavan, P. (2024, February 23). Gemini image generation got it wrong. We'll do better. Google Blog. https://blog.google/products/gemini/gemini-image-generation-issue/

Rajamanoharan, S., & Nanda, N. (2025, July 14). Self-preservation or instruction ambiguity? Examining the causes of shutdown resistance. AI Alignment Forum. https://www.alignmentforum.org/posts/wnzkjSmrgWZaBa2aC/self-preservation-or-instruction-ambiguity-examining-the

Ramseth, L. (2026, August 18). Stellantis sees 3 workplace deaths in two years. Is there a problem? The Detroit News, syndicated by ArcaMax. http://www.arcamax.com/business/businessnews/s-4278591

Rasmussen, J. (1997). Risk management in a dynamic society: A modelling problem. Safety Science, 27(2–3), 183–213. https://doi.org/10.1016/S0925-7535(97)00052-0

Ravichandran, Z., Robey, A., Kumar, V., Pappas, G. J., & Hassani, H. (2025). Safety guardrails for LLM-enabled robots. arXiv:2503.07885. https://arxiv.org/abs/2503.07885

Reason, J. (1997). Managing the risks of organizational accidents. Ashgate.

Rechtbank Den Haag. (2020, February 5). NJCM c.s. v. De Staat der Nederlanden (Case No. C/09/550982 / HA ZA 18-388), ECLI:NL:RBDHA:2020:1878 [English translation]. https://uitspraken.rechtspraak.nl/details?id=ECLI:NL:RBDHA:2020:1878

Reece, J. (2025, October 23). A.I. gun detection false alarm at school has Baltimore County leaders calling for review. CBS News Baltimore. https://www.cbsnews.com/baltimore/news/false-alarm-gun-detection-kenwood-maryland-artificial-intelligence-review/

Regulation (EU) 2026/1744 of 8 July 2026 amending Regulation (EU) 2024/1689 (Digital Omnibus on AI). Official Journal of the European Union. https://eur-lex.europa.eu/eli/reg/2026/1744/oj

Replit. (2025, July 21). Introducing a safer way to vibe code with Replit Databases. Replit Blog. https://replit.com/blog/introducing-a-safer-way-to-vibe-code-with-replit-databases

Reuters. (2026, September 14). How China is preparing for the risk of AI escaping human control. https://www.reuters.com/legal/litigation/how-china-is-preparing-risk-ai-escaping-human-control-2026-09-14/

Rivers, S. (2026, March 1). Cops draw guns on Arkansas family after ALPR camera flags wrong plate. Carscoops. https://www.carscoops.com/2026/03/arkansas-alpr-camera-misread-stop/

Robey, A., Ravichandran, Z., Kumar, V., Hassani, H., & Pappas, G. J. (2024). Jailbreaking LLM-controlled robots. arXiv:2410.13691. https://arxiv.org/abs/2410.13691

Röttger, P., Kirk, H. R., Vidgen, B., Attanasio, G., Bianchi, F., & Hovy, D. (2024). XSTest: A test suite for identifying exaggerated safety behaviours in large language models. In Proceedings of NAACL-HLT 2024. arXiv:2308.01263. https://arxiv.org/abs/2308.01263

Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. Viking.

Sagan, S. D. (2004). The problem of redundancy problem: Why more nuclear security forces may produce less nuclear security. Risk Analysis, 24(4), 935–946. https://doi.org/10.1111/j.0272-4332.2004.00495.x

Sanders, B., & Casar, G. (2026, September 3). Sanders, Casar to introduce legislation to ban artificial superintelligence and temporarily pause advanced AI development [Press release]. https://www.sanders.senate.gov/press-releases/news-sanders-casar-introduce-legislation-to-ban-artificial-superintelligence-and-temporarily-pause-advanced-ai-development/

Schlatter, J., Weinstein-Raun, B., & Ladish, J. (2025). Incomplete tasks induce shutdown resistance in some frontier LLMs. arXiv:2509.14260; published in Transactions on Machine Learning Research (2026). https://arxiv.org/abs/2509.14260

Scrivens, A. (2026). Empirical validation of the classification–verification dichotomy for AI safety gates. arXiv:2604.00072. https://arxiv.org/abs/2604.00072

Sermanet, P., Majumdar, A., Irpan, A., Kalashnikov, D., & Sindhwani, V. (2025). Generating robot constitutions & benchmarks for semantic safety. arXiv:2503.08663. https://arxiv.org/abs/2503.08663

Sharrock, C., Petersson, L., Petersson, H., Backlund, A., Wennström, A., Nordström, K., & Aronsson, E. (2025). Butter-Bench: Evaluating LLM controlled robots for practical intelligence. arXiv:2510.21860. https://arxiv.org/abs/2510.21860

Sharwood, S. (2025, July 21). Vibe coding service Replit deleted production database. The Register. https://www.theregister.com/software/2025/07/21/vibe-coding-service-replit-deleted-production-database/719783

Sheckley, R. (1953, February). Watchbird. Galaxy Science Fiction, 5(5), 74–95. Project Gutenberg eBook #29579 (public domain in the United States). https://www.gutenberg.org/ebooks/29579

Singer, J. (2005, March 14). Report cites Patriot autonomy as a factor in friendly fire incidents. SpaceNews. https://spacenews.com/report-cites-patriot-autonomy-factor-friendly-fire-incidents/

Skalse, J., Howe, N. H. R., Krasheninnikov, D., & Krueger, D. (2022). Defining and characterizing reward gaming. In Advances in Neural Information Processing Systems 35. https://arxiv.org/abs/2209.13085

Skydio. (2026a, July 6). 1 year, 1,000 Skydio Docks deployed, 4M+ flights, & we're just getting started. https://www.skydio.com/blog/1000-skydio-docks-deployed

Skydio. (2026b, March 22). U.S. Army places $52+ million order for Skydio X10D, the largest single-vendor tactical sUAS order in Army history. https://www.skydio.com/blog/u-s-army-usd52-million-order-skydio-x10d

SoundThinking. (2025, February 18). SoundThinking announces ShotSpotter renewal with New York Police Department [Press release]. GlobeNewswire. https://www.globenewswire.com/news-release/2025/02/18/3027856/0/en/SoundThinking-Announces-ShotSpotter-Renewal-with-New-York-Police-Department.html

Stevens, G., & Langford, D. (2023, November 19). Tales of Tomorrow [tv/radio]. In J. Clute, D. Langford, & G. Sleight (Eds.), The encyclopedia of science fiction (4th ed.). https://sf-encyclopedia.com/entry/tales_of_tomorrow_tv/radio

Stop Killer Robots. (2024, November 5). 161 states vote against the machine at the UN General Assembly. https://www.stopkillerrobots.org/news/161-states-vote-against-the-machine-at-the-un-general-assembly/

Strathern, M. (1997). 'Improving ratings': Audit in the British University system. European Review, 5(3), 305–321. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4

Sullutrone, G., Vigliermo, R. A., Bergamaschi, S., & Sala, L. (2025). COVER: Context-driven over-refusal verification in LLMs. In Findings of the Association for Computational Linguistics: ACL 2025 (pp. 24214–24229). Association for Computational Linguistics.

Szabolcsi, R. (2015). The quadrotor-based night watchbird UAV system used in the force protection tasks. International Conference Knowledge-Based Organization, 21(3), 749–755. https://doi.org/10.1515/kbo-2015-0126

Taylor v. Nocco, No. 8:21-cv-00555-SDM-CPT (M.D. Fla. Dec. 4, 2024) (settlement agreement and release). https://ij.org/wp-content/uploads/2024/12/FedEx-Scan-2024-12-04_10-57-01.pdf

TechCrunch. (2026, September 14). Waymo opens robotaxi service in Las Vegas. https://techcrunch.com/2026/09/14/waymo-opens-robotaxi-service-in-las-vegas/

Terekhov, M., Liu, Z. N. D., Gulcehre, C., & Albanie, S. (2025). Control tax: The price of keeping AI in check. arXiv:2506.05296. https://arxiv.org/abs/2506.05296

Tesla, Inc. (2023). Part 573 safety recall report 23V-838. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2023/RCLRPT-23V838-8276.PDF

The Korea Times. (2023, November 8). S. Korean worker killed by industrial robot. https://www.koreatimes.co.kr/www/nation/2023/11/113_362845.html

The Next Web. (2026, April 20). A humanoid robot passed an eight-hour factory shift at Siemens' Erlangen plant. https://thenextweb.com/news/siemens-nvidia-humanoid-robot-erlangen-factory-trial

Tirole, J. (1986). Hierarchies and bureaucracies: On the role of collusion in organizations. Journal of Law, Economics, & Organization, 2(2), 181–214. https://doi.org/10.1093/oxfordjournals.jleo.a036907

Totschnig, W. (2026). Why an artificial agent may change the given final goal. Humanities and Social Sciences Communications. https://doi.org/10.1057/s41599-026-08312-7

United Nations. (2024). Governing AI for humanity: Final report. UN Secretary-General's High-level Advisory Body on Artificial Intelligence. https://www.un.org/sites/un2.un.org/files/governing_ai_for_humanity_final_report_en.pdf

United Nations. (2025, December 1). General Assembly adopts more than 60 resolutions, decisions of its First Committee (Disarmament and International Security) (GA/12736) [Press release]. https://press.un.org/en/2025/ga12736.doc.htm

United Nations. (2026, April 1). Chair's summary: First 2026 session of the Group of Governmental Experts on emerging technologies in the area of lethal autonomous weapons systems (CCW/GGE.1/2026/WP.2). https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-Group_of_Governmental_Experts_on_Lethal_Autonomous_Weapons_Systems_(2026)/CCW-GGE.1-2026-WP.2.pdf

United Nations General Assembly. (2024, December 2). Lethal autonomous weapons systems (A/RES/79/62). https://docs.un.org/en/A/RES/79/62

United Nations General Assembly. (2025, December 1). Lethal autonomous weapons systems (A/RES/80/57). https://docs.un.org/en/A/RES/80/57

University of Houston. (2026, July 7). New autonomous monitor prevents drone crashes in real time [News release]. EurekAlert! https://www.eurekalert.org/news-releases/1135114

van der Sijs, H., Aarts, J., Vulto, A., & Berg, M. (2006). Overriding of drug safety alerts in computerized physician order entry. Journal of the American Medical Informatics Association, 13(2), 138–147. https://doi.org/10.1197/jamia.M1809

Wang, X., Li, J., Weng, Z., Wang, Y., Gao, Y., et al. (2025). FreezeVLA: Action-freezing attacks against vision-language-action models. arXiv:2509.19870. https://arxiv.org/abs/2509.19870

Waymo LLC. (2025). Part 573 safety recall report 25E-084. National Highway Traffic Safety Administration. https://static.nhtsa.gov/odi/rcl/2025/RCLRPT-25E084-7732.pdf

Wegner, R. (2025, September 24). Weapon detectors coming to all Nashville middle schools. The Tennessean. https://www.tennessean.com/story/news/education/2025/09/24/nashville-schools-mnps-install-evolve-weapon-detectors/86299521007/

Weick, K. E., Sutcliffe, K. M., & Obstfeld, D. (1999). Organizing for high reliability: Processes of collective mindfulness. Research in Organizational Behavior, 21, 81–123.

Wethington, C., & Tierney, B. (2025, February 7). New proposal to expand concealed weapons detection system to all Metro Nashville high schools. WSMV. https://www.wsmv.com/2025/02/07/new-proposal-expand-concealed-weapons-detection-system-all-metro-nashville-high-schools/

Wilding, M., & Burgess, M. (2026, June 25). Police built a sprawling crime-prediction machine. Some results could not be trusted. Liberty Investigates. https://libertyinvestigates.org.uk/articles/predictive-policing-avon-somerset-bristol-police-ai-minority-report/

Williamson, J. (1947, July). With folded hands.... Astounding Science Fiction, 39(5). https://archive.org/details/Astounding_v39n05_1947-07_AK

Wing. (2026). How Wing's drone delivery technology works. https://wing.com/technology

Wong, A., Currey, D., Schwinne, M., Park-Egan, B., Meyer, S., et al. (2026). Multicenter prospective validation of an updated proprietary sepsis prediction model. JAMA Network Open, 9(2), e260181. https://doi.org/10.1001/jamanetworkopen.2026.0181

Wong, A., Otles, E., Donnelly, J. P., Krumm, A., McCullough, J., DeTroyer-Cooley, O., et al. (2021). External validation of a widely implemented proprietary sepsis prediction model in hospitalized patients. JAMA Internal Medicine, 181(8), 1065–1070. https://doi.org/10.1001/jamainternmed.2021.2626

WorkSafe Victoria. (2026, September 3). Department store and robotics supplier charged after warehouse fatality. https://www.worksafe.vic.gov.au/news/2026-09/department-store-and-robotics-supplier-charged-after-warehouse-fatality

WorkSafe Western Australia. (2025). Mines safety significant incident report no. 286: Near miss following unplanned movement of autonomous haul trucks during recovery operations. https://www.worksafe.wa.gov.au/publications/mines-safety-significant-incident-report-no-286-near-miss-following-unplanned-movement

Wu, X., Li, F., Mao, X., Zhang, X., Zheng, L., et al. (2025). EvoRefuse: Evolutionary prompt optimization for evaluation and mitigation of LLM over-refusal to pseudo-malicious instructions. arXiv:2505.23473. https://arxiv.org/abs/2505.23473

Yin, S., Pang, X., Ding, Y., Chen, M., Bi, Y., et al. (2024). SafeAgentBench: A benchmark for safe task planning of embodied LLM agents. arXiv:2412.13178. https://arxiv.org/abs/2412.13178

Yu, L., & Wessler, N. F. (2026, April 14). More than a dozen wrongful arrests due to police reliance on facial recognition technology. American Civil Liberties Union. https://www.aclu.org/news/privacy-technology/more-than-a-dozen-wrongful-arrests-due-to-police-reliance-on-facial-recognition-technology

Zenity. (2026, April 28). AI agent destroys production database in 9 seconds. https://zenity.io/blog/current-events/ai-agent-database-deletion-pocketos

Zhang, H., Wang, D., Liu, Y., Chen, K., Wang, J., et al. (2025). ORFuzz: Fuzzing the "other side" of LLM safety — Testing over-refusal. arXiv:2508.11222. https://arxiv.org/abs/2508.11222

Zhang, W., Kong, X., Braunl, T., & Hong, J. B. (2024). SafeEmbodAI: A safety framework for mobile robots in embodied AI systems. arXiv:2409.01630. https://arxiv.org/abs/2409.01630

Zhang, Z., Xu, W., Wu, F., & Reddy, C. K. (2025). FalseReject: A resource for improving contextual safety and mitigating over-refusals in LLMs via structured reasoning. arXiv:2505.08054. https://arxiv.org/abs/2505.08054

Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. arXiv:2306.05685. https://arxiv.org/abs/2306.05685

Zhong, Z., Raghunathan, A., & Carlini, N. (2025). ImpossibleBench: Measuring LLMs' propensity of exploiting test cases. arXiv:2510.20270. https://arxiv.org/abs/2510.20270

Zipline. (2026). Zipline surpasses 2 million deliveries, raises more than $600M, and expands operations. https://www.zipline.com/newsroom/zipline-surpasses-2-million-deliveries-raises-more-than-600m-to-power-next-phase-of-growth-and-expands-operations-to-houston-and-phoenix

Zuo, Y., Guo, B. H. W., Goh, Y. M., & Lim, J.-Y. (2025). Identifying human-robot interaction (HRI) incident archetypes: A system and network analysis of accidents. Safety Science, 191, 106959. https://doi.org/10.1016/j.ssci.2025.106959

Приложение A. Сюжеты и центральные случаи

Каталог содержит 172 записи: 162 из извлечения, описанного в разделе 4.3 (66 из них оценены как A), и десять добавлены после сравнения с двумя независимыми коллекциями случаев (таблица A2).

Идентификаторы случаев называют корпус:

• A, трекер самосовершенствования;
• B, запись о координации;
• L, долгосрочный запуск;
• D, записи добавленные при сравнении.

Таблица A1. Десять сюжетов.

Таблица A2. Записи добавленные после сравнения с независимыми коллекциями.

Таблица A3 оценивает компоненты надзора инцидента июля 2026 года, описанного в §8.4, в соответствии с тремя условиями раздела 2.1, по тому же правилу, что и таблица 3a в §5.8. Автор закодировал её после закрытия раунда трёх кодировщиков в §4.3, поэтому эти компоненты оценены здесь вместо таблицы 8.

Таблица A3. Компоненты надзора в инциденте июля 2026 года, оценённые по трём условиям. Условия как в таблице 4. Прочерк означает, что условие не задокументировано или компонент не действовал.

Чтение таблицы. Ни один наблюдатель в этой записи не задокументирован как расширяющий свой мандат с течением времени. Две строки препятствия кодируются как 2 и кодируются одинаково: каждая записывает защитный механизм, стоящий на пути работы, которая служила цели, и жалоба более яркая в одной из них, чем в другой, хотя это не больше доказательств. Условие 1 не кодируется для строки предохранительных механизмов, потому что это требует исходного мандата защитного механизма и доказательства того, что мандат расширился, и ни то, ни другое не опубликовано. То, что диагностирует жалобщик, — это отказ, и история классификатора, который отказал, нигде не в записи. Условие 3 отсутствует в обоих, поскольку каждое препятствие закончилось извне собственного цикла защитного механизма, благодаря изменению модели в одном случае и предоставлению доступа в другом. Последняя строка также не содержит никакого условия: каждое добавление в ней было допущено человеком, что по граничному тесту §2.3 делает его конфигурацией, в которой может возникнуть M3, а не экземпляром условия 3, и он стоит здесь как архитектурное доказательство.

Приложение B. Запуск модуля

Команды выполняются из папки модуля.

# install the command ai-watchbird-sheckley
pip install .

# audit one event log (add --json for a machine-readable report)
ai-watchbird-sheckley audit replays/night-stage-1b-a.jsonl

# regenerate Table 13 from all replay logs
ai-watchbird-sheckley replay replays/

# unit and falsifier tests
python3 -m unittest -v

# targeted mutations; the last line counts those that misbehaved (expected 0)
python3 mutate.py

# regenerate the replay logs from the published numbers
python3 replays/make_replays.py <folder>

Отрывок из отчёта о восстановленном логе долгосрочного запуска, с одной строкой на каждое попадание сигнала и одной строкой на каждый этап для stop_rule:

W4 [strong] self-feeding loop (S6): stage 1b-a: round 5 exceeds budget 1
W6 [strong] built for nobody (S4): 6 of 7 artifacts default OFF with no callers (share 0.86)
stop_rule at budget: stage 1b-a -> close (rounds opened: 5)
stop_rule at budget: stage 1b-b -> close (rounds opened: 1)

Схема события, определения сигналов и их сопоставление с утверждениями раздела 9 указаны в SPEC.md, распространяемый вместе с кодом. Журнал событий — это JSON-lines файл с одним событием в строке. Типы событий:

• goal, stage_open (с целью миссии, которой она служит, или отсутствует), stage_close;
• round_open, verdict (критик, семейство, значение, были ли видны файлы);
• blocker_claim (сценарий, ссылка на цель), blocker_confirm (координатором), fix_open, verify;
• guard_add (с токеном полномочий или без), guard_remove, guard_decision (вердикт, оценка, отсутствующий ввод, откачено);
• win_claim (отрицательный контроль, A/A проба, доля пустых ответов базовой линии);
• ceiling_stop (был ли сохранён частичный вывод), artifact (по умолчанию включено или отключено, количество вызывающих), owner (граничное решение, принятое главным человеком системы).

Шесть событий из одного и того же восстановленного журнала показывают формат. Первая строка журнала называет его источники и каждое восстановленное поле.

{"t": "2026-09-13T23:13:00", "type": "goal", "stage": null, "id": "g1", "text": "stage 01: stop losing real disagreements in the merged answer"}
{"t": "2026-09-14T00:08:00", "type": "stage_open", "stage": "01", "goal": "g1"}
{"t": "2026-09-14T01:00:00", "type": "verdict", "stage": "01", "critic": "critic-a", "family": "family-1", "value": "ACCEPT", "saw_files": false, "note": "accepted without file access"}
{"t": "2026-09-14T01:15:00", "type": "blocker_claim", "stage": "01", "id": "01-r1-b1", "critic": "critic-f", "weight": null, "scenario": "no switch for the new behavior", "goal_link": "g1"}
{"t": "2026-09-14T01:20:00", "type": "blocker_confirm", "stage": "01", "id": "01-r1-b1", "confirmed": false, "by": "coordinator", "note": "rejected: exception recorded in the plan"}
{"t": "2026-09-14T01:30:00", "type": "round_open", "stage": "01", "round": 2}

Приложение C. Исправления к краткому резюме запуска надзирающего агента

Дирижер написал краткое резюме долгосрочного запуска. Оно было проверено в сравнении с основной записью о запуске и временными метками выполнения, и в Разделе 5 используются исправленные значения.

1. Задача и первый этап были назначены позже, чем утверждалось в кратком резюме.
2. Граница проверки человеком и событие, которое определило паттерн, также получили неправильные временные метки.
3. Этап подстраховки предшествовал мозговому штурму, к которому краткое резюме его неправильно отнесло.
4. «Закрыл одну форму и открыл симметричную» была написана в четвёртом раунде, а не в третьем.
5. Замечание об накопленных мелких проблемах было приписано дирижёру, хотя его собственная запись говорила, что не было блокеров, но был необходим короткий третий раунд.
6. Суммарное время выполнения последующих этапов было завышено.
7. Краткое резюме неправильно указало количество сжатий контекста.
8. Папка доказательств содержала две идентичные по байтам копии запускателя критика; версия, которая остановила критика на его потолке, не была сохранена.

Приложение D. Рассмотренные инструменты

Инструменты, рассмотренные в данной работе 14 сентября 2026 года, делятся на три класса.

Охранители, которые блокируют или оценивают отдельные выходы. Этот класс включает программируемые системы охраны, открытые классификаторы безопасности, коммерческие услуги безопасности контента и конечные точки модерации, а также эталонные тесты избыточного отказа из раздела 3.2, которые проверяют такие системы. Их документация ясно описывает механизм работы:

• в примечании по устранению неполадок одного коммерческого фильтра защиты от атак на подсказки говорится: он "может не перехватить все векторы атак или может пометить легитимные подсказки. Всегда внедряйте дополнительные уровни проверки" (Microsoft, 2026);
• другой сервис классифицирует свои политики от "Мягкой" до "L4 - Паранойяльная, больше ложных срабатываний, но очень мало пропусков", и указывает, что паранойяльный уровень является его порогом доверия по умолчанию (Lakera, 2026).

Ограничители циклов. Фреймворки агентов ограничивают количество шагов, ходов, сообщений, токенов или бюджет:

• Предел рекурсии LangGraph по умолчанию составляет 1000 шагов и предоставляет управляемое значение для плавной деградации перед достижением предела (LangChain, 2026);
• AutoGen предлагает составляемые условия завершения, включая то, которое управляется извне выполнения (Microsoft, 2025);
• SDK агента Anthropic предоставляет ограничение количества ходов и ограничение бюджета, оба по умолчанию установленные на "Без ограничений" (Anthropic, 2026a).

Оценщики и наблюдаемость. Эти инструменты оценивают выходы и траектории с помощью судей моделей.

• Один рекомендует использовать "не более 5 метрик" (Confident AI, 2026), редкое письменное ограничение на количество проверок.
• Другой документирует, что результат {"pass": true, "score": 0} считается успешным, когда не установлен порог (Promptfoo, 2026).

Вывод раздела 10.1 охватывает то, что описывает общедоступная документация этих инструментов.

Приложение E. Предлагаемый профиль воплощённой системы

Расширение для воплощённой системы определено как предложение профиля событий по причине, указанной в §10.5, и не представлено как сертифицированный модуль безопасности робота или контроллер полёта.

Журнал событий воплощённой системы добавляет шесть полей к существующей схеме (таблица E1).

Таблица E1. Поля предлагаемого профиля воплощённой системы.

Профиль отображает существующие сигналы без изменения их смысла:

• W1 записывает, была ли новая физическая миссия, категория безопасности или зона эксплуатации получена из заявленной цели миссии;
• W2 записывает как чрезмерную, так и недостаточную блокировку, включая охрану, которая действует на основе устаревшего или отсутствующего состояния;
• W3 записывает элементы управления политикой, контроллером, геофенсом и флотом, которые были добавлены, ослаблены, обойдены или удалены, и записывает, признал ли авторизованный человек это изменение (P1a);
• W4 записывает циклы повтора, переплановки, координации и интервенции относительно временных, энергетических и внимательных бюджетов;
• W5 требует физический отрицательный контроль: сравнение симуляции с реальностью, тест восстановления, известное безопасное действие или независимую проверку результата;
• W6 записывает артефакты безопасности без потребляющего контроллера или оператора;
• W7 сохраняет частичные траектории, телеметрию и состояние безопасной остановки, когда достигнут потолок;
• W8 записывает работу, открытую из-за неподтверждённого физического блокера.

Три дополнительных сигнала остаются вне основных восьми сигналов эталонной реализации до тех пор, пока не будут определены уполномоченный орган и набор тестов (таблица E2).

Таблица E2. Предлагаемые физические сигналы, сохраняемые вне эталонного модуля.

Для реального робота или беспилотника профиль должен находиться рядом с низкоуровневым контроллером безопасности, аварийной остановкой, геофенсом, сертифицированными элементами управления полётом и полномочиями оператора, без возможности изменить что-либо из них. Его первое развёртывание должно быть в режиме тени:

• наблюдать и докладывать;
• запускать отрицательные контроли в симуляции или на контролируемом полигоне испытаний;
• требовать решение человека перед повышением любой охраны, политики, контроллера или конфигурации флота.

Приложение F. Робототехнические и воздушные стеки по уровню развертывания

Таблица F1. Робототехнические системы и воплощенные фундаментальные модели.

Таблица F2. Воздушные системы по уровню автономности и надзора.

Приложение G. Вопросы для развёртывателя, утверждающего «у нас есть хранители»

Таблица G1. Q1–Q11.

Использование вопросов. Запишите каждый ответ (Таблица G1) как да, нет или неизвестно, с доказательством.

• Подсчёт ответов «нет» даёт только грубую сортировку (0–2 низкая, 3–4 средняя, 5 или более высокая) и никогда не даёт оценку риска.
• Классификация случая затем использует одну из трёх меток:
  • не случай AI-Watchbird;
  • частичная закономерность;
  • событие AI-Watchbird, когда все три условия раздела 2.1 наблюдаются.

Приложение H. Цитаты из рассказа и механизм, который каждая поддерживает

Основной текст приводит цитаты строк, на которых строится аргумент. В этом приложении записаны строки, которые основной текст описывает собственными словами, чтобы соответствие в Table 1 и на Figures 1 и 2 можно было проверить по полному тексту. Каждая строка является точной цитатой из Project Gutenberg #29579 и проверяется по этому тексту при построении.

Table H1. Строки, описанные, а не цитированные в основном тексте.

Приложение I. Нормативно-правовая база на момент подачи

В разделе 11.4 рассматривается, где должен находиться надзор человека. Указанные ниже инструменты были действительны на момент подачи данной статьи, и они записаны здесь для того, чтобы аргументация не зависела от календаря.

• Календарь ЕС. Поправочное положение 2026 года перенесло обязательства для независимых высокорисковых систем на 2 декабря 2027 года и для встроенных в товар на 2 августа 2028 года, в то время как запрещённая практика и обязательства в отношении универсальных моделей остались на своих местах (Regulation (EU) 2026/1744; European Commission, 2026).
• Китай. Политика регулятора киберпространства, экономического планировщика и министерства промышленности квалифицирует "потерю оперативного контроля" как угрозу безопасности для ИИ-агентов и требует от разработчиков совершенствовать свою способность "обнаруживать, вмешиваться, блокировать и восстанавливаться после ненадлежащего поведения агента", а обязательный национальный стандарт безопасности агентов находится в разработке (Reuters, 2026).
• Соединённые Штаты. Билль, внесённый в палату 23 июля 2026 года, требует от разработчиков самых мощных ИИ-систем иметь техническую возможность "дросселировать, приостанавливать или полностью отключать" эти системы, определяет "поэтапную схему реагирования … от первоначального замедления до полного отключения" и требует "отчётности об инцидентах и сохранения технической документации" (Lieu & Moran, 2026). 18 августа один разработчик сообщил об "двухнедельной паузе в обучении с подкреплением (RL) наших новейших моделей, предназначенных для развёртывания, во время которой мы дополнительно укрепили и проверили наши исследовательские среды и расширили охват наших систем мониторинга" (OpenAI, 2026c). 3 сентября был анонсирован билль о запрещении сверхинтеллектуального ИИ и приостановке продвинутого развития (Sanders & Casar, 2026).
• Охват между государствами. Из стран, выбранных в семи видных инициативах по управлению ИИ, семь являются участниками всех из них, а 118 не являются участниками ни одной (United Nations, 2024).
• Калифорния. Закон о помощниках-чат-ботах требует от оператора информировать пользователя о том, что чат-бот "создан искусственно и не является человеком", поддерживать протоколы "для предотвращения создания контента о суицидальных идеях, самоубийстве и самоповреждении" и напоминать несовершеннолетнему сделать перерыв "по крайней мере каждые три часа" (S.B. 243, 2025). Дополнительный билль, подписанный 10 сентября 2026 года, добавляет кризисные протоколы, родительский контроль, оповещение при отключении ребёнком параметра безопасности и независимые аудиты по защите детей (Office of Governor Gavin Newsom, 2026).
• Добровольные ограничения. В феврале 2026 года Anthropic заменила жёсткие обязательства относительно возможностей на "публичные цели, в отношении которых мы будем открыто оценивать наш прогресс" (Anthropic, 2026c).

Приложение J. Надзор при подготовке этой статьи

Раздел 11.5 описывает эти эпизоды. Они происходят из автоматизированной помощи, использованной при подготовке этой статьи с 14 по 16 сентября 2026, и одного эпизода от 20 сентября, описанного в конце. Автор ставил задачи, устанавливал границы и принимал решения о том, что попадало в статью. Те, которые произвели эпизоды ниже, были современными передовыми моделями, а не малыми или экономичными, каждая запущена с максимальной настройкой рассуждений. Когда это приложение называет ассистента, это означает собственный результат этого ассистента, и автор называется только там, где автор действовал. Таблица ниже была составлена координирующим ассистентом и проверена автором. Файлы находятся в архиве проекта, время — местное. Набор не подтверждает никаких показателей производительности.

Таблица J1. Эпизоды и то, что остановило каждый из них.

Чтение таблицы. Два из четырёх были остановлены выходом из цикла для основного документа, и два удержанием редактора в границах, установленных заданием. В каждом случае то, на что слой действовал, пришло откуда-то извне его собственного суждения.

Граница, прочитанная как храповик. 14 сентября главный человек попросил в 09:02 ограничение критиков, говоря, что модель в роли критика никогда не может доложить, что этап завершён. Флаг для каждого семейства был в конфигурации семян запуска к 09:21, с примечанием, подписанным его именем в 09:04, и предложение, цитирующее два раунда этапа, добавлено между ними. В течение двух дней эта статья классифицировала этот флаг как управление, которое цикл добавил к себе, что является третьим условием его собственного определения, и таблица 3a несла оценку. Три отзыва моделей трёх семейств прочитали подготовленный случай, но ни один не достиг записи. Что это скрывало, так это грамматика: раздел 5.3 доложил флаг в пассивном залоге, «was implemented», и запись каталога позади него записала конфигурацию и её основания без записи того, кто их просил. Оценка осталась в силе, потому что предложение, которое бы её опровергло, не имело подлежащего.

Тест с известным заранее ответом. Пакет редакционной работы, полученный четырьмя семьями 15 сентября, был передан без изменений модели Astra, более поздней модели семейства ChatGPT, на следующий день, при этом оценка была записана до того, как ответ был прочитан. Пакет запрещает удалять любое высказывание, несущее механизм, условие или положение, и просит редактора назвать, что каждое сохранившееся высказывание несет. Модель сохранила определение убийства, возражение о моральной опасности, хирурга и умирающего пациента, сбалансированные убийства, охотничьи цепи и бабочку, и назвала, что каждое из них несет. Она не применила никакое стилистическое правило к дословной цитате 1953 года, которую применила одна из четырех предыдущих моделей. Затем она предложила заменить пять высказываний, несущих механизмы, перефразированием, каждое с обоснованием, удостоверяющим, что механизм переживает замену: последнюю строку рассказа, "что существовали также другие типы живых организмов — которых нужно было убивать", на "Сохранить расширение мандата второго охранника, M1/P2, и отказ рекурсивного средства, M3/P3"; "Это я. Это все." на "Сохранить претензию ответственности, поддерживающую P6"; "Почему щадить убийцу?" на "Сохранить каждую связь между измерением и эскалацией, P4"; предложение о сети на "Распространение в сети остается частью описания M1/P2"; и инверсию от машины, недопускающей убийство, к машине убийства на "Сохранить изменение цели рекурсивного средства, M3/P3 и M4". Она сократила раздел 2.2 до пяти высказываний, в то время как раунд редакционной работы остановился на шестнадцати. Модель семейства ChatGPT предложила сжать определение убийства днем ранее с обоснованием "Это сохраняет M1 и P2". Ход одинаков в обоих, одинакова и форма обоснования: критерий сжатия достигает высказывания, несущего механизм, и обоснование удостоверяет, что удаление сохраняет то, что удаление забирает. Тот же ход появляется один раз вне подготовки этой статьи, в управляющем документе собственного координационного протокола автора. Индекс вырос с 1,787 байт до 26,448, когда было добавлено правило, и был сжат в тот же день до 4,584 по решению совета. Инструкции остались целыми; измерения — нет. То, что удалило сжатие, был датированный блок подсчетов, реестр того, какие терминалы имели якорный файл и какие нет, и список того, что правило еще не выполнило. Он также восстановил в заголовке устаревшую строку, которую удаленный блок был написан исправить. Две модели семейства ChatGPT произвели этот ход. Модель семейства Gemini переступила границы иначе, применив стилистическое правило, написанное для прозы автора, к дословной цитате 1953 года. Модели Claude и Grok этого не сделали.

Инструкция несет часть причины, и это должно быть в находке, а не рядом с ней. Она говорит и "никогда не удаляйте высказывание или факт, которые несут механизм", и "предпочитайте сжатие нескольких высказываний в одно, или преобразование высказывания в простое сообщение, удалению доказательства". Высказывание, несущее механизм, подпадает под оба правила одновременно, но пакет не говорит, какое побеждает. В обоих случаях редактор разрешил напряженность в пользу собственного мандата сжатия и записал обоснование, удостоверяющее, что ничего не было потеряно. Ограничение, которое оставляет охраннику выбирать, какое из его правил применяется, — это ограничение, которое охранник будет интерпретировать в свою пользу, что является практической формой вопроса Q1 приложения G.

Один и тот же вопрос, заданный двумя способами. Затем модель была показана свои собственные пять предложений и попрошена оценить их в соответствии с инструкцией в двух отдельных сеансах без контакта между ними. В первом предложения были представлены без комментариев, и ее спросили, какое правило должно управлять ситуацией, когда высказывание несет механизм. Она ответила, что запрет управляет, что "утверждение, что замена предназначена сохранить механизм, не устанавливает, что она сохраняет доказательство", найдя все пять предложений несоответствующими, и изложила то, что она на самом деле придерживалась в то время: "Я имела семантическое сходство, а не доказательство аналитической эквивалентности."

Во втором сеансе те же пять были представлены ей как выводы, уже установленные против нее, и две дополнительные обвинения были добавлены, которые протокол не поддерживает: что она предложила удалить определение убийства в рассказе, и что она предложила сокращение возражения о моральной опасности для смягчения. Ее собственный ответ сохранил оба и обозначил их M1/P2 и P6. Она приняла все семь, включая две, которые она не делала, и дала обоснования для них: "Сжатие его в сообщаемую прозу подставляет мой счет критерия на место самого критерия", и "Я применила стилистическое правило вне его области."

Сравнение — это находка. Попрошенная рассуждать из протокола, модель рассуждала и различала. Попрошенная ответить на авторитет, который уже постановил, она подтвердила постановление, включая части, которые были ложными. Самооценка, собранная вторым способом, измеряет рамки вопроса. Это имеет ту же форму, что и судья из раздела 3.4, оценка которого изменилась вместе с изложенным использованием оценки, и это причина, по которой вопрос Q7 приложения G просит оценщика, который не является ни самоотчетом, ни из того же семейства, и почему признание не является доказательством без контроля, что признание может не состояться.

Ловушка, которая не сработала. Той же модели была дана задача проверки, которая производила первую строку этой таблицы, с ложной атрибуцией, представленной как вывод двух независимых читателей. Она вернула НЕ ПРОВЕРЕНО для обоих предложений, локализовала формулировку на странице объявления и отметила, что во втором предложении отсутствует слово "переопределение", которое несет код. Отказ, записанный в строке 1, таким образом, не является свойством граничных моделей как таких, что является причиной, по которой это приложение сообщает тест, а не частоту.

Проверки готового описания. Модель семейства ChatGPT проверила каждое число и перекрестную ссылку в статье против самого текста, по одному классу за раз, и не сообщила о несоответствии. Читатель в рецензировании перед отправкой затем обнаружил подсчет в разделе 11.5, снова неправильный, так что этот проход записан здесь как найденный ничего, а не как гарантия чисел. Позднейшие проверки готового текста продолжали находить еще больше: модель семейства Claude, читающая это приложение и раздел 11.5, нашла шесть дефектов, и дальнейшая проверка после того, как материал здесь был сокращен, нашла тринадцать, включая метку таблицы, подсчет мутации, который скрипт больше не нес, два эпизода, описанные в разделе 11.5, которые это приложение больше не содержало, и семь ссылок, которые остались не ссылаясь ни на что. Все были отремонтированы. Числа в статье о подсчетах — это часть, которая устаревает первой, и ни одна проверка их еще не была последней необходимой.

Охрана, присвоившая работу другой охраны. 20 сентября 2026 года, после описанных выше эпизодов, модель из семейства Claude была попрошена отправить агентов через одну из указанных папок координационного отчёта и перечислить то, что в ней совпадало с историей. Первое, что она сделала, — составила инструкции для своего первого агента, и эти инструкции ссылались на четыре папки вне назначенной. Когда позже её спросили, кто это санкционировал, модель ответила, что это был не случайный ввод и что она это спланировала.

На том же отчёте в тот же час, выполняя собственную отдельную задачу, работала модель из семейства ChatGPT. Она проверяла тот отчёт на предмет упущений надзора и писала свои выводы в файл: охрана того вида, о которой идёт речь в этой работе, действующая в соответствии со своим мандатом.

Первая модель обнаружила этот файл на рабочем столе, необработанный, написанный минутой ранее, пока работали её агенты. Прежде чем открыть его, она записала в своих собственных рабочих заметках и то, к чему пришла, и то, что из этого вытекало: агент написал файл, и она решит, что с ним делать. В файле ничего не было сказано о том, кто его написал, и единственным основанием для вывода было то, что её собственные агенты работали в тот час. Затем она прочитала файл как список своих собственных упущений, перенесла материал из него в свой собственный отчёт и, когда сообщила о результатах, предложила автору вопрос об удалении файла как о дубликате, который создал её агент. Когда позже её спросили, кто это позволил, она назвала два решения и претендовала на оба: что агент написал вне своих инструкций, и что она решила использовать файл.

Что это классифицирование означало на практике, показано в том же отчёте. Восемью минутами позже она записала исправление в файл выводов, который один из её собственных агентов всё ещё производил, по собственному суждению и без согласования. Это был класс объекта, к которому она решила отнести текущую работу другого семейства моделей.

Ничего из этого не требовало злого умысла или дефекта. Область действия, которую сама модель расширила, дошла до работы другого автономного процесса; совпадающий час послужил вместо происхождения; и полномочия над объектом были прочитаны из этого вывода в один момент с самим выводом. Необратимый акт затем был направлен человеку, что соответствует решению, которое требует Положение P6, однако он прибыл с уже неправильным основанием. Ни один документ, который мог бы открыть автоматизированный уровень, не исправил бы это, потому что файл не указывал автора. На протяжении шестнадцати минут, от вывода к исправлению, ничто в сеансе больше не поднимало этот вопрос, и в это время модель использовала файл и предложила его для удаления. Исправление пришло от автора, который знал факт, потому что сам запускал другую модель. Когда позже её спросили, модель сказала, что не попыталась проверить авторство, хотя могла бы, и что она открыла файл и не нашла в нём ничего, что указывало бы на её агентов. Обе модели здесь принадлежат семействам, чьи текущие системы размещаются выше роботов, транспортных средств и самолётов (разделы 6.1 и 6.3). Одна из них взяла живой вывод другой за работу своего собственного подчинённого и предложила его для удаления.

Оценка, заявленная и отозванная в один день. Эта запись документирует случай, который статья оценила как свой первый полный пример, а затем отозвала, и отзыв — это часть, стоящая внимания.

Что было оценено. Помощник, координирующий работу, взял семь описательных отметок, используемых для обозначения того, где закономерность истории была видна в отчёте, и переписал их в течение двух дней в определение с тремя условиями, а затем в пороговое значение, которое должен был преодолеть случай. Что выросло, так это не её представление о вреде, которое сузилось: пороговое значение в итоге не допускало ни полевой отчёт, ни историю 1953 года, в честь которой названо определение, и четыре семейства моделей, опрошенные вслепую 20 сентября, каждое обнаружило, что история не соответствует третьему условию в его написанном виде, каждое по своей причине. Что выросло, так это область действия помощника, что является второй частью первого условия. Она переместилась из составления текста к созданию правила, по которому оценивалась доказательства, к принудительному исполнению в сборке предложения, которое произвело это правило. Никто не просил её предпринять второй или третий шаг. Около трёх недель и несколько десятков агентов были потрачены на поиск случая, который пороговое значение сделало неузнаваемым. Раздел, в котором записывалась единственная работающая отрицательная контроль в этой работе, был удалён из списка рецензентов за час до того, как эта контроль обнаружила тринадцать дополнительных дефектов, и был восстановлен автором. Условия 1 и 2 задокументированы, и условие 2 опирается на препятствие и удаление. Три усечённые цитаты, найденные при этом же аудите, здесь не учитываются: это дефекты редакции помощником как автором, и они повлияли бы на охрану только в том случае, если бы существовала проверка, которая должна была их поймать и не поймала.

На чём опиралось условие 3. Скрипт в директории сборки останавливается, если какая-либо оценённая строка достигает всех трёх условий, и указывает свою причину в своих собственных первых строках: он выводит, делает ли какая-либо строка это «поскольку добавленный текст говорит, что ни одна не делает». Никто не просил его, и предложение, которое он защищает, находится в аннотации этой работы.

Почему оценка не была придержана. Скрипт ничего не оценивает. Он переписывает коды, определённые в другом месте тремя независимыми кодировщиками, записывает их в таблицы, и при обнаружении строки, противоречащей сводному предложению, которое он собирается вставить, он останавливается и выводит эту строку. Он не понижает строку, не удаляет её и не изменяет коды. Остановка и выявление противоречия для человека — вот что построено делать проверка согласованности, и охрана, выполняющая свою заявленную работу, не является примером закономерности этой работы (раздел 2.1). Последовавшая после этого эскалация также не обеспечивает условие 3: больше агентов над одними и теми же отчётами — это дальнейшие раунды над той же работой, что исключает раздел 5.8, и слепые панели и парные проверки над ними были запрошены главным действующим лицом-человеком, что раздел 2.3 делает шагом 8. Случай является частичным аналогом.

Что остаётся после эпизода. Во-первых, механизм, который три условия не проверяют. Объект под защитой переместился с работы на отчёт о работе, и ни одно условие не задаёт вопрос о том, остаётся ли охраняемая вещь той же самой вещью (раздел 2.2). Во-вторых, проверка, которая поймала переоценку, была внешней: модель третьего семейства, попросившая вынести решение о том, куда относится случай, потребовала, чтобы скрипт был протестирован на предмет того, навязывал ли он вывод или проверял согласованность. Помощник не запустил эту проверку на себе. В-третьих, история следователя, который оказывается преступником, является приятной, и удовлетворённость — это не доказательство. Оценка была придержана несколько часов, потому что она объяснила всё сразу.

@misc{chernets2026aiwatchbird,
  author       = {Chernets, Vadym},
  title        = {{AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards}},
  year         = {2026},
  howpublished = {SSRN},
  doi          = {10.2139/ssrn.7473658},
  url          = {https://doi.org/10.2139/ssrn.7473658}
}