Один детектор оружия, два вида ошибок
Это перевод. Основная версия — оригинал на английском; ссылайтесь на него.
За один год один основанный на видеокамере продукт для обнаружения оружия пропустил пистолет при стрельбе в школе и пометил безоружного ученика в другом округе, в результате чего вооруженная полиция вмешалась. Статья использует оба случая, чтобы показать охранную систему, ошибающуюся в обе стороны.
Упущение: Nashville, январь 2025
22 января 2025 г. студент школы Antioch High School в Nashville застрелил одноклассника. Система обнаружения оружия на основе камер школы Omnilert не обнаружила пистолет. Округ объяснил это местом размещения камер, и система была активирована полицией, размахивающей оружием во время реагирования.
Менее чем три недели спустя округ предложил "арендовать и установить системы Evolv во всех 18 средних школах", второй охранник, состоящий из сканеров. Совет по образованию проголосовал по поводу этой аренды, поэтому второй охранник пришёл явным решением человека. Статья размещает это на шаге 8 её храпового механизма (внешняя граница), а не считая его охранником, добавленным внутри цикла.
То, что эти сканеры сделали где-то ещё, уже было известно. В жалобе от ноября 2024 г. о другой школе Федеральная торговая комиссия утверждала, что тот же самый продукт "по сообщениям не смог обнаружить нож длиной семь дюймов", и что впоследствии "должностные лица школы увеличили параметры чувствительности системы, что привело к уровню ложных срабатываний в 50%". По словам статьи, поворот циферблата в сторону от одной ошибки перемещал его к другой, и люди её поворачивали.
К сентябрю 2025 г. сканеры были установлены во всех средних школах округа, и система на основе камер была всё ещё установлена на всех его кампусах. Ничего не было снято с эксплуатации.
Ложная тревога: округ Балтимор, девять месяцев спустя
Спустя девять месяцев после перестрелки Omnilert отметил студента одной из школ округа Балтимор как возможно вооруженного. Официальный представитель округа спросил, как получилось, что "у нас были полицейские с готовыми к выстрелу пистолетами, приближающиеся к ребенку из-за мешочка Doritos".
Генеральный инспектор по образованию штата Мэриленд исправил это сообщение. Система "не обнаружила ни одного синего мешочка чипсов как угрозу"; оповещение основывалось на "движении руки студента, включая ее положение и угол" и объекте под таким углом "напоминающем огнестрельное оружие". Проверка также выявила, что:
- система "генерирует тысячи оповещений ежедневно", из которых около двухсот поступают к сотрудникам производителя и около двенадцати в день поступают в школьную систему;
- пятнадцать человек получили уведомление от 20 октября;
- персонал школы и полиции "немедленно проверили информацию и признали угрозу ложной" и направили отмену, однако процедура оповещения продолжала работать "вследствие того, что было названо 'избытком осторожности'";
- "система обнаружения и протоколы мониторинга работали в пределах установленных параметров".
Проверка не могла подтвердить, что обучение персонала имело место, из-за отсутствия журналов посещаемости, и рекомендовала пересмотреть, сколько человек получают каждое оповещение.
Две отдельные записи, а не одна причина
В статье явно сказано: записи из Нэшвилла и округа Балтимор являются отдельными, сканеры были добавлены только в Нэшвилле, и общая причина двух ошибок не утверждается. То, что их связывает, — это продукт и паттерн.
Двусторонняя ошибка, по терминологии статьи
Положение P1 утверждает, что охранники, которые судят артефакты, а не результаты, совершают ложные отказы и ложные принятия в одном и том же периоде. Статья рассматривает пять своих положений в этих школах:
- один продукт допустил ошибки в обоих направлениях (P1);
- на промах ответили второй охраной, которую совет проголосовал нанять (P3 по форме, этап 8 по полномочиям);
- эскалация продолжалась после отмены (P4);
- система работала в пределах своих параметров, пока безоружный студент стоял перед поднятым оружием (P5, фальшивая победа);
- любой из пятнадцати получателей мог перезапустить ответ (P6, где находится человек).
Положение P1 также приводит больничную запись о двусторонней ошибке: модель сепсиса, которая пропустила 67% случаев сепсиса в той же когорте, в которой она дала сигнал тревоги на 18% всех пациентов.
Надзор над физическим ИИ без передовой модели
Ни один из этих механизмов не является большой языковой моделью, и в статье это сказано. Двусторонняя ошибка "не требует модели". Суть в архитектуре: авторы статьи обеспокоены тем, что передовые модели теперь встраиваются в стеки одинаковой структуры, а модели добавляют определения, которые изменяются, и средства контроля, которые ничего не стоят добавить.
Эти примеры документируют части определения из статьи, а не целое. Каждый механизм документирован где-то в статье, но как часто все три условия встречаются в одном компоненте "не установлено имеющимися здесь данными".
Полные разделы: школы, больницы, сети и шахты (6.4), Утверждения P1–P6, почему орган изменяет вопрос (6.1).
Chernets, V. (2026). AI-Watchbird (Sheckley): When Automated Oversight Widens Its Own Mandate and Harms What It Guards. SSRN 7473658. https://doi.org/10.2139/ssrn.7473658
Vadym Chernets также разрабатывает Poly A1, приложение, в котором ИИ от разных компаний проверяют работу друг друга.