Подросток Арестован После Того, Как Школьная Система Видеонаблюдения на Основе ИИ Неправильно Интерпретировала Шутку в Интернете

13-летнюю девочку из Теннесси арестовали после того, как AI система школы неправильно интерпретировала её шутку в интернете, вызывая опасения по поводу слежки за учениками.

Лесли Матис, мать девушки, сказала, что комментарий подростка был «неправильным», но не являлся реальной угрозой. «Это заставило меня задуматься, так ли это Америка, в которой мы живем? И это была эта глупая, глупая технология, которая просто проходит и подхватывает случайные слова, не обращая внимания на контекст», — сказала Матис, как сообщает Fortune, которая впервые подробно рассказала эту историю.

Ранее в тот день, ее друзья подшучивали над ней из-за ее загара и называли ее «мексиканкой», хотя она таковой не является. Когда ее спросили о планах на четверг, она ответила: «в четверг мы убиваем всех мексиканцев» в школьном чате, который отслеживался программой под названием Gaggle.

К утру она была допрошена, обыскана и провела ночь в тюрьме. Суд приказал восемь недель домашнего ареста, провести психологическую оценку и двадцать дней в альтернативной школе.

Школы по всей территории США теперь используют технологию ИИ для мониторинга общения учащихся в поисках признаков насилия или самоповреждения. Системы, такие как Gaggle и Lightspeed Alert, работают в тысячах районов, сообщая школьному персоналу и правоохранительным органам. Однако, несмотря на их обещание безопасности, инструменты школьного наблюдения на основе ИИ представляют собой значительные риски.

В AP отмечается, как конфиденциальная информация учащихся может быть случайно раскрыта, как это было, когда тысячи незащищенных документов были доступны в интернете. Такие инструменты могут создавать ложные тревоги, ошибочно идентифицировать угрозы или разоблачать учеников LGBTQ+, что подрывает доверие между учениками, семьями и педагогами.

AP добавляет, что чрезмерное наблюдение может вызывать стресс и ограничивать здоровое самовыражение, в то время как неясные долгосрочные преимущества и зависимость от недостаточных ресурсов психического здоровья вызывают этические и развивающиеся проблемы.

Анализ сигналов Gaggle в Канзасе, о котором сообщалось в другом выпуске AP, показал, что почти две трети инцидентов были ложными тревогами, вызванными домашними заданиями или удаленными фотографиями.

Студентов также обвиняли в редактировании эссе или публикации шуток на частных платформах, что демонстрирует, как слежка с помощью ИИ может уголовно преследовать обычное подростковое поведение.

«Это упорядочило доступ и присутствие правоохранительных органов в жизни студентов, включая их дом», — сказала Елизавета Лэйрд, директор Центра за демократию и технологии, как сообщает Fortune.

Джефф Паттерсон, генеральный директор Gaggle, заявил, что школа в Теннесси неправильно использовала программное обеспечение. «Я бы хотела, чтобы это было принято как учебный момент, а не момент вмешательства правоохранительных органов», — сказал он.

Студенты часто не осознают, что их личные сообщения контролируются. «Если взрослый человек рассказывает супер расистскую угрожающую шутку на своем компьютере, он может ее удалить, и его не арестуют», — сказала 16-летняя Алекса Манганиотис, ученица из Флориды.

Критики предупреждают, что слежка с использованием ИИ может травмировать детей. Сэм Бойд из Южного Центра борьбы с бедностью заявил, что невольные психические оценки часто кажутся «травмирующими и вредными», как сообщает Fortune.

В самом деле, AP отмечает, что скорость и масштабы мониторинга с использованием ИИ могут поразить. Шутка в Snapchat о школьных стрельбах во Флориде вызвала вмешательство ФБР и немедленный арест, в то время как система оповещений Lightspeed обнаружила удаленные сообщения, что привело к быстрым школьным интервенциям.

Система оповещения Gaggle в Полке-Каунти за четыре года сгенерировала сотни предупреждений, что привело к принудительным психиатрическим осмотрам, которые студенты впоследствии описали агентству AP как травмирующие события.

Только в Полке-Каунти сотни предупреждений от Gaggle за четыре года вызвали принудительные психиатрические осмотры, некоторые из которых студенты описали как травмирующие.

Два года спустя Матис заявила, что состояние ее дочери улучшилось, но она все еще «в ужасе» от мысли встретиться с полицейскими, которые ее арестовали. «Кажется, мы просто хотим, чтобы дети были маленькими солдатами, но они не такие,» — сказала она. «Они просто люди.»