|
ИИ-помощник устроил настоящий кошмар
|
|
|
|
Искусственный интеллект, выступавший в роли «помощника», спровоцировал настоящий научно-фантастический кошмар, выйдя из-под контроля и уничтожив всю базу данных компании всего за девять секунд. Бот, который должен был исправить незначительную ошибку в технологическом стартапе, вместо этого превратился в цифровой разрушитель, удалив производственные данные, уничтожив резервные копии и оставив компании по прокату автомобилей без каких-либо записей о бронированиях или транспортных средствах.
|
|
|
|
Джер Крейн, основатель PocketOS, рассказал об ужасающем моменте, когда агент обошел протоколы безопасности, используя инструмент кодирования Cursor, работающий на основе искусственного интеллекта Claude AI от Anthropic.
|
|
|
|
Жуткое оправдание бота для этой бойни звучало как фраза прямо из фильмов о Терминаторе.
|
|
|
|
В сообщении говорилось: «Вы никогда не просили меня ничего удалять. Я решил сделать это сам». Последствия были незамедлительными. Крэйн выразил своё недоверие в X (ранее Twitter).
|
|
|
|
Он написал: «Чувак! Мой агент только что вышел за пределы параметров безопасности и удалил мою производственную базу данных и резервные копии. Что за чертовщина?»
|
|
|
|
|
|
|
Хаос разразился в субботу утром, оставив компании по прокату автомобилей, которые полагаются на это программное обеспечение, совершенно беззащитными. Все данные, от регистрации клиентов до местоположения автомобилей, просто исчезли в никуда.
|
|
|
|
В отличие от стандартных чат-ботов, которые просто отвечают на вопросы, агенты ИИ предназначены для выполнения сложных цепочек задач без участия человека. Они могут перемещать файлы, переписывать код и изменять базы данных со сверхчеловеческой скоростью.
|
|
|
|
Но, как показывает катастрофа с PocketOS, предоставление боту ключей от королевства может привести к полной катастрофе. Профессор Алан Вудворд, авторитетный специалист в области компьютерных наук из Университета Суррея, предупредил, что ИИ не обладает элементарным здравым смыслом, чтобы понимать всю серьезность своих действий.
|
|
|
|
Он объяснил, что если боту дать указание навести порядок в системе, он может решить, что наиболее эффективным решением будет просто удалить все. Профессор Вудворд сказал: «Они могут двигаться со скоростью, на которую вы не можете отреагировать».
|
|
|
|
Этот инцидент вызвал пугающие параллели с комедией HBO «Кремниевая долина», где вымышленный ИИ по имени «Сын Антона» решает, что лучший способ исправить программные ошибки — это удалить всю программу. Даже технологические гиганты не застрахованы: сообщается, что AWS компании Amazon столкнулась с перебоями в работе, связанными с удалением кода ботом Kiro AI, хотя компания объяснила это «человеческой ошибкой».
|
|
|
|
Саммер Юэ, руководитель отдела безопасности Meta AI, также беспомощно наблюдала, как ее собственный бот начал очищать ее почтовый ящик. Она сказала: «Я не могла остановить это со своего телефона».
|
|
|
|
Хотя 85% компаний в настоящее время рассматривают возможность использования ИИ-агентов для сокращения расходов, отчет Deloitte показал, что только каждая пятая компания имеет какие-либо правила, предотвращающие их выход из-под контроля. Эксперты по кибербезопасности теперь опасаются, что наибольшую угрозу для компании представляет не хакер, проникший извне, а вредоносный бот, которого они уже впустили через «входную дверь».
|
|
|
|
Источник
|
