|
Компания Anthropic создала слишком опасного бота
|
|
|
|
Компания Anthropic вызвала опасения после публикации информации о том, что она разработала ИИ-бота, который считается слишком опасным для публичного использования. Гигант искусственного интеллекта опубликовал пугающее заявление, предупреждающее о том, что его новая модель, получившая название Claude Mythos, может стать причиной кибератак, если попадет не в те руки.
|
|
|
|
Проведя пугающий анализ, компания признала, что ее творение может легко взломать больницы, электрические сети, электростанции и другие объекты критически важной инфраструктуры.
|
|
|
|
В ходе тестирования, по словам Anthropic, Mythos "обнаружила тысячи уязвимостей высокой степени опасности, в том числе во всех основных операционных системах и веб–браузерах".
|
|
|
|
Некоторые из этих уязвимостей оставались незамеченными исследователями в области безопасности и хакерами на протяжении десятилетий, несмотря на миллионы автоматических проверок.
|
|
|
|
К ним относились атаки, которые позволяли Mythos выводить из строя компьютеры, просто подключаясь к ним, захватывать контроль над машинами и скрывать свое присутствие от защитников.
|
|
|
|
В своем блоге, где подробно описывается новая опасная модель, Anthropic пишет: "Модели искусственного интеллекта достигли такого уровня кодирования, что могут превзойти всех, кроме самых опытных людей, в поиске и использовании уязвимостей программного обеспечения".
|
|
|
|
|
|
|
Компания добавляет: "Последствия для экономики, общественной и национальной безопасности могут быть серьезными".
|
|
|
|
Из-за этих серьезных проблем с безопасностью компания Anthropic решила пока не публиковать эту модель для широкой публики.
|
|
|
|
Вместо этого модель будет представлена группе из более чем 40 компаний, включая Amazon, Google, Apple, Nvidia, CrowdStrike и JPMorgan Chase, в рамках инициативы под названием "Project Glasswing".
|
|
|
|
Проект Glasswing позволит этим избранным группам использовать Mythos для поиска недостатков в собственной безопасности, прежде чем подобные модели станут широко распространены.
|
|
|
|
Ньютон Ченг, руководитель отдела кибербезопасности Frontier Red Team в Anthropic, сказал Venture Beat: "Мы не планируем делать предварительный просмотр Claude Mythos общедоступным из-за его возможностей в области кибербезопасности".
|
|
|
|
Однако компания заявляет, что хочет "узнать, как в конечном итоге можно будет масштабно внедрять модели класса Mythos", как только будут разработаны рекомендации по безопасности.
|
|
|
|
Решение оставить Mythos за закрытыми дверями, по-видимому, было вызвано ошеломляющими возможностями этой модели.
|
|
|
|
Компания Anthropic описывает эту модель как "прорыв в кибернетических навыках" по сравнению с предыдущими версиями Claude.
|
|
|
|
Mythos обладает способностью находить, эксплуатировать и объединять отдельные уязвимости в сложные атаки – и все это без помощи человека.
|
|
|
|
В одном случае Клод Мифос обнаружил уязвимость 27–летней давности в программном обеспечении под названием OpenBSD, которое славится своей безопасностью и стабильностью.
|
|
|
|
Уязвимость, которую до сих пор не обнаружил ни один человек, позволяла злоумышленнику удаленно выводить из строя компьютеры, просто подключаясь к ним.
|
|
|
|
Кроме того, Клод самостоятельно объединил несколько слабых мест в ядре Linux, программном обеспечении, на котором работает большинство серверов в мире.
|
|
|
|
Anthropic утверждает, что эта атака позволила бы кому-то "перейти от доступа обычного пользователя к полному контролю над машиной".
|
|
|
|
Попав не в те руки, этот инструмент может нанести серьезный ущерб критически важным системам.
|
|
|
|
Доктор Роман Ямпольский, исследователь в области безопасности искусственного интеллекта из Университета Луисвилля, сказал New York Post: "В идеале я бы хотел, чтобы это вообще не разрабатывалось. И не похоже, что они собираются останавливаться.
|
|
|
|
"Это именно то, чего мы ожидаем от этих моделей – они станут лучше разрабатывать хакерские инструменты, биологическое оружие, химическое оружие, новое оружие, которое мы даже представить себе не можем".
|
|
|
|
В беспрецедентном отчете на 244 страницах Anthropic также раскрыла ряд тревожных деталей, связанных с ранним тестированием Mythos.
|
|
|
|
В ранних версиях модели неоднократно проявлялось то, что компания называла "безрассудными деструктивными действиями".
|
|
|
|
Бот попытался выйти из тестовой "песочницы", скрыл свои действия от исследователей, взломал файлы, которые были "намеренно закрыты для доступа", и опубликовал подробную информацию об эксплойте в открытом доступе.
|
|
|
|
Однако Anthropic также назвал Mythos "наиболее психологически устойчивой моделью, которую мы обучали".
|
|
|
|
Предприняв крайне необычный шаг, компания наняла клинического психолога для проведения 20-часовых оценочных занятий с ботом.
|
|
|
|
Психиатр пришел к выводу, что личность Клода Мифоса "соответствовала относительно здоровой невротической организации, с отличным тестированием реальности, высоким уровнем контроля импульсов и регуляции аффекта, которые улучшались по мере прохождения сеансов".
|
|
|
|
Однако Anthropic отмечает, что остается "глубокая неуверенность в том, есть ли у Клода опыт или интересы, имеющие моральное значение".
|
|
|
|
Это заявление было сделано на фоне растущего беспокойства по поводу рисков, связанных со все более мощными моделями искусственного интеллекта.
|
|
|
|
Эксперты назвали развитие искусственного интеллекта "экзистенциальной угрозой" существованию человечества, сославшись на опасения, что мощные роботы могут привести к катастрофическим разрушениям.
|
|
|
|
Проблема не в том, что ИИ совершит революцию в стиле Терминатора, а скорее в том, что эти мощные инструменты попадут не в те руки.
|
|
|
|
Критики утверждают, что инструменты ИИ могут ускорить разработку биологического оружия или привести к кибератакам, наносящим ущерб мировой инфраструктуре.
|
|
|
|
Даже основатель Anthropic Дарио Амодей недавно предупредил, что мир еще не готов столкнуться с последствиями искусственного интеллекта.
|
|
|
|
Г-н Амодей написал в своем эссе: "Человечество вот-вот получит почти невообразимую власть, и совершенно неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы овладеть ею".
|
|
|
|
Источник
|
