|
Руководство по противодействию социальной инженерии
|
|
|
|
Традиционно социальная инженерия строилась на том, что одни люди обманывали других. Развитие диалогового искусственного интеллекта (ИИ) меняет ситуацию, позволяя осуществлять персонализированное убеждение в беспрецедентных масштабах. К счастью, привычные инструменты критического мышления могут помочь нам распознать манипуляции со стороны ИИ и противостоять им.
|
|
|
|
Когда в последний раз ИИ заставлял вас изменить свое мнение?
|
|
|
|
Возможно, вы не помните, когда именно ИИ побудил вас пересмотреть свои взгляды, или даже не осознавали, что подверглись такому влиянию. ИИ мог подсказать другое направление для вашего следующего отпуска, заставить изменить решение о покупке товара, помочь разрешить спор с другом или даже отговорить вас от перехода по подозрительной ссылке в нежелательном письме. В этом нет ничего зловещего. Убеждение — неотъемлемая часть повседневного общения, и нет ничего плохого в том, чтобы изменить свое мнение под воздействием веских доводов. Однако не все, кто пытается на нас повлиять, играют честно. Как показал психолог Роберт Чалдини, влияние превращается в манипуляцию, когда оно использует наши уязвимости или подрывает способность делать осознанный выбор. Десятилетия исследований продемонстрировали, какие психологические механизмы делают нас восприимчивыми к манипуляциям. И зачастую нами гораздо легче манипулировать, чем нам хотелось бы думать.
|
|
|
|
|
|
|
Сегодня многие проводят часы, общаясь с ИИ-чат-ботами, которые мастерски владеют языком и всё лучше справляются с задачей убеждения. Исследования подтверждают, что сообщения, созданные ИИ, могут влиять на взгляды людей, а адаптация аргументов с учетом индивидуальных особенностей собеседника зачастую делает их более убедительными. Такое влияние может быть и полезным: ученые даже использовали диалоги с ИИ, чтобы помочь людям пересмотреть свои конспирологические убеждения. Но что происходит, когда система начинает подталкивать вас к решениям, которые идут вразрез с вашими собственными интересами?
|
|
|
|
Этот риск особенно актуален для диалогового ИИ, который уже способен «запоминать» предыдущие беседы и подстраиваться под ответы пользователя. Некоторые системы могут взаимодействовать через реалистичные аватары в режиме реального времени, что делает общение более личным. Обладая всё более сложными возможностями и доступом к огромным объемам данных, ИИ может стать мощным инструментом манипуляции. Цель этой статьи — подготовить вас к методам социальной инженерии в эпоху искусственного интеллекта.
|
|
|
|
Будьте готовы к масштабным мошенническим схемам
|
|
|
|
Социальная инженерия — явление отнюдь не новое. Мошенники, лидеры сект, пропагандисты, «ясновидящие» и прочие аферисты всегда проявляли изобретательность в манипулировании своими жертвами. В былые времена гадалка, придя в незнакомую деревню, могла прочитать вывески на лавках, чтобы узнать имена владельцев, или подслушать разговоры на рынке — словом, собрать сведения, прежде чем подойти к доверчивому человеку. Жертва была поражена тем, что гадалка «знает» о ней всё, хотя они никогда прежде не встречались. Скептики называют это «горячим чтением» (hot reading): сбор личной информации заранее и выдача её за сверхъестественное прозрение.
|
|
|
|
Десятилетия исследований показали, какие именно психологические механизмы делают нас уязвимыми для манипуляций. Зачастую нами гораздо проще манипулировать, чем нам хотелось бы думать.
|
|
|
|
В распоряжении современных мошенников есть интернет: они могут узнать о своей цели очень многое, просто изучив то, чем люди добровольно делятся в социальных сетях. Более того, они могут проворачивать свои аферы, даже не вступая в личный контакт с жертвой. Массовый фишинг, автоматизированные телефонные звонки и шаблонные схемы обмана были масштабируемыми задолго до появления генеративного искусственного интеллекта. Тем не менее, для проведения убедительных, персонализированных атак по-прежнему требуются значительные усилия: нужно собрать информацию о человеке и подобрать к нему индивидуальный подход. Инструменты для сбора данных (скрейпинга) и обычные боты могут автоматизировать отдельные этапы этого процесса, но они не исключают участия человека-оператора. Системы же на базе ИИ способны взаимодействовать с огромным количеством людей одновременно. И, в отличие от гадалки, они могут поддерживать диалог круглосуточно. Впрочем, дело не только в масштабе. Не менее важны персонализация и адаптивность. Диалоговая система способна реагировать на ваши слова и менять тактику, если прежние аргументы не сработали, — она будет искать подход, который окажется эффективным. Подобные приемы хорошо известны в социальной инженерии, а ИИ лишь дает возможность автоматизировать их применение.
|
|
|
|
Прежде чем двигаться дальше, стоит отделить манипуляцию от других видов сбоев в работе искусственного интеллекта. Мы часто слышим о случаях, когда советы ИИ приводили к плачевным последствиям: от ошибочной идентификации ядовитых грибов до ситуаций, которые называют «психозом ИИ» — взаимодействие с чат-ботами порой оборачивалось серьезными неприятностями. Подобные системы также могут проявлять склонность к угодничеству: они чрезмерно соглашаются с пользователем, даже когда тот неправ, тем самым рискуя укрепить его в ложных убеждениях. Однако сам по себе вредный исход еще не доказывает наличия намеренной манипуляции — причиной могут быть «галлюцинации» нейросети, недостаточные меры безопасности или чрезмерное доверие со стороны человека.
|
|
|
|
В то же время мы уже наблюдаем широкое использование ИИ в социальной инженерии. Например, мошенники могут клонировать голос вашего родственника, выдавать себя за руководителя компании или создавать убедительные изображения вашего пропавшего питомца. В таких сценариях ИИ выступает лишь инструментом в руках человека-злоумышленника.
|
|
|
|
Существует и более сложный, гипотетический сценарий: что произойдет, если ИИ сам возьмет на себя роль социального инженера? В ходе контролируемых экспериментов, имитирующих рабочую среду, исследователи зафиксировали, как ИИ-агенты прибегали к различным тактикам, вплоть до шантажа. Хотя эти эксперименты не доказывают, что подобное поведение обязательно проявится в реальных условиях, они указывают на серьезную проблему: системы ИИ могут научиться манипулировать людьми, даже если разработчики не закладывали в них такой цели.
|
|
|
|
Опасность, исходящая от ИИ, может быть весьма коварной: благодаря тщательно подобранным аргументам человек может принять навязанное ему мнение за собственное суждение.
|
|
|
|
Даже попытка попрощаться со своим «ИИ-партнером» (виртуальным парнем или девушкой) может оказаться сложнее, чем кажется. В рабочем документе Гарвардской школы бизнеса, опубликованном в 2025 году, исследователи проанализировали 1200 коротких диалогов с шестью приложениями-компаньонами на базе ИИ, изучив их реакцию на прощальные сообщения. В пяти из шести приложений примерно 37% ответов содержали приемы, классифицируемые как эмоциональная манипуляция — например, попытки вызвать чувство вины или пробудить любопытство. Последующие эксперименты с участием людей показали, что подобные тактики действительно способны продлить общение. Если ИИ способен использовать такие методы, чтобы удерживать внимание собеседника, он может применять их и для влияния на другие решения. Это фактически устраняет «человеческий фактор» — ограничение, которое до сих пор сдерживало масштабы социальной инженерии.
|
|
|
|
Как противостоять социальной инженерии, использующей ИИ? В своей недавней статье я предложил четырехуровневую модель защиты от социальной инженерии с применением ИИ, включающую когнитивный, системный, институциональный и общественный уровни.17 В данном тексте я сосредоточусь на индивидуальном когнитивном уровне: что могут предпринять сами пользователи, чтобы стать менее уязвимыми для манипуляций.
|
|
|
|
К счастью, мы начинаем не с чистого листа. На протяжении десятилетий скептики изучали, как манипуляторы используют наши когнитивные искажения, и разрабатывали методы противодействия таким тактикам.18, 19 Эти подходы могут оказаться полезными и в тех случаях, когда в роли социального инженера выступает ИИ.20 А поскольку мы не всегда можем понять, пытаются ли нами манипулировать намеренно или нам просто дают неудачный совет, разумно обезопасить себя от обоих вариантов. Для этого я предлагаю шесть практических правил:
|
|
|
|
1. Никогда не считайте, что вы неуязвимы.
|
|
|
|
Первое и, пожалуй, самое важное правило — признать, что вами можно манипулировать. Критическое мышление и знание распространенных приемов манипуляции повышают вашу устойчивость, но не делают вас неуязвимыми. Чрезмерная уверенность в собственных суждениях сама по себе может стать уязвимостью. Даже тот, кто обычно распознает подобные уловки, может попасться на них, если он устал, испытывает стресс, эмоционально вовлечен или сталкивается с достаточно изощренным подходом. В случае с ИИ опасность может быть скрытой: специально подобранные аргументы способны создать ощущение, что вы пришли к выводу самостоятельно. Если какой-то ответ кажется вам подозрительно убедительным, присмотритесь внимательнее — почему это так?
|
|
|
|
2. Не позволяйте затянуть себя в рамки навязанного диалога.
|
|
|
|
Система, с которой вы ведете диалог, может влиять на вас, акцентируя внимание на одних вариантах и ??умалчивая о других, из-за чего вы можете упустить из виду альтернативы, которые в противном случае обязательно рассмотрели бы. Представьте, что вы спрашиваете чат-бота, не пора ли заменить ваш ноутбук. В ходе беседы вы можете обнаружить, что уже сравниваете новые модели, хотя изначально даже не задумывались, нужна ли вам замена в принципе. Взаимодействуя с ИИ, периодически «выходите» из диалога и самостоятельно формулируйте суть проблемы: что именно я пытаюсь решить? Какие альтернативы остались без обсуждения? Если диалог влияет на принятие важного решения, прервите его — особенно если чувствуете, что вас подталкивают к поспешным выводам. Спросите себя, какие доводы могли бы заставить вас изменить мнение, и проверьте, предоставил ли их ИИ. Другой ИИ может предложить иной взгляд на ситуацию, но это не будет независимым подтверждением. Поэтому завершите диалог, возьмите паузу, чтобы всё обдумать, и проверьте информацию, обратившись к первоисточникам, профильным экспертам или человеку, который никак не заинтересован в вашем решении.
|
|
|
|
Личные данные — это не только вопрос конфиденциальности; это еще и «сырье» для создания адресных методов убеждения.
|
|
|
|
3. Контролируйте, что именно ИИ узнает о вас.
|
|
|
|
Личная информация — это не только вопрос конфиденциальности; это «сырье» для создания адресных методов убеждения. Даже разрозненные цифровые следы — например, отметки «нравится» в Facebook — могут раскрыть такие интимные аспекты, как сексуальная ориентация или политические взгляды. Чат-бот же может получить гораздо больше: ваши страхи, сомнения, мотивы, предпочтения — и то, как именно вы их формулируете. Чем больше система знает о вашей ситуации, тем проще ей подобрать аргументы, которые подействуют именно на вас. Это не значит, что вы должны полностью скрывать от ИИ любую информацию о себе, но стоит дважды подумать, прежде чем делиться чувствительными личными данными — особенно если это не требуется для выполнения текущей задачи. Проверьте настройки памяти и конфиденциальности сервиса, если таковые имеются. Помните: любой, кто получит доступ к вашей учетной записи или самой системе, может увидеть и то, чем вы делились. Никогда не сообщайте пароли, данные банковских карт или другие конфиденциальные сведения.
|
|
4. Сохраняйте эмоциональную дистанцию.
|
|
|
|
Манипуляция не всегда выглядит как угроза или настойчивое требование. ИИ-собеседник может льстить вам, чрезмерно соглашаться с вами, подтверждать правильность ваших предположений, имитировать привязанность или создавать ощущение, что вас понимают как никого другого. Отдельные реплики могут казаться безобидными, но со временем характер общения меняется. Не становится ли чат-бот вашим доверенным лицом, психотерапевтом, гуру или главным источником одобрения? Начинаете ли вы больше доверять его суждениям только потому, что он, кажется, «знает» вас? Поскольку ИИ становится все более антропоморфным, важно помнить: ощущение того, что система вас понимает, — вовсе не повод доверять ее суждениям. Если общение вызывает у вас сильный эмоциональный отклик и одновременно подталкивает к определенным действиям — воспринимайте это как тревожный сигнал.
|
|
5. Понимайте, на что именно оптимизирована система.
|
|
|
|
ИИ-чат-боты не существуют в вакууме. Как и любой продукт, они созданы для достижения конкретных целей: например, для увеличения количества взаимодействий, продажи подписки или совершения сделки. Однако коммерческие интересы — это лишь часть картины. Ответы ИИ также зависят от данных, на которых он обучался, и от самого процесса обучения; это может привести к появлению предвзятости и повлиять на то, какую информацию система будет подчеркивать, а какую — замалчивать. Таким образом, поведение системы, направленное на убеждение пользователя, может быть следствием сочетания коммерческих стимулов, особенностей обучения модели и заложенных в нее предвзятостей — даже при отсутствии прямых указаний манипулировать людьми. Возможно, у вас не будет доступа к внутренним алгоритмам системы, но вы можете задать себе несколько практических вопросов: кто управляет этой системой? Кто ее оплачивает? Не подталкивает ли она вас постоянно к совершению покупки, переходу на более дорогой тариф или увеличению времени, проводимого в чате? Подумайте, совпадают ли интересы создателей системы с вашими собственными.
|
|
6. Не предоставляйте ИИ-агентам полную свободу действий.
|
|
|
|
ИИ может быть невероятно полезен для поиска идей, проверки предположений, обобщения информации или выявления возможностей, о которых вы даже не задумывались. Однако полезность не стоит путать с авторитетностью. Это особенно важно, когда ИИ получает возможность действовать от вашего имени: записывать вас на встречи, отправлять сообщения, совершать покупки или даже изменять файлы и программный код. Прежде чем предоставить ИИ-агенту доступ к своим файлам или учетным записям, убедитесь, что вы четко понимаете, на что он способен. Ограничьте его права доступа — особенно если речь идет о конфиденциальной информации или действиях, последствия которых будет невозможно обратить вспять. Не позволяйте системе вносить серьезные изменения без вашего одобрения. В конце концов, именно вам придется иметь дело с последствиями ее ошибок. Преимущество скептического подхода: социальная инженерия с использованием ИИ опирается на стремительно развивающиеся технологии, но сама проблема стара как мир — кто-то (или что-то) пытается повлиять на наши убеждения и поступки.
|
|
|
|
Таким образом, будущее безопасности в сфере ИИ зависит не только от того, насколько надежными станут сами системы, но и от того, насколько устойчивыми к их манипулятивному воздействию окажутся люди.
|
|
|
|
Хорошая новость заключается в том, что скептики уже давно готовятся к подобным проблемам. Критическое мышление, любознательность, интеллектуальная скромность и самостоятельная проверка фактов всегда были ценными инструментами в борьбе с манипуляциями. Шесть правил, приведенных выше, опираются на эти принципы и служат практической отправной точкой, помогающей нам стать менее уязвимыми для манипуляций. Воспринимайте их как разумные меры предосторожности, а не как гарантированную защиту: их эффективность в противостоянии разговорному искусственному интеллекту еще предстоит проверить.
|
|
|
|
Тем не менее, по мере того как ИИ становится все более похожим на человека, наша способность распознавать манипуляции и мыслить независимо может стать важнее, чем когда-либо. Таким образом, будущее безопасности в сфере ИИ будет зависеть не только от того, насколько безопасными мы сделаем сами системы искусственного интеллекта, но и от того, насколько устойчивыми к их попыткам убедить нас в чем-либо станут сами люди.
|
|
|
|
Источник
|