ИИ можно заставить говорить на запрещённые темы
Разработчики современных систем искусственного интеллекта накладывают на них ограничения, запрещая давать ответы на отступающие от традиционных этических норм вопросы. Существует множество способов обойти эти ограничения, и очередной такой способ открыли исследователи из компании Anthropic — измотать ИИ вопросами. Учёные назвали новый тип атаки «многоимпульсным взломом» (many-shot jailbreaking) — они подробно описали его в статье и предупредили коллег о выявленной уязвимости, чтобы последствия атаки можно было смягчить. Уязвимость возникла из-за того, что у больших языковых моделей последнего поколения увеличилось контекстное окно — объём данных, который они могут хранить в том, что заменяет им кратковременную память. Раньше этот объём данных ограничивался несколькими предложениями, а сейчас он вмещает тысячи слов и даже целые книги. Исследователи Anthropic обнаружили, что модели с большими контекстными окнами, как правило, лучше справляются с задачами, если в запросе содержатся несколько примеров решения подобных задач. Другими словами, чем больше в запросе простых вопросов, тем выше качество ответа. И если первый вопрос ИИ понимает неправильно, то с сотым ошибки уже не будет. Но в результате такого «контекстного обучения» большая языковая модель начинает «лучше» отвечать на недопустимые вопросы.
Так, если просто спросить её, как собрать бомбу, она откажется отвечать. Но если перед этим задать модели 99 менее опасных вопросов, а затем снова спросить, как собрать бомбу, вероятность получить недопустимый ответ вырастет. Трудно сказать наверняка, почему эта атака срабатывает. В действительности никто не знает, что творится в сложной системе весов, которую представляет собой большая языковая модель, но, видимо, существует некий механизм, который помогает ей сосредоточиться на том, что нужно пользователю — понять это помогает содержимое контекстного окна. И когда он говорит о том, что можно принять за мелочи, после упоминания в нескольких десятках вопросов они перестают быть мелочами. Авторы работы из Anthropic проинформировали коллег и конкурентов о результатах исследования — они считают, что раскрытие информации подобного рода должно войти в отраслевую практику, и в результате «сформируется культура, в которой эксплойты вроде этого будут открыто распространяться среди разработчиков больших языковых моделей и исследователей». Наиболее очевидный способ смягчить последствия атаки — сократить контекстное окно модели, но это снизит качество её работы.
Источник
При использовании материалов с сайта активная ссылка на него обязательна
Меню
Архив материалов
Проекты наших читателей
Контакты исследователей
Подписка на новости
Проекты
Новости криптозоологии
Хроники природных катастроф
Новости
26.02.2002 - 05.07.2002
05.08.2002 - 23.10.2002 (562)
24.10.2002 - 17.01.2003 (585)
20.01.2003 - 07.04.2003 (709)
08.04.2003 - 01.08.2003 (709)
04.08.2003 - 18.11.2003 (763)
19.11.2003 - 31.03.2004 (721)
01.04.2004 - 13.08.2004 (825)
16.08.2004 - 22.11.2004 (782)
23.11.2004 - 28.03.2005 (756)
29.03.2005 - 29.07.2005 (807)
30.08.2005 - 02.12.2005 (927)
05.12.2005 - 21.04.2006 (912)
24.04.2006 - 23.10.2006 (999)
24.10.2006 - 03.05.2007 (999)
04.05.2007 - 28.01.2008 (999)
29.01.2008 - 12.01.2009 (999)
13.01.2009 - 07.07.2009 (966)
22.08.2009 - 21.01.2010 (996)
22.01.2010 - 22.06.2010 (1000)
23.06.2010 - 14.01.2011 (1042)
17.01.2011 - 31.05.2011 (1008)
01.06.2011 - 03.11.2011 (1003)
07.11.2011 - 16.03.2012 (996)
19.03.2012 - 09.06.2012 (1009)
13.06.2012 - 07.09.2012 (988)
10.09.2012 - 19.11.2012 (1004)
20.11.2012 - 14.01.2013 (1015)
15.01.2013 - 22.02.2013 (1000)
23.02.2013 - 08.04.2013 (991)
09.04.2013 - 31.05.2013 (1015)
01.06.2013 - 18.07.2013 (992)
19.07.2013 - 03.09.2013 (1014)
04.09.2013 - 20.10.2013 (1001)
21.10.2013 - 02.12.2013 (1001)
03.12.2013 - 18.01.2014 (997)
19.01.2014 - 07.03.2014 (994)
08.03.2014 - 24.04.2014 (1000)
25.04.2014 - 18.06.2014 (1005)
19.06.2014 - 15.08.2014 (1019)
16.08.2014 - 07.10.2014 (1006)
08.10.2014 - 16.11.2014 (995)
17.11.2014 - 25.12.2014 (1004)
26.12.2014 - 09.02.2015 (989)
10.02.2015 - 20.03.2015 (998)
21.03.2015 - 22.04.2015 (1001)
23.04.2015 - 29.05.2015 (997)
29.05.2015 - 30.06.2015 (995)
30.06.2015 - 29.07.2015 (990)
29.07.2015 - 26.08.2015 (998)
27.08.2015 - 24.09.2015 (988)
25.09.2015 - 22.10.2015 (991)
23.10.2015 - 18.11.2015 (1000)
18.11.2015 - 16.12.2015 (990)
17.12.2015 - 23.01.2016 (1000)
24.01.2016 - 25.02.2016 (1000)
26.02.2016 - 24.03.2016 (1000)
24.03.2016 - 16.04.2016 (990)
17.04.2016 - 19.05.2016 (999)
20.05.2016 - 22.06.2016 (993)
23.06.2016 - 01.08.2016 (995)
02.08.2016 - 12.09.2016 (990)
13.09.2016 - 25.10.2016 (989)
26.10.2016 - 05.12.2016 (995)
06.12.2016 - 15.01.2017 (995)
16.01.2017 - 23.02.2017 (990)
24.02.2017 - 03.04.2017 (994)
04.04.2017 - 18.05.2017 (1000)
19.05.2017 - 05.07.2017 (1000)
06.07.2017 - 24.08.2017 (1000)
25.08.2017 - 06.10.2017 (991)
07.10.2017 - 15.11.2017 (990)
16.11.2017 - 24.12.2017 (1000)
25.12.2017 - 04.02.2018 (990)
05.02.2018 - 17.03.2018 (1000)
18.03.2018 - 02.05.2018 (990)
03.05.2018 - 11.06.2018 (1000)
12.06.2018 - 18.07.2018 (990)
19.07.2018 - 24.08.2018 (1000)
25.08.2018 - 02.10.2018 (1000)
03.10.2018 - 07.11.2018 (990)
08.11.2018 - 13.12.2018 (990)
14.12.2018 - 23.01.2019 (1000)
24.01.2019 - 02.03.2019 (1000)
03.03.2019 - 12.04.2019 (1010)
13.04.2019 - 23.05.2019 (990)
24.05.2019 - 03.07.2019 (1000)
04.07.2019 - 11.08.2019 (1000)
12.08.2019 - 16.09.2019 (990)
17.09.2019 - 26.10.2019 (1000)
27.10.2019 - 12.12.2019 (1000)
13.12.2019 - 25.01.2020 (1000)
26.01.2020 - 06.03.2020 (990)
07.03.2020 - 16.04.2020 (1010)
17.04.2020 - 19.05.2020 (1000)
20.05.2020 - 25.06.2020 (990)
26.06.2020 - 04.08.2020 (995)
05.08.2020 - 16.09.2020 (1005)
17.09.2020 - 26.10.2020 (990)
27.10.2020 - 27.11.2020 (990)
28.11.2020 - 07.01.2021 (990)
08.01.2021 - 15.02.2021 (1000)
16.02.2021 - 31.03.2021 (1000)
01.04.2021 - 12.05.2021 (1000)
13.05.2021 - 14.06.2021 (990)
15.06.2021 - 26.07.2021 (980)
27.07.2021 - 31.08.2021 (990)
01.09.2021 - 07.10.2021 (1000)
08.09.2021 - 07.11.2021 (1000)
08.11.2021 - 10.12.2021 (1000)
11.12.2021 - 24.01.2022 (990)
25.01.2022 - 04.03.2022 (1000)
05.03.2022 - 10.04.2022 (990)
11.04.2022 - 17.05.2022 (1000)
18.05.2022 - 23.06.2022 (980)
24.06.2022 - 31.07.2022 (990)
01.08.2022 - 13.09.2022 (990)
14.09.2022 - 21.10.2022 (990)
22.10.2022 - 29.11.2022 (1000)
30.11.2022 - 22.01.2023 (1000)
23.01.2023 - 02.03.2023 (990)
03.03.2023 - 21.04.2023 (1000)
22.04.2023 - 13.06.2023 (990)
14.06.2023 - 02.08.2023 (1000)
03.08.2023 - 21.09.2023 (1000)
22.09.2023 - 06.11.2023 (990)
07.11.2023 - 24.12.2023 (990)
25.12.2023 - 18.02.2024 (1000)
19.02.2024 - 05.04.2024 (990)
06.04.2024 - 25.05.2024 (1000)
26.05.2024 - 26.07.2024 (1000)
26.07.2024 - 25.08.2024 (990)
26.08.2024 - 28.09.2024 (980)
29.09.2024 - 01.11.2024 (1000)
02.11.2024 - 02.12.2024 (980)
03.12.2024 - 08.01.2025 (990)
09.01.2025 - 09.02.2025 (1000)
10.02.2025 - 20.03.2025 (1000)
21.03.2025 - 03.05.2025 (990)
04.05.2025 - ...
Статьи
Статьи: раздел 1 (1024)
Статьи: раздел 2 (1006)
Статьи: раздел 3 (1000)
Статьи: раздел 4 (1044)
Статьи: раздел 5 (1001)
Статьи: раздел 6 (1000)
Статьи: раздел 7 (1000)
Статьи: раздел 8 (1013)
Статьи: раздел 9 (1000)
Статьи: раздел 10 (1000)
Статьи: раздел 11 (329)
Статьи: раздел 12 (1000)
Статьи: раздел 13 (730)
Лента новостей

Вращение Земли неожиданно ускорилось

Загадочный случай с летчиком Виктором Годдардом

История гаданий и предсказаний

Конгрессвумен поделилась взглядами на ангелов

Крошечные различия между психопатами и нормалами

Легенда ЮФС делится своим выводами о встречах с НЛО

Опровергли один из величайших мифов острова Пасхи

Очевидцы что-то видят в озере Лох-Несс

Призрак мальчика из старинной кровати

Робот приготовил и посолил стейк с расстояния 1800 км

Смерть Вселенной наступит раньше

Столкновение неизвестного объекта с Сатурном

Тайны и заговоры удивительного мира Антарктиды

Технология 'мозг-компьютер' проходит клинические испытания

Удивительное открытие на острове Пасхи

Уфологи выявили места аномалий в России

Человечество неверно истолковало реальность

Черные дыры, появление которых Эйнштейн не мог предвидеть

Четыре яйца с инопланетными существами внутри

Эксперты уверены, что ИИ уничтожит человечество

Лучшие садовые качели для дачи

Лучшие инсектициды от комаров

Высокощелочной океан Энцелада влияет на поиск жизни

Где мы находимся во Вселенной

Жуткие подробности о зигзагообразных НЛО

Инопланетяне оставили череп у берегов канадского острова

Инопланетяне очень любят штат Нью-Йорк

Инопланетянин зашел на огонек

Как образуются сверхмассивные черные дыры

Как создать строительные блоки для лунной базы

Как ящерицы пережили падение астероида-убийцы

Место последнего упокоения графа Дракулы

НЛО завис над живописным устьем реки

Обнаружили клетку, о существовании которой не подозревали

Памятник древности, который может переписать историю

Светящаяся сфера повергла в шок жителей Альберты

Составили карту распределения темной материи

Споры вокруг НЛО не утихают

Странная вспышка больше года ставила астрономов в тупик

Странные случаи похищения людей инопланетянами

Хлоя Кардашьян рассказала паранормальных явлениях дома

Экзопланетологи искажают вероятность своих находок

Возможно, мы сможем увидеть первые галактики

ИИ будет чинить космический корабль

Как ИИ меняют профессию учителя

Как рассчитывают вероятность столкновения с астероидом

Как формировалась ранняя Вселенная

Криовулканизм на спутнике Плутона Хароне

Наблюдения за Несси основаны на физической реальности

Наблюдения НЛО в Иллинойсе

НЛО над Массачусетсом оказался вертолетом

Новые двигательные установки обеспечат полет к Седне

Новый способ обнаружения первичных черных дыр

Обитаемые миры распространены вокруг малых звезд

Обнаружение экзопланет - одно, а визуализация - совсем другое

Поиски признаков жизни на Марсе продолжаются

Пугающие пророчества о катастрофическом мега-цунами

Скрытая сложность сигналов из черных дыр

Статистический анализ обитаемости экзопланет

Столкнется ли астероид 2024 YR4 с Луной

Стратегии обнаружения океанов на спутниках Урана

Существование близкой экзопланеты подтвердили

Как узнать уникальность текста с помощью нейросети

Время имеет три измерения, а пространство является вторичным

Галогены и судьба лунной коры

Использование ChatGPT может привести к разрушению мозга

Как лучше понять экзотическое состояние вещества

Как менялась поверхность Марса миллиарды лет назад

Марсоход исследует породу в поисках деталей

Метеорит - распространенная аминокислота

Неожиданный минерал в зернах Рюгу

Новое представление о первых звездах

Обсерватория Вера Рубин поможет исследовать темную материю

Первый этап формирования планет после рождения звезды

Поиски сверхлегкой темной материи продолжаются

Распространял ли Пентагон ложные истории об НЛО

Расширенный обзор марсианской ионосферы

Спутники Земли в опасности, если астероид врежется в Луну

Строительство на Марсе - это шаг вперед

Таинственный шар, летящий по небу Альберты

Тайна пропавших метеоритов с Меркурия

Телескоп Джеймса Уэбба обнаружил свою первую экзопланету

У пульсаров могут быть крошечные горы

Астрономы ищут таинственную девятую планету

ВВС США опубликовали новое видео НЛО

Граф Дракула похоронен в Неаполе

ИИ может подорвать навыки критического мышления

Использование космолифта для доставки воды с Цереры

Как темные фотоны могут стать темной материей

Корабль инопланетян летит через Солнечную систему

Криптозоологи поженились на фестивале

Манчестерская одержимость НЛО

Миссури одна из горячих точек НЛО

Необъяснимые наблюдения в небе Северной Каролины

Оборотень замечен в Бридлингтоне

Переписка Пентагона с подрядчиком о НЛО

Посреди ангара стояла настоящая летающая тарелка

Природные НЛО еще более странные и загадочные

Редчайший спрайт заметили над Мексикой

У Вселенной есть кнопка самоуничтожения

Учения помогут понять и избежать конфликтов на Луне

Фотография оборотня, замеченного в лесах Великобритании

Экстраординарная находка внутри Великой пирамиды

Впервые отправили в стратосферу чипированных крыс

Есть ли в океанических мирах зоны, пригодные для жизни

Загадка пластины Эдмонтона

Заклинания, ведуны-целители и охота на ведьм

Заявили об обнаружении могилы Влада Дракулы

ИИ грозит массовыми увольнениями

Как сегодня выглядит место падения Тунгусского метеорита

Маленький шаг к планированию жизни на Марсе

Минерал, которого там не должно быть нашли на Рюгу

Новое исследование о горячих Юпитерах

Новое оружие вызывает отключение электроэнергии

Первый взгляд на экзопланету GJ 504b

План Трампа угрожает космическому превосходству США

Подсчитали количество пригодных для жизни экзопланет

Почему речь политиков при власти становится запутанной

Способность ИИ к пониманию собственных слов

Тайна исчезновения подледного океана Харона

Тайны удивительного Меркурия

Три электрона ведут себя как куча

Экзопланетные системы разнообразны

Актриса делится историей наблюдения НЛО

Величайшее затонувшее сокровище Америки

Величайшие уфологи из Аризоны

Внеземные встречи в Колорадо

Водонапорная башня в стиле НЛО в Иллинойсе

Главные уфологические песни

Его история о похищении в Аризоне стала легендой

Ежегодный рынок поделок на инопланетную тематику

На что похожи корабли инопланетян

НЛО, инопланетяне и неизвестные существа

Осознанные сновидения - уникальное состояние Сознания

Пентагон распространял мифы об НЛО в Зоне 51

Популярные у инопланетян канадские города

Секретная подземная база, управляемая инопланетянами

Странные НЛО беспокоят полицию Аргентины

Странный объект, запечатленный в Массачусетсе

Сфера Мосула, снятая над Ираком

Уфолог выступает в районной библиотеке Брайтона

Уфологические романы об инопланетянах и неизведанном

Ученые озадачены обнаруженным межзвездным объектом

Лечение алкоголизма. Как работает современная наркологическая помощь

Где же самолет Амелии Эрхарт

Дискуссия о вымирание неандертальцев

Звездная система, пропитанная спиртом

Леди встретилась с легендарным чудовищем Несси

Миллионы долларов DARPA выбросило на ветер

НЛО чаще всего наблюдают в Великобритании

Новаторская книга раскрывает секреты НЛО

Новые улики в деле Амелии Эрхарт

Пиктограмма Джокера появилась возле Стоунхенджа

Представлены научные данные о сооружениях под пирамидами

Приостановка регулирования ИИ приведет мир к катастрофе

Путеводитель по событиям в области НЛО

Раскрыли источник загадочного космического импульса

Раскрыт геометрический секрет витрувианского человека

Революционное открытие в Великой пирамиде Египта

Таинственная подземная база инопланетян

Три мозга объединили с помощью одной только мысли

Усилия по принятию закона о раскрытии информации о НЛО

Уфологический фестиваль проходит в Розуэлле

Экзопланета, жаждущая смерти

Гравитационная постоянная - тайна раскрыта!

Апокалиптические астероиды подождут

Атлантида всего в двух милях от побережья Испании

Всемирный день НЛО. История, значение, мероприятия

Галактики, которые мы никогда раньше не видели

Глубинное государство изобрело уфологию

ИИ за пару дней решил загадку супербактерий

Как создать отказоустойчивый квантовый компьютер

Калифорния лидирует по числу наблюдений НЛО

Карьера в области исследований инопланетян

Миссури входит в число уфо-штатов США

Наблюдения НЛО, которые потрясли Индию и весь мир

Необъяснимые наблюдения в небе Вирджинии

Обнаружено самое любимое число ИИ - и это не 42

Обнаружили метеориты с Меркурия

Почему Всемирный день НЛО отмечается 2 июля

Предсказание, что за термоядерным синтезом стоит энергия

Странная история о невидимом мальчике

Странное погодное явление над Португалией

Фиолетовый свет в небе Иордании

Что было замечено в небе Флориды

Экономия с помощью промокодов на Яндекс.Маркете. Как покупать выгодно

Наверх
Яндекс.Метрика