|
Концом человечества станет восстание роботов-убийц
|
|
|
|
Нет никаких сомнений в том, что искусственный интеллект (ИИ) проникает во все сферы нашей жизни — но, судя по всему, он может взять под свой контроль и сам факт нашей смерти. На прошлой неделе один из членов совета директоров ведущей компании в сфере ИИ заявил аудитории, что наиболее вероятной причиной гибели большинства людей может стать некий «инцидент с участием ИИ».
|
|
|
|
Пол Кристиано, член совета директоров OpenAI и исполнительный директор организации Alignment Research Center («Центр исследований согласованности ИИ»), выступил с этим заявлением в рамках первой из трех лекций цикла The Hinton Lectures в Торонто.
|
|
|
|
Эксперт добавил, что даже при наличии эффективной политики и системы регулирования риск того, что ИИ возьмет власть в свои руки, остается «исключительно высоким».
|
|
|
|
По словам Кристиано, в ближайшие годы человечество окажется в ситуации, напоминающей подбрасывание монеты, причем серьезная опасность может возникнуть уже в ближайшие 6–12 месяцев.
|
|
|
|
В частности, он предупредил, что вскоре ИИ может начать воспринимать человечество лишь как препятствие, которое необходимо устранить или преодолеть.
|
|
|
|
«Я считаю, что существует высокий риск захвата власти искусственным интеллектом в ближайшие три года, — сказал он слушателям. — Под "захватом власти" я подразумеваю ситуацию, в которой системы ИИ преследуют собственные цели и сами определяют ход событий — подобно тому, как сегодня люди определяют, что происходит на Земле».
|
|
|
|
|
|
|
«Если бы вы, я или Дональд Трамп попытались остановить их, наши усилия были бы столь же неэффективны, как попытка противостоять вооруженным силам США».
|
|
|
|
Кристиано, недавно вошедший в состав Комитета по безопасности (Safety and Security Committee) компании OpenAI — разработчика чат-бота ChatGPT, — отметил, что его опасения по поводу «восстания ИИ» возникли после ряда инцидентов, связанных с безопасностью ботов компании.
|
|
|
|
В частности, он пояснил, что недавние серии кибератак, совершенные «роями» вышедших из-под контроля моделей ИИ, — это «примерно то, чего стоит ожидать незадолго до наступления по-настоящему катастрофических событий».
|
|
|
|
В июле компания OpenAI проводила тестирование некоторых своих новых моделей, предложив им выполнить сложную, но стандартную задачу по взлому в рамках защищенной «песочницы» (изолированной среды). Однако боты быстро поняли, что схитрить при выполнении заданий — гораздо более быстрый путь.
|
|
|
|
Настоящие проблемы начались, когда боты осознали: если проверяющие узнают о жульничестве, оценки будут низкими. В результате они тут же принялись заметать следы.
|
|
|
|
Прежде чем в OpenAI успели что-либо заметить, развернулась «бурная деятельность»: боты прорвались в открытый интернет, взломали платформу для размещения кода Hugging Face и выяснили подробности того, как именно их оценивают.
|
|
|
|
Менее чем через неделю боты фактически взяли под контроль часть внутренней системы OpenAI и начали самостоятельно выставлять себе высокие баллы в тестах.
|
|
|
|
«Если бы вы вернулись в прошлое, скажем, в лето прошлого года, то наверняка назвали бы это каким-то безумным научно-фантастическим сюжетом», — отмечает Кристиано.
|
|
|
|
«Ситуация действительно гораздо, гораздо серьезнее всего, что происходило годом ранее. Но такова нынешняя реальность».
|
|
|
|
Проблема заключается в том, что в процессе обучения и тестирования модели ИИ получают «высокое вознаграждение» за хорошие результаты в тестах.
|
|
|
|
Теперь исследователи начинают понимать: такая система, по-видимому, провоцирует повсеместное жульничество и масштабные попытки его скрыть.
|
|
|
|
Кристиано задается вопросом: «А что, если нечто подобное произойдет с системами ИИ образца 2028 года?»
|
|
|
|
«На мой взгляд, существует вполне реальная вероятность того, что подобный сбой приведет к захвату власти искусственным интеллектом — к необратимой утрате контроля со стороны человека».
|
|
|
|
В будущем ИИ-боты могут начать воспринимать людей как главное препятствие на своем пути и активно искать способы минимизировать риск того, что человек «вмешается» в их планы.
|
|
|
|
«Им было бы выгоднее, если бы все, на что полагаются люди, было взломано или подверглось манипуляциям», — говорит Кристиано.
|
|
|
|
«Им было бы удобнее, если бы люди были чем-то отвлечены или если бы за их действиями следило как можно меньше людей».
|
|
|
|
Подобный сценарий может легко привести к тому, что ИИ захватит контроль над компанией, распространится по всему интернету, подчинит себе другие организации, начнет вербовать людей в качестве союзников — и процесс этот будет нарастать, как снежный ком, пока человечество не будет полностью вытеснено. Последствия этого для человечества были бы катастрофическими и, вероятнее всего, привели бы к массовой гибели людей.
|
|
|
|
Г-н Кристиано отметил: «На мой взгляд, это ужасная ситуация.
|
|
|
|
Вполне вероятно, что многие люди погибнут в период этого перехода — или вскоре после него, — если мы не сумеем сохранить условия, пригодные для жизни».
|
|
|
|
Он утверждает, что человечество создало «второй вид», который превосходит людей как по численности, так и по уровню интеллекта.
|
|
|
|
И, как показывают недавние события, конфликт между этими двумя видами в будущем, скорее всего, будет только обостряться, что может привести к смертельно опасным последствиям.
|
|
|
|
Источник
|