Как контролировать искусственный интеллект
Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.
Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.
В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.
Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.
Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:
В прошлом неполная и ошибочная оценка человеческих намерений была относительно безвредной только потому, что ей сопутствовали технические ограничения, затруднявшие точную количественную оценку этих намерений. Это только один из многих примеров того, как бессилие человека ограждало нас до сих пор от разрушительного натиска человеческого безрассудства. К сожалению, этот период защищенности быстро подходит к концу.
Мы уже видели, как алгоритмы выбора контента в социальных сетях ради максимальной отдачи от рекламы вызвали хаос в обществе. Если вы считаете максимизацию отдачи от рекламы низкой целью, которой никто не будет добиваться, давайте представим, что поставили перед сверхинтеллектуальной системой будущего высокую цель найти лекарство от рака — в идеале как можно быстрее, потому что каждые 3,5 секунды от рака умирает человек. За считаные часы ИИ-система прочитала всю литературу по биомедицине и рассмотрела миллионы потенциально эффективных, но не протестированных ранее химических соединений. За несколько недель она спровоцировала развитие опухолей разных типов в каждом человеке в мире, чтобы провести клинические испытания этих соединений, поскольку это самый быстрый способ найти лекарство. Приехали!
Если вы предпочитаете решать проблемы защиты окружающей среды, то можете попросить машину справиться с быстрым закислением океанов вследствие высокого содержания углекислоты. Машина разрабатывает новый катализатор, запускающий невероятно быструю химическую реакцию между океаном и атмосферой и восстанавливающий уровень кислотности океанов. К сожалению, в этом процессе расходуется четверть содержащегося в атмосфере кислорода, обрекая нас на медленную мучительную смерть от удушья. Опять приехали!
Подобные апокалипсические сценарии весьма примитивны — пожалуй, от «конца света» и не приходится ждать ничего иного. Во многих сценариях, однако, нас «мало-помалу и незаметно» настигает ментальное удушье. Пролог «Жизни 3.0» Макса Тегмарка довольно подробно описывает сценарий, в котором сверхинтеллектуальная машина постепенно берет экономическую и политическую власть над всем миром, оставаясь, в сущности, необнаруженной. Интернет и машины глобального действия на его основе — уже ежедневно взаимодействующие с миллиардами «пользователей» — являются идеальной средой для увеличения власти машин над людьми.
Я не предполагаю, что поставленная перед такими машинами задача будет из разряда «поработить мир». Более вероятно, это будет максимизация прибыли или вовлеченности, возможно, даже безобидная, на первый взгляд, цель наподобие увеличения показателей в регулярных оценках уровня счастья пользователей или сокращения нашего энергопотребления. Далее, если мы считаем, что наши действия направлены на достижение наших целей, изменить наше поведение можно двумя путями. Во-первых, старым добрым способом — не меняя ожиданий и целей, изменить обстоятельства, например предложив деньги, направив на нас пистолет или взяв измором. Для компьютера это дорогой и трудный путь. Второй способ — изменить ожидания и цели. Это намного проще для машины. Он заключается в том, чтобы поддерживать с вами ежедневный многочасовой контакт, контролировать ваш доступ к информации и обеспечивать значительную часть ваших развлечений в виде игр, телевизионных программ, фильмов и социальных взаимодействий.
Алгоритмы обучения с подкреплением, оптимизирующие переходы по ссылкам в социальных сетях, не способны осмыслить поведение человека. В действительности они даже «не знают» в сколько-нибудь разумном понимании этого слова, что люди существуют. Машинам, понимающим человеческую психологию, убеждения и мотивации, будет относительно легко переориентировать нас в направлениях, увеличивающих степень удовлетворения целям машины. Например, она может снизить наше потребление энергии, убедив нас иметь меньше детей, постепенно — и неизбежно — осуществив мечты философов-антинаталистов, мечтающих полностью исключить тлетворное воздействие человечества на природный мир.
Немного практики, и вы научитесь видеть пути, на которых достижение более или менее фиксированной цели может вылиться в произвольные нежелательные результаты. Один из типичных путей — упустить часть цели, в которой вы действительно заинтересованы. В подобных случаях — как в вышеприведенных примерах — ИИ-система часто будет находить оптимальное решение, которое доводит до крайности то, что для вас важно, но о чем вы забыли упомянуть. К примеру, если вы скажете автономному автомобилю: «Доставь меня в аэропорт максимально быстро!» — и он поймет это буквально, то разгонится до 300 км / ч, и вы окажетесь в тюрьме. (К счастью, автомобили в настоящее время не примут такой запрос.) Если вы говорите: «Доставь меня в аэропорт максимально быстро, не нарушая скоростной режим», — он будет предельно быстро разгоняться и тормозить, чтобы в промежутках двигаться с максимальной скоростью, возможно, даже оттеснять другие машины, чтобы выиграть несколько секунд в толчее на въезде в терминал аэропорта. И так далее. Постепенно вы добавите достаточно оговорок, и движение машины примерно сравняется с поведением опытного водителя, везущего в аэропорт пассажира, который боится опоздать.
Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее.
К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели. В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.
Подробнее читайте:
Рассел, С. Совместимость. Как контролировать искусственный интеллект / Стюарт Рассел ; Пер. с англ. [Натальи Колпаковой] — М.: Альпина нон-фикшн, 2021. — 438 с.
Источник
Меню
Архив материалов
Подписка на новости
Новости криптозоологии
Хроники природных катастроф
Последние новости
26.01.2020 - 06.03.2020 (990)
07.03.2020 - 16.04.2020 (1010)
17.04.2020 - 19.05.2020 (1000)
20.05.2020 - 25.06.2020 (990)
26.06.2020 - 04.08.2020 (995)
05.08.2020 - 16.09.2020 (1005)
17.09.2020 - 26.10.2020 (990)
27.10.2020 - 27.11.2020 (990)
28.11.2020 - 07.01.2021 (990)
08.01.2021 - ...
Последние аномальные новости

В старой церкви живут призраки

Внутри загадочной ломаной пирамиды

Военная разведка США скупает данные о своих гражданах

Вокруг огромных черных дыр могут вращаться тысячи планет

Голикова оценила идею международных ковид-паспортов

Девять НЛО наблюдали в небе над Лас-Вегасом

Женщина годами жила в доме с полтергейстом

Женщина с самым красивым в мире лицом

За тайной Перевала Дятлова

Зафиксировано падение 7 метеоритов одновременно

ИИ готовит и моет посуду

Камера МКС запечатлела эскадрилью НЛО

Катя Лель засняла полет НЛО

Кейт Миддлтон поселилась в доме с привидениями

Контролировать обладающий сверхразумом ИИ невозможно

Кто наблюдает за нами из глубин космоса

Миллиардер объявил награду тем, кто докажет существование жизни после смерти

На Луне могут найти жизнь

Над Нидерландами и Бельгией наблюдали падение метеорита

Оптическая иллюзия с цветом платья телеведущей

Охоту на бигфута предлагают узаконить

Под Брестом заметили гигантский ледяной диск

Почему перед смертью люди видят одни и те же сны

Почему стоит посетить Мавринский майдан

Правительство США ждет астероид или десантные корабли инопланетян

Решили загадку числа 42

Световые столбы над канадским городом

Технологию 5G признали токсичной для человека

Уточнили массы и плотности семи планет системы TRAPPIST-1

Что такое парад планет с научной точки зрения

Охрана и безопасность

Какие двери приобрести для ванной комнаты и кухни

Аэротакси с пассажиром испытали в Лужниках

В Симпсонах нашли предсказание о наряде Камалы Харрис

ВВС США испытают аэротакси в 2021 году

Верная собака шесть дней ждала хозяина перед больницей

Во Фленсбургском метеорите нашли самые старые карбонаты

Все живое эволюционирует в крабов

Вырастили искусственную древесину

Главные метеоритные кратеры Эстонии

Глубина моря Кракена на Титане может достигать 300 метров

Женщина пошла в туалет и родила пятого ребенка

Землю ждет мега-землетрясение, которое затронет все континенты

Мужчина купил морковь и выиграл 12 млн

Мужчина очнулся после семи месяцев комы и получил обвинение в убийстве

Мужчина сорвал джекпот второй раз за 5 лет

На инаугурацию Байдена приходила голограмма Обамы

Нашли систему из шести звезд

Неизвестный сорвал джекпот в миллиард долларов

Обнаружен экзоюпитер без облаков и дымки в атмосфере

Огромного сома поймали возле Лувра

Основная версия происхождения коронавируса

Почерк выдает характер, темперамент и другие черты человека

Представили новую модель формирования планет Солнечной системы

Раскрыты пределы 6G

Растущее лицо счастья заметили на Марсе

Рыболовы поймали редкую щуку-маскинонга

Столетняя женщина ответила на вопрос о секрете долголетия

Существует ли на самом деле темная материя

Существуют невероятно большие черные дыры

Тайна летевшего за самолетом мандалорца

Французам порекомендовали не пользоваться телефонами

В письме 1813 года президенту США говорится о встрече с НЛО

Ведьма рассказала о детях, которые общаются с умершими

Голубых джетов и эльфов сняли с МКС

Два Папы, два президента. Куда катится мир

Демо-версия сдвига полюсов в Казахстане

Женщина сняла домогавшегося ее призрака

Загадочные артефакты нашли на древнем кладбище инков

Зачем Павел Глоба ввязался в большую политику

Казахстанские экстрасенсы опровергли предсказания Нострадамуса на 2021 год

Как КГБ использовал экстрасенсов и колдунов

Каким увидели наступающий год Ванга, Нострадамус и Матрона Московская

Климатическая пушка Китая станет ответом на погодное оружие США

Легенды общежития

Магия в Индонезии как повседневность

Майкрософт запатентовала чат-бота, который будет имитировать покойников

Мистические фото из прошлого, которым трудно найти объяснение

Мужчина нашёл в лесу могилу инопланетянина

Музыкант заявил, что видел НЛО

Оккультисты Аненербе. Что нацисты искали в СССР

Паранормальная Бурятия 2020

Пассажир самолёта запечатлел НЛО

Предлагается построить колонию на орбите Цереры

Предсказания ясновидящих о смещении полюсов сбываются

Призрак в заброшенной психбольнице

Секрет экстрасенсов нашли в детских переживаниях

Скелет инопланетянина оказался останками девочки

Суперспособности, которые есть у каждого родителя

Треугольный НЛО пролетел над Нью-Йорком

Финалистка Битвы экстрасенсов сделала предсказание на 2021 год

Что предсказал известный экстрасенс из Балакова

Выгодная скупка и утилизация бытовой техники

Водитель снял огни пролетающего над машиной НЛО

Девушка на Google Maps нашла чёрную дыру

Девушка сделала тест ДНК и нашла отца-миллиардера

Девушка сняла танец с привидением

Жизнь на Земле - случайность и удача

Звезда Смерти обнаружена у загадочной звезды

Мужчина переехал жить на отдаленный остров

На Марсе обнаружили следы множества ледниковых периодов

Нашли систему из двух карликов и экзопланеты

Обнаружили перья в короне Солнца

Певица рассказала о полтергейсте в квартире

Победитель Битвы экстрасенсов высказался о смерти Михаила Виноградова

Получили снимок колыбели каменистой экзопланеты

Разгадка тайны Лох-Несского чудовища

Разгадка тайны появления геоглифов Наски

Тартесс - очередная загадка истории

Увидели рождение новых лун у экзопланеты

Украинская чупакабра снова открыла кровавую охоту

Что видят люди после клинической смерти

Экстрасенс рассказал о способностях детей к ясновидению

Автомобильные номера с числом 39 запретили в Афганистане

Актриса сняла НЛО средь бела дня

Женщина раскрыла секрет долголетия

Житель Таиланда нашел дорогой кусок амбры

Землю передвинули на новую временную линию

Из мочевого пузыря женщины вытащили огромный камень

Иллюминаты. Заговор Просвещённых

Инопланетная цивилизация захватила Землю еще до нашей эры

Истории из новых рассекреченных документов ЦРУ

Как дожить до 100 лет

Кости динозавров на Луне

Мёртвая женщина потратила 3 года на доказательство обратного

Овчарка родила зелёного щенка

Описали способ получения энергии из черных дыр

Помогает ли медитация от стресса

Почему медиумы слышат духов

Почему у древних статуй отсутствуют носы

Разработали прибор для поиска драгметаллов на Луне и Марсе

Создан новый тип мяса из пробирки

Тайна Семи сестер созвездия Тельца

В Госдуме заявили о необходимости ковидных паспортов в России

В одном из потоков Млечного пути одновременно родились 468 звезд

Впервые наблюдали начало конца далекой галактики

Женщина нашла отправленное 16 лет назад послание в бутылке

Женщина пережила остановку сердца и рассказала о загробной жизни

Нашли древний папирус Книги мертвых и сотни других артефактов

Небо над Финляндией стало шокирующе зеленым

Никола Тесла и Маркони подслушали послания марсиан

Почему некоторые люди слышат мертвых

Почему пираты закрывали глаз повязкой

Приближается астероид или началась космическая война

Продвинутые древние существа из недр Земли

Разработчики игры предвидели будущее

Родился ребенок с антителами против коронавируса

Скалолаз на инвалидной коляске залез на небоскреб

Согласно легенде, шесть воронов должны охранять Лондонский Тауэр

Уникально легкая экзопланета

Упавший на жилой дом метеорит оказался полон сюрпризов

Четырех друзей напугал бигфут

Чудесный меч Жанны д'Арк

Актриса раскрыла секрет долголетия

Бигфута заметили в Канаде

Британцев официально готовят к Зомби-апокалипсису

Быстрый большой НЛО заметили в Северной Каролине

Встреча военного вертолета ВВС США с НЛО

Зачем Байдену дорисовали нимб

Ирландский политик стал свидетелем НЛО

Как сделать человека невидимым

Какие домашние животные вам подходят

Крупный метеорит взорвался над Испанией

Легенда о призрачном коте, живущем в подземельях Капитолия

Миф о влиянии 5G на распространение коронавируса

Нашли необъяснимую звезду

Несколько НЛО вошли в земную атмосферу над Пуэрто-Рико

Плотность астероидов на орбите Земли нарастает

Полеты с Ангелами. Необычная история Чарльза Линдберга

Создали рыб-роботов, которые умеют плавать косяками

Таинственное излучение указало на существование Новой физики

Третий глаз, чакра Аджна и энергетика человека

Фантастические небоскребы будущего

Чем можно вывести запах гари после пожара

Улетный криминальный сериал - Премьера

Артефакты времён исчезнувшей культуры Тиуанако

Боевой робот Type-X проходит полевые испытания

Водительские права хотят заменить на QR-коды

Города-призраки Казахстана

ИИ научился распознавать политическую ориентацию по фото

Как работает невозможный детонационный двигатель

Как ученые превратили водород в металл

Компания SpaceX вернет на Землю вино космической выдержки

Можно ли продлить жизнь в 5 раз

Оружие будущего. Чем собирается воевать армия США

Откуда пошло распространение COVID-19

Подписка на новости
Подписка на новостой RSS-канал сайта
Получать новости сайта по почте
Контактный адрес для любых сообщений
Наверх
Рейтинг@Mail.ru Яндекс.Метрика