Как контролировать искусственный интеллект
Конфликт сверхразумного искусственного интеллекта с человечеством — излюбленный сюжет массовой культуры. Но что произойдет, если мы в самом деле создадим ИИ, который будет могущественнее нас? В книге «Совместимость. Как контролировать искусственный интеллект» (издательство «Альпина нон-фикшн»), переведенной на русский язык Натальей Колпаковой, исследователь ИИ Стюарт Рассел рассказывает, где мы уже используем искусственный интеллект и как не допустить его выхода из-под контроля. N + 1 предлагает своим читателям ознакомиться с отрывком, в котором автор рассуждает, почему после исчезновения технических ограничений человек рискует поставить ИИ задачу, выполнение которой обернется трагедией — и что необходимо сделать, чтобы этого не допустить.
Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.
В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ», аннотация на обложке которой гласит: «“Механический мозг” и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде». Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.
Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.
Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.:
В прошлом неполная и ошибочная оценка человеческих намерений была относительно безвредной только потому, что ей сопутствовали технические ограничения, затруднявшие точную количественную оценку этих намерений. Это только один из многих примеров того, как бессилие человека ограждало нас до сих пор от разрушительного натиска человеческого безрассудства. К сожалению, этот период защищенности быстро подходит к концу.
Мы уже видели, как алгоритмы выбора контента в социальных сетях ради максимальной отдачи от рекламы вызвали хаос в обществе. Если вы считаете максимизацию отдачи от рекламы низкой целью, которой никто не будет добиваться, давайте представим, что поставили перед сверхинтеллектуальной системой будущего высокую цель найти лекарство от рака — в идеале как можно быстрее, потому что каждые 3,5 секунды от рака умирает человек. За считаные часы ИИ-система прочитала всю литературу по биомедицине и рассмотрела миллионы потенциально эффективных, но не протестированных ранее химических соединений. За несколько недель она спровоцировала развитие опухолей разных типов в каждом человеке в мире, чтобы провести клинические испытания этих соединений, поскольку это самый быстрый способ найти лекарство. Приехали!
Если вы предпочитаете решать проблемы защиты окружающей среды, то можете попросить машину справиться с быстрым закислением океанов вследствие высокого содержания углекислоты. Машина разрабатывает новый катализатор, запускающий невероятно быструю химическую реакцию между океаном и атмосферой и восстанавливающий уровень кислотности океанов. К сожалению, в этом процессе расходуется четверть содержащегося в атмосфере кислорода, обрекая нас на медленную мучительную смерть от удушья. Опять приехали!
Подобные апокалипсические сценарии весьма примитивны — пожалуй, от «конца света» и не приходится ждать ничего иного. Во многих сценариях, однако, нас «мало-помалу и незаметно» настигает ментальное удушье. Пролог «Жизни 3.0» Макса Тегмарка довольно подробно описывает сценарий, в котором сверхинтеллектуальная машина постепенно берет экономическую и политическую власть над всем миром, оставаясь, в сущности, необнаруженной. Интернет и машины глобального действия на его основе — уже ежедневно взаимодействующие с миллиардами «пользователей» — являются идеальной средой для увеличения власти машин над людьми.
Я не предполагаю, что поставленная перед такими машинами задача будет из разряда «поработить мир». Более вероятно, это будет максимизация прибыли или вовлеченности, возможно, даже безобидная, на первый взгляд, цель наподобие увеличения показателей в регулярных оценках уровня счастья пользователей или сокращения нашего энергопотребления. Далее, если мы считаем, что наши действия направлены на достижение наших целей, изменить наше поведение можно двумя путями. Во-первых, старым добрым способом — не меняя ожиданий и целей, изменить обстоятельства, например предложив деньги, направив на нас пистолет или взяв измором. Для компьютера это дорогой и трудный путь. Второй способ — изменить ожидания и цели. Это намного проще для машины. Он заключается в том, чтобы поддерживать с вами ежедневный многочасовой контакт, контролировать ваш доступ к информации и обеспечивать значительную часть ваших развлечений в виде игр, телевизионных программ, фильмов и социальных взаимодействий.
Алгоритмы обучения с подкреплением, оптимизирующие переходы по ссылкам в социальных сетях, не способны осмыслить поведение человека. В действительности они даже «не знают» в сколько-нибудь разумном понимании этого слова, что люди существуют. Машинам, понимающим человеческую психологию, убеждения и мотивации, будет относительно легко переориентировать нас в направлениях, увеличивающих степень удовлетворения целям машины. Например, она может снизить наше потребление энергии, убедив нас иметь меньше детей, постепенно — и неизбежно — осуществив мечты философов-антинаталистов, мечтающих полностью исключить тлетворное воздействие человечества на природный мир.
Немного практики, и вы научитесь видеть пути, на которых достижение более или менее фиксированной цели может вылиться в произвольные нежелательные результаты. Один из типичных путей — упустить часть цели, в которой вы действительно заинтересованы. В подобных случаях — как в вышеприведенных примерах — ИИ-система часто будет находить оптимальное решение, которое доводит до крайности то, что для вас важно, но о чем вы забыли упомянуть. К примеру, если вы скажете автономному автомобилю: «Доставь меня в аэропорт максимально быстро!» — и он поймет это буквально, то разгонится до 300 км / ч, и вы окажетесь в тюрьме. (К счастью, автомобили в настоящее время не примут такой запрос.) Если вы говорите: «Доставь меня в аэропорт максимально быстро, не нарушая скоростной режим», — он будет предельно быстро разгоняться и тормозить, чтобы в промежутках двигаться с максимальной скоростью, возможно, даже оттеснять другие машины, чтобы выиграть несколько секунд в толчее на въезде в терминал аэропорта. И так далее. Постепенно вы добавите достаточно оговорок, и движение машины примерно сравняется с поведением опытного водителя, везущего в аэропорт пассажира, который боится опоздать.
Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее.
К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели. В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.
Подробнее читайте:
Рассел, С. Совместимость. Как контролировать искусственный интеллект / Стюарт Рассел ; Пер. с англ. [Натальи Колпаковой] — М.: Альпина нон-фикшн, 2021. — 438 с.
Источник
Последние аномальные новости

Аорту признали самостоятельным органом

В нашей Вселенной нет темной материи

В Томске встретили черного снегиря

Вулканизма на дне океана Европы нет

Вулканы Марса

Гелий-3 собрались добывать на Луне

ИИ открыл 30 000 спиральных галактик

Как в Бразилии появился свой Розуэлл

Мужчина прожил 39 лет и 100 дней с пересаженным сердцем

Научный сотрудник усомнился в прогнозе коллеги

Новый метод поиска светлой темной материи

Сейсмолог-любитель предрекает мегаземлетрясение

Секреты того, как рождаются планеты

Теплый Юпитер обнаружен у далекой звезды

Удивительные открытия о селевых потоках на Марсе

Фотоноподобные электроны в четырехмерном мире

Цыганский пророк предрек пугающие события

Частицы с одинаковым зарядом притянулись друг к другу

Что климат Арракиса может рассказать нам об экзопланетах

Шарики на морском дне порождены астероидом

Бюджет космических сил США превышает бюджет НАСА

В школе на юге Индии начал работу первый робот-учитель

Воспроизвели ключевой процесс эволюции жизни

Вслед за теленком-клоном могут появиться копии собак

Гигантский вулкан обнаружен на Марсе

Голубая спираль появилась посреди северного сияния

Древний лед может существовать на космических объектах

ИИ помогает определить происхождение тяжелых элементов

Испытывают ли астронавты космические головные боли

Набор зеркал для фокусировки сверхмощных лазеров

Найден способ определять опасные предметы в толпе

НЛО упал в неба в Йорке

Новый минерал открыли в Карелии

Объяснение нитки жемчуга вокруг сверхновой

Пентагон нарушил свое молчание по поводу НЛО

Пентагон публикует новые данные об НЛО

Попробовали бы вы пирог с питоном

Правительство использует дипфейки

Пролетая сквозь шлейфы Энцелада

Редкое явление переноса озона из стратосферы к Земле

Система ИИ для ускорения верификации информации

Скайнет в реальной жизни

Тайна татуировок ледяного человека Эци

Терминаторов обвинят в гибели гражданского населения

Топливозаправщик для спутников с ионными двигателями

Уникальный материал для создания лазеров

Уфологи собрались в Олдхэме

Шеф-повар приготовит еду на орбите

Этанол и другие ингредиенты для молодых миров

Я был похищен инопланетянами в 90-х годах

Белый дом рекомендовал отказаться от C и C++

Более точное понимание темной энергии

В NVIDIA появился отдел исследования сильного ИИ

ВВС США зафиксировали НЛО в Северной Дакоте

Вояджер-1 продолжает слать на Землю бессмысленные сигналы

Все ведущие ИИ нарушают авторские права

Запад США - страна НЛО

ИИ Microsoft Copilot возомнил себя властелином мира

ИИ не угрожает рабочим местам из-за высокой стоимости

ИИ стал для Apple самым серьёзным вызовом

Исследователь выходит за рамки уфо-событий 1966 года

Камера темной энергии запечатлела остатки массивной звезды

Кладбище пришельцев. Шокирующая правдивая история

Максимальная масса невращающейся нейтронной звезды

Молодая Вселенная быстро росла

Новая теория, объясняющая рябь на песках Марса

Определен лучший регион для обнаружения НЛО

Отчет Пентагона об НЛО требует вмешательства Конгресса

Палата представителей должна создать подкомитет по НЛО

Последние сообщения о наблюдениях НЛО в Мэриленде

Рельсотронная катапульта для запуска космопланов

Робот-гуманоид Unitree Robotics H1 установил рекорд скорости

Следующая пандемия уже наступила для дикой природы

Сложная химия в холодных глубинах космоса

Суд обязал NSO поделиться кодом шпионского ПО Pegasus

Телескоп LIFE обнаружил биосигналы на Земле

Телескоп Кондор открывает новый мир для астрофизиков

Трудный путь поисков жизни на Марсе

Хакеры могут взломать мозговой чип Neuralink

Этанол и другие ингредиенты жизни нашли в туманности

Аэрокосмические исследования Аэрофлота

Барханы и линейные дюны Марса

В Аризоне высокий уровень наблюдений НЛО

В документе ЦРУ говорится о быстрых летающих тарелках

В Перуанских Андах обнаружен древний мегалит

Интернет стал расскадником теорий заговора

Как долго инопланетяне будут пытаться связаться с нами

Как космонавт Георгий Гречко НЛО искал

Как раскрывать преступления в космосе

Космонавт оценил перспективу встречи с НЛО

Метеобюро Шотландии объясняет НЛО-облака

Метеорит пролил свет на взрыв из далекого прошлого

Милиционер, державший в холодильнике Алешеньку

На Приморье впервые обрушился огненный смерч

Наблюдения НЛО в районе Ярдли

Ожидаются гигантская комета и экокатастрофы

Разрабатывают искусственные строительные блоки жизни

Расширение Вселенной - загадка остается нерешенной

Секретной работы над инопланетными технологиями нет

Спутник Юпитера Европа производит мало кислорода

Стенограмма закрытого брифинга директора AARO

Титан является испытательным полигоном для метана

Устранение рисков, связанных с ИИ в научных исследованиях

Феномен огней Финикса все еще не разгадан

Череда странных происшествий в Мичигане

Что ждет Россию в високосном году

Что предсказывал Нострадамус России на 2024 год

Экзопланета обречена врезаться в свою звезду

Эксперты обвиняют правительство в искажении правды

Ясновидящая почистила клиентку на 67 млн рублей

Загадка богатой азотом галактики

ИИ доверили сеть железных дорог Китая

Искусственный интеллект назначает встречу в космосе

Как голландская деревня стала одержима НЛО

Как лучше всего упаковать вещи для полета в космос

Наблюдения НЛО в Западном Мичигане

Наблюдения НЛО над штатом Нью-Джерси

Никаких свидетельств сокрытия НЛО не обнаружено

Новое образование на кипящей поверхности Бетельгейзе

Облако НЛО привлекло внимание жителей Окленда

Огни Феникса стали легендой Аризоны

Пентагон одной рукой дает, а другой забирает

Разгадываем тайну оклахомского НЛО

Сеть небольших луноходов готова к запуску

Сокрытие фактов об НЛО рассмотрено в отчете Пентагона

Струя газа в атмосфере Юпитера колеблется раз в 4 года

США предлагает объяснение наблюдений НЛО

Таинственный монолит заметили на уэльском холме

Уфо-лоббист из Вашингтона опровергает отчет Пентагона

Человеческая моча стимулирует рост фасоли на Марсе

2024 год зеленого деревянного дракона, что нам несет

Реставрация зубов. Особенности и этапы

Звезда, разорванная на части черной дырой

ИИ для обнаружения скрытого космического мусора

ИИ, отслеживающий эмоции работников

Крупнейшая в мире конференция на тему НЛО

Лазерное оружие DragonFire показали в действии

Министерство обороны разрабатывает систему Гремлин

Новая порция данных об НЛО

Обнаружили старейшую мертвую галактику

Отчет Пентагона об НЛО вызывает много вопросов

Пентагон не скрывает технологии НЛО

Пентагон раскрыл новую систему наблюдения Гремлин

План Пентагона по реинжинирингу технологий НЛО

Последние наблюдения НЛО в Массачусетсе

Правительство США прячет тела инопланетян

Правительство США хотело реконструировать НЛО

Прокурор города Рок-Спрингс снял НЛО

Таинственные различия между живыми клетками

Телепортирующийся НЛО с оранжевыми огнями

Турист нашел таинственный серебряный монолит

Чем на самом деле является большинство НЛО

Британские охотники за НЛО вызвали инопланетный корабль

Гавайи - горячая точка для наблюдений НЛО

Где в нашей Солнечной системе может скрываться жизнь

Датчики Гремлин помогут выявлять аномалии на орбите

Доказательств существования инопланетян нет

Заявления о наблюдениях НЛО опровергнуты

Интригующие заявления Пентагона об НЛО

Китай клонирует пару тибетских коз

Китай установит на Луне всевидящую систему наблюдения

Майли Сайрус вступала в контакт с инопланетянином

Наблюдения НЛО были ошибочной идентификацией

Надежды найти жизнь на Европе рухнули

Нет никаких свидетельств инопланетных технологий

Нет никаких свидетельств контактов с инопланетянами

НЛО были ошибочно идентифицированы

Отчет Пентагона развенчивает мифы об НЛО

Официальные лица правительства США незнают о НЛО

Полиция Розуэлла представила новые нашивки с НЛО

Полное отсутствие доказательств существования НЛО

Уфолог вызвал инопланетный космический корабль

Риелторское агентство. Плюсы сотрудничества

Большинство НЛО были обычными объектами

Виновата ли Тейлор Свифт в теории заговора о соцсетях

Доказательств присутствия инопланетян не обнаружено

ИИ для ультразвукового исследования астронавтов

Инопланетяне или военная техника

Искусство ИИ и креативность человека

Как превратить Марс в пригодный для жизни мир

Миссия Кеплер позволила открыть тысячи экзопланет

Многие наблюдения НЛО были военными испытаниями

Мумифицированный плод может быть инопланетянином

Мы никогда не видели НЛО и не работали с их технологиями

Очень странное поведение электронов

Пентагон не нашел инопланетных технологий

Подписка на новости
Наверх
Яндекс.Метрика