ИИ легко может уничтожить человечество
Группа инсайдеров OpenAI сообщает о том, что, по их словам, в компании по искусственному интеллекту из Сан-Франциско царит культура безрассудства и секретности, которая стремится создать самые мощные системы искусственного интеллекта из когда-либо созданных. Группа, в которую входят девять нынешних и бывших сотрудников OpenAI, в последние дни объединилась вокруг общих опасений, что компания не сделала достаточно для предотвращения того, чтобы ее системы искусственного интеллекта становились опасными. Участники говорят, что OpenAI, которая начиналась как некоммерческая исследовательская лаборатория и привлекла всеобщее внимание с выпуском ChatGPT в 2022 году, ставит во главу угла прибыль и рост, пытаясь создать искусственный интеллект общего назначения, или A.G.I., отраслевой термин, обозначающий компьютерную программу, способную делать все, что под силу человеку. Они также утверждают, что OpenAI использовала жесткую тактику, чтобы помешать работникам высказывать свои опасения по поводу технологии, включая ограничительные соглашения о неразглашении, которые увольняющихся сотрудников просили подписать.
“OpenAI действительно заинтересована в создании A.G.I., и они безрассудно стремятся быть в этом первыми”, - сказал Даниэль Кокотайло, бывший научный сотрудник отдела управления OpenAI и один из организаторов группы. Во вторник группа опубликовала открытое письмо, в котором призвала ведущие ИИ-компании, включая OpenAI, обеспечить большую прозрачность и усилить защиту информаторов. Среди других участников - Уильям Сондерс, инженер-исследователь, покинувший OpenAI в феврале, и трое других бывших сотрудников OpenAI: Кэрролл Уэйнрайт, Джейкоб Хилтон и Дэниел Зиглер. По словам г-на Кокотайло, несколько нынешних сотрудников OpenAI анонимно подписали это письмо, поскольку опасались мести со стороны компании. Один нынешний и один бывший сотрудник Google DeepMind, центральной лаборатории искусственного интеллекта Google, также подписали.
Пресс-секретарь OpenAI Линдси Хелд (Lindsey Held) заявила в своем заявлении: “Мы гордимся тем, что предоставляем самые эффективные и безопасные системы искусственного интеллекта, и верим в наш научный подход к устранению рисков. Мы согласны с тем, что тщательное обсуждение имеет решающее значение, учитывая важность этой технологии, и мы продолжим взаимодействовать с правительствами, гражданским обществом и другими сообществами по всему миру”. Представитель Google отказался от комментариев. Кампания началась в трудный для OpenAI момент. Компания все еще не оправилась от прошлогодней попытки государственного переворота, когда члены правления компании проголосовали за увольнение Сэма Альтмана, исполнительного директора, из-за опасений по поводу его откровенности. Мистера Альтмана вернули несколько дней спустя, и правление пополнилось новыми членами.
Компания также сталкивается с судебными тяжбами с создателями контента, которые обвиняют ее в краже защищенных авторским правом работ для обучения своих моделей. (В прошлом году газета New York Times подала в суд на OpenAI и ее партнера Microsoft за нарушение авторских прав.) А недавняя презентация гиперреалистичного голосового помощника была омрачена публичной перепалкой с голливудской актрисой Скарлетт Йоханссон, которая заявила, что OpenAI имитировал ее голос без разрешения. Но ничто так не прижилось, как обвинения в том, что OpenAI слишком беспечно относится к безопасности. В прошлом месяце два старших исследователя в области искусственного интеллекта - Илья Суцкевер и Ян Лейке - покинули OpenAI в мрачном настроении. Доктор Суцкевер, который входил в совет директоров OpenAI и голосовал за увольнение мистера Альтмана, поднял тревогу по поводу потенциальных рисков, связанных с мощными системами искусственного интеллекта. Некоторые сотрудники, заботящиеся о безопасности, восприняли его уход как неудачу.
Так же, как и уход доктора Лейке, который вместе с доктором Суцкевером возглавлял команду OpenAI “superalignment”, которая занималась управлением рисками, связанными с мощными моделями искусственного интеллекта. В серии публичных сообщений о своем уходе доктор Лейке заявил, что, по его мнению, “культура безопасности и технологические процессы отошли на второй план по сравнению с блестящими продуктами”. Ни доктор Суцкевер, ни доктор Лейке не подписали открытое письмо, написанное бывшими сотрудниками. Но их уход побудил других бывших сотрудников OpenAI высказаться. “Когда я подписывался на OpenAI, я не придерживался такого подхода: ”Давайте выпустим что-то в мир, посмотрим, что произойдет, а потом исправим это", - сказал мистер Сондерс. Некоторые из бывших сотрудников связаны с "эффективным альтруизмом", движением, вдохновленным утилитаризмом, которое в последние годы стало заниматься предотвращением угроз существованию со стороны ИИ. Критики обвинили движение в продвижении сценариев конца света в отношении технологии, таких как представление о том, что вышедшая из-под контроля система ИИ может захватить власть. и уничтожит человечество.
31-летний г-н Кокотайло присоединился к OpenAI в 2022 году в качестве исследователя в области управления, и его попросили спрогнозировать прогресс в области искусственного интеллекта. Он, мягко говоря, не был настроен оптимистично. На своей предыдущей работе в организации по безопасности ИИ он предсказал, что ИИ может появиться в 2050 году. Но, увидев, как быстро совершенствуется ИИ, он сократил сроки. Теперь он считает, что существует 50-процентная вероятность того, что A.G.I. появится к 2027 году - всего через три года. Он также считает, что вероятность того, что продвинутый ИИ уничтожит или катастрофически навредит человечеству - мрачная статистика, которую в кругах ИИ часто сокращают до “п” (гибель), - составляет 70 процентов. В OpenAI г-н Кокотайло увидел, что, несмотря на наличие в компании протоколов безопасности, в том числе совместных с Microsoft усилий, известных как “совет по безопасности развертывания”, который должен был проверять новые модели на предмет серьезных рисков перед их публичным выпуском, они редко приводили к замедлению работы.
Например, по его словам, в 2022 году Microsoft начала негласное тестирование в Индии новой версии своей поисковой системы Bing, которая, по мнению некоторых сотрудников OpenAI, содержала неизданную на тот момент версию GPT-4, самой современной модели большого языка OpenAI. Г-н Кокотайло сказал, что ему сказали, что Microsoft разработала новую версию поисковой системы Bing. не получив одобрения совета по безопасности перед тестированием новой модели, и после того, как совет узнал об испытаниях - из серии отчетов о странном поведении Bing по отношению к пользователям, - это не помешало Microsoft внедрить ее более широко. Представитель Microsoft Фрэнк Шоу (Frank Shaw) первоначально опроверг эти утверждения. Он сказал, что в тестах в Индии не использовался GPT-4 или какие-либо другие модели OpenAI. По его словам, впервые Microsoft выпустила технологию, основанную на GPT-4, в начале 2023 года, и она была рассмотрена и одобрена предшественником совета по безопасности.
После публикации этой статьи Microsoft отменила свое опровержение и подтвердила утверждения г-на Кокотайло. Во втором заявлении г-н Шоу сказал: “После дополнительных исследований мы обнаружили, что Bing действительно выполнил небольшой полет, в котором были использованы результаты ранней версии модели, которая в конечном итоге стала GPT-4”. Он добавил, что испытания не были предварительно рассмотрены советом по безопасности, хотя позже они получили одобрение. В конце концов, по словам г-на Кокотайло, он так забеспокоился, что в прошлом году сказал г-ну Альтману, что компании следует “переключиться на безопасность” и тратить больше времени и ресурсов на защиту от рисков, связанных с ИИ, вместо того, чтобы стремиться к совершенствованию своих моделей. Он сказал, что мистер Альтман утверждал, что согласен с ним, но ничего особо не изменилось. В апреле он уволился. В электронном письме к своей команде он написал, что уходит, потому что “потерял уверенность в том, что OpenAI будет вести себя ответственно", поскольку его системы приближаются к интеллекту на уровне человека.
“Мир не готов, и мы не готовы”, - написал г-н Кокотайло. “И я обеспокоен тем, что мы, несмотря ни на что, движемся вперед и рационализируем свои действия”. На прошлой неделе OpenAI заявила, что приступила к обучению новой флагманской модели искусственного интеллекта и что она формирует новый комитет по охране и безопасности для изучения рисков, связанных с новой моделью и другими будущими технологиями. Уходя, г-н Кокотайло отказался подписать стандартные документы OpenAI для увольняющихся сотрудников, которые включали в себя строгое условие о неразглашении, запрещающее им высказываться негативно о компании, в противном случае они рискуют лишиться своего собственного капитала. Многие сотрудники могли потерять миллионы долларов, если бы отказались подписывать соглашение. По словам г-на Кокотайло, его собственный капитал составлял примерно 1,7 миллиона долларов, что составляло значительную часть его чистого капитала, и он был готов полностью отказаться от него.
(Небольшой скандал разразился в прошлом месяце после того, как Vox сообщил новости об этих соглашениях. В ответ OpenAI заявила, что никогда не отбирала у бывших сотрудников права собственности и не будет этого делать. Г-н Альтман сказал, что он “искренне смущен” тем, что не знал об этих соглашениях, и компания заявила, что уберет положения о неразглашении из своей стандартной документации и освободит бывших сотрудников от их соглашений..) В своем открытом письме г-н Кокотайло и другие бывшие сотрудники OpenAI призывают прекратить использование соглашений о неразглашении в OpenAI и других компаниях с искусственным интеллектом. “Широкие соглашения о конфиденциальности не позволяют нам высказывать наши опасения, за исключением тех компаний, которые, возможно, не в состоянии решить эти проблемы”, - пишут они. Они также призывают ИИ-компании “поддерживать культуру открытой критики” и внедрить процедуру отчетности, позволяющую сотрудникам анонимно высказывать опасения, связанные с безопасностью. Они наняли бесплатного юриста Лоуренса Лессига, известного ученого-юриста и активиста. Г-н Лессиг также консультировал Фрэнсис Хоген, бывшую сотрудницу Facebook, которая стала разоблачителем и обвинила эту компанию в том, что она ставит прибыль выше безопасности.
В одном из интервью г-н Лессиг сказал, что, хотя традиционные меры защиты от информаторов обычно применяются к сообщениям о незаконной деятельности, сотрудникам ИИ-компаний важно иметь возможность свободно обсуждать риски и потенциальный вред, учитывая важность технологии. “Сотрудники - это важная линия защиты безопасности, и если они не смогут говорить свободно, не опасаясь возмездия, этот канал будет закрыт”, - сказал он. Г-жа Хелд, пресс-секретарь OpenAI, заявила, что у компании есть “возможности для сотрудников выразить свои опасения”, включая анонимную горячую линию по вопросам добросовестности. Г-н Кокотайло и его группа скептически относятся к тому, что одного саморегулирования будет достаточно, чтобы подготовиться к миру с более мощными системами искусственного интеллекта. Поэтому они призывают законодателей также регулировать отрасль. “Должна быть какая-то демократически подотчетная, прозрачная структура управления, отвечающая за этот процесс", - сказал г-н Кокотайло. “Вместо того, чтобы просто несколько разных частных компаний соревновались друг с другом и держали все в секрете”.
Автор: Кевин Русе
Источник
При использовании материалов с сайта активная ссылка на него обязательна
Последние аномальные новости

Астероид Рюгу позволяет заглянуть в наше прошлое

Безопасные марсианские пещеры для будущих колонистов

Вонючая экзопланета со смертоносным стеклянным дождем

Гипотетический сценарий столкновения с астероидом

Горячие точки, связанные с НЛО, по всему миру

Идеальное место для жизни за пределами Солнечной системы

ИК-свечение на Юпитере вызвано темной материей

Как растут и эволюционируют черные дыры

Лунные вихри могут быть намагничены невидимой магмой

НАСА публикует два документа по архитектуре Луна-Марс

Небесный фейерверк вокруг формирующейся звезды

Неуловимые космические плазмоиды

Неуместные Артефакты продолжают появляться

Обнаружили необычную радиогалактику

Правительство США скрывает важную информацию о НЛО

Пустынный мох может вырасти на Марсе

Ровер-адьютант для прогулок по Луне

Тайна удивительно слабых радиационных поясов Урана

Успешно завершено имитационное путешествие на Марс

Форма гало из темной материи Млечного Пути

Астероидные породы раскрывают тайны Солнечной системы

Биоразлагаемая электроника развивается

Выращивания гороха в искусственной марсианской почве

Гигантский НЛО с зелеными огнями, пролетел над Ираном

Животные из Царства Теней

Земля окружена барьером от вторжения инопланетянам

ИИ поможет определить предел текучести металлов

Картографирование Марса с использованием открытой науки

Китаец попытался повторить подвиг Железного человека

На Марс ежедневно падают метеориты

Новые результаты добавляют загадочности нейтрино

Обнаружено дело Паскагулы в архиве APRO

Потрясающая инфографика об экзопланетах

Причина появления НЛО рядом с ядерными объектами

Происхождение лунного металлического железа

Самая посещаемая привидениями школа Британии

Сигарообразный НЛО замечен в приморском городке

Состоялась беседа ученых об уфологических технологиях

Тест парашютных сенсоров для посадки на Марс

Что знают президенты о НЛО, но не говорят о них вслух

Польза масла амаранта холодного отжима

Взять кредит под залог доли в квартире. Надежное и доступное решение

Срочный выкуп недвижимости. Решение финансовых проблем за несколько дней

Нержавеющая надежность. Фитинги WERK для вашего бизнеса

Джейрахско-Ассинский заповедник. Великолепие природы и истории Ингушетии

Самые популярные промокоды Магнит Маркет от сайта Garpo.ru

Бигфута со светящимися глазами заметили в лесу Луизианы

Выращивание местообитаний в космосе из грибов

Женщина рассказала о внетелесном опыте

Крошечные яркие объекты на заре Вселенной ставят в тупик

Метеороиды падают на Марс чаще, чем считалось

Мы ближе, чем когда-либо, к ответу

НЛО в форме пивной банки пролетел мимо корабля НАСА

НЛО изучают самолеты, боеголовки и ядерные реакторы

НЛО с красными огнями преследовали копы

Обнаружили два новых спутника нашей галактики

Один инопланетянин выжил при крушении в Розуэлле

Первое сообщение о наблюдении летающей тарелки

Подростки заметили бигфута на юге Луизианы

Расшифрована разница в плотности субнептуновых объектов

Создали улыбающегося робота с живой кожей

Существуют ли инопланетяне на самом деле

Тайна происхождения протозвездной системы

Точная дата конца человечества, предсказанная Бабой Вангой

Черный инопланетянин, увлекающийся модификацией тела

Что вы можете увидеть во время наблюдения за небом

Возрождение маленького городка с помощью инопланетян

Загадка камня с человеческим лицом

Из музея в Розуэлле украли артефакт

Известные сыктывкарцы рассказали о НЛО

Как выглядят ангелы согласно Библии

Как карма наказывает людей

Кировчане рассказали о встречах с необъяснимым

Китай испытает систему планетарной обороны

Маленький домовой за диваном

Насколько быстрее на Луне идет время

Необходимо провести дополнительные исследования в Розуэлле

НЛО в небе над Нижневартовском

Новый инструмент для моделирования материалов

Почему НЛО преследуют самолеты и боеголовки

Пролили свет на тайну антикитерского механизма

Страшные предсказания экстрасенса Саломе

Тайна временных провалов

Умершие близкие могут навещать нас

Человечество находится на пороге третьей мировой

Что погубило древние цивилизации

В Розуэлле еще многое предстоит сделать науке

Впечатляющие 'Столпы творения'

Загадочное происхождение сердцебиений мертвых звезд

Загадочные сумки Богов

Крупнейший фестиваль НЛО прошел в Розуэлле

Метеоритный дождь стал причиной коллапса Бронзового века

Мох может сделать Марс пригодным для жизни

Новые загадки пояса Койпера

Новые теплые субнептуновые экзопланеты

Опасения по поводу пузыря ИИ усиливаются

Оптические иллюзии определяют нашу суть

Поиск гравитационных аномалий, вызванных темной энергией

Реликвия с изображением Моисея, получающего 10 заповедей

Свидетельства существования исчезнувшей цивилизации

Секретные правительственные программы по НЛО

Строительство базы из лунных материалов

Таинственный НЛО замечен на фоне Луны

Три странных НЛО замечены над Канзас-Сити

Удивительное поведение черных дыр

Улицы Розуэлла запружены пришельцами

В водах Ладожского озера обитает чудовище

Ватикан назвал истекающую кровью Мадонну подделкой

Верхние слои атмосферы Юпитера удивляют астрономов

Впечатления уфологов о феномене НЛО

Древный город на Марсе, разрушенный термоядерной атакой

Изменения в организме во время космических полетов

Изучение атмосфер экзопланет в поисках внеземной жизни

Инопланетяне и Апокалипсис. Значение посланий инопланетян

Неожиданная находка фосфата в образце астероида

Новое ПО позволит изучить лунную поверхность

Озера лавы крупным планом на спутнике Юпитера Ио

Парниковые газы - признак деятельности инопланетян

Раскрыта правда мохнатого НЛО

Свидетель крушения НЛО из Розуэлла нарушает молчание

Скрытые явления в сверхчистых квантовых материалах

Стоунхендж внесут в список объектов культурного наследия

Таинственные огни и странные шары в Гластонбери

Таинственный сигнал из космоса, который ставит в тупик

Три потенциальные суперземли вокруг ближайшей звезды

Хакер украл секреты OpenAI

Выращивание крупнозубковых сортов чеснока

Актер Курт Рассел видел НЛО

Бионический протез ноги с нейроинтерфейсом

В Массачусетсе больше наблюдений НЛО, чем в большинстве штатов

В этом году в Пенсильвании видели около 30 НЛО

Знакомство с наблюдениями НЛО на фестивале в Гластонбери

Искусственный интеллект ускоряет разработку новых материалов

Квантовые эффекты препятствуют образованию черных дыр

Лучшие в истории кадры с НЛО, снятые на камеру

Маленькие зеленые человечки или большие государственные секреты

НАСА раскрыло происхождение странного мохнатого НЛО

НЛО - вопросительный знак в истории человечества

НЛО замечен в волгоградском небе

Пилот пропал без вести после встречи с НЛО

По мере роста числа наблюдений НЛО растет и число опровержений

Разбившийся НЛО прославил Форт-Уорт

Разгадка тайны зеленых металлов

Раскрываем тайны непознанного

Таинственный мир британских НЛО

Тайна исчезновения легендарного французского меча

Уфологический фестиваль в Розуэлле

Что такое адресная справка и когда требуется ее перевод на иностранный язык

Аборигены Австралии практиковали симпатическую магию

Бигфут напугал группу туристов в лесу Луизианы

Бигфут съел оленью ногу, которую оставили для него

Венера - идеальное место для подсчета метеоритов

Гуманоидного робота научили водить автомобиль

Круги на полях, как появилась эта мистификация

Многие россияне верят, что инопланетяне посещали Землю

Можем ли мы разместить центры обработки данных в космосе

Над курганским округом заметили НЛО

Пришельцы могут выглядеть совершенно не так

Пять объектов, построенных пришельцами

Распадаются ли протоны

Скрывается ли что-то между звезд

Создано устройство для управления жидким светом

Стоит ли ждать встречи с НЛО

Страшные встречи с австралийским бигфутом

Тайна мощного полярного сияния в небе Арктики

Что знают вологжане об НЛО и Дне уфолога

Шифры вокруг наc

Ярославцев привлекает непонятное и необъяснимое

Активисты начали акцию протеста у Стоунхенджа

В Розуэлле отмечают Всемирный день НЛО

Всемирный день НЛО. История и значение

Долгожданные образцы лунной поверхности

Инопланетяне или просто воздушные шары

Как НЛО стали популярным явлением в США

Майкрософт считает, что воровать контент нормально

Наблюдения НЛО в Мэриленде, что видели очевидцы

Наблюдения НЛО во Флориде, что видели очевидцы

Находка гробницы в Египте проливает свет на древние болезни

Недавние наблюдения пришельцев в США

НЛО, от информаторов до секретных программ

Отмечается рост числа наблюдений НЛО

Пять сообщений о странных объектах во Флориде

Самые пугающие и нераскрытые наблюдения инопланетян

Самые яркие и странные наблюдения в Мичигане

Скалы на Рапа-Нуи рассказывают историю населения

Снежный человек и таинственные исчезновения

Подписка на новости
Наверх