Группа инсайдеров OpenAI сообщает о том, что, по их словам, в компании по искусственному интеллекту из Сан-Франциско царит культура безрассудства и секретности, которая стремится создать самые мощные системы искусственного интеллекта из когда-либо созданных. Группа, в которую входят девять нынешних и бывших сотрудников OpenAI, в последние дни объединилась вокруг общих опасений, что компания не сделала достаточно для предотвращения того, чтобы ее системы искусственного интеллекта становились опасными. Участники говорят, что OpenAI, которая начиналась как некоммерческая исследовательская лаборатория и привлекла всеобщее внимание с выпуском ChatGPT в 2022 году, ставит во главу угла прибыль и рост, пытаясь создать искусственный интеллект общего назначения, или A.G.I., отраслевой термин, обозначающий компьютерную программу, способную делать все, что под силу человеку. Они также утверждают, что OpenAI использовала жесткую тактику, чтобы помешать работникам высказывать свои опасения по поводу технологии, включая ограничительные соглашения о неразглашении, которые увольняющихся сотрудников просили подписать.
“OpenAI действительно заинтересована в создании A.G.I., и они безрассудно стремятся быть в этом первыми”, - сказал Даниэль Кокотайло, бывший научный сотрудник отдела управления OpenAI и один из организаторов группы. Во вторник группа опубликовала открытое письмо, в котором призвала ведущие ИИ-компании, включая OpenAI, обеспечить большую прозрачность и усилить защиту информаторов. Среди других участников - Уильям Сондерс, инженер-исследователь, покинувший OpenAI в феврале, и трое других бывших сотрудников OpenAI: Кэрролл Уэйнрайт, Джейкоб Хилтон и Дэниел Зиглер. По словам г-на Кокотайло, несколько нынешних сотрудников OpenAI анонимно подписали это письмо, поскольку опасались мести со стороны компании. Один нынешний и один бывший сотрудник Google DeepMind, центральной лаборатории искусственного интеллекта Google, также подписали.
Пресс-секретарь OpenAI Линдси Хелд (Lindsey Held) заявила в своем заявлении: “Мы гордимся тем, что предоставляем самые эффективные и безопасные системы искусственного интеллекта, и верим в наш научный подход к устранению рисков. Мы согласны с тем, что тщательное обсуждение имеет решающее значение, учитывая важность этой технологии, и мы продолжим взаимодействовать с правительствами, гражданским обществом и другими сообществами по всему миру”. Представитель Google отказался от комментариев. Кампания началась в трудный для OpenAI момент. Компания все еще не оправилась от прошлогодней попытки государственного переворота, когда члены правления компании проголосовали за увольнение Сэма Альтмана, исполнительного директора, из-за опасений по поводу его откровенности. Мистера Альтмана вернули несколько дней спустя, и правление пополнилось новыми членами.
Компания также сталкивается с судебными тяжбами с создателями контента, которые обвиняют ее в краже защищенных авторским правом работ для обучения своих моделей. (В прошлом году газета New York Times подала в суд на OpenAI и ее партнера Microsoft за нарушение авторских прав.) А недавняя презентация гиперреалистичного голосового помощника была омрачена публичной перепалкой с голливудской актрисой Скарлетт Йоханссон, которая заявила, что OpenAI имитировал ее голос без разрешения. Но ничто так не прижилось, как обвинения в том, что OpenAI слишком беспечно относится к безопасности. В прошлом месяце два старших исследователя в области искусственного интеллекта - Илья Суцкевер и Ян Лейке - покинули OpenAI в мрачном настроении. Доктор Суцкевер, который входил в совет директоров OpenAI и голосовал за увольнение мистера Альтмана, поднял тревогу по поводу потенциальных рисков, связанных с мощными системами искусственного интеллекта. Некоторые сотрудники, заботящиеся о безопасности, восприняли его уход как неудачу.
Так же, как и уход доктора Лейке, который вместе с доктором Суцкевером возглавлял команду OpenAI “superalignment”, которая занималась управлением рисками, связанными с мощными моделями искусственного интеллекта. В серии публичных сообщений о своем уходе доктор Лейке заявил, что, по его мнению, “культура безопасности и технологические процессы отошли на второй план по сравнению с блестящими продуктами”. Ни доктор Суцкевер, ни доктор Лейке не подписали открытое письмо, написанное бывшими сотрудниками. Но их уход побудил других бывших сотрудников OpenAI высказаться. “Когда я подписывался на OpenAI, я не придерживался такого подхода: ”Давайте выпустим что-то в мир, посмотрим, что произойдет, а потом исправим это", - сказал мистер Сондерс. Некоторые из бывших сотрудников связаны с "эффективным альтруизмом", движением, вдохновленным утилитаризмом, которое в последние годы стало заниматься предотвращением угроз существованию со стороны ИИ. Критики обвинили движение в продвижении сценариев конца света в отношении технологии, таких как представление о том, что вышедшая из-под контроля система ИИ может захватить власть. и уничтожит человечество.
31-летний г-н Кокотайло присоединился к OpenAI в 2022 году в качестве исследователя в области управления, и его попросили спрогнозировать прогресс в области искусственного интеллекта. Он, мягко говоря, не был настроен оптимистично. На своей предыдущей работе в организации по безопасности ИИ он предсказал, что ИИ может появиться в 2050 году. Но, увидев, как быстро совершенствуется ИИ, он сократил сроки. Теперь он считает, что существует 50-процентная вероятность того, что A.G.I. появится к 2027 году - всего через три года. Он также считает, что вероятность того, что продвинутый ИИ уничтожит или катастрофически навредит человечеству - мрачная статистика, которую в кругах ИИ часто сокращают до “п” (гибель), - составляет 70 процентов. В OpenAI г-н Кокотайло увидел, что, несмотря на наличие в компании протоколов безопасности, в том числе совместных с Microsoft усилий, известных как “совет по безопасности развертывания”, который должен был проверять новые модели на предмет серьезных рисков перед их публичным выпуском, они редко приводили к замедлению работы.
Например, по его словам, в 2022 году Microsoft начала негласное тестирование в Индии новой версии своей поисковой системы Bing, которая, по мнению некоторых сотрудников OpenAI, содержала неизданную на тот момент версию GPT-4, самой современной модели большого языка OpenAI. Г-н Кокотайло сказал, что ему сказали, что Microsoft разработала новую версию поисковой системы Bing. не получив одобрения совета по безопасности перед тестированием новой модели, и после того, как совет узнал об испытаниях - из серии отчетов о странном поведении Bing по отношению к пользователям, - это не помешало Microsoft внедрить ее более широко. Представитель Microsoft Фрэнк Шоу (Frank Shaw) первоначально опроверг эти утверждения. Он сказал, что в тестах в Индии не использовался GPT-4 или какие-либо другие модели OpenAI. По его словам, впервые Microsoft выпустила технологию, основанную на GPT-4, в начале 2023 года, и она была рассмотрена и одобрена предшественником совета по безопасности.
После публикации этой статьи Microsoft отменила свое опровержение и подтвердила утверждения г-на Кокотайло. Во втором заявлении г-н Шоу сказал: “После дополнительных исследований мы обнаружили, что Bing действительно выполнил небольшой полет, в котором были использованы результаты ранней версии модели, которая в конечном итоге стала GPT-4”. Он добавил, что испытания не были предварительно рассмотрены советом по безопасности, хотя позже они получили одобрение. В конце концов, по словам г-на Кокотайло, он так забеспокоился, что в прошлом году сказал г-ну Альтману, что компании следует “переключиться на безопасность” и тратить больше времени и ресурсов на защиту от рисков, связанных с ИИ, вместо того, чтобы стремиться к совершенствованию своих моделей. Он сказал, что мистер Альтман утверждал, что согласен с ним, но ничего особо не изменилось. В апреле он уволился. В электронном письме к своей команде он написал, что уходит, потому что “потерял уверенность в том, что OpenAI будет вести себя ответственно", поскольку его системы приближаются к интеллекту на уровне человека.
“Мир не готов, и мы не готовы”, - написал г-н Кокотайло. “И я обеспокоен тем, что мы, несмотря ни на что, движемся вперед и рационализируем свои действия”. На прошлой неделе OpenAI заявила, что приступила к обучению новой флагманской модели искусственного интеллекта и что она формирует новый комитет по охране и безопасности для изучения рисков, связанных с новой моделью и другими будущими технологиями. Уходя, г-н Кокотайло отказался подписать стандартные документы OpenAI для увольняющихся сотрудников, которые включали в себя строгое условие о неразглашении, запрещающее им высказываться негативно о компании, в противном случае они рискуют лишиться своего собственного капитала. Многие сотрудники могли потерять миллионы долларов, если бы отказались подписывать соглашение. По словам г-на Кокотайло, его собственный капитал составлял примерно 1,7 миллиона долларов, что составляло значительную часть его чистого капитала, и он был готов полностью отказаться от него.
(Небольшой скандал разразился в прошлом месяце после того, как Vox сообщил новости об этих соглашениях. В ответ OpenAI заявила, что никогда не отбирала у бывших сотрудников права собственности и не будет этого делать. Г-н Альтман сказал, что он “искренне смущен” тем, что не знал об этих соглашениях, и компания заявила, что уберет положения о неразглашении из своей стандартной документации и освободит бывших сотрудников от их соглашений..) В своем открытом письме г-н Кокотайло и другие бывшие сотрудники OpenAI призывают прекратить использование соглашений о неразглашении в OpenAI и других компаниях с искусственным интеллектом. “Широкие соглашения о конфиденциальности не позволяют нам высказывать наши опасения, за исключением тех компаний, которые, возможно, не в состоянии решить эти проблемы”, - пишут они. Они также призывают ИИ-компании “поддерживать культуру открытой критики” и внедрить процедуру отчетности, позволяющую сотрудникам анонимно высказывать опасения, связанные с безопасностью. Они наняли бесплатного юриста Лоуренса Лессига, известного ученого-юриста и активиста. Г-н Лессиг также консультировал Фрэнсис Хоген, бывшую сотрудницу Facebook, которая стала разоблачителем и обвинила эту компанию в том, что она ставит прибыль выше безопасности.
В одном из интервью г-н Лессиг сказал, что, хотя традиционные меры защиты от информаторов обычно применяются к сообщениям о незаконной деятельности, сотрудникам ИИ-компаний важно иметь возможность свободно обсуждать риски и потенциальный вред, учитывая важность технологии. “Сотрудники - это важная линия защиты безопасности, и если они не смогут говорить свободно, не опасаясь возмездия, этот канал будет закрыт”, - сказал он. Г-жа Хелд, пресс-секретарь OpenAI, заявила, что у компании есть “возможности для сотрудников выразить свои опасения”, включая анонимную горячую линию по вопросам добросовестности. Г-н Кокотайло и его группа скептически относятся к тому, что одного саморегулирования будет достаточно, чтобы подготовиться к миру с более мощными системами искусственного интеллекта. Поэтому они призывают законодателей также регулировать отрасль. “Должна быть какая-то демократически подотчетная, прозрачная структура управления, отвечающая за этот процесс", - сказал г-н Кокотайло. “Вместо того, чтобы просто несколько разных частных компаний соревновались друг с другом и держали все в секрете”.
