|
Сильный ИИ не станет спасением для человечества
|
|
|
|
Наша миссия заключается в обеспечении того, чтобы искусственный интеллект — системы искусственного интеллекта общего назначения, которые в целом умнее людей, — приносили пользу всему человечеству. Если AGI будет успешно создан, эта технология может помочь нам возвысить человечество за счет увеличения изобилия, ускорения мировой экономики и содействия открытию новых научных знаний, которые расширяют границы возможного.
|
|
|
|
У AGI есть потенциал предоставить каждому невероятные новые возможности; мы можем представить себе мир, в котором у каждого из нас будет доступ к помощи практически в решении любых когнитивных задач, что значительно расширит возможности человеческой изобретательности и творчества.
|
|
|
|
С другой стороны, AGI также сопряжен с серьезным риском неправильного использования, серьезных несчастных случаев и социальных потрясений. Поскольку преимущества AGI настолько велики, мы не считаем возможным или желательным, чтобы общество навсегда прекратило свое развитие; вместо этого общество и разработчики AGI должны выяснить, как сделать это правильно.
|
|
|
|
|
|
|
Хотя мы не можем точно предсказать, что произойдет, и, конечно, наш текущий прогресс может застопориться, мы можем сформулировать принципы, которые нас волнуют больше всего:
|
|
|
|
- Мы хотим, чтобы AGI помог человечеству максимально процветать во Вселенной. Мы не ожидаем, что будущее станет безоговорочной утопией, но мы хотим максимально использовать все хорошее и минимизировать все плохое, а также чтобы AGI помогало человечеству.
|
|
|
|
- Мы хотим, чтобы преимущества AGI, доступ к ним и управление ими были доступны широкому кругу людей на справедливой основе.
|
|
|
|
- Мы хотим успешно справляться с огромными рисками. Сталкиваясь с этими рисками, мы признаем, что то, что кажется правильным в теории, на практике часто оказывается более странным, чем ожидалось. Мы считаем, что нам необходимо постоянно учиться и адаптироваться, внедряя менее мощные версии технологии, чтобы свести к минимуму сценарии “один шаг, и все получится”.
|
|
|
|
В краткосрочной перспективе
|
|
|
|
Есть несколько вещей, которые, по нашему мнению, важно сделать сейчас, чтобы подготовиться к внедрению AGI.
|
|
|
|
Во-первых, по мере того, как мы создаем все более мощные системы, мы хотим внедрять их и приобретать опыт работы с ними в реальном мире. Мы считаем, что это лучший способ тщательно управлять внедрением AGI — постепенный переход к миру с AGI лучше, чем внезапный. Мы ожидаем, что мощный искусственный интеллект значительно ускорит темпы прогресса в мире, и считаем, что лучше приспосабливаться к этому постепенно.
|
|
|
|
Постепенный переход дает людям, политикам и учреждениям время понять, что происходит, лично ощутить преимущества и недостатки этих систем, адаптировать нашу экономику и ввести регулирование в действие. Это также позволяет обществу и искусственному интеллекту совместно развиваться, а людям коллективно решать, чего они хотят, в то время как ставки относительно низки.
|
|
|
|
В настоящее время мы считаем, что лучший способ успешно справиться с проблемами внедрения ИИ - это обеспечить четкую обратную связь, быстрое обучение и тщательную итерацию. Общество столкнется с серьезными вопросами о том, что разрешено системам ИИ, как бороться с предвзятостью, как бороться с перемещением рабочих мест и многим другим. Оптимальные решения будут зависеть от развития технологии, и, как и в любой другой новой области, большинство прогнозов экспертов до сих пор оказывались неверными. Это очень затрудняет планирование в вакууме.B
|
|
|
|
Вообще говоря, мы считаем, что более широкое использование искусственного интеллекта в мире принесет пользу, и хотим продвигать его (путем внедрения моделей в наш API, их использования с открытым исходным кодом и т.д.). Мы считаем, что демократизация доступа также приведет к большему количеству исследований, децентрализации власти, увеличению преимуществ и более широкий круг людей, предлагающих новые идеи.
|
|
|
|
По мере приближения наших систем к AGI мы становимся все более осторожными при создании и внедрении наших моделей. Наши решения потребуют гораздо большей осторожности, чем общество обычно применяет к новым технологиям, и большей осторожности, чем хотелось бы многим пользователям. Некоторые специалисты в области искусственного интеллекта считают риски, связанные с AGI (и последующими системами), вымышленными; мы были бы рады, если бы они оказались правы, но мы будем действовать так, как если бы эти риски были экзистенциальными (открывается в новом окне).
|
|
|
|
В какой-то момент баланс между плюсами и минусами развертывания (например, расширение возможностей злоумышленников, создание социальных и экономических сбоев и ускорение небезопасной гонки) может измениться, и в этом случае мы существенно изменим наши планы в отношении непрерывного развертывания.
|
|
- По мере того как наши системы приближаются к AGI, мы становимся все более осторожными при создании и внедрении наших моделей”.
|
|
|
|
Во-вторых, мы работаем над созданием все более согласованных и управляемых моделей. Наш переход от моделей, подобных первой версии GPT-3, к InstructGPT и ChatGPT (открывается в новом окне) является ранним примером этого.
|
|
|
|
В частности, мы считаем важным, чтобы общество согласилось с чрезвычайно широкими рамками того, как можно использовать искусственный интеллект, но чтобы в этих пределах у отдельных пользователей была большая свобода действий. В конечном итоге мы надеемся, что международные институты согласятся с тем, какими должны быть эти широкие границы; в краткосрочной перспективе мы планируем провести эксперименты с привлечением внешних ресурсов. Международные институты необходимо укрепить дополнительными возможностями и опытом, чтобы быть готовыми к принятию сложных решений в отношении AGI.
|
|
|
|
“Настройки по умолчанию” в наших продуктах, скорее всего, будут довольно ограниченными, но мы планируем упростить пользователям изменение поведения используемого ими искусственного интеллекта. Мы верим в то, что люди могут самостоятельно принимать решения, а разнообразие идей - это неотъемлемая сила.
|
|
|
|
Нам нужно будет разработать новые методы выравнивания по мере того, как наши модели будут становиться все более мощными (и провести тесты, чтобы понять, когда наши текущие методы дают сбой). В краткосрочной перспективе мы планируем использовать искусственный интеллект, чтобы помочь людям оценивать результаты работы более сложных моделей и контролировать сложные системы, а в долгосрочной перспективе использовать искусственный интеллект, чтобы помочь нам придумать новые идеи для улучшения методов согласования.
|
|
|
|
Важно отметить, что мы считаем, что часто нам приходится добиваться прогресса в области безопасности и возможностей ИИ вместе. Говорить о них по отдельности - это ложная дихотомия; они взаимосвязаны во многих отношениях. Наша лучшая работа в области безопасности связана с работой с нашими наиболее эффективными моделями. Тем не менее, важно, чтобы соотношение прогресса в области безопасности и развития возможностей увеличивалось.
|
|
|
|
В-третьих, мы надеемся на глобальный диалог по трем ключевым вопросам: как управлять этими системами, как справедливо распределять выгоды, которые они приносят, и как справедливо распределять доступ.
|
|
|
|
В дополнение к этим трем направлениям мы попытались выстроить нашу структуру таким образом, чтобы наши стимулы соответствовали полученным результатам. В нашем Уставе есть пункт о том, что мы помогаем другим организациям повышать безопасность, вместо того чтобы соревноваться с ними на поздней стадии разработки AGI. У нас есть ограничение на доходность, которую могут получить наши акционеры, чтобы у нас не было стимулов пытаться извлечь выгоду без каких-либо ограничений и рисковать внедрением чего-то потенциально катастрофически опасного (и, конечно же, для того, чтобы поделиться выгодами с обществом). У нас есть некоммерческая организация, которая управляет нами и позволяет нам работать на благо человечества (и может превалировать над любыми коммерческими интересами), в том числе позволяет нам отменять наши долевые обязательства перед акционерами, если это необходимо для обеспечения безопасности, и спонсировать самый масштабный в мире эксперимент UBI.
|
|
“Мы попытались выстроить нашу структуру таким образом, чтобы наши стимулы соответствовали хорошему результату”.
|
|
|
|
Мы считаем важным, чтобы такие проекты, как наш, проходили независимую проверку перед выпуском новых систем; мы поговорим об этом более подробно позже в этом году. В какой-то момент может оказаться важным получить независимую оценку, прежде чем приступать к обучению будущих систем, а для наиболее продвинутых усилий договориться об ограничении темпов роста вычислительных ресурсов, используемых для создания новых моделей. Мы считаем, что важны общественные стандарты в отношении того, когда в рамках усилий по AGI следует прекратить обучение, принять решение о том, что модель безопасна для выпуска, или изъять ее из производственного использования. И, наконец, мы считаем важным, чтобы правительства ведущих стран мира имели представление о том, что уровень подготовки превышает определенный уровень.
|
|
|
|
В долгосрочной перспективе
|
|
|
|
Мы считаем, что будущее человечества должно определяться самим человечеством, и что важно делиться информацией о прогрессе с общественностью. Необходимо тщательно следить за всеми усилиями, направленными на создание AGI, и проводить консультации с общественностью для принятия важных решений.
|
|
|
|
Первый AGI станет всего лишь точкой в континууме развития интеллекта. Мы считаем, что с этого момента прогресс, вероятно, продолжится, возможно, сохранив темпы прогресса, которые мы наблюдали в течение последнего десятилетия, в течение длительного периода времени. Если это правда, то мир может сильно отличаться от того, каким он является сегодня, и риски могут быть чрезвычайными. Несогласованный сверхинтеллектуальный AGI может нанести серьезный ущерб миру; автократический режим с решающим влиянием сверхинтеллекта также может это сделать.
|
|
|
|
Искусственный интеллект, способный ускорить развитие науки, - это особый случай, о котором стоит подумать, и, возможно, он более эффективен, чем все остальное. Вполне возможно, что AGI, способный ускорить свой собственный прогресс, может привести к тому, что серьезные изменения произойдут на удивление быстро (и даже если переход начнется медленно, мы ожидаем, что на заключительных этапах он произойдет довольно быстро). Мы считаем, что более медленный взлет легче обеспечить безопасным, и координация усилий AGI по снижению скорости в критические моменты, вероятно, будет важна (даже в мире, где нам не нужно этого делать для решения проблем технического согласования, снижение скорости может быть важным, чтобы дать обществу достаточно времени для адаптации).
|
|
|
|
Успешный переход к миру со сверхразумом, возможно, является самым важным — и обнадеживающим, и пугающим — проектом в истории человечества. Успех далеко не гарантирован, и мы надеемся, что ставки (безграничные плюсы и минусы) объединят всех нас.
|
|
|
|
Мы можем представить себе мир, в котором человечество процветает до такой степени, которую, вероятно, никто из нас пока не в состоянии полностью представить. Мы надеемся внести свой вклад в создание в мире AGI, соответствующего такому процветанию.
|
|
|
|
Источник
|
