Вероятность экзистенциальной катастрофы нашего вида
В 2020 году философ из Оксфорда Тоби Орд опубликовал книгу «Пропасть» о риске вымирания человечества. Он оценил вероятность «экзистенциальной катастрофы» для нашего вида в следующем столетии как 1 к 6. Это вполне конкретная цифра, и она тревожная. В то время это заявление попало в заголовки газет и с тех пор оказало большое влияние — совсем недавно оно было высказано австралийским политиком Эндрю Ли в речи в Мельбурне. Трудно не согласиться с идеей, что в ближайшие десятилетия нас ждут тревожные перспективы: от изменения климата, ядерного оружия и биоинженерных патогенов (все это, на мой взгляд, серьезная проблема) до неконтролируемого искусственного интеллекта и крупных астероидов (которые, по моему мнению, вызывают меньше беспокойства). Но что насчет этого числа? От куда это? И что это на самом деле означает? Чтобы ответить на эти вопросы, нам нужно сначала ответить еще на один: что такое вероятность? Самый традиционный взгляд на вероятность называется частотностью и получил свое название от игры в кости и карты. С этой точки зрения мы знаем, что вероятность того, что на честном кубике выпадет тройка, составляет 1 из 6 (например), наблюдая за частотой выпадения троек при большом количестве бросков.
Или рассмотрим более сложный случай прогнозов погоды. Что это значит, когда метеоролог сообщает нам, что вероятность дождя завтра составляет 1 из 6 (или 17%)? Трудно поверить, что метеоролог хочет, чтобы мы представили большую совокупность «завтра», в некоторой части которых выпадут осадки. Вместо этого нам нужно просмотреть большое количество таких предсказаний и посмотреть, что произошло после них. Если синоптик хорошо справляется со своей работой, мы должны увидеть, что, когда он сказал: «Вероятность дождя завтра 1 из 6», на следующий день на самом деле дождь шел один раз из шести. Итак, традиционная вероятность зависит от наблюдений и процедуры. Чтобы его вычислить, нам нужно иметь набор повторяющихся событий, на которых можно основывать нашу оценку. Так что же это означает для вероятности вымирания человечества? Что ж, такое событие будет разовым: после того, как оно произойдет, повторениям уже не будет места. Вместо этого мы могли бы найти некоторые параллельные события, на которых можно поучиться. Действительно, в книге Орда он обсуждает ряд потенциальных событий вымирания, некоторые из которых потенциально можно изучить в свете истории.
Например, мы можем оценить вероятность столкновения с Землей астероида размером с вымирание, изучив, сколько таких космических камней ударилось о Луну за ее историю. Французский учёный по имени Жан-Марк Салотти сделал это в 2022 году, подсчитав вероятность достижения уровня вымирания в следующем столетии примерно 1 к 300 миллионам. Конечно, такая оценка таит в себе неопределенность, но она подкреплена чем-то, приближающимся к соответствующему расчету частоты. Орд, напротив, оценивает риск вымирания астероида в 1 на 1 миллион, хотя и отмечает значительную степень неопределенности. Есть еще один подход к теории вероятности, называемый байесовством в честь английского статистика Томаса Байеса. Он меньше фокусируется на самих событиях, а больше на том, что мы знаем, ожидаем и верим о них. Проще говоря, мы можем сказать, что байесовцы рассматривают вероятности как своего рода ранговую систему. С этой точки зрения конкретное число, присвоенное вероятности, не следует брать напрямую, а следует сравнивать с другими вероятностями, чтобы понять, какие результаты более или менее вероятны.
Книга Орда, например, содержит таблицу потенциальных событий вымирания и его личные оценки их вероятности. С байесовской точки зрения мы можем рассматривать эти значения как относительные ранги. Орд считает, что вымирание от удара астероида (1 на 1 миллион) гораздо менее вероятно, чем вымирание от изменения климата (1 на 1000), и оба они гораздо менее вероятны, чем вымирание от того, что он называет «непривязанным искусственным интеллектом» (1 на 10). Трудность здесь в том, что первоначальные оценки байесовских вероятностей (часто называемые «априорными») довольно субъективны (например, я бы оценил вероятность вымирания на основе ИИ гораздо ниже). Традиционное байесовское рассуждение переходит от «априорного» к «апостериорному», снова включая данные наблюдений о соответствующих результатах для «обновления» значений вероятности. И опять же, результаты, имеющие отношение к вероятности вымирания человечества, невелики. Есть два способа думать о точности и полезности вероятностных вычислений: калибровка и дискриминация.
Калибровка – это правильность фактических значений вероятностей. Мы не можем определить это без соответствующей наблюдательной информации. Дискриминация, с другой стороны, просто относится к относительному ранжированию. У нас нет оснований полагать, что ценности Орда правильно откалиброваны. Конечно, вряд ли это было его намерением. Он сам указывает, что они в основном предназначены для предоставления показаний «порядка величины». Даже в этом случае, без какого-либо соответствующего наблюдательного подтверждения, большинство этих оценок просто остаются в субъективной области априорных вероятностей. Так что же нам делать с «1 из 6»? Опыт показывает, что у большинства людей далеко не идеальное понимание вероятности (о чем свидетельствует, среди прочего, продолжающийся объем продаж лотерейных билетов). В такой ситуации, если вы публично спорите, оценка «вероятности» не обязательно должна быть хорошо откалибрована — она просто должна оказывать правильное психологическое воздействие.
С этой точки зрения, я бы сказал, что «1 из 6» вполне отвечает всем требованиям. «1 из 100» может показаться достаточно незначительным, чтобы его можно было игнорировать, а «1 из 3» может вызвать панику или быть воспринятым как апокалиптический бред. Как человек, обеспокоенный будущим, я надеюсь, что такие риски, как изменение климата и распространение ядерного оружия, получат то внимание, которого они заслуживают. Но как специалист по обработке данных я надеюсь, что небрежное использование вероятности останется на обочине и будет заменено широким распространением знаний о ее истинном значении и правильном использовании.
