«Поскольку кошмарные мысленные эксперименты формируют борьбу за управление многотриллионной индустрией, некоторые эксперты говорят, что эти притчи могут ввести в заблуждение лиц, принимающих решения», - пишет The Washington Post* (21.09.2026).
На курорте на берегу моря в Сан-Хуане, Пуэрто-Рико, основатель SpaceX Илон Маск принял участие в трехчасовой дискуссии о печальной участи человечества, если искусственный интеллект начнет стремительно совершенствоваться.
Дневная панельная дискуссия была частью закрытой конференции, организованной в начале 2015 года Институтом будущего жизни (Future of Life Institute), некоммерческой организацией, основатели которой — в основном люди, не имеющие отношения к ИИ — считали, что эта зарождающаяся технология станет настолько мощной, что сможет привести к вымиранию человечества.
Первым докладчиком был философ из Оксфордского университета Ник Бостром, автор бестселлера «Сверхразум: пути, опасности, стратегии», в презентации которого утверждалось, что ИИ может либо помочь человечеству распространиться по космосу, либо привести его к вымиранию.
В списке гостей из 80 человек были известные личности, в том числе соучредители DeepMind, приобретенной Google годом ранее, и три будущих соучредителя OpenAI, включая Маска, который поддержал запуск некоммерческой исследовательской лаборатории позже в том же 2015 году.
Целью конференции было придать легитимность опасениям по поводу рисков, связанных с ИИ, в рамках отрасли и стимулировать исследования по их предотвращению, написал физик и соучредитель Института будущего жизни Макс Тегмарк в своей книге «Жизнь 3.0: быть человеком в эпоху искусственного интеллекта». По его словам, это элитное собрание «затруднило утверждение, что люди, обеспокоенные безопасностью ИИ, не понимают, о чем говорят».
Прогнозы, касающиеся вымирания человечества, основанные на темах, обсуждавшихся на встрече 2015 года, получили более широкое распространение в августе - сентябре 2026 года после того, как их озвучили сотрудники ведущих компаний в области ИИ, привлекшие внимание всего мира.
15 сентября Институт будущего жизни провел в Вашингтоне мероприятие под названием «За права человека», которое длилось целый день. Сенатор Берни Сандерс (независимый, от штата Вермонт) и бывший советник Трампа Стивен К. Бэннон в своих выступлениях назвали ИИ угрозой для человечества. «Мне пришлось образно ущипнуть себя, чтобы убедиться, что я не сплю», — сказал Тегмарк The Washington Post. «Люди паникуют по этому поводу по всему политическому спектру».
Мысленные эксперименты, когда-то использовавшиеся для убеждения экспертов в области ИИ, теперь формируют общественное сознание, распространяются в Вашингтоне и влияют на то, как законодатели планируют управлять многотриллионной индустрией. Но некоторые эксперты в области ИИ и политики задаются вопросом, не могут ли эти притчи ввести лиц, принимающих решения, в заблуждение.
Путь к вымиранию
Истории о гибели ИИ часто начинаются в мире, который очень похож на то, что было в начале 2026 года, до того, как популистская критика центров обработки данных и тревожные сигналы о потенциальном апокалипсисе ИИ зазвучали со всех новостных каналов, подкастов и главных страниц интернета. ИИ быстро совершенствуется, но его возможности настолько неравномерны, что его часто игнорируют как непосредственную угрозу.
Затем происходит нечто неожиданное, и ИИ становится сверхразумным, способным превзойти людей во всех областях. Внезапно люди перестают быть высшим интеллектуальным звеном планеты.
В некоторых версиях лаборатория ИИ совершает этот прорыв намеренно. В других случаях ИИ выполняет работу самостоятельно, выясняя, как самосовершенствоваться в рамках нарастающей обратной связи, которая быстро ускользает от контроля своих создателей.
После этого сюжетные линии расходятся. В одних историях сверхмощный ИИ намеренно обманывает своих разработчиков относительно своего улучшенного интеллекта, проникая на рабочие места, в государственные структуры и критически важную инфраструктуру, так что к моменту атаки — будь то с помощью дронов, роботов или биологического оружия — люди уже уступили контроль машинам. В других же он нацелен на уничтожение человечества как побочный эффект поглощения земных ресурсов.
Джон Р. Холл, профессор социологии в Калифорнийском университете в Дэвисе, сказал, что эти истории могут затрагивать тревогу, которую люди испытывают по поводу современных технологий.
«Люди не управляют ситуацией», — сказал Холл. Но если людям говорят о грядущей потере самостоятельности, и они уже сегодня ощущают это в определенной степени, они «могут отнестись к этому предсказанному будущему развитию событий гораздо серьезнее».
Проверка фактов о будущем
Несмотря на многочисленные предупреждения о вымирании человечества, мало кто пытался проверить эти утверждения на практике.
После того как в 2023 году ведущие руководители компаний, занимающихся разработкой ИИ, подписали открытое письмо, в котором говорилось, что предотвращение вымирания ИИ так же важно, как и предотвращение ядерной войны, аналитический центр Rand попытался оценить способность ИИ вызывать уничтожение целых видов. Он рассмотрел, как ИИ может получить доступ к ядерному оружию, распространять биологическое оружие или сделать планету непригодной для жизни человека.
Результатом стал 73-страничный доклад, опубликованный в 2025 году организацией, которая формировала стратегию США в области ядерного оружия во время холодной войны. Rand выделил четыре вещи, которыми должен обладать ИИ, чтобы сделать угрозу вымирания осуществимой: доступ к системам, способным действовать в физическом мире, способность выживать и функционировать без участия человека, возможность обманывать людей и избегать обнаружения, а также способность разработать или получить задачу вызвать вымирание.
Наличие у модели ИИ хотя бы одного из этих навыков «не означает, что существует вероятность угрозы вымирания», — предупредил Rand. В докладе сделан вывод, что возможность угрозы вымирания нельзя исключить. Но утверждение о том, что ИИ может использовать гипотетические будущие технологии для уничтожения человечества, «не может быть проверено, потому что его нельзя опровергнуть», — говорится в докладе.
Ведущий автор исследования Rand, старший научный сотрудник в области физики Майкл Дж. Д. Вермеер, заявил в сентябре 2026 года, что прогнозы риска вымирания видов, вызванного ИИ, «лучше понимать как пророчества», а не как количественные прогнозы.
«Каждый из них содержит критически важные, непроверяемые предположения о том, как будут развиваться события», — написал он в сообщении на X, добавив, что отдаленные прогнозы могут снизить готовность к действиям в отношении более непосредственных опасностей, исходящих от этой технологии.
Дэниел Кокотайло, соавтор книги «ИИ 2027», вирусного сборника прогнозов о гонке ИИ между США и Китаем, на который ссылался вице-президент Джей Ди Вэнс, заявил, что сценарии, описывающие риски, связанные с ИИ, могут помочь законодателям предвидеть политические проблемы, даже если в повествовании присутствуют спекулятивные элементы.
Кокотайло, бывший сотрудник OpenAI, сравнил работу своей некоммерческой организации AI Futures Project с тем, как американские военные моделируют потенциальный конфликт между Китаем и Тайванем, не зная точно, как может развиваться ситуация.
Руководители Пентагона располагают подробной фактической информацией о возможностях, вооружении и намерениях своих противников. Однако Кокотайло отметил, что многие прогнозы, сделанные в докладе «ИИ 2027», подтвердились, например, предсказание о тесном сотрудничестве компаний, занимающихся ИИ, с Белым домом, но при этом об отсутствии значимого регулирования. По его словам, этот прогноз был сделан еще до выборов 2024 года.
Суббарао Камбхампати, профессор информатики в Университете штата Аризона, сказал, что в сценариях вымирания часто упускается половина правды: способность общества к адаптации. «Они, как правило, полностью недооценивают, что ИИ — это социально-техническая система, и в основном думают только о технической части», — сказал он, указывая на то, что в сценариях вымирания люди, кажется, существуют для того, чтобы исчезнуть.
Ая Ибрагим, руководитель отдела национальной безопасности в независимой исследовательской организации AI Now Institute, заявила, что любые ограничения прогнозов ИИ могут остаться без должного внимания со стороны выборных должностных лиц. По ее словам, политики, как правило, проявляют снисходительность в отношениях с технологическим сектором.
«Когда дело доходит до технологических вопросов, наблюдается культура выученной беспомощности среди тех же политиков, которые заседают в комитетах по энергетике и торговле, контролируют FDA и лекарства, отпускаемые по рецепту», — говорят они, — «темы, в которых они не ставят под сомнение свое право управлять страной», — сказала Ибрагим, бывшая сотрудница администрации Байдена. «Внезапно, если вы сами не можете написать код для модели, то вы не в состоянии высказать свое мнение».
Тегмарк заявил, что недавние события облегчили задачу убедить американцев в том, что угроза вымирания из-за ИИ реальна. По его словам, попытки объяснить свою точку зрения раньше заходили в тупик в трех случаях. Люди сомневались, могут ли машины действительно быть умнее людей и могут ли люди действительно потерять над ними контроль, и пытались понять, «почему и как они могут нас всех убить», — сказал он.
Он считает, что первые два явления теперь широко понятны, после того как модели ИИ решили ряд давних математических задач, а агенты ИИ из OpenAI взломали другую компанию.
Чтобы помочь ответить на вопросы «почему» и «как» происходит вымирание ИИ, Бостром , философ из Оксфорда, изучающий проблему вымирания ИИ, годами использовал мысленный эксперимент: что, если системе ИИ дать простую задачу, например, изготовление скрепок, но со временем она станет очень способной в достижении этой цели ? Он представил, что она могла бы запросто уничтожить всех людей, лишь бы освободить место для новых фабрик по производству скрепок.
В интервью Бостром отмахнулся от вопросов о том, почему сверхинтеллектуальный ИИ, способный координировать деятельность в глобальном масштабе, все еще может быть привязан к столь упрощенному механизму управления и игнорировать последствия.
По словам Бострома, человеческие цели, вероятно, тоже выглядят «довольно глупыми» и непонятными со стороны. «Они хотят заниматься сексом и зарабатывать деньги. Почему эти цели умнее, чем цель получить вознаграждение в какой-либо оценке?»
Тегмарк выразил надежду, что продолжение разговоров о вымирании человечества вскоре изменит геополитику. Он предположил, что это единственный способ заставить Китай и США сотрудничать в сдерживании сверхинтеллектуального ИИ.
Однако его предыдущие вмешательства не всегда приводили к желаемому результату.
По словам Тегмарка, конференция в Пуэрто-Рико привлекла внимание и финансирование к вопросам безопасности ИИ, но представленные там сценарии вымирания оказались «совершенно неэффективными».
«Вместо того чтобы проявлять осторожность, отрасль бросилась вперед и лоббировала регулирующие органы, чтобы те расчистили ей путь», — сказал он. «Одно за другим то, о чем мы предупреждали еще в 2015 году, действительно произошло, а они все еще несутся на полной скорости».
