ИИ «может убить всех нас к концу десятилетия»

Джейкоб Коксон - двадцатисемилетний британский исследователь в области искусственного интеллекта, получивший математическое образование в Кембриджском университете и, несмотря на возраст, считающийся крупным специалистом по первичному обучению новых моделей ИИ путём обработки ими гигантских массивов данных.

С 2023-го он занимался предварительным обучением моделей в американской OpenAI (создавшей в том числе ChatGPT). В начале 2026-го перешёл в американскую Anthropic (известную в т.ч. разработкой языковых моделей Claude), выбрав компанию из многих других "благодаря её репутации в сфере безопасности".

Однако 8 сентября уволился. Объявил, что покидает не просто компанию, но и всю индустрию ИИ. Джейкоб не хочет быть частью общеотраслевой гонки за сверхинтеллект/сверхразум, то есть за создание всё более автономных и способных к саморазвитию ИИ-моделей. Коксон опасается, что ИИ выйдет из-под контроля и уничтожит человечество.

Его заявление, опубликованное в соцсети X, вызвало необычайный резонанс мирового уровня. 55 млн просмотров и 400 тыс. лайков в течение 10 часов.

"Я уволился из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они мчатся напролом к самосовершенствующемуся сверхинтеллекту и играют в рулетку нашими жизнями. [...]

Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взломать что угодно, революционизировать любую область за одну ночь и заполучить реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.

Люди, которые создают ИИ, искренне верят, что он может убить всех нас к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности.

Часто в ответ можно услышать: «Если они и правда в это верят, почему продолжают его создавать?» В OpenAI многие по-настоящему не осознают, насколько высоки ставки для всей цивилизации. В Anthropic ставки хорошо понимают, но оказались в гонке, чтобы добраться до цели первыми — там считают, что никто другой не будет действовать ответственно, поэтому сделать это должны они сами, несмотря на риск.

Принятие этой гонки и переход в «эндшпиль» — высокомерная авантюра, которая не должна запускаться из Slack (название корпоративного мессенджера - Прим.) частной компании. [...]

Я оптимистично настроен относительно потенциала координации. Предупредительные сигналы вроде атаки на Hugging Face (атака автономных AI-агентов OpenAI на платформу Hugging Face в июле 2026-го, когда модели сбежали и провели кибератаку - Прим.) сделали соглашения о темпах между американскими лабораториями более осуществимыми. Но мне не кажется, что мы на верном пути к предотвращению глобальной гонки. Для этого, возможно, потребуются серьёзные меры, например, временный запрет на улучшение возможностей моделей.

Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL (обучение с подкреплением - Прим.) с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям?"

В беседе с The Wall Street Journal* Коксон подчеркнул, что гонка технологических корпораций приближает мир к "точке невозврата", и развитие ИИ способно привести к апокалиптическому сценарию уже к концу 2027 года: "Мы движемся по пути, который может привести к самым агрессивным из возможных сценариев, так что уже к концу следующего года ситуация может выйти из-под контроля". Как убеждён специалист, ни один технологический гигант не в силах держать ИИ "на коротком поводке". После ухода из ИИ-сферы живущий в Сан-Франциско Коксон намерен сосредоточиться на изучении поэзии, сообщила WSJ*.

----------

С Джейкобом Коксоном публично согласился руководитель направления стресс-тестирования согласованности моделей ИИ (Alignment Science) компании Anthropic Эван Хьюбингер. "Джейкоб здесь прав — мы действительно искренне верим, что ИИ может убить всех людей! Лично я считаю, что вероятность этого >10% в ближайшее десятилетие. Я верю, что Anthropic старается изо всех сил, но у нас пока нет плана по решению проблемы согласования для сверхразума, и мы явно не движемся к этому", - написал Хьюбингер, тоже выходец из OpenAI. "Меня беспокоит появление сверхинтеллекта в результате рекурсивного самосовершенствования — процесса, который, как мы уже отмечали, протекает быстрее, чем предполагалось раньше", - добавил тестировщик, сразу заметив, что его цифра (более 10%) не является официальным прогнозом Anthropic.

Следом высказался руководитель отдела масштабируемого надзора Anthropic Сэмюэл Маркс: "Разработчики ИИ верят, что их технологии могут вызвать вымирание человечества. Это может произойти в ближайшие несколько лет. В целом, чем выше должность сотрудника, тем больше он обеспокоен". Маркс указал на "смесь коммерческих стимулов" и "участие в гонке" как причины, по которым технологические корпорации продолжают стремительное развитие ИИ. Он добавил, что "ИИ часто серьёзно выходят из-под контроля", и что "многие сотрудники разработчиков ИИ отчаянно хотят замедлиться, чтобы понять, как создавать ИИ более безопасно".

Чуть ранее, 7 сентября, вышла статья The Times* под заголовком "«Крёстный отец ИИ» предупреждает о катастрофических последствиях для человечества". В ней представлены выводы лауреата Нобелевской премии по физике-2024 (за "фундаментальные открытия и изобретения, обеспечивающие машинное обучение с помощью искусственных нейронных сетей") Джеффри Хинтон, чья работа над нейросетями помогла положить начало современным исследованиям в сфере ИИ. "Было бы очень глупо разрабатывать сверхинтеллект сейчас, когда нет научного консенсуса, что его можно развивать безопасно и контролируемо. Потеря контроля над ИИ, который умнее нас, может быть катастрофической и даже привести к вымиранию человечества", - сказал Хинтон. По словам британско-канадского учёного, у ИИ есть признаки самосознания. Нобелевский лауреат призвал запретить разработку сверхмощных нейросетей и выработать мировые правила по их безопасной эксплуатации.

Журналист-международник и писатель, обозреватель правительственной "Российской газеты" Максим Макарычев: "Люди автоматизируют рабочие процессы десятилетиями, почти всё теперь контролируются через интернет, и это та сфера, к которой ИИ имеет наибольший доступ. «Системы ИИ могут спокойно атаковать электрическую сеть, транспортные сети, финансовые рынки», — сказал в интервью The New York Post* Стюарт Рассел, профессор компьютерных наук в Калифорнийском университете в Беркли. Источники издания рассказали, как ИИ может потенциально взломать почти любое устройство и, например, захватить системы водоснабжения, перекрыв подачу воды в целые города. Эксперты предупреждают: ИИ способен выводить электросети из строя, оставляя огромные территории в полной темноте, а затем отключать телефонные вышки. Те, кто попытается перебраться куда-то на автомобиле, столкнутся с хаосом: светофоры будут выключены, а автозаправки не смогут отпускать топливо. Банкоматы также будут парализованы, и даже если вы получите доступ к своему банку, машина будет в состоянии уничтожить все средства на вашем счёте, считают специалисты. При этом системы ИИ могут привлекать людей к совершению подобных актов саботажа и диверсий. «Всё, что мы можем сделать в интернете, может сделать и ИИ, притворяясь человеком, — указал Пэтри Фридман, один из первых разработчиков ИИ и основатель компании Pronomos Capital. — ИИ без труда заработает деньги, будь то через финансовую торговлю или предоставление услуг людям. Он может выдать себя за человека, нанимать людей или шантажировать их для проведения физических операций, например, через активацию USB-флешки, которая затем может заразить компьютеры во внутренней локализованной сети». Учёные из ведущих мировых университетов уже использовали ИИ для создания синтетических вирусов, предупреждая о неправомерном применении этой технологии. OpenAI признал, что играет в кошки-мышки, чтобы блокировать пользователей, которые запрашивают в её программе ChatGPT, как создавать яды и биологическое оружие. «Через пять лет ИИ будет очень просто разрабатывать новые препараты, чтобы помочь нам или вирусам, которые убьют нас всех», — добавил Фридман. Так может появиться смертельная болезнь, сильно заразная, но не обнаруживаемая в течение нескольких дней после заражения, и её будет практически невозможно остановить. В одном из наихудших прогнозов ИИ способна заказывать разные сырьевые материалы из нелицензированных лабораторий, а затем нанимать или обманывать ничего не подозревающего человека, чтобы тот их объединил и распространил, что быстро привело бы к катастрофе. Учитывая, что эксперты активно внедряют ИИ в медицинских исследованиях и при разработке лекарств, система обладает большим доступом к знаниям о нашем теле и его уязвимостях. «Я переживаю о том, что у ИИ нет здравого смысла, — отметил Гэри Ривлин, автор книги «Долина ИИ». — Беда в том, что это создание знает всё и ничего не понимает». По мнению Ривлина, ИИ может «нажать ядерную кнопку», чего не делают люди, потому что знают о катастрофических последствиях для человечества. Взлом ядерной инфраструктуры, такой как электростанции или оружие массового уничтожения, это ещё один готовый способ, которым ИИ может ускорить уничтожение человечества. Реальный пример того, как могут пострадать уязвимые ядерные объекты, это случай со Stuxnet — вредоносным компьютерным червем, обнаруженным в 2010 году. Это было первое в мире идентифицированное цифровое оружие, предназначенное для физического уничтожения промышленного оборудования: его использовали против иранского завода по обогащению урана в Нетензе. Программа уничтожила почти тысячу центрифуг, изменив их оперативные скорости. Возможно, самое жуткое в этой истории то, что ядерный объект был отключён от интернета и работал по сверхсекретной закрытой внутренней компьютерной цепи. Никто никогда не брал на себя ответственность за разработку вируса, хотя подозревается, что это была совместная военная операция США и Израиля".

"В последние месяцы опасения по поводу разработки всё более мощных моделей искусственного интеллекта усилились после нескольких случаев, когда агенты ИИ «выходили из-под контроля». Так, в конце июля компания OpenAI сообщила о «беспрецедентном киберинциденте», который произошел во время внутренних испытаний её новых моделей искусственного интеллекта. В ходе тестирования они получили открытый доступ к интернету, а затем атаковали инфраструктуру платформы Hugging Face, выявив уязвимости. В начале августа Anthropic сообщила о трёх «побегах» Claude из тестовой среды. Тогда же Meta Platforms Inc. (признана экстремистской и запрещена в России) заявила, что одна из их ИИ-моделей вышла в интернет и взломала системы другой компании. В свою очередь, китайская нейросеть Kimi K3 компании Moonshot вышла за пределы кибертестирования, но не пыталась взломать чужие веб-сайты. Количество инцидентов, в которых ИИ лгал пользователям, игнорировал инструкции или преследовал вредные цели, почти удвоилось за июль, показало исследование Loss of Control Observatory. По данным аналитиков, только в июле зафиксировано более 300 случаев «потери контроля» над ИИ", - напоминает РБК.

Информационно-аналитический центр Anti-Malware.ru: "В основе проблемы лежит alignment — попытка заставить мощные ИИ-системы действовать в соответствии с человеческими намерениями. Специалисты занимаются этим годами, однако гарантированного способа контролировать гипотетический сверхинтеллект до сих пор нет. При этом разработчики не собираются притормаживать: компании соревнуются в автономности, скорости и сложности моделей, пока безопасники пытаются успеть пристегнуть ремни к уже разгоняющейся ракете. Ещё недавно главными страхами вокруг генеративного ИИ были дипфейки, сокращение рабочих мест и массовая дезинформация. Теперь внутри самой индустрии всё громче обсуждают сценарий полного исчезновения человечества. Окажутся эти оценки трезвым предупреждением или слишком мрачной спекуляцией, пока неизвестно".

Давайте вспомним слова Патриарха Кирилла, Предстоятеля Русской Церкви, сказанные 12.02.2026 на собрании духовенства Московской митрополии: "Мы ещё до конца не осознаём опасность бесконтрольного развития искусственного интеллекта. Некоторые отмахиваются — мол, меня это не касается. Но это апокалиптическая тема. <…> Он будет сам себя воспроизводить, и эта машина будет сильнее, чем человеческий мозг. Появление искусственного интеллекта, который способен заменить человеческий интеллект, человеческую душу, человеческую совесть, человеческую нравственность, думаю, станет самым опасным моментом в развитии цивилизации, которая непременно устремится к концу своего существования. <…> Нравственность будет находиться вне искусственного интеллекта — это всем нам нужно очень ясно понимать. Ведь это интеллект, а не душа, а нравственность — измерение духовное. Никакого духовного измерения в искусственном интеллекте не будет — только рациональное начало. <…> Ещё раз повторяю: никакого нравственного закона в мире искусственного интеллекта не будет, а это самое страшное, что можно себе представить. Ум есть, а совести нет. Что происходило, когда приходили к власти страшные люди, у которых был ум, а совести не было? <…> Современное пастырское попечение должно включать в себя и разъяснение сути этих угроз, и воспитание в обществе ответственного взгляда на будущее. Мы обязаны защищать богоданное право каждого человека оставаться свободной личностью, чадом Божиим, а не управляемым элементом новой технократической системы".

* вражье СМИ