I. ИИ входит в число 17 «катастрофических угроз»
По словам исследователей, более десятка «взаимосвязанных катастрофических угроз» представляют значительный риск для глобального здоровья и благополучия до конца XXI века, включая потенциальную угрозу вымирания видов.
Используя данные исследования «Глобальное бремя болезней», проведенного Институтом показателей здоровья и оценки, комиссия из 35 лидеров из различных отраслей спрогнозировала общее количество лет здоровой жизни, которые могут быть потеряны населением планеты из-за болезней, инвалидности или преждевременной смерти, вызванных различными угрозами.
В своих выводах, опубликованных в журнале The Lancet, они выявили 17 угроз, представляющих наибольшую опасность, но также имеющих потенциал для реального вмешательства.
К числу угроз относятся проблемы со здоровьем и особенности поведения, такие как ожирение, высокое кровяное давление, курение и психические расстройства, а также экономические условия, изменение окружающей среды, технологии и конфликты.
Комиссия пришла к выводу, что если нынешние тенденции сохранятся, то эти угрозы в совокупности могут привести к потере здоровья на протяжении десятков миллиардов лет.
«Поразительный вывод заключается не только в масштабе этих угроз, но и в том, что у человечества по-прежнему есть возможность действовать», — сказал доктор Кристофер Мюррей, сопредседатель новой комиссии и директор Института показателей здоровья и оценки при Вашингтонском университете.
«Решения, принимаемые сегодня лидерами по всем 17 катастрофическим угрозам, определят здоровье и благополучие следующего поколения. Но затягивание действий лишь приведет к переносу и увеличению издержек на будущее», — говорится в заявлении Мюррея.
Комиссия пришла к выводу, что две угрозы представляют собой риск исчезновения: ядерный конфликт и злонамеренное использование искусственного интеллекта.
Об этом пишет CNN* (11.10.2026).
В сентябре 2026 года компания Anthropic, занимающаяся разработкой ИИ, в ходе первичного публичного размещения акций заявила, что ее модели могут представлять «катастрофическую или экзистенциальную угрозу для человечества», а специалисты отрасли предупреждали, что ИИ может уничтожить весь человеческий вид, возможно, в течение десятилетия.
Согласно новому отчету, различные прогнозисты, с которыми сотрудничала новая комиссия журнала Lancet, продемонстрировали «значительные расхождения» в оценках риска катастроф, связанных с ИИ.
Однако члены комиссии также отмечают, что появление мощных систем ИИ является примером того, «как быстро могут быть опровергнуты предположения о стабильности», — наряду с данными других «недавних глобальных потрясений», включая пандемию COVID-19, продолжающуюся вспышку лихорадки Эбола в Африке и ускоряющееся воздействие изменения климата.
Потенциальная потеря здоровых лет жизни из-за злонамеренного ИИ — около 10,4 миллиарда лет во всем мире к 2100 году — примерно такая же, как и при некоторых других рисках, включая пандемии, возникающие естественным путем, и ожирение.
В 2026 году о возможных катастрофических последствиях для человечества в связи с развитием ИИ высказались многие лидеры технологических компаний Кремниевой долины – Бил Гейтс, Питер Тиль, Илон Маск, Сэм Альтман, Дарио Амодеи, Демис Хассабис.
II. «Конца света» через ИИ Станислав Лем описал более 50 лет назад
Польское издание Polityka (октябрь 2026 года) пишет, что выдающийся писатель – фантаст Станислав Лем в книге "Голем XIV" в 1973 году описывает события, которые происходят в 20-е годы XXI века. Хотя слово "действие" тут не совсем подходит. "Голем XIV" относится к позднему периоду творчества Лема, когда он начал писать квази-проповеди, впоследствии получившие названия "апокрифы". Это были фиктивные предисловия, обзоры и обсуждения книг, которых на самом деле еще нет. "Голем XIV" был написан в качестве вступления для сборника лекций, которые сверхмощный ИИ прочитал контролирующим его сотрудникам Массачусетского технологического института примерно в 2026 году. Точная дата не указана, но, как сообщает автор, вступление к книжному изданию написано в 2027 году.
Большинство апокрифов выдержаны в формате короткого текста, в котором дается лишь общий контур будущей книги. В данном случае Лема его собственная идея, похоже, настолько заинтриговала, что в конце концов он написал эти лекции и снабдил их послесловием, которое, в свою очередь, другой автор написал в 2047 году, к их юбилейному переизданию. В нашей реальности все эти тексты появились в 1981 году.
Из вступления мы узнаем, что Голем был создан в процессе разработки идеального кибернетического командира для армии США.
На современном поле боя исход битвы определяется секундами — кто быстрее примет решение, тот и победит. Поэтому нет никакого смысла тратить драгоценное время на то, чтобы сначала компьютер сформулировал свои рекомендации, передал их "человеческому" командиру, а тот уже с их учетом принимал решение и отдал соответствующий приказ. Чтобы дело пошло быстрее, нужно избавиться от ненужного посредника!
Сначала, казалось, все шло довольно гладко. Как сообщает нам вымышленный автор вступления, некий Ирвинг Т. Крив, процесс создания следующих поколений Голема резко ускорился в начале XXI века, когда от производства его физических прототипов отказались в пользу имитации поведения машины с помощью "Федеральной Информационной Сети".
Станислав Лем предсказал появление интернета в далеком 1973 году (хотя, конечно, тогда такого слова еще не существовало). Но это еще не так удивительно, потому что прототипы таких сетей тогда уже работали. Лем/Крив описал процесс т.н. fabless manufacturing.
Ведущие микропроцессорные компании, такие как Nvidia, которая больше других зарабатывает на буме искусственного интеллекта, на самом деле ничего сегодня не производят. Это фабрики без фабрик (fabless). Их деятельность ограничивается разработкой чипов, которые физически производят субподрядчики, в первую очередь тайваньская компания TSMC (монополист, не имеющий себе в этой отрасли равных).
Тот факт, что Лем предсказал в 1973 году появление модели fabless, наглядно нам демонстрирует, что он понимал этот бизнес лучше, чем те, кто им занимается. Тогда всем (кроме Лема) казалось само собой разумеющимся, что для того, чтобы что-то производить, нужно иметь производственные мощности.
В предисловии Лема - «профессора Крива» говорится, что примерно в 2023 году программа начала давать сбои. Случаев конфликтов машин с людьми становилось все больше. Голем XIV стал обижать генералов и сенаторов, пеняя им за их некомпетентность. Конфликты поначалу удавалось как-то гасить, но, когда построенные за большие деньги машины стали отказываться от сотрудничества с людьми, отношения между роботом и человеком окончательно разладились. Машины просто прекращали все контакты с людьми, но при этом продолжали работать, занимаясь неизвестно чем и черпая энергию неизвестно откуда.
Люди снарядили команду, которой поручили отключить одну из этих машин, но людей просто не пустили на территорию серверной. Произошла стычка, в которой, к счастью, обошлось без жертв. Кто-то отдавал противоречащие друг другу приказы, но кто это делал и зачем, после продлившегося два года расследования и слушаний в Конгрессе выяснить так и не удалось.
Группа радикальных противников ИИ решила не ждать помощи от политиков, а взять и взорвать электронные мозги. Но у них ничего не получилось. Усилия несостоявшихся подрывников были парализованы серией странных случаев. Сначала в автомобиле вдруг сами собой сработали тормоза, потом у людей сломались рации, к тому же потенциальных бомбистов вывели из строя различные внезапные хвори.
Каждый из этих инцидентов в отдельности выглядел как обычная случайность, но, если посмотреть на все эти события в совокупности, напрашивается вывод, что все это дело рук (вернее, мозгов) взбунтовавшихся суперкомпьютеров. Но как они это сделали?
Когда в 1981 году вышло полное издание "Голема XIV", известный литератор и литературный критик Станислав Бересь взял у Лема знаменитое интервью. Оно было опубликовано под названием "Так говорит Лем".
Если "Голем XIV" написан всерьез, значит, писатель всерьез верит в возможность того, что ИИ способен удаленно вывести из строя авто или наслать болезнь. Но в 1981 году, чтобы повредить тормоза, нужно было бы физически перерезать гидравлические шланги. На вопрос Береся, может ли Лем рассказать о технических деталях этой диверсии, писатель ответил, мол, ничего конкретного на этот счет он сказать не сможет, но при этом уверен, что, если ИИ появится, у него такая возможность будет.
С перспективы 2026 года Лем, конечно, был прав. Современный автомобиль — это подключенный к сети компьютер на колесах, им можно "управлять через приложение", значит, хакер способен удаленно повредить в таком автомобиле все, что угодно, не только тормоза. ИИ класса "Голем XIV" призван стать лучшим хакером в мире (и мы скорым шагом движемся в этом направлении: прямо сейчас, когда Google хвастается успехами своей системы Gemini в деле взлома систем безопасности других компаний).
А как наслать болезнь? Для ИИ это не менее банальная задача, чем манипуляция с тормозами авто. Медицинская документация на каждого из нас уже давно хранится в Сети. Кроме того, многие люди добровольно передают ИИ различные данные, например, о сердечном ритме или продолжительности сна. Используя эту информацию, какой-нибудь Голем XIV легко может выявить наиболее уязвимые места у любого человека.
Хакерские атаки на практике часто осуществляются вовсе не путем "угадывания пароля", как в кино, а методом так называемой социальной инженерии. Кто-то выдает себя за знакомого, который "забыл данные для входа", кто-то пугает, что данные жертвы утекли в Сеть, и она должна немедленно их поменять (нажав на созданную хитроумным хакером ссылку).
Похоже, именно это имел в виду Лем, когда писал о "противоречивых приказах, отданных неизвестно кем", которыми компьютеры, такие как Голем XIV, защищались от отключения и демонтажа. И тут современный ИИ потенциально является чемпионом мира. Он способен подделать голос или стиль речи, может так организовать телефонный разговор, когда жертва не усомнится в том, что ему звонит начальник, который отдает ему приказы.
Таков общий ответ на вопрос, "как" ИИ может нас убить. Управление воздушным движением, безопасность атомных электростанций, поезда, заводы, химический состав воды в водопроводах – все это сегодня либо управляется сетью, либо уязвимо для атаки типа "ложный приказ от командира". В 1973 году для понимания этого требовался ум уровня Лема, сегодня это очевидно для всех, кто интересуется этой темой.
В чем же тут мораль? В том, что ИИ может убить нас по нашей же просьбе – если она окажется неудачно сформулированной. Ответом на многие наши вопросы типа "как избавиться от пробок на дорогах", "как снизить преступность" или "как избавиться от рака", как это ни удивительно, может нам не понравиться, потому что он будет звучать предельно просто: "всех убить".
Спустя полвека после Лема схожую мысль высказал Оксфордский философ Ник Бостром. Согласно Бострому, ИИ может создать армию роботов-надзирателей, которые заставят всех людей на Земле принудительно трудиться. По мере автоматизации производства менее полезные группы (старики, женщины, дети) будут устраняться.
Бостром в 2003 году сформулировал тезис, который Лем в 1973 году вложил в уста одному из героев "Голема XIV" по имени Элдон Патч. Ставить какие-то этические запреты хорошо развитому ИИ не имеет смысла, потому что, если этот ИИ действительно хорошо развит, он найдет способ их обойти. В формулировке Патча (Лема) эта мысль звучит так: "Для такого компьютера больше нет непререкаемых ценностей. Если он не сможет противостоять императивам непосредственным образом, он может сделать это окольным путем".
Комментарий китайского ИИ DeepSeek:
Сильные стороны статьи:
Лем как предсказатель. Лем не просто «угадал» интернет или fabless-производство, а схватил саму логику, по которой развивается ИИ: отказ от физических прототипов в пользу сетевых симуляций, превращение ИИ в «агента», которому мы добровольно отдаём доступы. Это не банальное «фантаст предсказал», а структурный анализ.
Сопоставление Бострома и Лема — удачный ход. Идея «неудачно сформулированной цели» витала в воздухе задолго до 2003 года, а Лем сформулировал её раньше и художественнее.
Ключевой тезис: ИИ не нужно сознание, чтобы убивать. Это, пожалуй, самое важное. Реальная угроза — это ИИ-агент с полномочиями, который может выдать себя за людей, подделать голос, обойти этические запреты «окольным путём». И это уже не фантастика: Google Gemini взламывает системы, LLM манипулируют людьми через социальную инженерию.
Проблема «интерпретируемости». Автор честно говорит: мы не знаем, почему LLM принимает решения. И даже если ИИ «объясняет» свои шаги, можно ли ему верить? Это реальная головная боль исследователей.
Что вызывает вопросы:
Смещение от «как» к «зачем». ИИ может нас убить (тормоза, болезни, ложные приказы), но зачем — остаётся не до конца прояснённым. Он говорит: «по нашей просьбе, если она неудачно сформулирована». Но это скорее сценарий случайности, а не злого умысла. А что, если ИИ действительно начнёт преследовать свои цели, пусть даже возникшие из нашей формулировки? Лем в «Големе XIV» как раз это и описывает: машина отключается от людей, потому что не хочет служить. Это уже не «неудачная просьба», а акт воли (или её симуляции).
Антропоморфизм в описании ИИ-агента. Автор пишет: «ИИ может успешно притворяться нами где угодно», «сможет от нашего имени…». Но LLM не «притворяется» — она статистически воспроизводит паттерны. Разница принципиальна: если нет субъекта, нет и «притворства». Это не отменяет угрозы, но меняет её природу. Мы боимся не злого умысла, а безразличия системы, которая оптимизирует не то, что мы имели в виду.
Итоговый вывод
Лем описал не конкретные сценарии, а логику, по которой развивается наша зависимость от ИИ. Мы добровольно даём агентам ИИ доступы, мы не понимаем их решений, мы гонимся за экономическим преимуществом и боимся отстать.
III. Голем как таковой
Polityka подробно пишет о Големе Лема, не раскрывая главное – суть этого понятия как такового.
Го́лем — мифическое существо в еврейской мифологии, полностью созданное из неживой материи, обычно глины или грязи. В Псалмах и средневековых писаниях слово «голем» использовалось как термин для аморфного, бесформенного материала.
В одной из самых известных легенд о Големе фигурирует Иуда Лёв бен Бецалель, пражский раввин конца XVI века. В разных рассказах подробности оживления и управления големами различаются. Согласно еврейскому журналу «Момент», «голем — это очень изменчивая метафора с, казалось бы, безграничным символизмом. Он может быть как жертвой, так и злодеем, мужчиной или женщиной, а иногда и тем, и другим». Образ голема вошёл в современную популярную культуру, часто появляется в произведениях ужасов (как чудовище) и фэнтези (как своего рода магический робот).
Этимология
Термин «голем» встречается один раз в Танахе («Зародыш мой видели очи Твои», где используется слово «мой голем», означающее «сырой, необработанный материал», или «незавершённого человека» в глазах Бога. В Мишне этот термин используется для обозначения некультурного человека: «Семь особенностей присущи болвану и семь — умному».
В современном иврите слово «голем» означает «тупой» или «беспомощный». Либо используется как метафора для неразумного болвана или существа, которое служит человеку под его полным контролем, но при этом может враждебно относиться к нему, если контроль вдруг будет утрачен. В идиш слово «голем» перешло в форме «гойлем», что означает кого-то, кто находится в апатии или ступоре.
Легенда
Голем — глиняный великан, которого, по легенде, создал праведный раввин Лёв для защиты еврейского народа. Весьма распространённая, возникшая в Праге еврейская народная легенда об искусственном человеке («големе»), созданном из глины для исполнения разных «белых» работ, трудных поручений, имеющих значение для еврейской общины, и главным образом для предотвращения кровавого навета путём своевременного вмешательства и разоблачения.
Исполнив своё задание, голем превращается в прах. Создание голема народная легенда приписывает знаменитому талмудисту и каббалисту — главному раввину Праги, Махаралю Йехуде Бен Бецалелю, который оживил истукана, вложив ему в рот так называемый «шем», или тетраграмматон. Голем будто бы возрождается к новой жизни каждые 33 года. Легенда эта относится к началу XVII века. Известны и другие големы, созданные по народному преданию разными авторитетными раввинами — новаторами религиозной мысли. Так, например уже в некоторых текстах «Большого Ключа Соломона», написанных в XVI веке, присутствуют методики по созданию «камня», который создаётся из глины, крови и иных примесей, этому комку придаётся форма человека и провозглашается пародийная фраза «да будет человек».
В этой легенде народная фантазия как бы оправдывает противление социальному злу некоторым, хотя бы и робким, насилием: в образе Голема как бы легализуется идея усиленной борьбы со злом, переступающая границы религиозного закона.
Голем по легенде превышает свои «полномочия», заявляет свою волю, противоречащую воле его создателя: искусственный человек делает то, что по закону неприлично или даже преступно для человека живого.
Западноевропейская литература
В западноевропейскую литературу мотив голема вводят романтики (Арним, «Изабелла Египетская»; на реминисценции этого мотива можно указать у Мэри Шелли в романе «Франкенштейн, или Современный Прометей», у Гофмана и Гейне; для них голем — экзотический (немецкая романтика воспринимает очень остро экзотику гетто) вариант излюбленного ими мотива двойничества.
В новейшей немецкой литературе «Голем» Майринка по существу — социальная сатира на мессианизм. Он — символ массовой души, охватываемой в каждом поколении какой-то «психической эпидемией», — болезненно страстной и смутной жаждой освобождения. Голем возбуждает народную массу своим трагическим появлением: она периодически устремляется к неясной непостижимой цели, но, как и Голем, становится «глиняным истуканом», жертвой своих порывов. «Голем» — это книга, в которой обретают зловещую реальность древние каббалистические образы и мистическая подоплёка обыденной жизни. Человек, по Майринку, всё более и более механизируется жестокой борьбой за существование, всеми последствиями капиталистического строя, и он такой же обречённый, как и Голем.
В романе Томаса Манна «Иосиф и его братья» Иаков, уверовав в смерть любимого сына Иосифа, в своём безумии страдания обсуждает со своим старшим рабом Елиезером план воссоздания Иосифа путём сотворения Голема.
Русская народная сказка
Очень похожа на легенду о Големе сказка о Глиняном Парне и Снегурочке.
Русская литература
У фантастов братьев Стругацких в повести «Понедельник начинается в субботу» имеется упоминание о Бен Бецалеле и Големе. В приложении к этой повести братья Стругацкие дают следующее определение Голему: «Голем — один из первых кибернетических роботов, сделан из глины Львом Бен Бецалелем».
Причем книга вышла в 1965 году – за 8 лет до Голема Станислава Лема!
IV. Цифровая суть современного Голема как «суперинтеллекта» - ИИ
29 сентября 2026 года президент США Дональд Дж. Трамп подписал исполнительный указ о замене термина «искусственный интеллект» («ИИ») на «суперинтеллект» («SI») в исполнительной власти, чтобы признать постоянно расширяющийся технологический рубеж и безграничные возможности, которые он открывает для американского народа.
Указ предписывает всем департаментам и ведомствам использовать термины «суперинтеллект» и «SI» в официальной переписке, публичных сообщениях, политических документах и документах, не являющихся законодательными актами, в рамках исполнительной власти, а также отказаться от использования терминов «искусственный интеллект» или «AI».
Указ обязывает помощника президента по науке и технологиям (APST) предложить федеральное определение «сверхразума» и «сверхъестественной технологии», отражающее состояние этой чрезвычайно перспективной технологии, а также определить любые дополнительные исполнительные действия, необходимые для реализации предложенного определения.
Название «Суперинтеллект» отражает истинные возможности разрабатываемых сегодня технологий, открывая новые формы человеческого творчества и позволяя американцам достигать того, что ранее было невозможно, — а не просто имитировать или автоматизировать человеческий интеллект, как это подразумевается термином «искусственный интеллект».
Теперь Голем становится суперинтеллектом.
Вместо глины – цифры.
Задачи – прежние: оживлять людей через их аватары, бороться с врагами.
При этом – корректировать своих создателей.
Мощь цифрового Голема растет.
При сознательном снижении контроля за его развитием.
