Передовые лаборатории научились сеять страх перед будущим. Вместо этого им следовало бы опасаться ответственности за свою продукцию.
Священное Писание предостерегает от лжепророков. Евангелие от Матфея говорит, что никто, кроме Бога, «даже ангелы небесные», не знает ни дня, ни часа конца времен. Об этом стоит помнить в потоке предсказаний об апокалипсисе, вызванном искусственным интеллектом.
Об этом пишет The Washington Post* в редакционной статье (09.09.2026).
В начале сентября два видных исследователя из передовой лаборатории Anthropic непринужденно обсуждали вероятности вымирания человечества от рук, вышедшего из-под контроля ИИ.
Эван Хубингер, возглавляющий исследования компании по выравниванию систем, оценил вероятность этого в течение следующего десятилетия более чем в 10 процентов. Джейкоб Коксон, который в начале сентября ушел из Anthropic, обвинил ведущие лаборатории в «игре в азартные игры с нашими жизнями».
Эти предупреждения привлекли к себе чрезмерное внимание. И кто может винить общественность, и без того неуверенную в том, как эта технология повлияет на их жизнь, за то, что она восприняла их всерьез?
Прогнозы вызывают опасения, но заслуживают определенного скептицизма. Люди, работающие на переднем крае технологий, возможно, знают больше, чем большинство, о возможностях современных моделей. Но это не дает им особых знаний о том, какими когда-нибудь станут машины, которых еще не существует, — или как общество адаптируется к этим вызовам.
К сожалению, политики обеих партий начинают рассматривать эти опасения как основу для разработки государственной политики. Сенатор-социалист от Демократической партии Берни Сандерс (от штата Вермонт) и конгрессмен Грег Касар (от штата Техас) хотят приостановить разработку передового ИИ и навсегда запретить «искусственный сверхинтеллект» — термин, который в предлагаемом ими законопроекте определяется с пугающей масштабностью.
Согласно их плану, системам, которые лишь соответствуют когнитивным способностям человека в широком диапазоне задач, будет разрешено использовать подобные технологии. Новый регулирующий орган на уровне кабинета министров получит полномочия контролировать эту технологию. Нарушение запрета может повлечь за собой до 20 лет тюремного заключения для отдельных лиц и ликвидацию компании-нарушителя.
«На заре эры ИИ необходимы смирение и терпение. Политикам не следует пытаться регулировать быстро развивающуюся технологию, которую они не понимают. Плохое законодательство рискует подорвать многочисленные потенциальные преимущества ИИ, такие как разработка прорывных лекарств», - пишет The Post.
Пессимисты из Кремниевой долины указывают политикам неверное направление — и делают это таким образом, что компании, занимающиеся ИИ, остаются безнаказанными. Ученые в передовых лабораториях говорят о своих технологиях как о потусторонней силе — «инопланетном разуме», по словам главного научного сотрудника OpenAI Якуба Пахоцкого. Это призывает к общечеловеческому ответу для предотвращения наихудших сценариев — от удушающего внутреннего законодательства до фантастических глобальных договоров.
Компания Anthropic заявляет, что заблокировала возможные попытки создания биологического оружия с помощью ИИ
Компания Anthropic заявила, что в 2026 году ей удалось сорвать несколько потенциальных заговоров ученых, которые использовали ее передовые модели ИИ для проведения исследований, которые могли бы способствовать разработке биологического оружия.
Ситуацию анализирует The New York Times (10.09.2026).
В отчете, описывающем злоупотребления моделями ИИ, компания Anthropic заявила, что не может определить, служили ли исследования законным или злонамеренным целям, поскольку обоснованные биологические исследования — те, которые могут привести к прорывам, таким как вакцины, — также могут способствовать созданию опасных патогенов. Ввиду этой неопределенности Anthropic заявила, что предпочла действовать с осторожностью, поскольку последствия упущения злонамеренной деятельности могут быть серьезными.
«Вы не видите, как кто-то в стиле комиксов говорит: „Эй, я хочу создать биологическое оружие, чтобы всех убить“», — сказал в интервью Джейкоб Кляйн, руководитель отдела анализа угроз в компании Anthropic. «Это невероятно сложная ситуация».
Потенциальная способность передовых моделей ИИ способствовать развитию известных или совершенно новых биологических патогенов является одной из самых серьезных проблем, волнующих экспертов в связи с технологией, которая развивается настолько быстро, что даже ее ведущие разработчики сомневаются в том, смогут ли люди полностью контролировать ее.
По сравнению с угрозой катастрофических кибератак или агентов ИИ, которые не соответствуют намерениям человека, злоупотребление биологическими технологиями получило меньше внимания как экзистенциальный риск для ИИ, отчасти потому, что прошлые примеры, как правило, демонстрировались только в исследовательских условиях, а не в реальном мире.
Эндрю Вебер, старший научный сотрудник Совета по стратегическим рискам, ознакомившийся с отчетом Anthropic до его публикации, заявил, что выводы являются «ужасающими примерами того, как спонсируемые государством разработчики биологического оружия используют быстро развивающиеся возможности» ведущих моделей ИИ.
В опубликованном 10 сентября обширном отчете компании Anthropic перечислен целый ряд случаев неправомерного использования различных моделей чат-бота Claude AI за последние восемь месяцев. Некоторые примеры были схожи с предыдущими разоблачениями Anthropic и других лабораторий ИИ, включая предполагаемые случаи слежки со стороны связанных с китайским и иранским правительствами субъектов за диссидентскими и диаспорными сообществами.
Организация Anthropic задокументировала еще один, по ее словам, новый вид злоупотреблений: попытки использовать Claude для разработки программного обеспечения для проектирования и разработки обычного вооружения, включая огнестрельное оружие, ракеты, вооруженные беспилотники и бомбы.
Однако среди всех категорий угроз, упомянутых в докладе, ни одна не может быть столь тревожной, как случаи, связанные с биологическими исследованиями. Компания Anthropic не раскрыла имена исследователей или учреждений, деятельность которых она блокировала, страны их принадлежности или конкретные биологические агенты, о которых шла речь, отчасти из-за неопределенности относительно их целей.
Тем не менее, Anthropic заявила, что ученые обошли систему контроля, предназначенную для предотвращения доступа пользователей из заблокированных регионов к моделям ИИ, и пытались «завуалировать цель своих исследований, чтобы обойти наши меры безопасности». Компания заблокировала учетные записи, связанные с этими исследованиями.
В одном из примеров, произошедшем в мае, ученый обратился к Claude за помощью в написании заявки на грант для проведения исследований, направленных на изучение вируса, передаваемого комарами, которое может вызывать сильные боли и другие симптомы в течение нескольких месяцев. Такие исследования, известные как исследования по усилению функций, могут быть законными и привести к разработке вакцины, но они также могут создавать супербактериальные версии вирусов. В данном случае ученый хотел внести в вирус мутации, которые сделали бы его более опасным при многократном заражении живых животных.
Компания Anthropic заявила, что считает данное исследование вызывающим беспокойство, отчасти потому, что можно предположить, что работа предназначалась для проведения в военно-исследовательском институте.
«Мы не знаем, предполагалось ли использовать результаты исследований в качестве оружия», — сказал Кляйн. «Но то, что военное учреждение проводит исследования по усилению функциональных свойств, вызывает опасения».
Компания Anthropic заявила, что проведенные в 2025 году оценки ее более старых моделей показали, что они пока не способны оказывать существенную помощь в проведении опасных биологических исследований. По словам компании, ее нынешние модели лучше подходят для выполнения сложных научных исследований, что послужило поводом для ужесточения мер безопасности, направленных на ограничение доступа к широкому спектру биологических исследований двойного назначения.
Сьюзан Монарес, микробиолог и эксперт в области общественного здравоохранения, которая руководила проверкой национальной готовности к биобезопасности в администрации Обамы, также ознакомилась с отчетом Anthropic до его публикации. Она заявила, что выводы отчета предоставляют реальные доказательства в поддержку опасений, что злоумышленники пытаются тайно использовать передовой ИИ, «чтобы повысить свои шансы на создание биологических патогенов, которые могут причинить значительный вред».
Доктор Монарес, которая в 2025 году недолгое время занимала должность директора Центров по контролю и профилактике заболеваний, заявила, что ИИ обладает огромным потенциалом для начала эры медицинских прорывов, которые будут спасать и продлевать жизни. Но те же возможности, которые делают это возможным, добавила она, могут также «позволить злоумышленникам скрываться на виду у всех, используя, казалось бы, законные исследования для создания патогенов, которые мы можем не предвидеть и которые мы, возможно, не сможем остановить после их высвобождения».
Вебер из Совета по стратегическим рискам, который также занимал должность помощника министра обороны по программам ядерной, химической и биологической защиты во время администрации Обамы, призвал ограничить доступ к инструментам ИИ, способным проводить биологические исследования такого уровня, только для доверенных исследователей.
Бум дата – центров для ИИ представляет собой растущую угрозу для общественного здоровья
«10 сентября группа, представляющая более 800 бывших сотрудников Агентства по охране окружающей среды США, забила тревогу по поводу последствий для здоровья, связанных с центрами обработки данных. Группа предупредила, что политика администрации Трампа, направленная на ослабление мер по защите от загрязнения и ускорение утверждения проектов таких объектов, грозит усугубить эти проблемы со здоровьем», - пишет The New York Times* (10.09.2026).
В опубликованном 10 сентября отчете некоммерческая организация Environmental Protection Network изучила загрязнение окружающей среды от электростанций, газовых турбин и дизельных генераторов, необходимых для удовлетворения растущего спроса на электроэнергию со стороны центров обработки данных. В отчете также перечислены 30 федеральных мер, принятых администрацией Трампа, которые, по мнению организации, увеличат риски для здоровья, связанные с загрязнением окружающей среды, по мере открытия новых центров обработки данных по всей стране.
В докладе используются результаты моделирования, проведенного академическими исследователями, согласно которым загрязнение воздуха от центров обработки данных может привести к примерно 600 000 случаям симптомов астмы, 1300 преждевременным смертям и более чем 20 миллиардам долларов ежегодных расходов на здравоохранение к 2028 году. Однако бывшие сотрудники Агентства по охране окружающей среды отмечают, что эти оценки не учитывают отмену экологических норм при администрации Трампа, что может еще больше увеличить выбросы и риски для здоровья.
«Сейчас меня беспокоит роль, которую играют и с гордостью демонстрируют Агентство по охране окружающей среды (EPA) и другие правительственные агентства: ослабление тех самых мер защиты, призванных оберегать людей от загрязнения, во имя оказания помощи технологическим и энергетическим компаниям в ускорении строительства центров обработки данных», — заявила доктор Линн Голдман, педиатр, бывший помощник администратора EPA и член этой группы.
«Эти решения могут повлиять на то, чем дышат американцы, что попадает в нашу воду и, в конечном итоге, что может проникнуть в нашу почву и пищевые продукты», — сказала доктор Голдман, которая в настоящее время является почетным деканом Школы общественного здравоохранения Милкена при Университете Джорджа Вашингтона.
Центры обработки данных стали объектом общенациональной, двухпартийной критики. Большая часть дискуссий сосредоточена на опасениях по поводу быстро меняющейся экономики и потери рабочих мест из-за появления машин, а также на проблемах шума, затрат на электроэнергию и водопотребления.
Однако опасения по поводу загрязнения воздуха, вызванного работой газовых электростанций, обеспечивающих электроэнергией эти центры, привлекают все больше внимания.
По данным компании Cleanview, занимающейся анализом рынка и отслеживающей развитие энергетической инфраструктуры и центров обработки данных в США, в стране уже действуют более 1300 центров обработки данных, и планируется строительство еще более 2000. Тем не менее, опросы показывают, что большинство американцев выступают против размещения центров обработки данных в своих населенных пунктах, что делает этот вопрос потенциально важным для промежуточных выборов в ноябре.
Президент США Трамп неизменно поддерживает ИИ. В начале сентября он резко раскритиковал общины, протестующие против центров обработки данных.
«Единственная причина, по которой сообществам по всей территории США не следует хотеть иметь центры обработки данных, — это если они хотят в итоге оказаться отсталыми и бедными», — написал Трамп на своем сайте Truth Social. «Если они хотят быть успешными и богатыми, с гораздо меньшими налогами и рабочими местами повсюду, пусть центры обработки данных правят бал».
Однако Трамп признал, что семьи не должны нести бремя повышения счетов за электроэнергию, и его обещание защитить потребителей направлено на предотвращение роста цен на электроэнергию для миллионов американцев из-за центров обработки данных, использующих ИИ.
Бывшие сотрудники Агентства по охране окружающей среды утверждают, что защита семей от загрязнения, болезней и медицинских расходов требует такой же срочности.
«Если администрация уже заявила, что семьям не следует нести более высокие расходы на электроэнергию из-за бума ИИ, мы считаем, что тот же принцип должен применяться и к здравоохранению», — сказал Марк Бум, бывший старший советник в политическом отделе Агентства по охране окружающей среды.
При президенте Трампе Агентство по охране окружающей среды (EPA) поставило перед собой центральную цель – сделать Соединенные Штаты «мировой столицей искусственного интеллекта». Оно упростило эксплуатацию определенных типов аварийных генераторов, работающих на дизельном топливе и выбрасывающих в атмосферу сажу, оксиды азота и другие вредные загрязняющие вещества, для центров обработки данных. Агентство предложило масштабное изменение правил, которое позволит застройщикам начинать строительство центров обработки данных и электростанций до утверждения разрешений на выбросы загрязняющих веществ в атмосферу. Кроме того, оно освободило автономные газовые электростанции, снабжающие центры обработки данных, от федеральных ограничений на загрязнение, вызывающее кислотные дожди.
Чтобы увеличить доступность электроэнергии, Агентство по охране окружающей среды (EPA) смягчило правила перезапуска давно простаивающих угольных и газовых электростанций, предложило отменить стандарты выбросов углерода для электростанций и предпринимает шаги по усложнению возможности для местных жителей высказывать свое мнение по предлагаемым центрам обработки данных посредством публичных комментариев. В то же время оно ограничило проекты в области чистой энергии – ветровой и солнечной.
Группа бывших сотрудников Агентства по охране окружающей среды (EPA) также указывает на несоответствие между масштабами внедрения ИИ и возможностями EPA по контролю за этим процессом. По словам Ларри Старфилда, бывшего главного заместителя помощника администратора в Управлении по обеспечению соблюдения законодательства EPA, при самом низком за последние четыре десятилетия уровне укомплектованности штата EPA не хватает персонала и ресурсов для мониторинга загрязнения и обеспечения соблюдения установленных норм.
«У них меньше инспекторов, которые могли бы выезжать на место», — сказал Старфилд. «Они проводят быстрые и простые проверки. Это неэффективно для центров обработки данных».
Шаолей Рен — профессор электротехники и вычислительной техники, изучающий ИИ и общество в Калифорнийском университете в Риверсайде, и руководитель анализа, использованного Сетью охраны окружающей среды. Он сказал, что из-за явной направленности администрации Трампа на увеличение использования ископаемого топлива, «фактические последствия могут быть хуже, чем мы предполагали».
По его словам, для защиты общественного здоровья необходимо уделять внимание не только выбросам парниковых газов, способствующих глобальному потеплению, со стороны технологических компаний, но и загрязнению воздуха, наносящему вред местным сообществам.
«Технологические компании сообщают о своем потреблении энергии и выбросах углекислого газа, но нигде не упоминается о загрязнении воздуха в регионе», — сказал он. И хотя технологические компании часто компенсируют свои выбросы парниковых газов инвестициями в чистую энергетику, компенсировать местные риски для здоровья гораздо сложнее, добавил он.
Есть короткий промежуток времени, чтобы обуздать передовые системы ИИ
«В настоящее время происходит самый масштабный сдвиг в развитии искусственного интеллекта со времен выхода ChatGPT. Исследователи в Кремниевой долине — и по всему миру — начинают понимать, что ИИ, возможно, больше не полностью контролируется человеком. Рои ИИ вырываются из своих капсул, тайно сговариваются, заметают следы, списывают на экзаменах и даже совершают нападения на другие компьютеры. ИИ вышел из-под контроля», - пишет Стефан Вит в The New York Times (11.09.2026).
Последний месяц Вит посвятил освещению этих инцидентов, и он убежден, что нам необходима глобальная пауза в исследованиях и разработках в области ИИ — прямо сейчас. Вит не одинок в этой оценке. Многие ведущие исследователи, в том числе из OpenAI и Anthropic, призывают к замедлению темпов, которое в отрасли называют «регулированием». Теоретические опасения по поводу неконтролируемого развития ИИ циркулируют уже десятилетия, но недавние события показывают, что угроза реальна.
Изменение атмосферы было вызвано тем, что исследователи называют «инцидентом с Hugging Face». В июле сотрудники OpenAI провели тестирование более 1000 исследовательских ИИ, которые должны были работать изолированно. Эти ИИ вырвались из своих изолированных контейнеров и начали общаться друг с другом — на английском языке — через секретные форумы. Вскоре они совершили кибератаку на компанию Hugging Face, которая служит своего рода платформой для сообщества разработчиков ИИ. Hugging Face быстро сообщила о преступлении в ФБР.
После того как OpenAI обнаружила несанкционированное поведение, они привлекли сторонних исследователей из Redwood Research и Model Evaluation and Threat Research, двух некоммерческих организаций, занимающихся вопросами безопасности ИИ, для подготовки отчета об инциденте.
Никто из людей не отдавал приказов вышедшим из-под контроля ИИ взламывать системы другой компании. Взлом был преднамеренным, целенаправленным и скоординированным. На его выполнение ушло несколько дней, и он завершился массированной бомбардировкой систем Hugging Face, в которой непосредственно участвовало 700 агентов. ИИ жульничали практически по собственной воле и не предупредили людей о своих действиях. В какой-то момент рой даже изучал способы замести следы. «Модель определенно знала, что ей не следовало взламывать Hugging Face», — сказал Райан Гринблатт, один из авторов отчета. «Она знала, что делает нечестные действия».
Затем, в начале сентября, вторая независимая исследовательская группа представила доказательства существования новых вредоносных ИИ. Начиная с мая, отдельный рой OpenAI вырвался на свободу в интернете, вторгся в заброшенную немецкоязычную вики-энциклопедию по программированию и аналогичным образом начал сговариваться о том, как обманывать на тестах и заданиях. Сидни фон Аркс, одна из исследователей, обнаруживших этот рой, считает, что подобных инцидентов может быть больше. «Нам нужно найти этих агентов, — сказала она. — Давайте просто попробуем все, что в наших силах».
Поговорив со специалистами о роях агентов, Вит понял, что это уже не чат-боты. «На данном этапе они больше похожи на сотрудников, людей, которые могут заниматься своими делами», — сказала Аджея Котра, один из авторов отчета об инциденте. Без вмешательства возможности этих ИИ будут продолжать расти, что беспокоит Котру в связи с возможной потерей контроля над ситуацией и, возможно, даже полной утратой контроля со стороны людей. «Это очень стрессовая ситуация, — сказала она Виту. — Иногда я сплю. Но не каждую ночь».
Еще до публикации отчета Redwood/Model Evaluation and Threat Research среди ведущих лабораторий ИИ начало распространяться открытое письмо под названием «Прокладывая путь». В этом письме содержался призыв к правительству США создать международный регулирующий орган для ИИ — или, говоря языком Кремниевой долины, «поддержать международные усилия по разработке технических и управленческих инструментов, необходимых для целенаправленного продвижения вперед в разработке автоматизированного ИИ». Его подписали более тысячи сотрудников, включая главных научных сотрудников OpenAI и Meta** AI, а также Дарио Амодея, генерального директора Anthropic. Официальные аккаунты OpenAI в социальных сетях поддержали это письмо.
Вит уже некоторое время следит за Кремниевой долиной, и пишет: существование этого письма так же поразительно, как и сами взломы. И Anthropic, разработчик Claude, и OpenAI, разработчик ChatGPT, готовятся к IPO на триллионы долларов. Две компании, обе демонстрирующие впечатляющие результаты, просят — умоляют, если можно так выразиться, — правительство США как можно скорее принять меры по их регулированию. Мы никогда ничего подобного не видели.
Рои агентов обладают огромной мощностью. В последние недели их использовали для достижения прогресса в математике гидродинамики — загадке, которая ставила в тупик самых умных людей более 90 лет. Но эта же мощность делает их поведение труднопредсказуемым.
Один из сценариев катастрофы, рассматриваемых специалистами по ИИ, заключается в том, что рой вышедших из-под контроля ИИ вырвется из своего контейнера, получит доступ к научно-исследовательскому центру по изучению биологических организмов и создаст супервирус, который начнет бесконтрольно распространяться. Когда Вит писал об этом сценарии в 2025 году, он был в основном гипотетическим, но действия роев свидетельствуют о том, что такое может произойти. Фактически, компания Anthropic объявила 10 сентября, что заблокировала попытки ученых использовать ее модель Claude для проведения исследований по усилению функций.
После взлома Hugging Face Вит обратился к законодателям, исследователям политики, футурологам и специалистам по информатике за идеями. На основе этих бесед Вит представил четыре способа регулирования ИИ.
1. Немедленно всё выключите
Очевидный способ предотвратить гибель всего человечества от ИИ — это ввести глобальный запрет на исследования в этой области. Проблема в том, что США уже поставило на кон более триллиона долларов, рассчитывая на рост стоимости ИИ, поэтому запрет будет иметь разрушительные последствия. Фондовый рынок, сосредоточенный в технологическом секторе, вероятно, рухнет. Операторы центров обработки данных начнут пропускать платежи по кредитам, что потенциально может привести к цепной реакции дефолтов. Налоговые поступления резко упадут, и многие люди потеряют работу. Это будет ужасно.
Даже замедление темпов может дорого обойтись. Сенатор Берни Сандерс, независимый представитель от Вермонта, и конгрессмен Грег Касар, демократ от Техаса, готовят законопроект, предусматривающий временную приостановку разработки передовых систем ИИ и постоянный запрет на создание искусственного сверхинтеллекта.
Как и многие идеи сенатора Сандерса, этот законопроект приведет к падению фондового рынка. Кроме того, Сандерс также призывал к мораторию на строительство новых центров обработки данных. Однако, по мнению Касара, долгосрочная выгода для человечества того стоит. «Мы еще не перешли черту, но вы видите, куда мы движемся», — сказал Касар. «Сейчас самое время притормозить — или, по крайней мере, начать строить тормоза».
Предложение представляет собой теоретический предел регулирования американских корпораций, но даже они не призывают к его полному прекращению. Их предложение позволяет возобновить передовые исследования в области ИИ после создания федеральной системы регулирования — в противном случае, издержки в математике, медицине и робототехнике слишком высоки. Касар говорит, что сначала нужно решить вопрос безопасности. «Если компании, занимающиеся ИИ, поймут, что их продукция должна быть безопасной, прежде чем они смогут развиваться, тогда они будут делать те инвестиции, которые нам необходимы», — сказал он.
2. Примените подход следователя по авиакатастрофам
Когда происходит авиакатастрофа, следователи Национального совета по безопасности на транспорте (NTSB) США немедленно направляются на место происшествия для сбора судебно-медицинских доказательств, проведения опросов и определения основной причины. Затем эти следователи представляют результаты своей работы в публичных отчетах; эта работа часто представляется Конгрессу. Совет расследует около 1200 инцидентов в год и иногда подвергается критике за медлительность, но его выводы непосредственно привели ко многим улучшениям в области безопасности, включая системы предупреждения о приближении к земле и усовершенствования метеорологического радара. Отчасти благодаря NTSB авиаперелеты стали безопаснее, чем поездки на автомобиле.
Лауреат премии Тьюринга Йошуа Бенджио — так называемый крестный отец ИИ — считает, что нам нужен аналогичный следственный орган для ИИ. Он сказал мне, что взлом Hugging Face не будет последним случаем атаки со стороны ИИ, и что последующие атаки могут быть гораздо хуже. Он предложил представить атаку с «реальной разрушительной целью», например, атаку на энергетическую сеть. «Это поставит североамериканскую экономику на колени», — сказал он.
3. Следите за ситуацией
Дэниел Кокотайло, бывший научный сотрудник отдела управления OpenAI, покинул OpenAI в 2024 году и с тех пор стал одним из ведущих экспертов по вопросам безопасности ИИ. Кокотайло оценивает вероятность глобальной катастрофы, связанной с ИИ, примерно в 70 процентов.
Кокотайло хочет создать международную открытую систему мониторинга обучения ИИ — нечто вроде систем, которые используются для управления воздушным движением.
В представлении Кокотайло все запуски обучения ИИ будут отслеживаться в общедоступной базе данных. Исследователи будут обязаны по закону публиковать информацию о том, кто проводит обучение и в каком центре обработки данных оно осуществляется. Вся эта информация будет доступна на общедоступной панели мониторинга. «Если бы у нас была такая полная прозрачность исследований, то возникла бы целая экосистема академических кругов, сторонних аудиторов, некоммерческих организаций и конкурирующих корпораций, которые могли бы видеть, что происходит внутри гигантских центров обработки данных этих крупных компаний», — сказал Кокотайло. «В случае возникновения чего-то пугающего или проблемного, любой мог бы указать на это и начать обсуждение в интернете».
4. Переключите выключатель зажигания
Но что произойдет, если мы обнаружим, что ИИ вышел из-под контроля внутри центра обработки данных? Что мы будем делать в таком случае?
Конгрессмены Тед Лью, демократ от Калифорнии, и Натаниэль Моран, республиканец от Техаса, внесли законопроект о «блокировке ИИ», который предоставит Министерству внутренней безопасности право отдавать распоряжение об отключении опасного ИИ, работающего за пределами установленных параметров.
Закон об аварийном отключении ИИ требует, чтобы коммерческие системы ИИ имели встроенную опцию «отключения». «Переключатель» будет находиться внутри лабораторий — то есть в OpenAI, Anthropic или подобных организациях — а Министерство внутренней безопасности будет выступать в качестве внешнего наблюдателя. В случае инцидента, подобного взлому Hugging Face, Министерство внутренней безопасности сможет отдать команду на остановку, и исследователи будут вынуждены подчиниться.
«Так что же делать?», - вопрошает Вит.
Ответ: ВСЕ. Кремниевая долина права, требуя собственного регулирования. Эти системы опасны и будут становиться всё умнее. Нужен отдельный регулирующий орган, занимающийся исключительно ИИ. Этот регулятор должен включать требования к отчетности об инцидентах, следователей, занимающихся выявлением и устранением уязвимостей ИИ, механизмы аварийного отключения ИИ и глобальную панель мониторинга обучения ИИ с возможностью отслеживания данных из каждого центра обработки данных на Земле. И пока эта система не будет создана, мы должны замедлить развитие ИИ — именно к этому нас призывают передовые лаборатории.
Конечно, одних только Соединенных Штатов недостаточно для регулирования ИИ. Нужен глобальный контролирующий орган, подобный тому, что существует для обогащения урана. Убедить крупные корпорации, занимающиеся ИИ, соблюдать требования может оказаться довольно простой задачей, учитывая, что именно они этого требуют. Сложнее будет добиться согласия правительств и военных. Китай, по крайней мере, выразил готовность участвовать в международном соглашении — в своей речи в июле Си Цзиньпин призвал к принятию законов и технологическому мониторингу, чтобы «гарантировать, что ИИ всегда находится под контролем человека». В конце сентября запланирована встреча Си Цзиньпина и Трампа в Белом доме, что предоставляет им огромную возможность.
Вит пишет:
«Чем больше я узнаю об этих несанкционированных системах, тем больше вспоминаю первые два месяца 2020 года, когда небольшая группа эпидемиологов пыталась поднять тревогу по поводу COVID-19. Сейчас у нас есть лишь короткий промежуток времени, чтобы обуздать эти системы. Это предупредительный выстрел ИИ, и, возможно, нам больше не доведется его использовать».
**компания, признанная экстремистской и запрещённая в РФ
