Имитация интеллекта

Беседа с Константином Воронцовым, доктором физико-математических наук, профессором РАН, заведующим кафедрой машинного обучения и цифровой гуманитаристики МФТИ, профессором кафедры математических методов прогнозирования ВМК МГУ.

"ЗАВТРА". Константин Вячеславович, мы всё чаще слышим об "искусственном интеллекте". Что он собой представляет, и с чего всё началось?

Константин ВОРОНЦОВ. Когда в конце 1980-х годов я студентом Физтеха начал заниматься данной темой, термин "искусственный интеллект" звучал лишь в узких научных кругах, иногда мелькал на страницах научно-фантастической литературы. Когда друзья спрашивали, чем я занимаюсь, я говорил: "Распознаванием образов". В ответ слышал: "И много образов ты уже распознал?"

"Распознавание образов", "машинное обучение", "науки о данных" — это популярные в разные годы названия одной и той же области исследований. В последние годы к ней вернулось одно из прежних названий — "искусственный интеллект" (ИИ). Американские учёные, которые придумали этот термин (Artificial Intelligence, AI) в 1950-е годы, конечно же, понимали, что никакого интеллекта там нет. На тот момент и до сих пор это просто способность компьютерной программы решать очень сложные задачи, которые раньше могли решать только люди. Распознавать, делать прогнозы, принимать решения. Я бы предпочёл расшифровывать аббревиатуру ИИ как "имитация интеллекта", так будет точнее и честнее.

"Хайп" вокруг "искусственного интеллекта" начался относительно недавно, когда эти слова зазвучали с высоких трибун. В 2016 году их произнёс бессменный президент Всемирного экономического форума Клаус Шваб, а следом за ним — президенты всех ведущих экономических держав. В том же 2016 году администрация Обамы провела пять научных конференций в ведущих университетах США на тему "Искусственный интеллект и автоматизация будущего", в ходе которых были опрошены две с половиной тысячи учёных. Их мнения свели в четыре лаконичных отчёта, которые легко найти в Интернете. Очень, кстати, хороший пример грамотной организации взаимодействия власти с профессиональным сообществом: широкое обсуждение, никакой кулуарности. После этих событий во многих странах, включая Россию, стали принимать документы о национальной стратегии развития "искусственного интеллекта".

"ЗАВТРА". А почему именно в 2016 году актуализировалась эта тема?

Константин ВОРОНЦОВ. То, что этот процесс неизбежен, было ясно ещё в девяностые годы, и даже в шестидесятые. Уже тогда прорабатывались разные приложения: от медицинской диагностики до геологической разведки. С девяностых годов начался повсеместный компьютерный сбор данных. Тогда мы с коллегами прогнозировали цифровой бум через пять лет, но, как оказалось, понадобилось более двадцати лет на то, чтобы общество стало готово к внедрению таких технологий. Примерно в 2015 году произошёл прорыв в области компьютерного зрения, благодаря конкурсу ImageNet и глубоким нейронным сетям. Появились обучаемые алгоритмы, способные распознавать объекты на изображениях не хуже человека, и бизнес увидел в этом огромный потенциал для автоматизации и сокращения издержек.

"ЗАВТРА". А с чего начиналось так называемое машинное обучение?

Константин ВОРОНЦОВ. В 1950-е в области ИИ доминировала идея экспертных систем, когда профессиональная деятельность экспертов описывается правилами "если — то", которые закладываются в компьютерную программу. Это уже относили к "искусственному интеллекту", хотя на самом деле правила вырабатывали люди, программу писали тоже люди, поэтому нельзя сказать, что такая система сама может что-то решать. Например, стратегии игры в шашки и шахматы формализовать хоть и трудно, но можно, поэтому такие программы появились в первую очередь.

С 1960-х стало параллельно развиваться машинное обучение. Там идея была более продвинутой: машина должна сама вырабатывать правила на основе большого числа наблюдений. Каждое наблюдение — это некая ситуация, для которой правильное решение известно. Требуется построить модель, которая по описанию ситуации будет принимать решение, желательно, правильное. В качестве модели могут использоваться логические правила, оценки сходства объектов, вероятностные распределения, нейронные сети и другие математические конструкции.

Были придуманы тысячи различных моделей. Со временем их обобщали, появлялись универсальные модели, способные неплохо решать прикладные задачи в различных областях. Например, одна и та же модель может использоваться и для кредитного скоринга, и для медицинской диагностики, и для предсказания качества продукции. Во всех трёх случаях параметры модели обучаются по разным данным, но структура модели одна и та же. Чем больше у нас данных, тем более универсальной может быть модель. Искусственные нейронные сети — это одна из самых универсальных моделей.

"ЗАВТРА". Приведите, пожалуйста, примеры машинного обучения.

Константин ВОРОНЦОВ. Одной из первых решённых задач, ещё в 50-е годы, была задача поиска полезных ископаемых по данным геологоразведки. Руководитель нашей научной школы академик Юрий Иванович Журавлёв в 1966 году получил Ленинскую премию за математические модели, успешно спрогнозировавшие несколько крупных месторождений золота на территории СССР. Несколько лет спустя ему удалось собрать намного более универсальный алгоритм. Ученики Юрия Ивановича применяли его для решения сотен задач в различных отраслях народного хозяйства: для медицинской диагностики, прогнозирования свойств химических соединений, определения свойств белков, контроля качества промышленной продукции и многих других. Алгебраический подход Журавлёва обогнал своё время лет на двадцать: на Западе бум алгоритмических композиций начался лишь в 1995 году. В те же 90-е поток государственных заказов иссяк, сменившись коммерческими применениями интеллектуального анализа данных (Data Mining, DM) и бизнес-интеллекта (Business Intelligence, BI) — названия новые, но суть примерно та же.

Сейчас все, кто пользуется электронной почтой, должны знать, что без модели распознавания спама они вряд ли смогли бы отыскать нужные письма в куче мусора.

Ещё один пример задачи машинного обучения — психотипирование личности, когда людей просят ответить на вопросы психологического теста, затем сопоставляют эти данные с их профилями в соцсетях. Вместе они образуют обучающую выборку, по которой можно построить модель, способную предсказывать некоторые аспекты поведения человека.

Машинное обучение сродни проведению функции через заданные точки на школьных уроках физики. Так, при изучении закона Гука мы откладывали точки на графике, как сила зависит от растяжения пружины. Должна была получаться прямая линия, хотя точки могли оказаться немного разбросанными вокруг неё из-за погрешности измерений. В машинном обучении всё примерно так же, но намного сложнее, поскольку прогнозируемая величина может зависеть не от одного измеряемого признака, а от десятков, тысяч или даже миллионов. Например, признаками, характеризующими человека, могут быть и ответы на вопросы анкеты, и поисковые запросы, и частоты слов, которые он использует в комментариях.

"ЗАВТРА". А если машина даст сбой?

Константин ВОРОНЦОВ. В любой технической системе возможны и сбои, и аварии, и неожиданные хитросплетения технических недостатков с пресловутым человеческим фактором. Для сведе́ния рисков к минимуму инженеры используют моделирование и испытания, пишут правила безопасности и инструкции по эксплуатации. Компьютер с "искусственным интеллектом" — это тоже техническая система, предназначенная для автоматизации рутинного труда. За работу любой технической системы отвечают люди. "Искусственный интеллект" не является исключением: обучающую выборку составляют люди, модель для прогнозирования или принятия решений тоже придумывают люди, алгоритм, который определяет параметры модели по выборке, тоже создают люди, наконец, компьютеры, на которых это всё работает, тоже делают люди. Много звеньев в этой цепочке, и всюду люди. Если профессионалы что-то не предусмотрели, то они должны это исправить, сделать выводы на будущее, в отдельных случаях понести ответственность. Называть такие системы "искусственным интеллектом" — это терминологическое недоразумение, на мой взгляд. А перекладывать на систему ответственность можно только от "незнания матчасти".

"ЗАВТРА". А как работают нейросети?

Константин ВОРОНЦОВ. Понимание нейросетей начинается с того, о чём я говорю студентам на первой лекции по машинному обучению: "Задача поставлена, если у неё есть ДНК — Дано, Найти, Критерий". Что дано? Обучающая выборка. Что найти? Предсказательную модель для принятия решений; это может быть нейросеть или что-то другое. По какому критерию оцениваем модель? Например, вероятность ошибок у модели меньше, чем у человека. Мы всегда должны чётко оговорить эти три вопроса. Пока ответов на них нет, задача не поставлена и решать её невозможно. К сожалению, на практике мы часто сталкиваемся с тем, что заказчики ожидают от "искусственного интеллекта" какой-то магии. Но чудес на свете не бывает. Бывают фантазии от непонимания возможностей и ограничений этих технологий; бывает даже, что задачу вообще невозможно решить в имеющихся условиях.

Второй шаг к пониманию: нейросеть — это лишь предсказательная модель, а не готовый алгоритм для принятия решений. В чём разница? Модель имеет параметры, которые необходимо обучить по данным (мы также говорим "настроить" или "оптимизировать", а статистики чаще говорят "оценить по данным"). После того, как параметры обучены, модель становится алгоритмом — точной инструкцией для вычисления предсказаний.

Например, закон всемирного тяготения — это модель; в ней есть параметр, который надо определить для каждой планеты. Это можно сделать по выборке экспериментальных наблюдений. Обучив параметр, вы получаете алгоритм, способный предсказывать, с какой силой данная планета притягивает к себе космический корабль. Основной признак, который вам необходимо для этого знать — масса корабля. Это я рассказал о законе всемирного тяготения в терминах машинного обучения. Принципы обучения параметров нейросетей те же самые, что и в классическом математическом моделировании. Карл Фридрих Гаусс применял метод наименьших квадратов для определения орбит планет по астрономическим наблюдениям 220 лет назад. Сегодня мы применяем тот же метод для обучения нейросетей. Но у Гаусса в модели была дюжина параметров, а в самых последних нейросетях их уже триллионы.

Третий шаг к пониманию: определение параметров модели по обучающей выборке — это всегда задача оптимизации некоторого критерия. Например, средней ошибки модели на объектах обучающей выборки. Если менять значения параметров модели, то значение критерия также будет меняться. А нам надо найти такое сочетание параметров, при котором критерий окажется оптимальным. Для наглядности давайте представим себе горный ландшафт, параметрами служат широта и долгота точки на местности, а критерием — высота точки над уровнем моря, и мы ищем самую глубокую впадину. Находясь в некоторой точке, мы видим её ближайшую окрестность и должны решить, в какую сторону идти дальше. Обучаясь, нейронная сеть решает похожую задачу. Отличие в том, что наши модели могут иметь миллиарды параметров вместо двух (долготы и широты). Тем не менее мы умеем решать такие задачи на компьютере с помощью численных методов оптимизации. Нейронные сети, да и всё машинное обучение — это на самом деле методы оптимизации, если "заглянуть под капот".

Четвёртое, мы всё время говорим об архитектуре нейронных сетей. Сеть состоит из нейронов. Каждый нейрон — это простой вычислитель, умеющий сложить несколько признаков, умножив каждый из них на свой весовой коэффициент, и к полученной сумме применить ещё какое-нибудь элементарное преобразование (например, обнулить сумму, если она окажется меньше нуля). Весовые коэффициенты — это и есть обучаемые параметры нейрона, его память. Результат, вычисленный нейроном, можно передать на вход другим нейронам. Так образуется второй слой нейронной сети. Мы сами вправе решать, сколько в сети будет слоёв, сколько нейронов в каждом слое, как нейроны соединяются друг с другом. Всё это определяет архитектуру сети и заметно влияет на качество решения.

Глубокие нейронные сети могут иметь десятки и даже сотни слоёв. Глубокие архитектуры оказались весьма удачными для распознавания изображений, сигналов, речи, текстов и других сложно устроенных объектов. К слову, число слоёв в естественной нейронной сети головного мозга человека оценивается всего в один-два десятка. На самом деле искусственные нейросети имеют мало отношения к нашим мозгам. Мы лишь "подглядываем" в нейрофизиологии некоторые идеи и поверхностные аналогии.

"ЗАВТРА". А в чём суть кардинальных изменений, произошедших в начале 2010-х годов, о которых вы упомянули в начале беседы?

Константин ВОРОНЦОВ. Речь идёт о качественном прорыве в области распознавания изображений. Это одна из классических задач компьютерного зрения. В 2009 году стартовал конкурс ImageNet challenge по распознаванию изображений. Для него собрали выборку из миллиона изображений (спустя годы объём выборки довели до 15 миллионов) и разметили их с помощью краудсорсинга — люди подписывали каждую фотографию тегами в зависимости от того, какие объекты они на ней видят. Число различных тегов превышает 22 тысячи. Раньше в распоряжении учёных не было таких гигантских выборок.

Когда только начали применять известные алгоритмы компьютерного зрения, уровень ошибок был более 25% — это слишком много для реальных применений. В 2012 году британский учёный, один из ведущих в мире специалистов по искусственным нейронным сетям, Джеффри Хинтон и два его аспиранта предложили первую глубокую нейросеть AlexNet для обработки изображений. Тогда же они придумали обучать сеть на видеокартах. Уровень ошибок снизился до 16%, а к 2015 году был преодолён барьер 5% — человеческий уровень ошибок в данной задаче. Сейчас нейросети классифицируют объекты на изображениях уже вдвое лучше, чем человек. Для бизнеса это означает тысячи различных применений: распознавание номерных знаков, лиц, печатного текста, товаров на полках, дефектов изделий на конвейере, биомедицинских изображений и многого другого. Эти же методы затем быстро адаптировали к обработке и синтезу сигналов, речи и другой разнообразной сложно структурированной информации.

"ЗАВТРА". А почему эти нейросети называются глубокими?

Константин ВОРОНЦОВ. Допустим, мы взяли изображение 200х200, в каждой его точке заданы интенсивности трёх цветов. Получается массив из 120 тысяч чисел — для классических методов машинного обучения объект весьма неудобный. К тому же изображения могут быть разного размера. Надо придумать, какие признаки вычислять по картинке, чтобы они содержали всю важную для распознавания информацию, но чтобы их было относительно немного и, желательно, всегда одинаковое количество. Раньше изобретением признаков для компьютерного зрения занимались коллективы высокооплачиваемых инженеров. Каждый признак — это некая формула, которую надо было придумать, запрограммировать, протестировать. Для каждой задачи набор признаков свой: для распознавания букв — один, для лиц — другой, для автомобилей и номерных знаков — третий. Над всем этим бились вручную.

Современные нейросети синтезируют признаки полностью автоматически. Входное изображение, какого бы оно ни было размера, сжимается в массив (вектор) из нескольких тысяч чисел. В сети AlexNet это 4096, то есть изображение 200х200 сжимается в 30 раз. Тем не менее такие векторы содержат в себе всю информацию из входного изображения, необходимую для распознавания 22 тысяч типов объектов. Превращение изображения в вектор признаков, или векторизация, — это ключевой приём в современных нейронных сетях. А с векторами признаков мы умеем работать давно.

Каким образом нейронная сеть делает векторизацию, и почему она обязательно должна быть для этого глубокой? Глубокая — значит состоящая из большого числа слоёв. Каждый слой выполняет довольно простую работу, вычисляя в каждой точке так называемые свёртки — это усреднённые интенсивности цветов в небольшой окрестности данной точки. В результате изображение заменяется новым, размер которого становится меньше в несколько раз, но зато мы в каждой точке увеличиваем число вычисляемых свёрток. В конце концов всё изображение стягивается в одну точку, зато размерность вектора признаков вырастает до заданного значения (например, 4096). Когда признаки готовы, на них можно обучить модель распознавания, состоящую из пары слоёв. Основная масса слоёв нужна именно на стадии векторизации, чтобы изображение трансформировалось постепенно.

В первой сети AlexNet было 7 слоёв, спустя несколько лет научились строить сети из сотен слоёв. Специальные эксперименты показали, что каждый следующий слой обучается различать всё более крупные элементы на изображениях. Первый слой различает простые переходы цветов, второй слой начинает замечать текстуры и так далее, последний слой уже способен видеть крупные составляющие части объектов.

На выходе имеем впечатляющий результат. Системе предъявляют новую фотографию, и она выдаёт: "Это — стадион, это — бейсболист, это — другой бейсболист, это — бита, это — мячик". Звучит как какое-то чудо. Но оно стало возможным потому, что огромное количество параметров сложно устроенной сети было оптимизировано так, чтобы на многомиллионной обучающей выборке выделялись именно те объекты, которые люди разметили на краудсорсинге.

"ЗАВТРА". Для обработки текстов, машинного перевода, чат-ботов используются такие же нейросети?

Константин ВОРОНЦОВ. Немного другие, но тоже глубокие. Для обработки текстов нейронная сеть обучается предсказывать слова по окружающему их контексту. Например, она должна не хуже нас с вами догадаться, что во фразе "пусть бегут неуклюже …" на месте многоточия стоит слово "пешеходы".

Основные идеи остаются теми же, что для изображений. Во-первых, текст — это последовательность символов или слов со всеми их языковыми особенностями, морфологией, синтаксисом, смысловыми взаимосвязями, то есть тоже структурированный объект, ничуть не проще изображений. Отсюда вторая идея: нейросеть должна быть глубокой, чтобы постепенно собирать информацию об окрестности каждого слова и автоматически формировать его векторное представление. Для каждого слова или фразы такая сеть способна вычислить числовой вектор, который будет отражать его смысл. Сеть может работать и в обратную сторону, генерируя связный текст по векторам. Это используется в машинном переводе, для синтеза ответов на вопросы или реплик чат-бота. В-третьих, модель должна обучаться по большим данным, по терабайтам текстов, от Википедии до гигантских библиотек художественной, научной и новостной информации. Про такие модели говорят, что они "видели в языке всё".

"ЗАВТРА". Это те самые модели, которые генерируют фейковые новости?

Константин ВОРОНЦОВ. Да. Есть специальные разновидности глубоких нейронных сетей, называемые генеративными. Такая сеть способна сгенерировать ответ на вопрос, перефразировать новость или написать под заголовком новостной заметки сам текст. Конечно, это будет симуляция "по мотивам" чего-то похожего, что модель видела в обучающей выборке. Однако человек может ошибочно принять такой текст за реальную новость. Обмануть наше восприятие вообще довольно легко: мы видим боковым зрением манекен и вздрагиваем: нам кажется, что это живой человек. Цель фейка в том и состоит: вызвать эмоцию. Человек может обладать критическим мышлением, уметь сопоставлять факты, проверять источники, однако информация, поданная с эмоцией, лучше запоминается. Кроме того, фейковые новости можно генерировать миллионами. В этом потоке будет трудно отличить правду от разнообразной лжи. Конечно, люди и сами, без всяких технологий, продуцируют огромное количество лжи, однако подключение ИИ способно заметно усилить напряжённость информационных войн.

"ЗАВТРА". Много ещё таких возможностей из ящика Пандоры?

Константин ВОРОНЦОВ. Много, и будет всё больше. На одной из конференций по компьютерному зрению в 2019 году была опубликована статья под провокационным названием "Танцуют все". Там описана следующая технология: берётся ролик с профессиональным танцором, исполняющим танец на однородном фоне. Потом берётся одна фотография другого человека, на любом фоне, и алгоритм генерирует видео, где этот человек танцует тот же танец на том же фоне. То есть можно поставить на поток изготовление компрометирующих видео. Аналогичная история с голосом и другими биометрическими данными. Известны случаи, когда такие данные попадали в распоряжение мошенников. И как определить мошенника, если в телефоне слышишь голос близкого человека?

"ЗАВТРА". Может ли дело зайти настолько далеко, что и правоохранительные органы не смогут отличить подлог?

Константин ВОРОНЦОВ. На данный момент любая видео- или аудиозапись, которая сгенерирована нейронной сетью, всё же содержит артефакты, которые глазом или ухом различить невозможно, но специальными алгоритмами это выявляется. Как всегда, происходит соревнование технологий защиты и нападения. Но опасения оправданны. Человечество получает всё более изощрённые технологии электронного обмана.

Впрочем, с нашими технологиями мы и так уже сидим на бочке с порохом, и не на одной. "Искусственный интеллект" — ещё одна технология, которая может быть применена как с пользой, так и во вред. В отдалённой перспективе — вплоть до самоуничтожения человеческой цивилизации.

"ЗАВТРА". А "компромат" уже сейчас на всех обеспечен.

Константин ВОРОНЦОВ. Тут скорее не компромат, а сфабрикованные обвинения. Люди будут вынуждены доказывать, что они такого не совершали. Или, как в одной антиутопии, доказывать, что правитель-тиран, которого транслируют по всей стране, не настоящий, что его в природе не существует. Что касается компромата, то он уже давно обеспечен: это поведение человека в поисковых системах и социальных сетях, которое можно проанализировать и по косвенным данным много интересного о человеке узнать.

"ЗАВТРА". Многое из фантастики сбывается на наших глазах.

Константин ВОРОНЦОВ. Да. Фантастика не только предсказывает, она отчасти и формирует наши мечты о будущем. Есть научная фантастика, а есть фантазии, едва ли возможные даже в отдалённой перспективе, типа фильма "Бегущий по лезвию". "Матрица" пока тоже безумно далека от реализации, но для меня это знаковый фильм-предупреждение о том, что интеллектуальные машины нельзя наделять автономностью и тем более способностью к репликации.

Есть и такие фильмы, которые показывают нам реалистичную ближайшую перспективу. Например, в фильме "Она" американского режиссёра и сценариста Спайка Джонса показана технология, вполне реализуемая уже в ближайшие годы: операционная система свободно разговаривает с человеком, берёт на себя обязанности секретаря, вплоть до ведения деловых переговоров. Но во второй половине фильма главный герой выстраивает человеческие и даже любовные отношения с "операционкой", что, на мой взгляд, полный абсурд. Человек в здравом уме никогда не станет воспринимать эту штуковину на равных. Она ведь не разум и не личность, а всего лишь их имитация. Когда манекен вызывает у нас ощущение присутствия, мы быстро осознаём это как когнитивное искажение. При общении с интеллектуальными помощниками и антропоморфными устройствами нам также придётся более критично относиться к нашим эмоциональным реакциям. Фантастика, очеловечивающая ИИ, навязывает нам искажённое восприятие технологий будущего, и это скорее похоже на пропаганду трансгуманизма.

"ЗАВТРА". А если пользователь не в своём уме?

Константин ВОРОНЦОВ. Тогда вопрос к пользователю, "что его довело до жизни такой?" Вроде бы очевидно, что технологии ИИ, как и любые другие, создаются людьми для того, чтобы повышать производительность труда и качество жизни. Даже мысли не должно возникать ставить машину на один уровень с человеком. И вот перед нами нейросеть, программа, которая, как нам кажется, пишет, говорит и думает, как человек, и даже притворяется, что имеет эмоции и психику. Наша первая реакция — отнестись, как к человеку. Типичное когнитивное искажение! "Эффект манекена". Обучаясь, нейросеть видела миллиарды ситуаций, в которых люди писали, говорили, выражали эмоции. Она на ходу склеивает из этих обрывков нечто, подходящее под ситуативный контекст. Часто угадывает, потому что в большой обучающей выборке находились похожие ситуации. Однако никакого смысла за этим не стоит, сеть не умеет думать о смыслах.

"ЗАВТРА". Но в интеллектуальных играх (шахматы, шашки, го) человек терпит поражение.

Константин ВОРОНЦОВ. Эти игры — замкнутая искусственная среда. Правила игры фиксированы и довольно просты. Поэтому алгоритмы могут обучаться, соревнуясь друг с другом. Миллионы игр — и модель доводится до совершенства. Намного труднее переносить этот подход в реальную жизнь, где отсутствуют чёткие правила, действует масса факторов, возникают непредвиденные обстоятельства. Выборки для беспилотного вождения собирают уже много лет, и всё равно в 2020 году произошёл случай, когда Тесла на автопилоте врезалась в автобус, лежавший на боку после аварии. Со временем даже такие крайне редкие ситуации или хотя бы их аналоги попадут в материал обучения. Нет уже никаких сомнений в том, что автопилот будет водить лучше человека, и аварий будет меньше. В данном случае очень хорошо, что "человек терпит поражение".

"ЗАВТРА". А если роботы начнут действовать во вред людям?

Константин ВОРОНЦОВ. Не начнут, пока люди их этому не научат намеренно или по ошибке. Был скандальный случай, когда чат-бота обучили по большой выборке всех без разбора диалогов из социальной сети. В итоге он научился быстро переходить на оскорбления, нацизм и расизм. Чтобы чат-бот был вежливым, его надо обучать на тщательно отфильтрованной выборке. Разработчик обязан позаботиться об этом.

Фантаст Айзек Азимов первым сформулировал три закона робототехники, чтобы избежать нежелательных для людей сценариев взаимодействия с роботами. С этими правилами уже можно сверяться при создании ИИ-систем. Постепенно они будут обрастать деталями и трансформироваться в технические регламенты, отраслевые стандарты, юридические нормы, как в любой другой технической отрасли.

Мы создаём роботов и системы ИИ ради автоматизации нашей деятельности, чтобы они были нашими послушными помощниками. Поведение робота зависит от того, на каких данных его обучали, насколько сложная предсказательная модель использована, заложена ли в модель возможность давать понятные человеку объяснения принимаемых решений, насколько тщательно он был протестирован в штатных и нештатных ситуациях. Наконец, у любого робота должна быть "кнопка", которой человек может его отключить в любой момент, как пылесос.

"ЗАВТРА". В марте прошлого года было сообщение, что в Ливии самоуправляемый турецкий военный квадрокоптер Kargu-2 впервые убил человека без непосредственной команды оператора.

Константин ВОРОНЦОВ. Сейчас все передовые страны разрабатывают автономные системы вооружений. Зачем пилота сажать в самолёт, если беспилотный истребитель противника и маневрирует лучше, и решения принимает быстрее? Воевать в воздухе живыми людьми очень скоро станет невыгодно. С танками похожая ситуация.

И в Ливии была задействована программа, способная различать живую силу противника от собственных солдат и гражданских. Наверняка эта система прошла испытания, и было доказано, что она ошибается не реже, чем это в среднем делают операторы, но приказ применить такое устройство в автономном режиме всё равно отдавал конкретный офицер. Если бы что-то пошло не так, он бы за это отвечал.

Сообщение на самом деле не о том, что робот принял на себя решение убить человека, а о том, что в данном виде вооружений пройдена ещё одна ступень автоматизации. Скоро интеллектуальные рои беспилотников будут воевать друг против друга, самостоятельно принимая тактические и даже стратегические решения, выполняя поставленные перед ними боевые задачи. Но задачи будут ставить конкретные военачальники.

"ЗАВТРА". Всё от этики человека зависит в итоге.

Константин ВОРОНЦОВ. Конечно. Во многих странах сейчас разрабатываются кодексы этики в сфере ИИ. Недавно я принимал участие в обсуждении российского кодекса на финальной стадии его подготовки, и это весьма разумный документ.

Многое также зависит от правильности понимания ИИ в общественном сознании, от уровня технической грамотности. Сегодня очень важна роль популяризации науки, важно объяснять возможности и ограничения технологий, чтобы не было иллюзий. Люди воспринимают слова и не замечают, что реальное наполнение научных терминов может отличаться от обывательских ожиданий. Мы говорим "искусственный интеллект", но это не сам интеллект, а лишь название области научных исследований, компьютерная имитация обучения по прецедентам. Мы говорим "нейронная сеть", но это мало похоже на человеческий мозг.

Если продолжить разговор о языке, то я бы запретил применять к ИИ глаголы активного действия, например, ИИ "обыграл чемпиона мира", "научился диагностировать рак", "находить ошибки в школьных сочинениях" или вот — "впервые принял решение убить человека". Подобные фигуры речи — скорее маркетинговый ход для привлечения внимания. ИИ ничего не может сделать самостоятельно. Это люди придумывают способы применения технологий и постановки задач, организуют сбор данных, создают модели, численные методы и программы, оценивают, внедряют в производство и отдают приказы на применение.

"ЗАВТРА". Как избежать рисков, что полезная технология будет обращена во вред?

Константин ВОРОНЦОВ. Для этого необходимо ответить на идеологические вопросы: для чего мы развиваем эти технологии и в какое будущее хотим прийти?

Давайте исходить из постулата, что целью человеческой цивилизации является обеспечение выживания нас как биологического вида, сохранение биосферы Земли, создание безопасной и комфортной среды обитания для всех людей. Научно-технический прогресс в целом и ИИ в частности нужны для выполнения всех этих задач.

В то же время общественный дискурс наполнен мифами об ИИ: что машины лишат людей работы, что настанет момент сингулярности, когда ИИ получит возможность воспроизводить и совершенствовать сам себя с непостижимой для людей скоростью; что возникнет машинный разум, принципиально отличный от человеческого, и дальнейшую судьбу цивилизации станет трудно предсказать; что машины окажутся настолько совершенны, что человек им будет уже не нужен для существования и развития.

Эти мифы могут стать реальными угрозами, если экстраполировать в будущее современное технократическое мышление "сделал потому, что мог", пронизанное идеологией индивидуализма. Именно такую экстраполяцию допускают Рэймонд Курцвейл, Нассим Талеб, Клаус Шваб и другие всемирно известные визионеры… и каждый раз получают апокалиптический сценарий.

Цивилизационное мышление исходит из другого принципа: "сделал ради сохранения и развития человеческой цивилизации". ИИ должен стать послушным и надёжным помощником, оставляя людям наиболее творческую работу и принятие ключевых решений. Получится ли это, целиком зависит от нас самих, от того, успеем ли мы изменить мышление на цивилизационное или застрянем на уровне "обезьяны с гранатой".

"ЗАВТРА". Вся ответственность лежит на людях, которые придумывают эти технологии.

Константин ВОРОНЦОВ. Да, и ещё на тех, кто их распространяет, и на тех, кто их применяет. Любая технология может быть использована как во зло, так и во благо, как для разрушения, так и для созидания. Очень важно, что́ у человека в голове в тот момент, когда он собирается сделать свой выбор. Мы часто обсуждаем с коллегами, кто какими задачами занимается. Некоторые занимаются технологиями генерации фейковых текстов, изображений, голоса или видео. Люди не только образованные, но и вполне порядочные. На вопрос "как ты можешь, ведь это увеличит количество лжи в информационном пространстве" обычно есть три "отмазки". Первая: если я не сделаю, то кто-то другой сделает. Вторая: для испытания средств защиты необходимо иметь средства нападения. Третья: это дико интересно. Фактически человек отложил свой морально-этический выбор "на потом", приготовился балансировать на грани добра и зла, но кто же даст гарантии, на чьей стороне он в итоге окажется? Третья мотивация продиктована эгоизмом исследователя, она-то и является главной. С цивилизационных позиций, выбор в такой ситуации однозначен: заниматься выявлением фейков нужно, генерацией — никогда!

Когда в наших руках мощные технологии, способные менять общественные отношения и образ жизни людей, оказывать глобальное воздействие на биосферу, мало быть образованными и порядочными. Мы находимся в особой точке истории: либо мы научимся отказываться от индивидуалистских мотиваций в пользу цивилизационных ценностей, либо спровоцируем катастрофу планетарного масштаба, рано или поздно уничтожив не только себя, но и всё живое на Земле. Нет других вариантов, и осознание этого факта одновременно пугает и воодушевляет.

"ЗАВТРА". Спасибо, Константин Вячеславович, за беседу! Будем надеяться, что человечество не рухнет в бездну.

Беседовал Павел Портнов

На фото: передовые математические модели, созданные советскими учёными, могли стать основой цифровизации с человеческим лицом, поскольку наши инженеры работали прежде всего над промышленными ЭВМ для вывода народного хозяйства на новый виток роста эффективности. ЭВМ БЭСМ-6 (Большая электронная счётная машина). СССР, 1959 г. На её основе сконструированы компьютеры на интегральных микросхемах серии "Эльбрус".