Авторский блог Редакция Завтра 10:06 5 ноября 2021

Имитация интеллекта

«Цифровая магия» и её разоблачение
30

Беседа с Константином Воронцовым, доктором физико-математических наук, профессором РАН, заведующим кафедрой машинного обучения и цифровой гуманитаристики МФТИ, профессором кафедры математических методов прогнозирования ВМК МГУ.

"ЗАВТРА". Константин Вячеславович, мы всё чаще слышим об "искусственном интеллекте". Что он собой представляет, и с чего всё началось?

Константин ВОРОНЦОВ. Когда в конце 1980-х годов я студентом Физтеха начал заниматься данной темой, термин "искусственный интеллект" звучал лишь в узких научных кругах, иногда мелькал на страницах научно-фантастической литературы. Когда друзья спрашивали, чем я занимаюсь, я говорил: "Распознаванием образов". В ответ слышал: "И много образов ты уже распознал?"

"Распознавание образов", "машинное обучение", "науки о данных" — это популярные в разные годы названия одной и той же области исследований. В последние годы к ней вернулось одно из прежних названий — "искусственный интеллект" (ИИ). Американские учёные, которые придумали этот термин (Artificial Intelligence, AI) в 1950-е годы, конечно же, понимали, что никакого интеллекта там нет. На тот момент и до сих пор это просто способность компьютерной программы решать очень сложные задачи, которые раньше могли решать только люди. Распознавать, делать прогнозы, принимать решения. Я бы предпочёл расшифровывать аббревиатуру ИИ как "имитация интеллекта", так будет точнее и честнее.

"Хайп" вокруг "искусственного интеллекта" начался относительно недавно, когда эти слова зазвучали с высоких трибун. В 2016 году их произнёс бессменный президент Всемирного экономического форума Клаус Шваб, а следом за ним — президенты всех ведущих экономических держав. В том же 2016 году администрация Обамы провела пять научных конференций в ведущих университетах США на тему "Искусственный интеллект и автоматизация будущего", в ходе которых были опрошены две с половиной тысячи учёных. Их мнения свели в четыре лаконичных отчёта, которые легко найти в Интернете. Очень, кстати, хороший пример грамотной организации взаимодействия власти с профессиональным сообществом: широкое обсуждение, никакой кулуарности. После этих событий во многих странах, включая Россию, стали принимать документы о национальной стратегии развития "искусственного интеллекта".

"ЗАВТРА". А почему именно в 2016 году актуализировалась эта тема?

Константин ВОРОНЦОВ. То, что этот процесс неизбежен, было ясно ещё в девяностые годы, и даже в шестидесятые. Уже тогда прорабатывались разные приложения: от медицинской диагностики до геологической разведки. С девяностых годов начался повсеместный компьютерный сбор данных. Тогда мы с коллегами прогнозировали цифровой бум через пять лет, но, как оказалось, понадобилось более двадцати лет на то, чтобы общество стало готово к внедрению таких технологий. Примерно в 2015 году произошёл прорыв в области компьютерного зрения, благодаря конкурсу ImageNet и глубоким нейронным сетям. Появились обучаемые алгоритмы, способные распознавать объекты на изображениях не хуже человека, и бизнес увидел в этом огромный потенциал для автоматизации и сокращения издержек.

"ЗАВТРА". А с чего начиналось так называемое машинное обучение?

Константин ВОРОНЦОВ. В 1950-е в области ИИ доминировала идея экспертных систем, когда профессиональная деятельность экспертов описывается правилами "если — то", которые закладываются в компьютерную программу. Это уже относили к "искусственному интеллекту", хотя на самом деле правила вырабатывали люди, программу писали тоже люди, поэтому нельзя сказать, что такая система сама может что-то решать. Например, стратегии игры в шашки и шахматы формализовать хоть и трудно, но можно, поэтому такие программы появились в первую очередь.

С 1960-х стало параллельно развиваться машинное обучение. Там идея была более продвинутой: машина должна сама вырабатывать правила на основе большого числа наблюдений. Каждое наблюдение — это некая ситуация, для которой правильное решение известно. Требуется построить модель, которая по описанию ситуации будет принимать решение, желательно, правильное. В качестве модели могут использоваться логические правила, оценки сходства объектов, вероятностные распределения, нейронные сети и другие математические конструкции.

Были придуманы тысячи различных моделей. Со временем их обобщали, появлялись универсальные модели, способные неплохо решать прикладные задачи в различных областях. Например, одна и та же модель может использоваться и для кредитного скоринга, и для медицинской диагностики, и для предсказания качества продукции. Во всех трёх случаях параметры модели обучаются по разным данным, но структура модели одна и та же. Чем больше у нас данных, тем более универсальной может быть модель. Искусственные нейронные сети — это одна из самых универсальных моделей.

"ЗАВТРА". Приведите, пожалуйста, примеры машинного обучения.

Константин ВОРОНЦОВ. Одной из первых решённых задач, ещё в 50-е годы, была задача поиска полезных ископаемых по данным геологоразведки. Руководитель нашей научной школы академик Юрий Иванович Журавлёв в 1966 году получил Ленинскую премию за математические модели, успешно спрогнозировавшие несколько крупных месторождений золота на территории СССР. Несколько лет спустя ему удалось собрать намного более универсальный алгоритм. Ученики Юрия Ивановича применяли его для решения сотен задач в различных отраслях народного хозяйства: для медицинской диагностики, прогнозирования свойств химических соединений, определения свойств белков, контроля качества промышленной продукции и многих других. Алгебраический подход Журавлёва обогнал своё время лет на двадцать: на Западе бум алгоритмических композиций начался лишь в 1995 году. В те же 90-е поток государственных заказов иссяк, сменившись коммерческими применениями интеллектуального анализа данных (Data Mining, DM) и бизнес-интеллекта (Business Intelligence, BI) — названия новые, но суть примерно та же.

Сейчас все, кто пользуется электронной почтой, должны знать, что без модели распознавания спама они вряд ли смогли бы отыскать нужные письма в куче мусора.

Ещё один пример задачи машинного обучения — психотипирование личности, когда людей просят ответить на вопросы психологического теста, затем сопоставляют эти данные с их профилями в соцсетях. Вместе они образуют обучающую выборку, по которой можно построить модель, способную предсказывать некоторые аспекты поведения человека.

Машинное обучение сродни проведению функции через заданные точки на школьных уроках физики. Так, при изучении закона Гука мы откладывали точки на графике, как сила зависит от растяжения пружины. Должна была получаться прямая линия, хотя точки могли оказаться немного разбросанными вокруг неё из-за погрешности измерений. В машинном обучении всё примерно так же, но намного сложнее, поскольку прогнозируемая величина может зависеть не от одного измеряемого признака, а от десятков, тысяч или даже миллионов. Например, признаками, характеризующими человека, могут быть и ответы на вопросы анкеты, и поисковые запросы, и частоты слов, которые он использует в комментариях.

"ЗАВТРА". А если машина даст сбой?

Константин ВОРОНЦОВ. В любой технической системе возможны и сбои, и аварии, и неожиданные хитросплетения технических недостатков с пресловутым человеческим фактором. Для сведе́ния рисков к минимуму инженеры используют моделирование и испытания, пишут правила безопасности и инструкции по эксплуатации. Компьютер с "искусственным интеллектом" — это тоже техническая система, предназначенная для автоматизации рутинного труда. За работу любой технической системы отвечают люди. "Искусственный интеллект" не является исключением: обучающую выборку составляют люди, модель для прогнозирования или принятия решений тоже придумывают люди, алгоритм, который определяет параметры модели по выборке, тоже создают люди, наконец, компьютеры, на которых это всё работает, тоже делают люди. Много звеньев в этой цепочке, и всюду люди. Если профессионалы что-то не предусмотрели, то они должны это исправить, сделать выводы на будущее, в отдельных случаях понести ответственность. Называть такие системы "искусственным интеллектом" — это терминологическое недоразумение, на мой взгляд. А перекладывать на систему ответственность можно только от "незнания матчасти".

"ЗАВТРА". А как работают нейросети?

Константин ВОРОНЦОВ. Понимание нейросетей начинается с того, о чём я говорю студентам на первой лекции по машинному обучению: "Задача поставлена, если у неё есть ДНК — Дано, Найти, Критерий". Что дано? Обучающая выборка. Что найти? Предсказательную модель для принятия решений; это может быть нейросеть или что-то другое. По какому критерию оцениваем модель? Например, вероятность ошибок у модели меньше, чем у человека. Мы всегда должны чётко оговорить эти три вопроса. Пока ответов на них нет, задача не поставлена и решать её невозможно. К сожалению, на практике мы часто сталкиваемся с тем, что заказчики ожидают от "искусственного интеллекта" какой-то магии. Но чудес на свете не бывает. Бывают фантазии от непонимания возможностей и ограничений этих технологий; бывает даже, что задачу вообще невозможно решить в имеющихся условиях.

Второй шаг к пониманию: нейросеть — это лишь предсказательная модель, а не готовый алгоритм для принятия решений. В чём разница? Модель имеет параметры, которые необходимо обучить по данным (мы также говорим "настроить" или "оптимизировать", а статистики чаще говорят "оценить по данным"). После того, как параметры обучены, модель становится алгоритмом — точной инструкцией для вычисления предсказаний.

Например, закон всемирного тяготения — это модель; в ней есть параметр, который надо определить для каждой планеты. Это можно сделать по выборке экспериментальных наблюдений. Обучив параметр, вы получаете алгоритм, способный предсказывать, с какой силой данная планета притягивает к себе космический корабль. Основной признак, который вам необходимо для этого знать — масса корабля. Это я рассказал о законе всемирного тяготения в терминах машинного обучения. Принципы обучения параметров нейросетей те же самые, что и в классическом математическом моделировании. Карл Фридрих Гаусс применял метод наименьших квадратов для определения орбит планет по астрономическим наблюдениям 220 лет назад. Сегодня мы применяем тот же метод для обучения нейросетей. Но у Гаусса в модели была дюжина параметров, а в самых последних нейросетях их уже триллионы.

Третий шаг к пониманию: определение параметров модели по обучающей выборке — это всегда задача оптимизации некоторого критерия. Например, средней ошибки модели на объектах обучающей выборки. Если менять значения параметров модели, то значение критерия также будет меняться. А нам надо найти такое сочетание параметров, при котором критерий окажется оптимальным. Для наглядности давайте представим себе горный ландшафт, параметрами служат широта и долгота точки на местности, а критерием — высота точки над уровнем моря, и мы ищем самую глубокую впадину. Находясь в некоторой точке, мы видим её ближайшую окрестность и должны решить, в какую сторону идти дальше. Обучаясь, нейронная сеть решает похожую задачу. Отличие в том, что наши модели могут иметь миллиарды параметров вместо двух (долготы и широты). Тем не менее мы умеем решать такие задачи на компьютере с помощью численных методов оптимизации. Нейронные сети, да и всё машинное обучение — это на самом деле методы оптимизации, если "заглянуть под капот".

Четвёртое, мы всё время говорим об архитектуре нейронных сетей. Сеть состоит из нейронов. Каждый нейрон — это простой вычислитель, умеющий сложить несколько признаков, умножив каждый из них на свой весовой коэффициент, и к полученной сумме применить ещё какое-нибудь элементарное преобразование (например, обнулить сумму, если она окажется меньше нуля). Весовые коэффициенты — это и есть обучаемые параметры нейрона, его память. Результат, вычисленный нейроном, можно передать на вход другим нейронам. Так образуется второй слой нейронной сети. Мы сами вправе решать, сколько в сети будет слоёв, сколько нейронов в каждом слое, как нейроны соединяются друг с другом. Всё это определяет архитектуру сети и заметно влияет на качество решения.

Глубокие нейронные сети могут иметь десятки и даже сотни слоёв. Глубокие архитектуры оказались весьма удачными для распознавания изображений, сигналов, речи, текстов и других сложно устроенных объектов. К слову, число слоёв в естественной нейронной сети головного мозга человека оценивается всего в один-два десятка. На самом деле искусственные нейросети имеют мало отношения к нашим мозгам. Мы лишь "подглядываем" в нейрофизиологии некоторые идеи и поверхностные аналогии.

"ЗАВТРА". А в чём суть кардинальных изменений, произошедших в начале 2010-х годов, о которых вы упомянули в начале беседы?

Константин ВОРОНЦОВ. Речь идёт о качественном прорыве в области распознавания изображений. Это одна из классических задач компьютерного зрения. В 2009 году стартовал конкурс ImageNet challenge по распознаванию изображений. Для него собрали выборку из миллиона изображений (спустя годы объём выборки довели до 15 миллионов) и разметили их с помощью краудсорсинга — люди подписывали каждую фотографию тегами в зависимости от того, какие объекты они на ней видят. Число различных тегов превышает 22 тысячи. Раньше в распоряжении учёных не было таких гигантских выборок.

Когда только начали применять известные алгоритмы компьютерного зрения, уровень ошибок был более 25% — это слишком много для реальных применений. В 2012 году британский учёный, один из ведущих в мире специалистов по искусственным нейронным сетям, Джеффри Хинтон и два его аспиранта предложили первую глубокую нейросеть AlexNet для обработки изображений. Тогда же они придумали обучать сеть на видеокартах. Уровень ошибок снизился до 16%, а к 2015 году был преодолён барьер 5% — человеческий уровень ошибок в данной задаче. Сейчас нейросети классифицируют объекты на изображениях уже вдвое лучше, чем человек. Для бизнеса это означает тысячи различных применений: распознавание номерных знаков, лиц, печатного текста, товаров на полках, дефектов изделий на конвейере, биомедицинских изображений и многого другого. Эти же методы затем быстро адаптировали к обработке и синтезу сигналов, речи и другой разнообразной сложно структурированной информации.

"ЗАВТРА". А почему эти нейросети называются глубокими?

Константин ВОРОНЦОВ. Допустим, мы взяли изображение 200х200, в каждой его точке заданы интенсивности трёх цветов. Получается массив из 120 тысяч чисел — для классических методов машинного обучения объект весьма неудобный. К тому же изображения могут быть разного размера. Надо придумать, какие признаки вычислять по картинке, чтобы они содержали всю важную для распознавания информацию, но чтобы их было относительно немного и, желательно, всегда одинаковое количество. Раньше изобретением признаков для компьютерного зрения занимались коллективы высокооплачиваемых инженеров. Каждый признак — это некая формула, которую надо было придумать, запрограммировать, протестировать. Для каждой задачи набор признаков свой: для распознавания букв — один, для лиц — другой, для автомобилей и номерных знаков — третий. Над всем этим бились вручную.

Современные нейросети синтезируют признаки полностью автоматически. Входное изображение, какого бы оно ни было размера, сжимается в массив (вектор) из нескольких тысяч чисел. В сети AlexNet это 4096, то есть изображение 200х200 сжимается в 30 раз. Тем не менее такие векторы содержат в себе всю информацию из входного изображения, необходимую для распознавания 22 тысяч типов объектов. Превращение изображения в вектор признаков, или векторизация, — это ключевой приём в современных нейронных сетях. А с векторами признаков мы умеем работать давно.

Каким образом нейронная сеть делает векторизацию, и почему она обязательно должна быть для этого глубокой? Глубокая — значит состоящая из большого числа слоёв. Каждый слой выполняет довольно простую работу, вычисляя в каждой точке так называемые свёртки — это усреднённые интенсивности цветов в небольшой окрестности данной точки. В результате изображение заменяется новым, размер которого становится меньше в несколько раз, но зато мы в каждой точке увеличиваем число вычисляемых свёрток. В конце концов всё изображение стягивается в одну точку, зато размерность вектора признаков вырастает до заданного значения (например, 4096). Когда признаки готовы, на них можно обучить модель распознавания, состоящую из пары слоёв. Основная масса слоёв нужна именно на стадии векторизации, чтобы изображение трансформировалось постепенно.

В первой сети AlexNet было 7 слоёв, спустя несколько лет научились строить сети из сотен слоёв. Специальные эксперименты показали, что каждый следующий слой обучается различать всё более крупные элементы на изображениях. Первый слой различает простые переходы цветов, второй слой начинает замечать текстуры и так далее, последний слой уже способен видеть крупные составляющие части объектов.

На выходе имеем впечатляющий результат. Системе предъявляют новую фотографию, и она выдаёт: "Это — стадион, это — бейсболист, это — другой бейсболист, это — бита, это — мячик". Звучит как какое-то чудо. Но оно стало возможным потому, что огромное количество параметров сложно устроенной сети было оптимизировано так, чтобы на многомиллионной обучающей выборке выделялись именно те объекты, которые люди разметили на краудсорсинге.

"ЗАВТРА". Для обработки текстов, машинного перевода, чат-ботов используются такие же нейросети?

Константин ВОРОНЦОВ. Немного другие, но тоже глубокие. Для обработки текстов нейронная сеть обучается предсказывать слова по окружающему их контексту. Например, она должна не хуже нас с вами догадаться, что во фразе "пусть бегут неуклюже …" на месте многоточия стоит слово "пешеходы".

Основные идеи остаются теми же, что для изображений. Во-первых, текст — это последовательность символов или слов со всеми их языковыми особенностями, морфологией, синтаксисом, смысловыми взаимосвязями, то есть тоже структурированный объект, ничуть не проще изображений. Отсюда вторая идея: нейросеть должна быть глубокой, чтобы постепенно собирать информацию об окрестности каждого слова и автоматически формировать его векторное представление. Для каждого слова или фразы такая сеть способна вычислить числовой вектор, который будет отражать его смысл. Сеть может работать и в обратную сторону, генерируя связный текст по векторам. Это используется в машинном переводе, для синтеза ответов на вопросы или реплик чат-бота. В-третьих, модель должна обучаться по большим данным, по терабайтам текстов, от Википедии до гигантских библиотек художественной, научной и новостной информации. Про такие модели говорят, что они "видели в языке всё".

"ЗАВТРА". Это те самые модели, которые генерируют фейковые новости?

Константин ВОРОНЦОВ. Да. Есть специальные разновидности глубоких нейронных сетей, называемые генеративными. Такая сеть способна сгенерировать ответ на вопрос, перефразировать новость или написать под заголовком новостной заметки сам текст. Конечно, это будет симуляция "по мотивам" чего-то похожего, что модель видела в обучающей выборке. Однако человек может ошибочно принять такой текст за реальную новость. Обмануть наше восприятие вообще довольно легко: мы видим боковым зрением манекен и вздрагиваем: нам кажется, что это живой человек. Цель фейка в том и состоит: вызвать эмоцию. Человек может обладать критическим мышлением, уметь сопоставлять факты, проверять источники, однако информация, поданная с эмоцией, лучше запоминается. Кроме того, фейковые новости можно генерировать миллионами. В этом потоке будет трудно отличить правду от разнообразной лжи. Конечно, люди и сами, без всяких технологий, продуцируют огромное количество лжи, однако подключение ИИ способно заметно усилить напряжённость информационных войн.

"ЗАВТРА". Много ещё таких возможностей из ящика Пандоры?

Константин ВОРОНЦОВ. Много, и будет всё больше. На одной из конференций по компьютерному зрению в 2019 году была опубликована статья под провокационным названием "Танцуют все". Там описана следующая технология: берётся ролик с профессиональным танцором, исполняющим танец на однородном фоне. Потом берётся одна фотография другого человека, на любом фоне, и алгоритм генерирует видео, где этот человек танцует тот же танец на том же фоне. То есть можно поставить на поток изготовление компрометирующих видео. Аналогичная история с голосом и другими биометрическими данными. Известны случаи, когда такие данные попадали в распоряжение мошенников. И как определить мошенника, если в телефоне слышишь голос близкого человека?

"ЗАВТРА". Может ли дело зайти настолько далеко, что и правоохранительные органы не смогут отличить подлог?

Константин ВОРОНЦОВ. На данный момент любая видео- или аудиозапись, которая сгенерирована нейронной сетью, всё же содержит артефакты, которые глазом или ухом различить невозможно, но специальными алгоритмами это выявляется. Как всегда, происходит соревнование технологий защиты и нападения. Но опасения оправданны. Человечество получает всё более изощрённые технологии электронного обмана.

Впрочем, с нашими технологиями мы и так уже сидим на бочке с порохом, и не на одной. "Искусственный интеллект" — ещё одна технология, которая может быть применена как с пользой, так и во вред. В отдалённой перспективе — вплоть до самоуничтожения человеческой цивилизации.

"ЗАВТРА". А "компромат" уже сейчас на всех обеспечен.

Константин ВОРОНЦОВ. Тут скорее не компромат, а сфабрикованные обвинения. Люди будут вынуждены доказывать, что они такого не совершали. Или, как в одной антиутопии, доказывать, что правитель-тиран, которого транслируют по всей стране, не настоящий, что его в природе не существует. Что касается компромата, то он уже давно обеспечен: это поведение человека в поисковых системах и социальных сетях, которое можно проанализировать и по косвенным данным много интересного о человеке узнать.

"ЗАВТРА". Многое из фантастики сбывается на наших глазах.

Константин ВОРОНЦОВ. Да. Фантастика не только предсказывает, она отчасти и формирует наши мечты о будущем. Есть научная фантастика, а есть фантазии, едва ли возможные даже в отдалённой перспективе, типа фильма "Бегущий по лезвию". "Матрица" пока тоже безумно далека от реализации, но для меня это знаковый фильм-предупреждение о том, что интеллектуальные машины нельзя наделять автономностью и тем более способностью к репликации.

Есть и такие фильмы, которые показывают нам реалистичную ближайшую перспективу. Например, в фильме "Она" американского режиссёра и сценариста Спайка Джонса показана технология, вполне реализуемая уже в ближайшие годы: операционная система свободно разговаривает с человеком, берёт на себя обязанности секретаря, вплоть до ведения деловых переговоров. Но во второй половине фильма главный герой выстраивает человеческие и даже любовные отношения с "операционкой", что, на мой взгляд, полный абсурд. Человек в здравом уме никогда не станет воспринимать эту штуковину на равных. Она ведь не разум и не личность, а всего лишь их имитация. Когда манекен вызывает у нас ощущение присутствия, мы быстро осознаём это как когнитивное искажение. При общении с интеллектуальными помощниками и антропоморфными устройствами нам также придётся более критично относиться к нашим эмоциональным реакциям. Фантастика, очеловечивающая ИИ, навязывает нам искажённое восприятие технологий будущего, и это скорее похоже на пропаганду трансгуманизма.

"ЗАВТРА". А если пользователь не в своём уме?

Константин ВОРОНЦОВ. Тогда вопрос к пользователю, "что его довело до жизни такой?" Вроде бы очевидно, что технологии ИИ, как и любые другие, создаются людьми для того, чтобы повышать производительность труда и качество жизни. Даже мысли не должно возникать ставить машину на один уровень с человеком. И вот перед нами нейросеть, программа, которая, как нам кажется, пишет, говорит и думает, как человек, и даже притворяется, что имеет эмоции и психику. Наша первая реакция — отнестись, как к человеку. Типичное когнитивное искажение! "Эффект манекена". Обучаясь, нейросеть видела миллиарды ситуаций, в которых люди писали, говорили, выражали эмоции. Она на ходу склеивает из этих обрывков нечто, подходящее под ситуативный контекст. Часто угадывает, потому что в большой обучающей выборке находились похожие ситуации. Однако никакого смысла за этим не стоит, сеть не умеет думать о смыслах.

"ЗАВТРА". Но в интеллектуальных играх (шахматы, шашки, го) человек терпит поражение.

Константин ВОРОНЦОВ. Эти игры — замкнутая искусственная среда. Правила игры фиксированы и довольно просты. Поэтому алгоритмы могут обучаться, соревнуясь друг с другом. Миллионы игр — и модель доводится до совершенства. Намного труднее переносить этот подход в реальную жизнь, где отсутствуют чёткие правила, действует масса факторов, возникают непредвиденные обстоятельства. Выборки для беспилотного вождения собирают уже много лет, и всё равно в 2020 году произошёл случай, когда Тесла на автопилоте врезалась в автобус, лежавший на боку после аварии. Со временем даже такие крайне редкие ситуации или хотя бы их аналоги попадут в материал обучения. Нет уже никаких сомнений в том, что автопилот будет водить лучше человека, и аварий будет меньше. В данном случае очень хорошо, что "человек терпит поражение".

"ЗАВТРА". А если роботы начнут действовать во вред людям?

Константин ВОРОНЦОВ. Не начнут, пока люди их этому не научат намеренно или по ошибке. Был скандальный случай, когда чат-бота обучили по большой выборке всех без разбора диалогов из социальной сети. В итоге он научился быстро переходить на оскорбления, нацизм и расизм. Чтобы чат-бот был вежливым, его надо обучать на тщательно отфильтрованной выборке. Разработчик обязан позаботиться об этом.

Фантаст Айзек Азимов первым сформулировал три закона робототехники, чтобы избежать нежелательных для людей сценариев взаимодействия с роботами. С этими правилами уже можно сверяться при создании ИИ-систем. Постепенно они будут обрастать деталями и трансформироваться в технические регламенты, отраслевые стандарты, юридические нормы, как в любой другой технической отрасли.

Мы создаём роботов и системы ИИ ради автоматизации нашей деятельности, чтобы они были нашими послушными помощниками. Поведение робота зависит от того, на каких данных его обучали, насколько сложная предсказательная модель использована, заложена ли в модель возможность давать понятные человеку объяснения принимаемых решений, насколько тщательно он был протестирован в штатных и нештатных ситуациях. Наконец, у любого робота должна быть "кнопка", которой человек может его отключить в любой момент, как пылесос.

"ЗАВТРА". В марте прошлого года было сообщение, что в Ливии самоуправляемый турецкий военный квадрокоптер Kargu-2 впервые убил человека без непосредственной команды оператора.

Константин ВОРОНЦОВ. Сейчас все передовые страны разрабатывают автономные системы вооружений. Зачем пилота сажать в самолёт, если беспилотный истребитель противника и маневрирует лучше, и решения принимает быстрее? Воевать в воздухе живыми людьми очень скоро станет невыгодно. С танками похожая ситуация.

И в Ливии была задействована программа, способная различать живую силу противника от собственных солдат и гражданских. Наверняка эта система прошла испытания, и было доказано, что она ошибается не реже, чем это в среднем делают операторы, но приказ применить такое устройство в автономном режиме всё равно отдавал конкретный офицер. Если бы что-то пошло не так, он бы за это отвечал.

Сообщение на самом деле не о том, что робот принял на себя решение убить человека, а о том, что в данном виде вооружений пройдена ещё одна ступень автоматизации. Скоро интеллектуальные рои беспилотников будут воевать друг против друга, самостоятельно принимая тактические и даже стратегические решения, выполняя поставленные перед ними боевые задачи. Но задачи будут ставить конкретные военачальники.

"ЗАВТРА". Всё от этики человека зависит в итоге.

Константин ВОРОНЦОВ. Конечно. Во многих странах сейчас разрабатываются кодексы этики в сфере ИИ. Недавно я принимал участие в обсуждении российского кодекса на финальной стадии его подготовки, и это весьма разумный документ.

Многое также зависит от правильности понимания ИИ в общественном сознании, от уровня технической грамотности. Сегодня очень важна роль популяризации науки, важно объяснять возможности и ограничения технологий, чтобы не было иллюзий. Люди воспринимают слова и не замечают, что реальное наполнение научных терминов может отличаться от обывательских ожиданий. Мы говорим "искусственный интеллект", но это не сам интеллект, а лишь название области научных исследований, компьютерная имитация обучения по прецедентам. Мы говорим "нейронная сеть", но это мало похоже на человеческий мозг.

Если продолжить разговор о языке, то я бы запретил применять к ИИ глаголы активного действия, например, ИИ "обыграл чемпиона мира", "научился диагностировать рак", "находить ошибки в школьных сочинениях" или вот — "впервые принял решение убить человека". Подобные фигуры речи — скорее маркетинговый ход для привлечения внимания. ИИ ничего не может сделать самостоятельно. Это люди придумывают способы применения технологий и постановки задач, организуют сбор данных, создают модели, численные методы и программы, оценивают, внедряют в производство и отдают приказы на применение.

"ЗАВТРА". Как избежать рисков, что полезная технология будет обращена во вред?

Константин ВОРОНЦОВ. Для этого необходимо ответить на идеологические вопросы: для чего мы развиваем эти технологии и в какое будущее хотим прийти?

Давайте исходить из постулата, что целью человеческой цивилизации является обеспечение выживания нас как биологического вида, сохранение биосферы Земли, создание безопасной и комфортной среды обитания для всех людей. Научно-технический прогресс в целом и ИИ в частности нужны для выполнения всех этих задач.

В то же время общественный дискурс наполнен мифами об ИИ: что машины лишат людей работы, что настанет момент сингулярности, когда ИИ получит возможность воспроизводить и совершенствовать сам себя с непостижимой для людей скоростью; что возникнет машинный разум, принципиально отличный от человеческого, и дальнейшую судьбу цивилизации станет трудно предсказать; что машины окажутся настолько совершенны, что человек им будет уже не нужен для существования и развития.

Эти мифы могут стать реальными угрозами, если экстраполировать в будущее современное технократическое мышление "сделал потому, что мог", пронизанное идеологией индивидуализма. Именно такую экстраполяцию допускают Рэймонд Курцвейл, Нассим Талеб, Клаус Шваб и другие всемирно известные визионеры… и каждый раз получают апокалиптический сценарий.

Цивилизационное мышление исходит из другого принципа: "сделал ради сохранения и развития человеческой цивилизации". ИИ должен стать послушным и надёжным помощником, оставляя людям наиболее творческую работу и принятие ключевых решений. Получится ли это, целиком зависит от нас самих, от того, успеем ли мы изменить мышление на цивилизационное или застрянем на уровне "обезьяны с гранатой".

"ЗАВТРА". Вся ответственность лежит на людях, которые придумывают эти технологии.

Константин ВОРОНЦОВ. Да, и ещё на тех, кто их распространяет, и на тех, кто их применяет. Любая технология может быть использована как во зло, так и во благо, как для разрушения, так и для созидания. Очень важно, что́ у человека в голове в тот момент, когда он собирается сделать свой выбор. Мы часто обсуждаем с коллегами, кто какими задачами занимается. Некоторые занимаются технологиями генерации фейковых текстов, изображений, голоса или видео. Люди не только образованные, но и вполне порядочные. На вопрос "как ты можешь, ведь это увеличит количество лжи в информационном пространстве" обычно есть три "отмазки". Первая: если я не сделаю, то кто-то другой сделает. Вторая: для испытания средств защиты необходимо иметь средства нападения. Третья: это дико интересно. Фактически человек отложил свой морально-этический выбор "на потом", приготовился балансировать на грани добра и зла, но кто же даст гарантии, на чьей стороне он в итоге окажется? Третья мотивация продиктована эгоизмом исследователя, она-то и является главной. С цивилизационных позиций, выбор в такой ситуации однозначен: заниматься выявлением фейков нужно, генерацией — никогда!

Когда в наших руках мощные технологии, способные менять общественные отношения и образ жизни людей, оказывать глобальное воздействие на биосферу, мало быть образованными и порядочными. Мы находимся в особой точке истории: либо мы научимся отказываться от индивидуалистских мотиваций в пользу цивилизационных ценностей, либо спровоцируем катастрофу планетарного масштаба, рано или поздно уничтожив не только себя, но и всё живое на Земле. Нет других вариантов, и осознание этого факта одновременно пугает и воодушевляет.

"ЗАВТРА". Спасибо, Константин Вячеславович, за беседу! Будем надеяться, что человечество не рухнет в бездну.

Беседовал Павел Портнов

На фото: передовые математические модели, созданные советскими учёными, могли стать основой цифровизации с человеческим лицом, поскольку наши инженеры работали прежде всего над промышленными ЭВМ для вывода народного хозяйства на новый виток роста эффективности. ЭВМ БЭСМ-6 (Большая электронная счётная машина). СССР, 1959 г. На её основе сконструированы компьютеры на интегральных микросхемах серии "Эльбрус".

Подписывайтесь на наш канал в Яндекс.Дзен!

Нажмите «Подписаться на канал», чтобы читать «Завтра» в ленте «Яндекса»

Комментарии Написать свой комментарий
5 ноября 2021 в 11:16

На редкость разумная статья для сайта “Завтра”. Скорее всего, обсуждения не будет.

5 ноября 2021 в 11:34

Я несколько раз пытался убедить участников форума употреблять вместо “искусственный интеллект” более точное определение – “элементы искусственного интеллекта”, но пишущую братву не переубедить. Слово “имитация” в обывательском сознании имеет негативный оттенок, хотя суть отображает правильно.

5 ноября 2021 в 11:55

Искусственный интеллект невозможен. Машина будет делать лишь то, что в неё заложил человек.

Это как движение резино-моторной модели. Кажется, что она движется самостоятельно. На самом деле до этого моделист долго и у упорно накручивал резину дрелью.

5 ноября 2021 в 12:11

Сергей, мы с Вами по-разному понимаем содержание понятия “искускусственный интеллект”. Неважно кто и что накручивал, если модель сможет самостоятельно обучится обходить препятствия двигаясь в заданном направлении, то это и будет простейшим примером использования элементов искусственного интеллекта – решение задачи не на основе известного и заранее реализованного алгоритма, а методом научного тыка (проб и ошибок).

5 ноября 2021 в 12:24

Главное в примере объезда препятствий, не набор простейших алгоритмов (натолкнувшись на препятствие необходимо сдать назад и сменить направление, запомнив заданный курс), а способность к самообучению, т.е. по мере накопления опыта модель сможет в разных условиях находить лучшие варианты поведения.

5 ноября 2021 в 12:24

Вадим, вполне возможно, что по разному. Скорее всего так и есть. Но как гласит народная мудрость, - прежде чем спорить, договоримся о терминах.

Понимаете Вадим, модель будет обходить препятствие лишь по тому, что Некто до этого по законам формальной логики написал ей: Если встретишь А, то сворачиваешь влево, если встретишь В, то или прямо, или направо....

Сама машина этого не напишет. У неё более сложного механизма для оценки многообразия мира.

5 ноября 2021 в 12:29

Дождевой червяк к этому не способен, он всегда, чтобы затащить листок в норку, ориентирует его строго определённым образом.

5 ноября 2021 в 12:38

Все правильно, червяк не мыслит. Это инстинкт и он передаётся из поколения в поколение, без изменения. А человек рождается без навыков, он их приобретает. И определённого момента включается нечто больше, чем просто научное от отца-матери, Делай так.

5 ноября 2021 в 12:48

Представьте себе “пещерный” алгоритм обхода препятствий – двигаться нужно к ближайшему краю препятствия, но накопленный опыт говорит, что необходимо учитывать и расположение следующего препятствия, и первоначально заданное правило изменяется без вмешательства в управление человека, просто на основе опыта проб и ошибок. При физической реализации этот процесс обучения будет очень длительный, а на программной модели может занимать приемлемое время.

5 ноября 2021 в 14:02

Вадим, извини, не убедил. Давайте задачу разложим на составляющие. Давайте каждый из нас сыормулирует, что такое, этот ключевой компонент - на учение. Можно даже оттолкнуться от простейшие го ЗУНов, знаний, умений и навыков.

5 ноября 2021 в 14:25

Попробую пояснить, но это будет не быстро, думать надо.

5 ноября 2021 в 15:06

Цель: пройти путь с препятствиями самым коротким путём. Критерий минимальный путь. Заданны варианты действий. Количество попыток неограниченно. Глубина просмотра ограниченна. Общая стратегия: минимизируем путь на заданную глубину просмотра. Применяем самый универсальный алгоритм полного перебора. Перебрав все варианты прохождения отрезка пути выбираем самый короткий.
Цель достигнута. Решение найдено полным перебором вариантов на отображении лабиринта, что можно представить как ОБУЧЕНИЕ на модели любого лабиринта. Перебор вариантов обязательный элемент решения любых задач.
Можно оспорить, что это алгоритмический способ решения задачи, но описать не алгоритмический способ наглядно не получится.

5 ноября 2021 в 18:03

Вне сомнения, перебор - это обязательный элемент решения интеллектуальных задач. В категории "творческий интеллект", который здесь на форуме в дискуссиях пока фигурирует, он стоит на первом месте.(это анализ)

Но дальше должен включаться синтез и действие по плану.

А для синтеза необходимо абстрагирование. Т. Е различение преграды как таковой. А это может быть скажем не камень, а.... Стол.

В противном случае это будет искусственный интеллект для прохода пещеры.

А все же жаль, что тема быстро убегает в подвал.

6 ноября 2021 в 06:30

Далеко не “убежит”, Редакция её закрепила.

5 ноября 2021 в 18:26

Интересная статья. Имитация, это искусство подражания. подражания человеческому интеллекту, это создание искусственного интеллекта. Пока человек воспроизводит отдельные возможности естественного интеллекта, но вряд-ли он остановится на этом, наверняка он захочет воспроизвести себя, человеческий разум на неорганической основе, создать новую форму разумной жизни. Учитывая, что с наличием разума во Вселенной, её разумностью, существуют вопросы и сомнения, хрупкость органической формы материи, создание разума на более живучей неорганической основе позволит оставить во Вселенной разум, если случится катастрофа жизни на земле. Разум, это то, что человек может оставить во Вселенной как своё наследство, своё завещание. Искусственный разум, в определённых условиях, сможет воспроизвести и органическую жизнь, и естественный интеллект. Главное, чтобы искусственный интеллект имел безусловный инстинкт, алгоритм сохранения разума, естественного и искусственного, сохранения естественной и искусственной форм жизни. Для создания искусственного интеллекта человека, надо заложить фундамент этого интеллекта, заложить в нём способность к обучению и развитию, самообучению и саморазвитию, способность выходить за рамки существующего опыта, создавать алгоритмы решения задач, способность развиваться, ставить задачи, как это делают учёные, изобретатели, инженеры. То-есть, надо воспроизвести искусственного новорожденного, мозг новорожденного, первобытного человека с искусственными органами чувств, с воспроизведёнными, искусственными рефлексами и инстинктами, воспроизводящими алгоритмы естественных. Самый, наверное, главный алгоритм в естественной кибернетике Вселенной, это алгоритм распознавания образов, обеспечивающий возможность реагирования, взаимодействия на уровнях как элементарных частиц, так и молекул, живых клеток, организмов, разумных и малоразумных существ. Ну а если удастся создать новорожденный искусственный интеллект, то дальше дело пойдёт как надо, если новорожденный попадёт в руки разумных родителей с безусловным инстинктом уважения разума и жизни.

5 ноября 2021 в 21:05

"Главный алгоритм в естественной кибернетике Вселенной", Гончар, это вовсе не "алгоритм распознавания образов"-как ошибочно вы полагаете, а здоровый баланс между нашими желаниями и возможностями. Любой интеллект, то есть разум, рассудок, просто абстрагируя. ментально моделируя - решает задачи наших пожеланий. Он просто, в отличие от физического действия и тыканья мордой в лужу или стену, путём более скорых абстрактных , формально логических, то есть математических прочислений, находит наиболее полезное решение, которое потом и реализуется в физическом или чувственном действии.

6 ноября 2021 в 01:25

Рассудок, в силу своей прагматической(сугубо деятельной) сущности - это волевое назначение абстрактных данных и вычисление, логическое сосчитывание их взаимоотношений применительно к заданной проблемной ситуации. Сеть, в том числе и нейронная, сама по себе является лишь полем, материалом, ну, как народ для либеров. И без заданных значений(ценностей) она не имеет смысла и разумного, конвенционально различаемого течения логической процессуальности. А сама по себе схема, алгоритмия работы интеллекта несложна. Сложной её делает непонимание её сути, распыление, неправомерное достраивание, фантазирование, излишнее обобщение - и прочие такие чисто логические ошибки. А если сюда добавить ещё и диалектическую слепоту во взаимодействии наблюдателя и объектов его наблюдения, в современном, т.с. квантовом понимании этих вещей, то нет ничего непонятного и странного в том, что идеальный мыслящий идиот(ИИ) ещё не создан.)

6 ноября 2021 в 06:03

“"ЗАВТРА". Константин Вячеславович, мы всё чаще слышим об "искусственном интеллекте". Что он собой представляет, и с чего всё началось”?

Всё-таки, прежде чем “брать быка за рога”, неплохо было бы сделать вступление, что бы уточнить, что мы рассматриваем: философские вопросы типа “быть или не быть” или технические возможности автоматизации рутинной умственной деятельности (замены человека автоматом)? Иначе возникает пропасть в понимании общности (и разницы) между простейшими автоматами и теми которые реализуют, так называемые, элементы искусственного интеллекта.

6 ноября 2021 в 06:28

Нейросети это обычные программы, работающие на стандартных компьютерах. Возьмём типичный пример - программу распознавания букв. Нам понадобиться 32 “нейрона” по числу букв, и у каждого будет столько входов, сколько точек в матрице, на которую проецируется изображение буквы. Выход у каждого “нейрона” один - это одна из букв. Пусть величина сигнала с каждого активного входа (точки матрицы принадлежащей предъявленной букве) необученного “нейрона” будет в середине диапазона всех возможных значений, и при обучении увеличиваться/уменьшаться на единицу, при подтверждении/ошибке правильного ответа. Правильно/неправильно оценивает оператор. “Нейрон” сработает (Буква опознана) когда суммарное значение входных сигналов превысит его порог срабатывания. Данный алгоритм реализует упрощенное представление о работе биологических нервных сетей.
Конечно, этот предельно упрощённый пример предназначен только для иллюстрации принципа работы простейшей нейросети. Алгоритмы работы реальных программ имитирующих работу нейросетей гораздо изощреннее и могут решать более сложные задачи, но суть дела от этого не меняется.
Эту же задачу можно решить и более традиционным способом перебора и сравнения рисунка распознаваемой буквы с множеством вариантов начертания каждой из хранящихся в памяти букв. Программу можно сделать обучаемой. Предъявив букву, оператор даёт команду запомнить рисунок как один из вариантов конкретной буквы. После тренировки на множестве рисунков программа начитает более-менее правильно распознавать незнакомые ей шрифты и рукописные буквы.

6 ноября 2021 в 11:24

У нас в институте был 5-метровый свинцовый калориметр, в котором ловили частицы из космоса, И вот бывало попадает сразу 2 ливня частиц. Но две проекции.
Человек не в состоянии различить их даже глазом, а над .
Я написал программу, чтобы проверить, какие же совпадают друг с другом?
По методу наименьших квадратов стало можно отождествить ливни разделить.
Верили больше ему. "С компьютером не поспоришь".
И были другие такие же задачи.

А есть ещё сложные оптимизационные программы, которые ищут ответ - из одного уравнение сразу 10 параметров. Вручную этого не сделаешь, хоть сколько возись.

6 ноября 2021 в 12:45

Пахомов, ну какие там скорые абстрактные математические прочисления у элементарных частиц материи, атомов и молекул, у примитивных форм жизни, у примитивного мозга, у мозга новорожденного человека. Все они тычутся теми средствами что у них есть для общения с окружающей средой, обследуя эту среду, попадая то в лужи, то во что-то, что оказывается подходящим образом для взаимодействия, для использования в главном деле материального мира – поддержания своего существования, стабильности существования и укрепления стабильности за счёт ресурсов окружающего пространства, путём поглощения их энергии, или создания новых форм существования, совместного сосуществования, более сильных, устойчивых, с более сложными средствами распознования образов окружающего мира, а значит и большими возможностями для счастливого существования. Вот на этом базовом алгоритме и стоит материальный мир, Вселенная, от этого алгоритма и происходят все остальные алгоритмы, вплоть до абстрактных математических прочислений, алгоритма распознавания образа пути в будущее, тычемся то в лужу крови, то в кучу дерьма, отряхиваемся и тычемся дальше с помощью абстрактного мышления и математических исчислений, наших средств распознования образов – распознали образы богов, дьяволов и прочей мистики, образов капитализма, коммунизма, либерализма, исказив образы реальных объектов своими абстрактными фантазиями. Искажение реальности может сыграть с человеком злую шутку, он может увидеть себя или себе подобных в образе врага или добычи и заняться уничтожением своего вида, своего реального образа. Вот этим человек и занимается длительное время, путает абстракцию с реальностью, иногда по-недомыслию, а иногда сознательно создаёт фейки, как ныне говорят. Опасный путь во вселенную фейков, фейковую вселенную.

6 ноября 2021 в 16:49

Вот в этих фейках, Гончар, вы умственно и пребываете.Вы никак не хотите понять смысл категории "материя". Эта диалектическая категория означает просто предельно устанавливаемую субстанциональность, внутри которой и можно о чём-то рассуждать. А вы, подобно школьнику, путаете материю с веществом, кое есть лишь один из видов материи.А ведь у материи ещё есть и формы, а ещё и свойства, одним из коих и является сознание. Потому и тормозите во всех дальнейших путешествиях вашего размышления. Кто ж будет вам растолковывать такие очевидные материалистам вещи? Однако никто не будет вам и запрещать это. Каждый философ сам хозяин-барин своих фантазий.Так что вперёд, Гончар!))

6 ноября 2021 в 16:18

разум нематериален
это собственно душа
он реально идеален
как попавший в лузу шар
воссоздав себя как оттиск
на пластинке восковой
он уйти намерен в отпуск
во вселенной цифровой
с юга двигаясь на север
по намеченной оси
он себя засунул в сервер
из берёзы и осин

6 ноября 2021 в 22:25

Пахомов, зачем –же заводить рака за философский камень – сегодняшние познания делают раков достаточно очевидными. Сознание, это развитие главного алгоритма естественной кибер-вселенной, материального мира. Этот главный алгоритм – алгоритм распознавания образов окружающего пространства с помощью средств взаимодействия с этим пространством, у людей это органы чувств, мозг. Образы отражённые в нейронном пространстве мозга и реакции на эти образы в виде мыслей и чувств и есть сознание . Чем точнее отражается окружающее пространство, тем точнее, адекватнее реакции на него. Искажённый образ окружающего мира вызывает неадекватные реакции на него, вплоть до психических расстройств и безумных поступков. Не заводите раков, Пахомов, за философский камень, не искажайте их образы.

7 ноября 2021 в 11:53

Гончар, а что за "философский камень"? Камень с мочевом пузыре, в почках, или кальций в сосудах мозга?

7 ноября 2021 в 12:41

Добавлю ещё. Человек, благодаря абстрактному мышлению, абстрактной обработке образов – способности фрагментировать и синтезировать образы и их фрагменты, может создавать абстрактные образы, фантастические образы, может фантазировать. Благодаря фантазиям человек способен сочинять стихи, сказки, романы, театральные пьесы, сочинять музыку, рисовать, придумывать мистические образы, богов чертей, религию, придумывать социальные идеи, идеологии, придумывать архитектурные и технические проекты, и далее воплощать это в виде произведений культуры, религии, технических сооружений. Возможность абстрагироваться, фантазировать позволяет ещё человеку врать, придумывать фейки, утверждая, что придуманное ими фантазия является объективной реальностью, а не их субъективной фантазией. Враньё используется для мошенничества, достижения скрытых целей, чаще всего подлых. Для исследования объективной реальности человек придумал специальный метод исследования, требующий доказательства своих фантазий, предположений, гипотез, проведения экспериментов для доказательства, математических расчётов, и предъявления доказателств научному сообществу. Использование научного метода для исследования субъектного, социального мира людей, например истории или религии, проблематично, так как и сам предмет исследования субъективен и его исследователи тоже субъективны, для доказательства используют фейки.

7 ноября 2021 в 14:51

Философский камень, Пахомов, это нездоровое образование в сознании, образованное ложной идеалистической буржуазной философией, что-то вроде ложного ядовитого гриба. Естественно-научное, материалистическое советское сознание лишено таких нездоровых философских камней, советская власть воспитывала честное, естественно-научное, материалистическое мировоззрение.

8 ноября 2021 в 17:39

Кто-то когда-то назвал что-то философским камнем. С тех пор никто ни разу не задал себе вопрос - почему камень? Ведь это жидкость). ....долбоклюи

8 ноября 2021 в 17:46

Виктор
Гончар
7 ноября 2021 в 14:51
" Естественно-научное, материалистическое советское сознание лишено таких нездоровых философских камней, советская власть воспитывала честное, естественно-научное, материалистическое мировоззрение".....

Это мировоззрение оказалось не только не ВСЕСИЛЬНЫМ,но и ложным в своей сути,лукавым и злым. Ибо похоронило советскую власть всего за 70 лет. Материализм - терминатор,идеальный убийца. И сегодня весь мир под угрозой.....

10 ноября 2021 в 14:45

Haiz! Roboti-,,radikali,, !-pochemu ne vzjali na vooruzhenie?!...

1.0x