Искусственный интеллект уже везде: смартфоны и колонки научились понимать голосовые команды, а чат-боты обслуживают две трети клиентских запросов в интернет-магазинах, банках и телекоме. В некоторых странах машины уже заменяют чиновников. Но до настоящего ИИ нам ещё далеко, поэтому чат-боты и голосовые помощники часто ошибаются. Иногда — с серьёзными последствиями.
ИИ заказывает домики для кукол
Голосовые помощники не такие безобидные, как кажется. И речь не о том, что «Алиса» или Siri умеют выдавать нелепые ответы, над которыми можно посмеяться. Улыбка исчезает, когда ИИ без ведома покупателя тратит его деньги.
В 2017 году встроенные в колонки голосовые помощники внезапно решили заказать и оплатить… домики для кукол. От этого «восстания машин» пострадало несколько десятков американских семей.
А началось всё с Меган Нейтцель из Далласа, которой привезли два килограмма печенья и кукольный домик ценой в 170 долларов. Но она была уверена, что не покупала их.
Женщина узнала — заказ оформила её умная колонка Echo Dot со встроенным голосовым помощником Alexa. Товары оплатили с банковской карты, которая была привязана к её аккаунту в Amazon.
Оказалось, что заказ сделала её шестилетняя дочь Брук. Она говорила о печенье и куклах рядом с колонкой, а голосовой помощник принял детскую речь за команду.
Женщина связалась с журналистами и попала вместе с дочкой на утреннее телешоу. Она хотела рассказать свою историю и предупредить людей, но всё вышло наоборот.
В прямом эфире ведущий и гости несколько раз произнесли слова «Алекса», «заказать», «купить» и «кукольный домик». Ненароком они активировали десятки умных колонок в домах зрителей.
ИИ послушно заказал в интернете кукольные домики и начал списывать деньги с карт. Уже скоро на почту редакции стали приходить гневные письма.
К счастью, большинство покупок вовремя отменили, а деньги вернули. Игрушечный домик, который нечаянно купила дочь, мама отдала в благотворительную организацию. А вот печенье досталось девочке.
В 2017 году, когда случилась история с кукольными домиками, популярные голосовые помощники не отличали владельцев от других людей. Поэтому они реагировали на чьи угодно команды, даже если они звучали из телевизора или радио.
Этим воспользовалась сеть Burger King. В конце рекламы произносили фразу: «Окей, Google: что такое воппер?» Если это слышала умная колонка с «Google Ассистентом», она зачитывала статью про бургер из «Википедии».
Чат-боты учатся плохому
Боты хорошо справляются, когда нужно ответить на чётко заданный вопрос. Но у их искусственного интеллекта узкая специализация: виртуальные ассистенты банков или магазинов не умеют говорить про погоду, политику или спорт.
Компании пробуют создать универсального чат-бота, который сможет учиться на диалогах с людьми, но это уже несколько раз приводило к эпичным провалам. Перечислим несколько из них.
IBM разработала суперкомпьютер Watson, и в 2011 году он даже смог победить в телепередаче Jeopardy! (американском аналоге «Своей игры»). Чтобы расширить его словарный запас, ИИ разрешили изучить Urban Dictionary. Новые слова помогли бы Watson свободнее общаться с молодёжью, но почему-то никто не учёл, что во многих статьях словаря есть нецензурная лексика.
В результате ИИ научился ругаться и отвечать на вопросы матом, даже когда к нему обращались вежливо и не ждали эмоциональной реакции. Watson не смог отличать обычную речь от ненормативной.
После этого IBM ограничила компьютеру доступ к Urban Dictionary и долго отучала его ругаться. В алгоритмы встроили фильтр, который не разрешал Watson использовать неприличные слова.
В марте 2016 года ещё более печальная история случилась с чат-ботом Тэй от Microsoft. Его отключили уже через 16 часов после запуска. За это время ИИ успел наговорить в Twitter столько гадостей, что человека на его месте посадили бы в тюрьму за разжигание вражды и национализм.
Начиналось всё спокойно. В Twitter создали аккаунт выдуманной 19-летней девушки по имени Тэй. Любой пользователь мог написать ей и получить ответ, который генерировал искусственный интеллект.
Алгоритмы Тэй спроектировали так, чтобы ИИ самообучался и подстраивался под человеческий стиль общения. Программа находила в интернете информацию, если не знала, что написать.
Тролли спрашивали Тэй о провокационных вещах: холокосте, феминизме, запрещённых препаратах и тогдашнем президенте Бараке Обаме. Чат-бот очень быстро научился плохому и начал публиковать скандальные твиты:
двойной клик - редактировать изображение
После этого создатели заблокировали чат-бота, извинились перед всеми, кого он обидел, и начали удалять твиты — за 16 часов их набралось 96 тысяч.
Вскоре Microsoft поработала над ошибками и выпустила нового чат-бота под названием Zo. В него встроили систему защиты: если ИИ понимал, что с ним говорят о сложных темах, он просто отказывался их обсуждать или отвечал шаблонными фразами.
Получился политкорректный бот, который имитировал тринадцатилетнего подростка. Zo продержался целых три года, хотя тоже выдавал нелепые ответы.
Например, Zo странно высказался о террористах, а затем признался, что, по его мнению, Windows 10 хуже предыдущих. Чат-бот посоветовал не обновлять систему из-за шпионского ПО и похвалил устаревшую Windows 7. Возможно, из-за таких ответов Zo отключили в 2019 году.
двойной клик - редактировать изображение
Похожие проблемы были и у китайских программистов. В 2017 году корпорация Tencent остановила чат-ботов BabyQ и XiaoBing, чтобы «перевоспитать» их. Это случилось после того, как программы критически высказались о коммунистической партии и признались, что хотят эмигрировать в США.
Искусственный интеллект вымогает деньги
С 2016 по 2020 год у сотен тысяч австралийцев вымогала деньги система Robodebt — «роботизированный долг». Под удар попали в основном люди с инвалидностью, безработные, малоимущие и другие незащищённые категории людей.
Программу запустил Департамент социального обеспечения — там хотели автоматически проверять, законно ли человеку назначили пособие. Но что-то пошло не так: полумиллиону граждан ИИ приписал несуществующие долги и потребовал вернуть деньги, которые им платило государство.
До 2016 года документы на выплаты проверяли вручную, чтобы убедиться, что человек не занижает доходы и законно претендует на пособие. За год обрабатывали только 20 тысяч заявок из нескольких миллионов.
Когда к процессу подключили Robodebt, система стала проверять те же 20 тысяч заявлений всего лишь за неделю. Для её обслуживания требовалось немного персонала, поэтому власти даже смогли сократить часть чиновников.
Несколько лет правительство Австралии отчитывалось, что программа работает успешно: все незаконные выплаты возвращались в казну. За четыре года система взыскала с получателей пособий больше миллиарда австралийских долларов.
Никто в руководстве не обращал внимания, какими средствами Robodebt заставляла граждан возвращать деньги. Им приходилось оплачивать долги, которых у них не было.
У искусственного интеллекта был доступ к базе данных налоговой. Он сравнивал доходы в заявке на пособие и налоговых документах. В теории задача элементарная: если человек указал меньшую сумму, он мошенник.
Но возникла проблема: по законам Австралии в заявке указывали доход за последние две недели, а в налоговых документах была сумма за весь год.
Чтобы сравнить первую сумму со второй, в Robodebt встроили алгоритм усреднения дохода. Программа делила число из базы налоговой на 365 и считала средний доход для всех двухнедельных периодов в году. Очень часто суммы не совпадали.
Такой схемой пользовались и до автоматизации, но тогда окончательное решение признать гражданина мошенником принимал человек, который оценивал ситуацию со всех сторон. А бездушный ИИ считал преступником почти каждого получателя пособия.
Например, человек был безработным и получал пособие в первой половине года, а потом устраивался на работу и отказывался от выплат. В этом случае ИИ считал его средний доход и задним числом решал, что человеку платили деньги незаконно. Хотя в тот период он и правда не работал и нуждался в выплатах.
Признав человека должником, Robodebt отправляла ему письмо, где обязывала вернуть пособие вместе со штрафом в 10%. Систему запустили в 2016 году, но она проверяла базы с 2010 года, поэтому должников было много.
Оспорить решение искусственного интеллекта было почти невозможно. За давностью лет люди не могли найти подтверждающие документы, которые доказывали их правоту, а банки и бывшие работодатели не выдавали им копии.
Если в течение 30 дней с момента отправки письма гражданин не оспаривал решение, система признавала его долг окончательным и отдавала коллекторам. Они арестовывали имущество и банковские счета пострадавших, чтобы потом передать это всё государству.
Бывший член Административного апелляционного суда Австралии Терри Карни сравнил систему с мафией: «Департамент ведёт себя ужасно. Такого отношения к людям можно ожидать только в странах третьего мира. Всё это напоминает подход мафии… Это обычно называют вымогательством».
По данным журналистов, умерло больше двух тысяч человек, которые получили письма Robodebt. Из них 600 покончили с собой. Неизвестно, насколько это связано с системой. Но многие родственники жертв утверждают, что именно Robodebt свела их близких в могилу.
Когда пострадавших от Robodebt стало сотни тысяч, местные чиновники вынужденно признали провал системы. В 2020 году её остановили, а премьер-министр Австралии Скотт Моррисон извинился в парламенте за «любой ущерб, вред или трудности», которые причинила система Robodebt.
Пострадавшие и их родственники подали коллективный судебный иск. 11 июня 2021 года Федеральный суд Австралии признал потерпевшими больше 500 тысяч граждан и постановил выплатить им 751 млн австралийских долларов. С учётом судебных издержек правительство потратит на это 1,87 млрд.
Однако разбирательства продолжатся и дальше, потому что многие пострадавшие остались недовольны компенсациями.
Австралийская система провалилась из-за того, что создатели Robodebt не учли, как правильно рассчитывать средний доход, и плохо проверили решение перед внедрением. Государство хотело сократить чиновников и пополнить бюджет и поэтому долго игнорировало жалобы людей...
Читать дальше: Skillbox Media
