Авторский блог Алексей Гончаров 00:50 Сегодня

Языковые модели

Василий Громов о сверхвызовах эпохи искусственного интеллекта

"ЗАВТРА". Василий Александрович, вы считаете проблему языковой безопасности одной из главных проблем цифровой эпохи. Почему в опасности оказался именно язык?

Василий ГРОМОВ, доктор физико-математических наук, профессор НИУ ВШЭ. Язык давно перестал быть исключительно средством сообщения: в нём заключены картина мира, система различений, память культуры и сама способность человека придавать происходящему смысл. Через язык мы узнаём, что существует, что достойно внимания, а что остаётся за пределами видимого. Поэтому борьба за язык всегда была борьбой за сознание. Сегодня эта борьба получила новый технологический масштаб. Почти все ныне живущие поколения выросли на текстах, со­зданных людьми. Эти тексты могли быть великими или посредственными, добрыми или разрушительными, однако за каждым из них стоял человеческий опыт. Сейчас растёт поколение, которое с раннего возраста будет окружено машинными текстами. Их количество быстро превысит объём всего написанного людьми. Вполне вероятно, что на один человеческий текст придутся тысячи, а затем и миллионы машинных. Мы пока не знаем, каким станет человек, воспитанный в подобном смысловом поле. Сохранит ли он глубину восприятия, способность к сомнению, творческому скачку и нравственному выбору? Отсутствие ответа уже делает проблему вопросом безопасности.

"ЗАВТРА". Значит, опасность заключается именно в машинном тексте?

Василий ГРОМОВ. Нет, подобная постановка проблемы была бы упрощённой. Я не предлагаю запрещать большие языковые модели и не считаю машинный текст злом по умолчанию. Опасность возникает там, где человек не понимает, с чем взаимодействует, а общество не исследует последствия этого взаимодействия. Мы видим готовый ответ на экране и принимаем его за нейтральное сообщение. Между тем у текста есть источник, структура, культурные предпосылки и внутренняя политика.

Первым разумным шагом могла бы стать обязательная маркировка. Читатель, родитель, учитель и ребёнок должны знать, создан ли текст человеком, машиной или человеком при участии машины. Такая маркировка не решит всей проблемы, но вернёт нам минимальную ясность. На упаковке продукта указывают состав, поскольку от него зависит здоровье. Смысловая пища воздействует на развитие личности по такому же принципу, однако её происхождение пока скрыто. Мы оказались внутри огромного эксперимента, на который не давали согласия.

"ЗАВТРА". Какое место в этом эксперименте занимает человек?

Василий ГРОМОВ. В теории сложных систем существует понятие параметра порядка. Так называют величину, которая задаёт общее направление множеству взаимо­связанных процессов. В совместной эволюции человека и искусственного интеллекта таким параметром должен остаться человек. Его цели, смыслы и представления о будущем обязаны определять движение всей системы. Если роль параметра порядка перейдёт к машине, человеческая воля начнёт приспосабливаться к результатам автоматической генерации, а не управлять ими. Искусственный интеллект уже вошёл в образование, науку, управление, военное дело и повседневное общение. Обратить этот процесс невозможно. Задача состоит в со­здании человеко-машинных систем, в которых человек сохранит за собой право ставить цель, проверять основания и отвечать за принятое решение.

"ЗАВТРА". Чем опасна зависимость от иностранных языковых моделей?

Василий ГРОМОВ. Большая языковая модель обучается на огромном массиве текстов, где некоторые языки, исторический опыт и системы ценностей представлены значительно полнее других. Внутри модели возникает статистическая география смыслов. Некоторые связи становятся естественными и частыми, другие оттесняются на периферию. Пользователь получает русский ответ, однако траектория рассуждения может быть проложена по чужой карте.

Это воздействие редко выглядит как грубая пропаганда. Гораздо важнее набор вопросов, которые модель считает нормальными, образы будущего, которые она предлагает, и явления, для которых она легко находит слова. Культурная матрица проявляется в выборе очевидного. Даже человек, в совершенстве владеющий иностранным языком, часто бессознательно огибает смысловые пустоты своего родного языка. У машины тоже есть такие пустоты, только они сформированы корпусом обучения и решениями разработчиков.

Государство, претендующее на цивилизационную самостоятельность, нуждается в собственных языковых моделях, научных школах и средствах проверки. Речь идёт не о цифровой изоляции, а о возможности видеть происхождение ответа и сохранять право на собственную онтологию. Языковая безопасность является частью общественной, национальной и в конечном счёте личной безопасности каждого человека.

"ЗАВТРА". Вы анализируете язык с помощью математики. Как точные методы позволяют увидеть различие между человеком и машиной?

Василий ГРОМОВ. В математике удобно различать три класса задач. Прямая задача отвечает на вопрос о том, что произойдёт с системой при заданных условиях. Обратная задача восстанавливает источник по наблюдаемому результату. В нашем случае сначала требуется описать устройство языкового пространства, затем определить происхождение конкретного текста и, наконец, понять, как сознательно управлять взаимодействием человека с машинной речью.

Мы строим своеобразный антитест Тьюринга. Классический тест спрашивает, сумеет ли машина выдать себя за человека. Нас интересует противоположная задача: можно ли по структуре текста обнаружить машинное происхождение даже в том случае, когда синтаксис выглядит безупречно? Обычный классификатор быстро устаревает, поскольку очередное поколение моделей учится обходить признаки предыдущего. Поэтому мы ищем более глубокие свойства, связанные с геометрией и топологией языка.

Исследования показывают, что длинный человеческий текст и длинный машинный текст организованы по-разному. В некоторых измерениях пространство машинного текста имеет меньшую размерность. Словарный состав может почти совпадать, но сочетания слов — биграммы и триграммы — распределяются иначе. Человек чаще делает неожиданный шаг, соединяет далёкие области опыта и подходит к границе ещё не выраженного. Модель тяготеет к статистически плотным областям, где продолжение надёжно подтверждено обучающим массивом.

"ЗАВТРА". Вы используете образ смысловых пустот. Что находится в этих пустотах и почему они так важны?

Василий ГРОМОВ. Пустота в данном случае не означает отсутствие содержания. Это область, которую язык ещё не освоил или освоил недостаточно. Вокруг неё расположены известные слова, образы и связи, но внутри остаётся нечто неназванное. Человеческая мысль испытывает к таким лакунам странное притяжение. Поэт, учёный и изобретатель движутся туда, где готового ответа нет. Они рискуют ошибиться, зато именно там появляется новое понятие, художественный образ или научная гипотеза.

Большая языковая модель построена на вероятностном продолжении и потому естественным образом предпочитает освоенные маршруты. Когда связного ответа нет, возникает то, что принято называть галлюцинацией. Машина начинает собирать формально правдоподобную конструкцию без устойчивого смыслового основания. Можно предположить, что модели галлюцинируют возле собственных пустот. Эти пустоты отличаются от лакун русского, английского или китайского языка, поскольку образованы особым пространством машинного обучения.

Для нас это чрезвычайно важная граница. В привычной зоне машина будет становиться всё эффективнее и постепенно закроет огромный класс стандартных задач. Человеческая ценность перемещается туда, где аналогии перестают работать. Смекалка, интуиция, способность выдерживать неопределённость и давать имя ещё не существующему превращаются из красивых качеств в условие исторической жизнеспособности.

"ЗАВТРА". Если разработчики узнают ваши критерии, разве модель не научится их имитировать?

Василий ГРОМОВ. Отдельный критерий обмануть сравнительно легко. Можно изменить длину предложений, частоту редких слов, порядок частей речи или распределение синтаксических конструкций. Поэтому надёжная система не должна держаться на одном признаке. Мы используем несколько десятков критериев, обычно около сорока или пятидесяти. Каждый из них описывает свой уровень языка. Подделать один уровень возможно — согласовать все уровни значительно труднее.

Ситуация напоминает вечное соревнование брони и снаряда. Средства генерации совершенствуются, методы распознавания обязаны двигаться следом. Окончательной победы здесь, вероятно, не будет, однако у человека остаётся существенное преимущество: подлинная человеческая речь не сводится к набору внешних реакций, а рождается из биографии, телесного опыта, ответственности и внутреннего конфликта. Подражатель видит поверхность произведения, тогда как мастер создаёт его из причин, которые невозможно целиком извлечь из готового корпуса.

Нам необходима большая совместная программа исследований. Одна лаборатория может предложить методы и показать работоспособность гипотезы, но проблема затрагивает всю систему образования, культуры и государственной безопасности. Здесь нужны лингвисты, математики, нейрофизиологи, педагоги, философы и специалисты по вычислительным системам.

"ЗАВТРА". Следует ли ограничиться распознаванием или эти методы позволяют управлять языковой средой?

Василий ГРОМОВ. Распознавание является только обратной задачей. Оно помогает установить источник, но само по себе не отвечает на вопрос о желаемом будущем. Следующий шаг связан с управлением. Мы должны научиться оценивать, как определённая доля машинных текстов влияет на развитие ребёнка, профессиональное мышление взрослого и коллективное воображение общества. Затем можно будет вырабатывать нормы для разных возрастов и сфер деятельности.

Сегодня таких норм нет, поэтому любые точные цифры были бы выдумкой. Мы не знаем, сколько машинного текста безопасно для ребёнка трёх, пяти или десяти лет. Не знаем, способен ли Толстой уравновесить ежедневное общение с чат-ботом и в каком соотношении. Эти вопросы звучат непривычно, но их необходимо переводить в область экспериментального знания. Нужны длительные наблюдения, математические модели, вычислительные эксперименты, исследования с применением электроэнцефалографии, магнитоэнцефалографии и магнитно-резонансной томографии.

Результат может оказаться сложнее наших страхов. Возможно, некоторые формы взаимодействия принесут неожиданный положительный эффект. Наука не должна заранее назначать виновного. Она обязана измерить происходящее и предоставить обществу ясную картину. Пока данных мало, мы строим модели и формулируем программу наблюдений. Самое опасное решение заключается в том, чтобы не задавать вопрос только потому, что ответ неудобен или требует многих лет работы.

"ЗАВТРА". Не преувеличена ли угроза? Ребёнок может пользоваться нейросетью и одновременно читать Толстого, Достоевского и Диккенса.

Василий ГРОМОВ. Публицист неизбежно сгущает краски, когда хочет сделать невидимую проблему заметной. Но научная постановка вопроса у меня другая. Я не утверждаю, что чтение машинного текста обязательно калечит человека, а классическая книга автоматически его спасает. Я утверждаю, что взаимодействие уже изменяет развитие, а характер изменения нам неизвестен.

Можно представить своеобразного нейромаугли — человека, воспитанного преимущественно нейросетью. Этот образ пугает именно своей неопределённостью. Перед нами может оказаться существо с огромным объёмом доступных сведений и слабой способностью самостоятельно ставить цели. Может возникнуть и более продуктивный тип, если машина будет расширять пространство человеческого творчества. Между этими вариантами лежит множество промежуточных состояний.

Поэтому спор о том, какое количество страниц Толстого компенсирует общение с мо­делью, нельзя решить с помощью красивой метафоры — его придётся решать исследованием. Общество должно понимать условия здорового развития и отличать усиление мышления от его незаметной передачи внешней системе. В этом смысле классическая литература важна не как оберег, а как опыт встречи с чужой свободой и ответственностью. Она учит человека выдерживать текст, который не стремится немедленно угодить его запросу.

"ЗАВТРА". Школы уже начинают обучать учеников работе с искусственным интеллектом. Чему должен учить педагог в первую очередь?

Василий ГРОМОВ. Учитель должен возвращать ребёнку позицию автора вопроса. Сейчас обучение часто сводится к освоению инструментов: составь запрос, получи ответ, исправь оформление. Такая грамотность полезна, но недостаточна. Ребёнок обязан понимать, какую цель он ставит, почему принимает один ответ и отвергает другой, какие основания скрыты в готовой формулировке. Без этого он становится оператором чужого мышления.

Искусственный интеллект подсветил болезненную слабость существующей образовательной системы. Если диплом, статья или домашняя работа представляет собой имитацию мысли, машина осваивает эту имитацию быстрее человека. Возмущение преподавателя в таком случае часто защищает не знание, а привычную процедуру. Проверять следует не происхождение каждого абзаца, а наличие собственного вопроса, доказательства, эксперимента и нового результата. Машина может обработать массив данных за часы вместо месяцев, и отказываться от этого бессмысленно, но цель исследования и ответственность за его вывод остаются за человеком.

Хорошее владение русским языком приобретает неожиданную практическую ценность. Современные системы программирования и анализа всё чаще подчиняются ясной словесной постановке. Лингвист или философ, способный точно сформулировать задачу, получает доступ к инструментам, которые недавно требовали многолетней технической подготовки. Изучение литературы вновь становится школой инженерной точности, поскольку неясная мысль порождает неясный запрос и случайный результат.

"ЗАВТРА". Вы говорите об искусственном интеллекте как о сверхвызове. Почему?

Василий ГРОМОВ. Термин "сверхвызов" нужен, чтобы отделить эту ситуацию от множества трудностей, сопровождавших развитие техники. В логике Арнольда Тойнби цивилизация встречает вызов и даёт на него ответ. Удачный ответ открывает новую эпоху, неудачный ведёт к распаду. Искусственный интеллект обращён не к одной отрасли и даже не к одной цивилизации. Он задаёт вопрос о смысле существования человечества как целого.

До сих пор подобной силой обладала смерть. Она обращается к каждому человеку и заставляет его искать основание жизни. Искусственный интеллект формулирует сходный вопрос на уровне вида. Если машина пишет, считает, проектирует, управляет и воюет лучше, зачем нужен человек? Нельзя отвечать на это перечислением профессий, которые пока ещё защищены от автоматизации. Такие списки быстро устаревают. Ответ должен касаться уникального человеческого способа быть в мире.

Сверхвызов не обещает обязательной катастрофы. Он требует преобразования. Человечество должно заново определить творчество, свободу, ответственность и границы делегирования. Нельзя спрятаться за удобным тезисом о том, что машина является всего лишь инструментом. Молоток не перестраивает язык, не формирует ответы ребёнка и не участвует в принятии государственных решений. Здесь возникает партнёр по сложной системе, а значит, требуется новая культура управления.

"ЗАВТРА". Какие ответы на сверхвызов вы считаете ложными?

Василий ГРОМОВ. Первый ложный ответ можно назвать возвращением в золотой век. Его сторонники предлагают закрыть цифровые двери, восстановить прежний порядок и жить так, будто больших языковых моделей не существует. В личной жизни человек вправе отказаться от гаджетов, слушать пластинки и снимать на плёнку. Для государства, науки и экономики всеобщий отказ означает потерю конкурентоспособности. Соперник получит более быстрое управление, исследование и производство, а затем навяжет отставшему собственные условия.

Второй ложный ответ связан с ожиданием спасителя, который запретит опасную технологию силой. Запрет особенно разрушителен, когда система имеет военное значение. Нельзя требовать, чтобы противник остановил разработку одновременно с нами. Кроме того, запрет лишает общество опыта осознанного обращения с новым инструментом и отдаёт его узкой группе, действующей вне публичного контроля.

Есть и третья опасность, более современная. Можно предоставить мощные системы избранному меньшинству, а большинству оставить удобные сервисы развлечения и подчинения. Такое расслоение создаёт основу технофашизма. Критерий допуска к усиленному мышлению станет критерием нового сословия. Творческий ответ требует другого пути: широкой подготовки людей, развития способности ставить вопросы и прозрачных правил, которые сохраняют субъектность человека.

"ЗАВТРА". Не приведёт ли распространение нейросетей к новому разделению общества: на тех, кто использует искусственный интеллект как инструмент, и тех, кто постепенно утрачивает способность самостоятельно мыслить?

Василий ГРОМОВ. К сожалению, такая перспектива существует. Один человек использует нейросеть бездумно, постепенно передавая ей собственный разум, право выбора, речь и даже волю. Другой создаёт человеко-машинную систему, в которой искусственный интеллект ускоряет анализ информации, но не определяет конечную цель. Со временем различие между этими людьми может оказаться глубже обычного имущественного неравенства.

В статистике подобное расхождение можно представить как появление двух выраженных пиков там, где прежде наблюдалось единое распределение. Применительно к обществу это озна­чает дивергенцию, постепенное расхождение двух траекторий развития. Одна группа сохранит и приумножит способность самостоятельно мыслить и создавать новое. Другая привыкнет существовать в мире готовых подсказок и постепенно утратит навык самостоятельного принятия решений. Исторически подобные расхождения редко остаются мирными, поскольку интеллектуальное неравенство неизбежно затрагивает вопросы власти и контроля над ресурсами. Противодействовать этому можно прежде всего через образование, доступ к средствам интеллектуального развития и понимание обществом самих технологий. Ведь равенство не озна­чает, что всем достаточно выдать одинаковых чат-ботов. Необходимо дать человеку знания и подготовку, которые позволят ему не раствориться в интерфейсе и не превратиться в пассивного исполнителя машинных рекомендаций. Он должен понимать ограничения модели, уметь проверять её ответы, самостоятельно формулировать цели и, главное, сохранять за собой право отказаться от предложенного решения.

"ЗАВТРА". Мы всё больше доверяем цифровым системам управление жизненно важными процессами. Но не рискуем ли мы оказаться в положении, когда без этих систем общество уже не сможет нормально функционировать?

Василий ГРОМОВ. Существует старое инженерное правило: предельная оптимизация ведёт к катастрофе. Чем точнее система настроена на решение определённой задачи, тем меньше у неё запас прочности перед неожиданным воздействием. Искусственный интеллект обещает сверхоптимизацию управления, логистики, энергетики, финансов и социальных процессов. Но вместе с эффективностью растёт и зависимость от электричества, связи, данных и нескольких ключевых платформ.

Глобальный сбой вовсе не обязательно должен напоминать фантастический конец света. Достаточно длительного нарушения энергоснабжения, повреждения сетевой инфраструктуры или потери доверия к данным, чтобы тщательно оптимизированная система начала рассыпаться. При этом человек, разучившийся действовать без подсказки, сам становится дополнительным источником её уязвимости. Поэтому цифровая зрелость предполагает не только внедрение новых технологий, но и создание резервных контуров, сохранение локальной автономии и навыков, которые в обычное время кажутся устаревшими.

Однако серьёзность этого риска ещё не означает, что развитие необходимо остановить. Отказ от технологий тоже делает общество уязвимым, поскольку лишает его возможности полноценно защищаться и конкурировать. Мы вынуждены решать две задачи одновременно: развивать человеко-машинные системы и обес­печивать их устойчивость на случай отказа. Это требует более сложного подхода, чем безоговорочный восторг перед технологиями или столь же безоговорочный страх перед ними. Ведь подлинная эффективность системы определяется не только тем, насколько хорошо она работает в обычных условиях, но и тем, насколько она способна выдержать кризис.

"ЗАВТРА". Может ли русская цивилизация извлечь из этого процесса некое преимущество?

Василий ГРОМОВ. Преимущество нельзя вывести из одной красивой декларации. Оно требует серьёзного культурологического и математического исследования. Однако у русской культуры есть качества, которые могут оказаться особенно важными возле смысловых лакун. Это способность действовать при недостатке правил, привычка к огромному пространству, смекалка, риск первопроходца и готовность искать решение там, где надёжная инструкция заканчивается.

Пушкин спрашивал, кто помог России в грозу двенадцатого года: остервенение народа, Барклай, зима или русский Бог. Сам вопрос важнее готового ответа. Историческое действие рождается из соединения расчёта с неформализуемым культурным импульсом. Машина особенно сильна в области повторяемых паттернов. Значит, цивилизационный шанс возникает в способности выходить за пределы шаблона, не теряя дисциплины и ответственности. Русская модель искусственного интеллекта должна быть не копией иностранной системы с новым словарём, а выражением собственного представления о человеке и будущем. Для этого гуманитарное знание придётся соединить с вычислительным экспериментом. В ближайшие годы культурологический тезис всё чаще будут сопровождать математическая модель, корпус данных и проверяемый прогноз. Творческий

"ЗАВТРА". Искусственный интеллект берёт на себя всё больше задач, которые прежде решал человек. Как не оказаться лишними в мире, который мы сами с таким упорством создаём? Если отказаться от искусственного интеллекта уже невозможно, а полное доверие ему грозит утратой самостоятельности, какой выход остаётся у человека?

Василий ГРОМОВ. Творческий ответ начинается с отказа от двух удобных иллюзий. Мы уже не вернёмся в мир до искусственного интеллекта, но и не сможем без последствий передать ему всю работу мысли. Необходимо исследовать совместную эволюцию человека и машины, создавать собственные модели, учить людей управлять ими и в каждом важном процессе оставлять за человеком право определять цель. При этом следует различать ускорение и подмену. Когда исследователь поручает машине обработку огромного массива данных, а затем самостоятельно формулирует гипотезу и отвечает за вывод, технология действительно усиливает науку. Но когда студент просит нейросеть написать за него работу, которую преподаватель затем проверяет лишь для формальности, машина просто автоматизирует взаимную имитацию. Искусственный интеллект беспощадно обнаруживает всё пустое, ритуальное и лишённое живой мысли. В этом смысле он способен стать свое­образным судом над нашими учреждениями.

Потребуется и новая система общественного доверия к технологиям. Человек должен понимать, где применялся искусственный интеллект, кто отвечает за принятое решение и каким образом его можно оспорить. Научные данные о воздействии языковых моделей необходимо делать доступными для родителей и педагогов, а правила их использования пересматривать по мере накопления новых наблюдений. Нельзя превращать важнейшие системы в непрозрачных оракулов, решения которых принимаются на веру. Чем сильнее алгоритм влияет на судьбу человека, тем яснее должны быть границы его полномочий и ответственность тех, кто принимает окончательное решение. Но за всеми этими практическими вопросами стоит один, гораздо более существенный. Обществу придётся определить для себя, что означает само слово "человек". Можно видеть в нём лишь биологическое существо, подлежащее отбору, которое легко отнести к пригодным или лишним. А можно видеть в каждом образ и подобие Божие, носителя безусловного достоинства и свободы. Именно от этого выбора зависит архитектура всей цифровой эпохи. В первом случае большинство людей рискует превратиться в приложение к цифровой платформе, во втором — каждый должен войти в новый мир как его полноправный участник.

"ЗАВТРА". Что бы вы сказали человеку, который завтра впервые откроет окно нейросети?

Василий ГРОМОВ. Ему следует спросить себя, кто сейчас ставит цель. Если цель ставит человек, если он понимает предмет, проверяет ответ и способен возразить машине, перед ним находится сильный инструмент. Если запрос рождается из скуки, привычки или желания избежать собственной мысли, инструмент незаметно подменяет хозяина. Искусственный интеллект поставил перед нами вопрос, который нельзя передать алгоритму: ради чего существует человек? Ответ не будет одинаковым для всех, но без него совместная эволюция станет движением без направления. Машина прекрасно ускоряет путь. Она не обязана знать, куда этот путь ведёт и почему туда следует идти. Направление остаётся нашей ответственностью. Поэтому нынешний технологический перелом является испытанием зрелости. Он проверяет качество образования, силу культуры, способность государства мыслить на поколения вперёд и внутреннюю собранность отдельной личности. Будущее решится не в момент создания самой мощной модели. Оно решится в тот момент, когда человек, получив её ответ, сохранит способность произнести своё осмысленное слово.

22 октября 2026
1.0x