Двухспиральная удавка на будущем

Сегодняшняя ситуация напоминает атомный век, но с одной принципиальной разницей. Между открытием деления ядра и созданием международной архитектуры ядерной безопасности прошли десятилетия. Искусственный интеллект не оставляет нам такой временной роскоши. Поколения моделей сменяются быстрее, чем дипломаты успевают согласовать определения предыдущего поколения.

И здесь начинается самое тревожное. Ядерная гонка и гонка искусственных интеллектов существуют не независимо друг от друга. Они постепенно входят в синергию. Слово это обычно употребляют в положительном смысле: совместное действие нескольких факторов дает результат больший, чем сумма отдельных воздействий. Но синергия совершенно не обязана быть благотворной. Бывает и синергия катастроф.

Искусственный интеллект все глубже входит в разведку, обработку спутниковых данных, кибероперации, обнаружение угроз, моделирование военных сценариев и системы поддержки принятия решений. Чем быстрее развивается эта инфраструктура, тем сильнее соблазн передавать машине функции, в которых скорость считается преимуществом. И здесь вторая технологическая гонка начинает раскачивать первую. Чем напряженнее стратегическое противостояние, тем сильнее стимул использовать ИИ для получения преимущества. Чем глубже ИИ входит в военные системы, тем выше риск ошибочной классификации, киберманипуляции или такого ускорения принятия решений, при котором человеку остается все меньше времени на проверку. Возникает положительная обратная связь: ядерное противостояние ускоряет военное применение ИИ, а военное применение ИИ способно увеличивать нестабильность ядерного противостояния. Две спирали начинают закручиваться друг вокруг друга.

Если два риска независимы, мы можем анализировать каждый отдельно. Но если первый изменяет вероятность реализации второго, а второй возвращается и усиливает первый, возникает уже нелинейная система. Небольшое возмущение способно пройти по контуру, усилиться и вернуться в исходную точку значительно большим. Это и есть самая опасная особенность двухспиральной конструкции.

В XXI веке новый Гаврило Принцип может вообще не иметь лица. Им может оказаться ошибка распознавания, ложный сигнал системы предупреждения, кибератака, действия третьего государства, террористическая группа, ошибочно интерпретированный спутниковый снимок, автономный программный агент или, что еще страшнее, цепочка совершенно рациональных решений, каждое из которых по отдельности выглядит разумным. Спусковой крючок становится распределенным. Безумца можно искать, изолировать, пытаться понять его намерения. У сложной системы намерений может не быть. У нее есть только динамика.

Есть еще одна фундаментальная асимметрия. Дипломатия работает в человеческом времени. Переговоры продолжаются месяцами и годами, договоры согласовываются десятилетиями, международные институты медленно вырабатывают определения, процедуры проверки и санкции. Искусственный интеллект развивается в технологическом времени. Поэтому возникает, возможно, одна из главных формул нынешней эпохи: скорость технологии растет, а скорость политического согласования почти не меняется.

Международный договор об ИИ нельзя просто скопировать с договора СНВ. Однако сама логика СНВ необходима: признание взаимной уязвимости, определение красных линий, верификация, каналы экстренной связи и, главное, отказ от идеи, будто безопасность одной стороны может бесконечно строиться на увеличении небезопасности другой.

Поэтому мне представляется недостаточным говорить отдельно о ядерной безопасности и отдельно — о безопасности искусственного интеллекта. Перед нами формируется единая нелинейная система риска. Первая спираль — накопленная мощь ядерного уничтожения. Вторая — стремительно растущая мощь алгоритмического принятия решений. Каждая опасна сама по себе, но, сцепляясь, они способны взаимно усиливать друг друга.

Именно это я называю двухспиральной удавкой на будущем.

Главный вопрос XXI века поэтому, возможно, состоит уже не в том, кто победит в гонке искусственного интеллекта. Такая постановка сама принадлежит логике гонки. Вопрос гораздо неприятнее: сумеет ли человечество научиться ограничивать собственную мощь быстрее, чем научится ее увеличивать?

От гонки ядерных вооружений к гонке искусственных интеллектов

«Высвобожденная сила атома изменила все,
кроме нашего образа мышления».
Альберт Эйнштейн

У человечества есть странное свойство: оно редко успевает справиться с одной созданной им опасностью прежде, чем создает следующую. Холодная война оставила нам почти идеальный пример. Соединенные Штаты и Советский Союз создали ядерные арсеналы, достаточные не столько для победы друг над другом, сколько для превращения самой идеи победы в абсурд. Возникла исторически беспрецедентная ситуация: техническая мощь цивилизации впервые стала сопоставима с возможностью уничтожения самой цивилизации.

При этом для катастрофы вовсе не обязательно, чтобы руководители двух сверхдержав сошли с ума. История показывает, что огромные процессы иногда запускаются сравнительно небольшими событиями. Выстрел Гаврило Принципа в Сараеве не был «причиной» Первой мировой войны в строгом смысле слова: Европа уже была насыщена противоречиями, союзами, мобилизационными планами и взаимным страхом. Но именно поэтому небольшой спусковой механизм оказался способен привести в движение огромную машину. После появления ядерного оружия цена подобного спускового механизма стала несравненно выше.

Антон Колонин:
Прикладной ИИ: проблемы развития и риски для России

Человечество, однако, постепенно начало вырабатывать своеобразную иммунную систему против собственной технологической мощи. Появилась прямая линия между Москвой и Вашингтоном. В 1963 г. был заключен Договор о запрещении испытаний ядерного оружия в атмосфере, космическом пространстве и под водой. Затем возникли договоры ОСВ, ПРО, позднее — соглашения семейства СНВ. Создавались процедуры инспекций, уведомлений, контроля и верификации. Эти механизмы никогда не гарантировали безопасности, но произошло нечто чрезвычайно важное: страх был институционализирован. Люди признали существование опасности и попытались превратить взаимный страх в правила взаимного поведения.

Но прежде чем человечество окончательно справилось с первой планетарной гонкой, началась вторая — гонка искусственных интеллектов. И если в XX веке центральной осью технологического соперничества были США и СССР, то сегодня все отчетливее возникает другая ось: Соединенные Штаты — Китай.

На первый взгляд перед нами просто две последовательные технологические революции. Но это опасная иллюзия. Ядерное оружие чрезвычайно сложно, однако как объект международного контроля оно обладает важным достоинством — оно материально. Можно считать боеголовки, обнаруживать шахты, наблюдать испытания, контролировать носители, договариваться о дальности ракет и количестве пусковых установок. Но как считать искусственный интеллект? По количеству процессоров? По вычислительной мощности центров обработки данных? По потреблению электроэнергии? По числу параметров модели? По эффективности алгоритмов? По объему обучающих данных? По возможностям системы? И, наконец, где вообще находится оружие, если алгоритм можно копировать?

Здесь возникает принципиальная проблема, которой международная политика прежде почти не знала. Международное право XX века училось контролировать вещи. Международному праву XXI века придется научиться контролировать возможности. Ракеты можно пересчитать. Шахты можно сфотографировать со спутника. Боеголовки можно уничтожить под наблюдением инспекторов. Но как верифицировать способность алгоритма, которая сегодня еще исследовательская функция, а завтра после изменения нескольких компонентов может стать военной? Это уже не только политическая, но и методологическая проблема: прежде чем ограничить объект, необходимо хотя бы договориться, что является объектом ограничения.

Но время на такое обучение сокращается. Допустим, руководители США и Китая одинаково хорошо понимают потенциальную опасность неконтролируемого развития искусственного интеллекта. Из этого вовсе не следует, что они остановят гонку. Напротив: если одна сторона добровольно замедлится, а другая продолжит движение, первая рискует получить критическое технологическое отставание. Поэтому рациональное решение каждого участника — двигаться дальше. Возникает классический парадокс: рациональность каждого способна породить иррациональность системы. Никому не нужна катастрофа, но каждому опасно остановиться первым.

История атомного века оставила поразительную рифму с сегодняшней ситуацией. В августе 1939 г. Альберт Эйнштейн подписал знаменитое письмо президенту Франклину Рузвельту, подготовленное прежде всего Лео Силардом. Физики предупреждали, что новые открытия позволяют создать чрезвычайно мощную бомбу и что нацистская Германия может двигаться в этом направлении. Эйнштейн не участвовал в Манхэттенском проекте, но его имя придало предупреждению огромный политический вес. После войны направление его общественной деятельности стало почти противоположным: он выступал за международный контроль атомной энергии и против ядерной гонки. В 1955 г. последним крупным публичным документом, связанным с его именем, стал манифест Рассела — Эйнштейна. Его знаменитая заключительная формула звучала почти как обращение не к государствам, а к биологическому виду: «Remember your humanity, and forget the rest» — «Помните, что вы люди, и забудьте обо всем остальном».

В этом есть трагическая закономерность научно-технической цивилизации. Сначала ученые доказывают, что нечто возможно. Затем инженеры превращают возможность в технологию. Государства обнаруживают в технологии стратегическое преимущество. Начинается гонка. И наконец сами создатели технологии начинают предупреждать общество о том, что созданная ими мощь требует ограничений.

Сегодня эта последовательность начинает повторяться с искусственным интеллектом — только значительно быстрее.

Василий Кашин:
Китайско-американские отношения в 2026 году: затишье перед бурей

В 2023 г. Center for AI Safety опубликовал декларацию, подписанную Джеффри Хинтоном, Йошуа Бенжио, Демисом Хассабисом, Сэмом Альтманом и множеством других исследователей и руководителей: «Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war». — «Снижение риска вымирания вследствие ИИ должно стать глобальным приоритетом наряду с другими рисками общецивилизационного масштаба, такими как пандемии и ядерная война». В этой короткой фразе важно не только предупреждение, но и соседство: искусственный интеллект и ядерная война уже поставлены в одну строку.

Но с тех пор тон предупреждений стал еще тревожнее. Руководители и исследователи ведущих лабораторий ИИ все чаще говорят уже не об отвлеченной этике алгоритмов, а о потере контроля над все более автономными системами, о возможностях кибератак, создании биологических угроз, манипулировании людьми и о необходимости не ждать появления полностью автономного сверхинтеллекта, прежде чем создавать механизмы безопасности. Особенно существенно здесь не то, правы ли самые пессимистические прогнозы буквально. В истории риска вообще опасно требовать стопроцентного доказательства катастрофы до того, как начать от нее защищаться. Существенно другое: люди, непосредственно создающие наиболее мощные системы ИИ, сами требуют ограничителей для собственной технологии.

В этом смысле сегодняшняя ситуация напоминает атомный век, но с одной принципиальной разницей. Между открытием деления ядра и созданием международной архитектуры ядерной безопасности прошли десятилетия. Искусственный интеллект не оставляет нам такой временной роскоши. Поколения моделей сменяются быстрее, чем дипломаты успевают согласовать определения предыдущего поколения.

И здесь начинается самое тревожное. Ядерная гонка и гонка искусственных интеллектов существуют не независимо друг от друга. Они постепенно входят в синергию. Слово это обычно употребляют в положительном смысле: совместное действие нескольких факторов дает результат больший, чем сумма отдельных воздействий. Но синергия совершенно не обязана быть благотворной. Бывает и синергия катастроф.

Искусственный интеллект все глубже входит в разведку, обработку спутниковых данных, кибероперации, обнаружение угроз, моделирование военных сценариев и системы поддержки принятия решений. Чем быстрее развивается эта инфраструктура, тем сильнее соблазн передавать машине функции, в которых скорость считается преимуществом. Но в ядерной стратегии скорость решения далеко не всегда является благом. Иногда несколько дополнительных минут человеческого сомнения могут оказаться важнее нескольких дополнительных секунд машинной эффективности.

И здесь вторая технологическая гонка начинает раскачивать первую. Чем напряженнее стратегическое противостояние, тем сильнее стимул использовать ИИ для получения преимущества. Чем глубже ИИ входит в военные системы, тем выше риск ошибочной классификации, киберманипуляции или такого ускорения принятия решений, при котором человеку остается все меньше времени на проверку. Возникает положительная обратная связь: ядерное противостояние ускоряет военное применение ИИ, а военное применение ИИ способно увеличивать нестабильность ядерного противостояния. Две спирали начинают закручиваться друг вокруг друга.

Именно поэтому речь должна идти не о простой сумме двух угроз, а об их синергии. Если два риска независимы, мы можем анализировать каждый отдельно. Но если первый изменяет вероятность реализации второго, а второй возвращается и усиливает первый, возникает уже нелинейная система. Небольшое возмущение способно пройти по контуру, усилиться и вернуться в исходную точку значительно большим. Это и есть самая опасная особенность двухспиральной конструкции.

Павел Карасев:
Вепонизация ИИ и киберстратегия Пентагона

В XX веке мы привыкли представлять спусковой крючок истории антропоморфно. Есть человек, у него есть мотив, в его руке находится оружие. В XXI веке новый Гаврило Принцип может вообще не иметь лица. Им может оказаться ошибка распознавания, ложный сигнал системы предупреждения, кибератака, действия третьего государства, террористическая группа, ошибочно интерпретированный спутниковый снимок, автономный программный агент или, что еще страшнее, цепочка совершенно рациональных решений, каждое из которых по отдельности выглядит разумным. Спусковой крючок становится распределенным. Безумца можно искать, изолировать, пытаться понять его намерения. У сложной системы намерений может не быть. У нее есть только динамика.

Есть еще одна фундаментальная асимметрия. Дипломатия работает в человеческом времени. Переговоры продолжаются месяцами и годами, договоры согласовываются десятилетиями, международные институты медленно вырабатывают определения, процедуры проверки и санкции. Искусственный интеллект развивается в технологическом времени. Поэтому возникает, возможно, одна из главных формул нынешней эпохи: скорость технологии растет, а скорость политического согласования почти не меняется.

Когда-то человечество могло позволить себе сначала создать атомную бомбу, затем ужаснуться ее последствиям и только потом десятилетиями строить систему ограничений. С искусственным интеллектом такой последовательности может уже не получиться. Международный договор об ИИ нельзя просто скопировать с договора СНВ. Однако сама логика СНВ необходима: признание взаимной уязвимости, определение красных линий, верификация, каналы экстренной связи и, главное, отказ от идеи, будто безопасность одной стороны может бесконечно строиться на увеличении небезопасности другой.

Поэтому мне представляется недостаточным говорить отдельно о ядерной безопасности и отдельно — о безопасности искусственного интеллекта. Перед нами формируется единая нелинейная система риска. Первая спираль — накопленная мощь ядерного уничтожения. Вторая — стремительно растущая мощь алгоритмического принятия решений. Каждая опасна сама по себе, но, сцепляясь, они способны взаимно усиливать друг друга.

Именно это я называю двухспиральной удавкой на будущем.

Главный вопрос XXI века поэтому, возможно, состоит уже не в том, кто победит в гонке искусственного интеллекта. Такая постановка сама принадлежит логике гонки. Вопрос гораздо неприятнее: сумеет ли человечество научиться ограничивать собственную мощь быстрее, чем научится ее увеличивать?

После Хиросимы и Нагасаки человечество все-таки начало этому учиться. Оно создало несовершенные, хрупкие, неоднократно переживавшие кризисы, но реальные механизмы ограничения ядерной гонки. Теперь необходим следующий интеллектуальный скачок. Международная система контроля должна научиться работать не только с ракетами и боеголовками, но и с вычислительными мощностями, алгоритмами, автономностью и скоростью принятия решений. Возможно, когда-нибудь появится аналог ОСВ или СНВ для искусственного интеллекта. Возможно, будут установлены абсолютные красные линии для включения автономных систем в контуры принятия решений о применении ядерного оружия. Возможно, появятся международные механизмы верификации критических вычислительных систем.

Но здесь есть одно неприятное слово — «когда-нибудь».

У технологии нет обязанности ждать, пока политики, военные, ученые и дипломаты договорятся.

Атомный век породил людей, которые сначала помогли открыть дверь в новую реальность, а затем всю оставшуюся жизнь предупреждали человечество о том, что находится за этой дверью. Нечто похожее происходит сегодня с искусственным интеллектом. Разница лишь в том, что на этот раз новая дверь открывается рядом со старой, которую мы так и не научились надежно запирать.

К высвобожденной силе атома прибавляется высвобожденная сила алгоритма.

И если образ нашего мышления снова останется прежним, две спирали могут окончательно сцепиться.

Тогда удавка затянется уже не на настоящем, а на будущее.

Антон Тамарович:
Правила или практика — новые развилки глобального регулирования ИИ

Вдогонку к «Двойной удавке»

Не успела «высохнуть типографская краска» на «Двойной удавке», как сама реальность решила добавить к тексту примечание.

Почти одновременно прозвучали два высказывания, удивительно точно описывающие обе петли нашей конструкции. Дональд Трамп сформулировал первую предельно просто: «Мы опережаем Китай в ИИ… выиграет тот, кто выиграет в ИИ». Отсюда вывод столь же простой: тормозить нельзя. Любая односторонняя осторожность означает риск отдать противнику технологическое, экономическое, а в перспективе и военное преимущество.

Но практически следом глава Anthropic Дарио Амодей сформулировал вторую половину ловушки: стимулы двигаться вперед и связанное с этим военное преимущество настолько велики, что ограничение гонки возможно лишь при уверенности, что «другая сторона играет по правилам». И тут же признал: он не уверен, насколько такая уверенность вообще достижима.

Вот она, двойная удавка, уже не как метафора, а почти как стенограмма.

Первая петля затягивается страхом отстать. Вторая — страхом того, к чему приведет лидерство, если гонка останется бесконтрольной. Остановиться опасно, потому что другой может продолжить. Продолжать опасно, потому что следующий технологический рубеж способен изменить не только экономику, но и само устройство военной силы. Поэтому каждый рациональный шаг отдельного участника делает совокупную систему менее рациональной.

Это почти лабораторный пример того, что теоретики игр называют дилеммой безопасности: государство усиливается ради собственной безопасности — и именно этим заставляет соперника усиливаться еще быстрее. В ядерную эпоху человечество уже однажды оказалось внутри подобной логики. Но тогда оружие хотя бы было материальным: уран, центрифуги, полигоны, ракеты, шахты — все это можно было считать, фотографировать со спутника, инспектировать.

С искусственным интеллектом страшнее другое: главный стратегический ресурс становится почти невидимым. Алгоритм не виден со спутника. Программный прорыв может произойти за закрытыми дверями лаборатории. А следовательно, проблема взаимной проверки, на которую фактически указывает Амодей, становится несравненно сложнее.

И здесь возникает парадокс, достойный нашей «Двойной удавки»: чем опаснее становится гонка, тем необходимее договоренность; чем важнее становится преимущество в гонке, тем труднее договориться.

Трамп говорит: нельзя останавливаться.

Амодей говорит: продолжать в прежней логике чрезвычайно опасно.

А между этими двумя фразами — пожалуй, и находится одна из главных политических задач XXI века.

P. S. Иногда прогноз особенно неприятно подтверждается не тогда, когда проходит десять лет, а когда проходит один день.