Распечатать
Оценить статью
(Голосов: 3, Рейтинг: 5)
 (3 голоса)
Поделиться статьей
Дмитрий Шефтелович

Научный сотрудник Дортмундского технического университета, специалист в области автономных систем принятия решений

Колонка автора: Вооружения и безопасность

Стокгольмский институт исследования проблем мира организовал 22­–23 мая 2018 г. мини-конференцию «Mapping the Impact of Machine Learning and Autonomy on Strategic Stability and Nuclear Risk», целью которой была оценка влияния автономных систем и прогресса в области машинного обучения на стратегическую стабильность и риски ядерной войны. Институт планирует провести четыре таких конференции для исследования региональной специфики проблемы. Серия конференций проводится как часть двухлетнего исследовательского проекта, направленного на исследование влияния технологий искусственного интеллекта на международные отношения.

В первый день конференции делегаты разобрались с вопросом, что же такое автономные системы, каковы их ограничения и какие именно задачи можно отдать на откуп машинам. Для тех, кто интересуется вопросами стратегической стабильности и историей холодной войны, риски излишнего доверия машинам вполне известны: ложных срабатываний СПРН хватало по обе стороны железного занавеса. Несложно представить, что было бы, будь на месте полковника Петрова или советника по национальной безопасности Бжезинского автоматическая система реагирования. Кроме того, важно осознавать и пределы применения новой технологии: даже безграничный компьютерный ум не отменит законы физики и не сделает возможными стаи мини-дронов с лазерным питанием и способностью сбивать МБР прямо на старте. Однако недавние впечатляющие успехи учёных в области машинного обучения, распознавания образов и оптимизации решений пробудили интерес у людей в погонах, и многие заинтересовались открывающимися революционными перспективами.

Вторая часть конференции была посвящена поиску ответов на накопившиеся вопросы, главный из которых — что нужно делать для уменьшения рисков? С одной стороны, внедрение машинного обучения в оборонительных системах уменьшает время, требующееся на классификацию угрозы и даёт больше времени военно-политическому руководству для принятия осмысленного решения, а симуляции могут дать ответ на вопрос, какие действия могут быть наиболее правильными в сложившейся ситуации. С другой стороны, всё это работает при достаточно отработанной технологии, а сами цифровые системы подвержены дополнительным рискам, как в области информационной безопасности, так и со стороны возможных манипуляций. Поэтому нужно об этих рисках говорить и пытаться их снизить.

Стокгольмский институт исследования проблем мира организовал 22­–23 мая 2018 г. мини-конференцию «Mapping the Impact of Machine Learning and Autonomy on Strategic Stability and Nuclear Risk», целью которой была оценка влияния автономных систем и прогресса в области машинного обучения на стратегическую стабильность и риски ядерной войны. Институт планирует провести четыре таких конференции для исследования региональной специфики проблемы. Серия конференций проводится как часть двухлетнего исследовательского проекта, направленного на исследование влияния технологий искусственного интеллекта на международные отношения.

В первый день конференции делегаты разобрались с вопросом, что же такое автономные системы, каковы их ограничения и какие именно задачи можно отдать на откуп машинам. Для тех, кто интересуется вопросами стратегической стабильности и историей холодной войны, риски излишнего доверия машинам вполне известны: ложных срабатываний СПРН хватало по обе стороны железного занавеса. Несложно представить, что было бы, будь на месте полковника Петрова или советника по национальной безопасности Бжезинского автоматическая система реагирования. Кроме того, важно осознавать и пределы применения новой технологии: даже безграничный компьютерный ум не отменит законы физики и не сделает возможными стаи мини-дронов с лазерным питанием и способностью сбивать МБР прямо на старте. Однако недавние впечатляющие успехи учёных в области машинного обучения, распознавания образов и оптимизации решений пробудили интерес у людей в погонах, и многие заинтересовались открывающимися революционными перспективами.

Основные вопросы применения боевых автономных систем, интересующие все заинтересованные стороны — от военных специалистов до дипломатов:

Предсказуемость. Будет ли машина действовать именно так, как её запрограммировали вне зависимости от внешних данных? Тем более, если она самообучается в процессе боевых действий?

Ответственность. Кто будет отвечать за действия автономной боевой техники? Кто должен нести ответственность за неисполнение приказа или военные преступления?

Ускорение конфликта. Если реагировать и отдавать приказы будет машина, то человек не только будет отставать в скорости принятия решений, но и лишится возможности контролировать эскалацию конфликта. Вероятна ситуация, в которой локальное столкновение низкой интенсивности из-за ошибки обработки данных перерастёт в полноценные боевые действия, чего не хочет никто.

Пока ответов на эти вопросы нет, никто не хочет отдавать право принимать решения машине. Тем не менее, в дискуссии были упомянуты ситуации, когда в отдельных странах возникнет потребность в полностью автономных роботах. У небольших, но индустриально развитых стран вроде Израиля в какой-то момент может возникнуть желание компенсировать недостаток людских ресурсов машинами, в особенности в случае серьёзного противостояния с численно превосходящим противником. И тут кроме практических вопросов возникает вопрос этический: можно ли в этом случае сказать «им можно» (и неявно другим — «а вам нельзя, т.к. вас много»)? Совершенно другой род проблем возникает в киберпространстве: враждебные действия осуществляются компьютерными системами, и найти границу между автономными действиями алгоритма взлома и осознанными действиями оператора трудно, если вообще возможно. Как провести в этих условиях черту и отделить допустимое от недопустимого, как минимум, неочевидно.

Но если отвлечься от проблемы принятия решения, «нажатия на кнопку», то автоматы уже среди нас: они упрощают жизнь военному лётчику, обрабатывая входящую информацию, измеряют поведение по постам в «Фейсбуке» и не только, влияют на порядок выдачи в лентах новостей. Беспилотный летающий аппарат X-45A уже в 2005 году умел распознавать цели и самостоятельно применять вооружение, и внезапное исчезновение проекта из открытого доступа можно, конечно, списать на лобби военных лётчиков, но проще предположить, что тема была засекречена и дальнейшие разработки в этом направлении скрыты государственной тайной.

В этой связи возникают актуальные вопросы: что делать с риском взлома таких систем? Не получится ли так, что поколение, выросшее со смартфонами, будет излишне доверять автомату, даже если он будет давать советы, а не принимать решения? Понравятся ли нам решения, рассчитанные машиной? Например, можно было бы воспользоваться машинным обучением и найти оптимальную стратегию для арктических конвоев времен Второй мировой войны, которая могла уменьшить потери на 80%. Но такая стратегия, рассчитанная алгоритмом, рекомендовала бы добить атакованный и замедленный транспортный корабль, оставив его на растерзание немецким подлодкам, а остальным на полном ходу уходить от преследования. Даже на второй взгляд такая стратегия выглядит крайне негуманной. Но от использования машинного обучения в целях «поддержки при принятии решения» отказываться никто не собирается.

Вторая часть конференции была посвящена поиску ответов на накопившиеся вопросы, главный из которых — что нужно делать для уменьшения рисков? С одной стороны, внедрение машинного обучения в оборонительных системах уменьшает время, требующееся на классификацию угрозы и даёт больше времени военно-политическому руководству для принятия осмысленного решения, а симуляции могут дать ответ на вопрос, какие действия могут быть наиболее правильными в сложившейся ситуации. С другой стороны, всё это работает при достаточно отработанной технологии, а сами цифровые системы подвержены дополнительным рискам, как в области информационной безопасности, так и со стороны возможных манипуляций. Поэтому нужно об этих рисках говорить и пытаться их снизить.

В частности, предлагаются следующие шаги.

0. Прежде всего: управляемость и предсказуемость боевых систем в интересах военных. Это значит, что они тоже заинтересованы в мерах контроля и верификации внедряемых технологий. Возможно, меры контроля следует дифференцировать по классу вооружений, так как автоматическое срабатывание ПВО гораздо менее критично, чем внезапный переход танковой дивизии в автономный режим.

1. В политической плоскости: многостороннее заявление на уровне глав государств или надгосударственных органов (как, например, совместное заявление Рейгана — Горбачёва) о том, что:

— в ядерной войне победителей не будет;

— контроль за решением на применение оружия, в особенности ядерного, должен оставаться у человека.

Этим заявлением международный диалог о контроле над автономными боевыми системами должен получить политическую поддержку.

2. В институциональной плоскости: меры по внедрению «здорового скепсиса» по отношению к новым технологиям. Диалог между «международниками» и учёными-исследователями искусственного интеллекта о возможностях и опасностях тех или иных технологий. Отдельно: обсуждение вопросов контроля за технологиями, диалог между предприятиями военно-промышленного комплекса и пограничными службами. Вряд ли получится ограничить распространение идей и алгоритмов обучения, но можно задуматься об ограничении сбора и распространения сенсоров «военного» назначения и данных, требуемых для машинного обучения. Можно перенять успешный опыт контроля за химическим и биологическим оружием, не ограничивающий мирные исследования в области химии и фармацевтики. На стороне разработчиков это означает комплексные аудиты безопасности, в том числе путём проверок активного воздействия на «свои» системы. Существенной проблемой тут является то, что владение «программной» частью технологий, т. е., алгоритмами и данными для обучения означает немедленное владение всей цепочкой технологий.

Была высказана мысль, что в диалоге о реализации практик контроля за технологиями стоит избегать излишней политизации: так, если ни одна из сторон не опасается потерять лицо, им проще говорить о случаях из собственной практики.

3. На будущее: стоит озаботиться вопросом контроля за вычислительными ресурсами и увеличением взаимозависимости, в том числе и в цифровой сфере. Последнее, правда, крайне проблематично: современные компьютерные сети проектировались как системы, не отказывающие даже в случае ядерной войны. В частности, основной характеристикой является многократное резервирование каналов связи и способность быстро реагировать на обрыв одного из них перенаправлением данных; взаимозависимость тут полностью противоречит техническому заданию.

Возможно, у сторон не получится прийти к консенсусу. Но наличие общего желания оставить право принятия решения за человеком и сам факт диалога позволяют с осторожным оптимизмом говорить о том, что равновесие, нарушенное
новыми технологиями, может быть найдено вновь.

Оценить статью
(Голосов: 3, Рейтинг: 5)
 (3 голоса)
Поделиться статьей
Бизнесу
Исследователям
Учащимся