Злонамеренное использование искусственного интеллекта и вызовы международной информационно-психологической безопасности

Международный центр социально-политических исследований и консалтинга опубликовал в декабре 2022 г. второй доклад «Эксперты о злонамеренном использовании искусственного интеллекта и вызовах информационно-психологической безопасности». Данная работа стала результатом НИР в рамках исследовательского проекта №21-514-92001 «Злонамеренное использование искусственного интеллекта и проблемы информационно-психологической безопасности (ИПБ) в Северо-Восточной Азии», который был профинансирован Российским фондом фундаментальных исследований (РФФИ) и Вьетнамской академией социальных наук (ВАОН). Ответы, полученные в результате второго опроса двадцати пяти экспертов из двенадцати стран, и их последующий анализ позволяют выделить наиболее серьезные угрозы международной информационно-психологической безопасности (МИПБ), обусловленные злонамеренным использованием искусственного интеллекта (ЗИИИ), и определить, какие меры следует использовать для их нейтрализации и каковы перспективы международного сотрудничества в этой сфере. Настоящее исследование позволило оценить насколько повышает ЗИИИ уровень угроз МИПБ в настоящее время и перспективы изменения этой ситуации к 2030 г. Особое внимание в докладе уделяется ситуации в Северо-Восточной Азии (СВА), где практика ЗИИИ основана на сочетании высокого уровня развития технологий искусственного интеллекта в ведущих странах и комплекса острых противоречий в регионе. Результаты второго опроса позволяют проследить преемственность и изменения в экспертных оценках по сравнению с первым опросом, проведенным годом ранее, в котором приняли участие девятнадцать экспертов из десяти стран.

При анализе текущей международной ситуации большинство исследований фокусируются на экономических, военных и геополитических изменениях без достаточной увязки их с растущим влиянием качественных технологических изменений на международную динамику, в том числе в сфере информационно-психологической безопасности. Эта недооценка проявляется, в частности, в почти полном отсутствии в научной литературе системного анализа возможных рисков ЗИИИ для информационно-психологической безопасности на индивидуальном, групповом, национальном и международном уровнях. Отсутствие такого анализа неприемлемо по ряду причин.

Во-первых, проникновение современного ИИ в бесчисленные сферы жизни делает его важнейшим компонентом непрерывного развития и прогресса. Инвестиции в ИИ могут составить триллионы долларов в течение следующих двух десятилетий. Однако, как уже установлено, наряду с развитием ИИ будут возникать огромные риски, в том числе в области МИПБ.

Во-вторых, уже есть пусть и крайне немногочисленные системные исследования международной практики угроз МИПБ посредством ЗИИИ. Недальновидно не продолжить существующие исследования на системной междисциплинарной основе с учетом встречного прогресса ИИ и регресса существующих общественных структур, национальных и международных институтов и просто ждать, пока последствия ЗИИИ не станут еще большей угрозой международной безопасности.

В-третьих, ИИ может стать как технологическим фундаментом нового более социально-ориентированного мироустройства, так и опорой технологических антидемократических диктатур и активно использоваться в антисоциальных целях различными негосударственными акторами.

Проведенный опрос экспертов и последующий анализ его результатов призван восполнить определенный пробел в осознании характера и объема угроз обществу, связанных с современной практикой ЗИИИ в условиях глобального кризиса, а также оценкой возможных рисков в этой области в недалеком будущем.

Международный центр социально-политических исследований и консалтинга опубликовал в декабре 2022 г. второй доклад «Эксперты о злонамеренном использовании искусственного интеллекта и вызовах информационно-психологической безопасности». Данная работа стала результатом НИР в рамках исследовательского проекта №21-514-92001 «Злонамеренное использование искусственного интеллекта и проблемы информационно-психологической безопасности (ИПБ) в Северо-Восточной Азии», который был профинансирован Российским фондом фундаментальных исследований (РФФИ) и Вьетнамской академией социальных наук (ВАОН). Ответы, полученные в результате второго опроса двадцати пяти экспертов из двенадцати стран, и их последующий анализ позволяют выделить наиболее серьезные угрозы международной информационно-психологической безопасности (МИПБ), обусловленные злонамеренным использованием искусственного интеллекта (ЗИИИ), и определить, какие меры следует использовать для их нейтрализации и каковы перспективы международного сотрудничества в этой сфере. Настоящее исследование позволило оценить насколько повышает ЗИИИ уровень угроз МИПБ в настоящее время и перспективы изменения этой ситуации к 2030 г. Особое внимание в докладе уделяется ситуации в Северо-Восточной Азии (СВА), где практика ЗИИИ основана на сочетании высокого уровня развития технологий искусственного интеллекта в ведущих странах и комплекса острых противоречий в регионе. Результаты второго опроса позволяют проследить преемственность и изменения в экспертных оценках по сравнению с первым опросом, проведенным годом ранее, в котором приняли участие девятнадцать экспертов из десяти стран.

Антон Колонин:
В чем сила, Сильный ИИ?

За год, прошедший с момента первого экспертного опроса, мир стал еще более нестабильным и опасным. Агрессивное продвижение НАТО на Восток спровоцировало масштабные военные действия на Украине, которые рискуют перерасти в мировую войну. Рекордная инфляция, растущие затраты по займам и все более высокий уровень внутреннего и внешнего долга — все это способствует росту опасений экономического коллапса во многих странах. На фоне заметного ухудшения материального положения большинства населения растут состояния сверхбогатых. В 2022 г. Forbes определил более 1000 миллиардеров по всему миру, которые стали богаче, чем годом ранее (Dolan and Peterson-Withorn, 2022). Углубляющаяся имущественная и социальная поляризация неизбежно усиливает острые политические, расовые и национальные конфликты, как в бедных, так и в богатых странах. В «больном» обществе угрозы информационно-психологической безопасности из-за ЗИИИ намного выше, чем в социально здоровой среде. Особенно если социальный регресс наблюдается на фоне продолжающегося прогресса высоких технологий.

Переход от привычных форм узкого ИИ к более сложным уже происходит. В 2022 г. DeepMind, дочерняя компания Alphabet, специализирующаяся на ИИ, объявила о создании интеллектуального агента под названием Gato, который может в одиночку выполнять более 600 различных задач (MSN, 2022). Gato может играть в видеоигры Atari, подписывать изображения, общаться в чате, складывать блоки с помощью руки робота и многое другое. Gato, исходя из контекста, принимает решение, писать ли текст, вращать шарниры, нажимать кнопки или выполнять другие действия (DeepMind, 2022). Агент смог превзойти экспертов-людей в 450 задачах. Gato изучает несколько различных задач одновременно, легко переключаясь с одного навыка на другой и не «забывая» того, чему он научился ранее, в отличие от предыдущих моделей ИИ, которые умели комбинировать различные навыки, но для перехода к следующей задаче им приходилось «забывать» ранее изученное. Gato совершает ряд ошибок, которых не допустил бы человек, и, хотя этот ИИ еще весьма далек по своим возможностям от общего ИИ, прогресс в создании последнего очевиден. При несомненной положительной значимости создания Gato, использование подобного интеллектуального агента злонамеренными акторами многократно (если не на порядки) удешевит проведение широкого круга антисоциальных действий. В частности, это облегчает проведение психологических операций с комбинированным воздействием на органы чувств — такой интеллектуальный агент может одновременно отправлять текстовые сообщения, вести беседу и т.д.

Современные возможности ИИ уже позволяют влиять на общественное сознание новыми методами. Избранный президентом Южной Кореи от консервативной партии «Сила народа» Юн Сок Ёль во время своей избирательной кампании 2022 г. успешно применил необычную стратегию, основанную на использовании технологий глубоких подделок. Политик получил цифрового двойника, который мог проводить кампанию в нескольких местах одновременно (Vastmindz, 2022). Дипфейк-аватар по имени AI Yoon создали IT-специалисты из предвыборного штаба Юн Сок Ёля. ИИ позволил ему стать более современным кандидатом, чем его конкуренты, особенно с точки зрения молодых избирателей. С аккуратно причесанными черными волосами, в элегантном костюме, аватар выглядел почти идентично кандидату в президенты, но в отличие от последнего успешно использовал соленые остроты в обращениях к молодым избирателям, которые просматривают новости онлайн (AFPRelaxnews, 2022). В сообщениях, транслируемых с помощью аватара, использовался юмор, призванный отвлечь внимание от прошлых скандалов с участием Юна (The Times of India, 2022). Заявления AI Yoon попали в заголовки южнокорейских СМИ, и семь млн человек посетили веб-сайт «Вики Юн», чтобы задать вопросы аватару (AFP, 2022). На первый взгляд, AI Yoon — удачная демонстрация того, как далеко продвинулись технологии ИИ за последние несколько лет. «Слова, которые часто произносит Юн, лучше используются ИИ Юном», — отметил Байк Кен Хун, директор команды по применению AI Yoon (AFP 2022). Однако возникает вопрос: что следует делать, если аватар государственного деятеля, политика или делового человека — ложное представление, укрепляющее в сознании и подсознании общественности более выгодные качества, создавая иллюзию атрибутов, которыми реальный человек не обладает? Опыт последней президентской кампании в Южной Корее, возможно, отчасти показал начальную фазу использования нового метода опасного политического манипулирования. С помощью все более адаптивного и эмоционального аватара, который не нуждается в отдыхе и может быть одновременно в разных местах, можно создать образ, с которым реальный человек все меньше и меньше сможет конкурировать в публичном пространстве. Это наводит на мысль о том, не случится ли так, что «телевизионные президенты» будут заменены «глубоко фальшивыми президентами»?

Евгений Пашенцев:
Эксперты о злонамеренном использовании искусственного интеллекта и вызовах международной информационно-психологической безопасности

Есть и другая важная область применения ИИ. Первый в мире ведущий теленовостей на его основе был представлен в Китае в 2018 году (Kuo, 2018) и легко распознавался как результат работы алгоритма. Однако в декабре 2021 г. компания в сфере ИИ Xiaoice представила N Xiaohei и N Xiaobai — виртуальные копии двух реальных ведущих новостей – в “AI Business Daily”. По сообщениям китайского государственного информационного агентства «Синьхуа», Xiaoice в сотрудничестве с National Business Daily продемонстрировал высокую способность создавать виртуальные копии, фактически неотличимые от реальных людей, благодаря передовому машинному обучению (ML) и технологиям рендеринга (Lin, 2022). К сожалению, эти выдающиеся достижения потенциально могут быть использованы в злонамеренных целях антисоциальными субъектами, стремящимися дестабилизировать общественное сознание, спровоцировать и/или ввести в заблуждение отдельных лиц.

Такой риск не имеет чисто теоретический характер: глубокие подделки неоднократно использовались, чтобы обманом заставить компании перечислять деньги (Statt, 2019; Stupp, 2019; Veldkamp, 2022). Конечно, такая практика еще не распространена, и риск пока незначителен, но это только на данный момент. В июне 2022 г. ФБР предупредило, что мошенники используют глубокие подделки, чтобы выдавать себя за соискателей во время онлайн-собеседований и использовать украденную личную информацию для подачи заявок на должности. Этот тип мошенничества может быть использован для получения доступа к сетям компании и кражи ее данных (Ferraro and Chipman, 2022).

ИИ тестируется в военных конфликтах, включая их информационно-психологический аспект. Использование технологий искусственного интеллекта западного производства в продолжающемся военном конфликте на Украине имеет большое значение. Так, американский стартап по распознаванию лиц Clearview AI оказал значительную техническую поддержку Украине. Инструменты Clearview AI могут идентифицировать лица на видео, сравнивая их с базой данных компании из 20 миллиардов изображений из общедоступных сетей, «выявляя потенциальных шпионов и людей, которые были убиты». Инструменты ИИ также играют важную роль в пропагандистской войне Украины и в обработке критической информации о конфликте. Программа от американской компании Primer может выполнять распознавание речи, транскрипцию и перевод, который фиксирует и анализирует информацию на русском языке, включая разговоры российских солдат на Украине. Швейцарский зашифрованный чат-сервис Threema позволяет украинским пользователям отправлять эти данные военным, не раскрывая свою личность. По словам бывшего главного исполнительного директора Google Эрика Шмидта, ныне советника правительства США по ИИ, украинские военные ежедневно получают тысячи таких отчетов, которые затем фильтруются соответствующей ИИ-программой (Global Times, 2022). Россия не замедлила отреагировать. Управление по развитию ИИ Министерства обороны Российской Федерации провело экспертизу инновационных проектов, которые были представлены на Форуме по использованию технологий ИИ “Армия 2022” (IMTF "Army–2022", 2022). Василий Елистратов, начальник департамента развития технологий ИИ Минобороны России, заявил, что опыт специальной военной операции на Украине используется для совершенствования систем вооружения (Ixbt.com, 2022). К сожалению, гонка вооружений (как с точки зрения ее общих масштабов, так и с точки зрения растущего использования в ней различных интеллектуальных систем) делает международную безопасность, включая ее психологическую составляющую, все менее и менее прочной.

Потенциал ЗИИИ сегодня вызывает растущую тревогу. Исходя из этого, исследователи из Collaborations Pharmaceuticals в сотрудничестве с европейскими исследовательскими институтами провели концептуальный эксперимент. Вместо того чтобы синтезировать новые лекарства, они запрограммировали нейронную сеть MegaSyn AI на прямо противоположный результат: определить вещества, которые наиболее токсичны для человеческого организма. Нейронная сеть правильно поняла задачу и менее чем за шесть часов сгенерировала список из 40 тыс. веществ — оптимальных компонентов химического и биологического оружия. ИИ самостоятельно разработал не только многие известные боевые отравляющие вещества, но и множество новых, более токсичных. Простая инверсия посредством машинного обучения превратила безвредную генеративную модель из полезного инструмента в средство массового убийства (Urbina et al., 2022). Можно предположить, что этот инверсионный подход может быть применен и к другим областям, таким как поиск оптимальных способов негативного психологического воздействия на общественное сознание.

Вызывает тревогу тот факт, что законодательные меры реагирования на новую угрозу отстают от ее роста. Медлительность законотворчества (особенно по сравнению с процессом совершенствования ЗИИИ) проявляется очевидным образом в том, что, например, Закон ЕС об ИИ еще не прошел первое чтение в Европейском парламенте (EUR-Lex, 2022).

При анализе текущей международной ситуации большинство исследований фокусируются на экономических, военных и геополитических изменениях без достаточной увязки их с растущим влиянием качественных технологических изменений на международную динамику, в том числе в сфере информационно-психологической безопасности. Эта недооценка проявляется, в частности, в почти полном отсутствии в научной литературе системного анализа возможных рисков ЗИИИ для информационно-психологической безопасности на индивидуальном, групповом, национальном и международном уровнях. Отсутствие такого анализа неприемлемо по ряду причин.

Константин Матвеенков:
Искусственный интеллект с китайской спецификой: станет ли Китай мировым лидером в сфере ИИ к 2030 году?

Во-первых, проникновение современного ИИ в бесчисленные сферы жизни делает его важнейшим компонентом непрерывного развития и прогресса. Инвестиции в ИИ могут составить триллионы долларов в течение следующих двух десятилетий. Согласно отчету PricewaterhouseCoopers Middle East (PwC), опубликованному на Всемирном правительственном саммите в Дубае, к 2030 году 14% (15,7 трлн долл.) глобального экономического роста во всем мире будет обеспечиваться за счет использования ИИ. PwC считает, что в 2030 г. наибольшие успехи будут достигнуты в Китае, где на ИИ будет приходиться до 26% экономического роста (Rao and Verweij, 2018, с. 3). Однако, как уже установлено, наряду с развитием ИИ будут возникать огромные риски, в том числе в области МИПБ.

Во-вторых, уже есть пусть и крайне немногочисленные системные исследования международной практики угроз МИПБ посредством ЗИИИ. Недальновидно не продолжить существующие исследования на системной междисциплинарной основе с учетом встречного прогресса ИИ и регресса существующих общественных структур, национальных и международных институтов и просто ждать, пока последствия ЗИИИ не станут еще большей угрозой международной безопасности. При этом требуется мощная поддержка со стороны государственных и негосударственных акторов такого рода исследованиям, выходящим за рамки таких направлений, как кибербезопасность, информационная безопасность, информационно-психологическая безопасность до внедрения технологий ИИ. Речь идет о качественно иных угрозах непоправимого ущерба развитию человеческой цивилизации, нежели просто количественное расширение возможностей пропаганды.

В-третьих, международная ситуация постоянно ухудшается. Это происходит главным образом не из-за того, что у власти находятся те или иные конкретные политики (хотя, субъективный фактор не стоит недооценивать), а из-за остроты проблем, с которыми приходится сталкиваться при переходе на качественно новый этап развития человечества. Этот переход сопровождался ростом экономических проблем, социально-политической напряженностью и геополитической конкуренцией. ИИ может стать как технологическим фундаментом нового более социально-ориентированного мироустройства, так и опорой технологических антидемократических диктатур и активно использоваться в антисоциальных целях различными негосударственными акторами.

Проведенный опрос экспертов и последующий анализ его результатов призван восполнить определенный пробел в осознании характера и объема угроз обществу, связанных с современной практикой ЗИИИ в условиях глобального кризиса, а также оценкой возможных рисков в этой области в недалеком будущем. Продолжение дальнейших исследований на этом направлении очевидным образом вытекает из характера и динамики происходящих в мире перемен.

Источники

AFP (2022) Deepfake democracy: South Korean candidate goes virtual for votes. In: France 24. https://www.france24.com/en/live-news/20220214-deepfake-democracy-south-korean-candidate-goes-virtual-for-votes. Accessed 6 Jul 2022

AFPRelaxnews (2022) Deepfake Democracy: South Korean Presidential Race Candidate Goes Virtual For Votes. In: Forbes India. https://www.forbesindia.com/article/lifes/deepfake-democracy-south-korean-presidential-race-candidate-goes-virtual-for-votes/73715/1. Accessed 6 Jul 2022

DeepMind (2022) A Generalist Agent. DeepMind. https://www.deepmind.com/publications/a-generalist-agent. Accessed 13 Sep 2022

Dolan K, Peterson-Withorn C (2022) World’s billionaires list. https://www.forbes.com/billionaires/. Accessed 3 Sep 2022

EUR-Lex (2022) Procedure 2021/0106/COD.COM (2021) 206: Proposal for a Regulation of the European Parliament and of the Council Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) and Amending Certain Union Legislative Acts. https://eur-lex.europa.eu/legal-content/EN/HIS/?uri=CELEX:52021PC0206. Accessed 3 Sep 2022

Ferraro M, Chipman J (2022) FBI warns that scammers are using deepfakes to apply for sensitive jobs. In: WilmerHale. https://www.wilmerhale.com/en/insights/blogs/WilmerHale-Privacy-and-Cybersecurity-Law/20220701-fbi-warns-that-scammers-are-using-deepfakes-to-apply-for-sensitive-jobs. Accessed 3 Sep 2022

Global Times (2022) From commercial satellites to social media, Western tech companies are deeply involved in the Russia-Ukraine conflict. In: Teller Report. https://www.tellerreport.com/news/2022-11-02-from-commercial-satellites-to-social-media--western-tech-companies-are-deeply-involved-in-the-russia-ukraine-conflict.HJSuXB1Bo.html. Accessed 29 Nov 2022

IMTF “Army-2022” (2022) Innovatsionnyye proyekty s tekhnologiyami iskusstvennogo intellekta, predstavlyayemyye na MVTF «Armiya-2022» proverit Upravleniye razvitiya tekhnologiy iskusstvennogo intellekta MO RF (Innovative projects with artificial intelligence technologies presented at the IMTF "Army-2022" will be checked by the Department for the Development of Artificial Intelligence Technologies of the Ministry of Defense of the Russian Federation). In: https://www.rusarmyexpo.ru/army2022/mediacenter/news/newsmilru/42995.html. Accessed 29 Nov 2022

Ixbt.com (2022) Vooruzhonnyye sily RF poluchat boleye effektivnyye i umnyye sistemy na baze iskusstvennogo intellekta (The Armed Forces of the Russian Federation will receive more efficient and smart systems based on artificial intelligence). In: https://www.ixbt.com/news/2022/08/22/vooruzhjonnye-sily-rf-poluchat-bolee-jeffektivnye-i-umnye-sistemy-na-baze-iskusstvennogo-intellekta.html?ysclid=lb0ye8a76y530267460. Accessed 29 Nov 2022

Kuo L (2018) World's first AI news anchor unveiled in China. In: The Guardian. https://www.theguardian.com/world/2018/nov/09/worlds-first-ai-news-anchor-unveiled-in-china. Accessed 3 Sep 2022

Lin S (2022) China reveals AI news anchor, almost indistinguishable from a real human – [your]NEWS. In: [your]NEWS. https://yournews.com/2022/01/13/2281675/china-reveals-ai-news-anchor-almost-indistinguishable-from-a-real/. Accessed 3 Sep 2022

MSN (2022) Can the ‘Gato’ AI model out-perform human intelligence? Msn.com. https://www.msn.com/en-us/news/technology/can-the-gato-ai-model-out-perform-human-intelligence/ar-AAY0znf. Accessed 13 Sep 2022

Rao AS, Verweij G (2018) Sizing the Prize: What’s the Real Value of AI for Your Business and How Can You Capitalise? PWC, New York

Statt N (2019) Thieves are now using AI deepfakes to trick companies into sending them money. In: The Verge. https://www.theverge.com/2019/9/5/20851248/deepfakes-ai-fake-audio-phone-calls-thieves-trick-companies-stealing-money. Accessed 3 Sep 2022

Stupp C (2019) Fraudsters used AI to mimic CEO’s voice in unusual cybercrime case. In: The Wall Street Journal. https://www.wsj.com/articles/fraudsters-use-ai-to-mimic-ceos-voice-in-unusual-cybercrime-case-11567157402. Accessed 3 Sep 2022

The Times of India (2022) Deepfake democracy: South Korean candidate goes virtual for votes. In: The Times of India. https://timesofindia.indiatimes.com/world/rest-of-world/deepfake-democracy-south-korean-candidate-goes-virtual-for-votes/articleshow/89556568.cms. Accessed 6 Jul 2022

Urbina F, Lentzos F, Invernizzi C, Ekins S (2022) Dual use of artificial-intelligence-powered drug discovery. Nature Machine Intelligence 4:189-191. doi: 10.1038/s42256-022-00465-9

Vastmindz (2022) South Korea’s presidential deepfake. In: Vastmindz. https://vastmindz.com/south-koreas-presidential-deepfake/. Accessed 6 Jul 2022

Veldkamp D (2022) Cyber awareness 2022: Consider deepfakes, NFTs, and more. In: InfoSystems. https://infosystems.biz/cybersecurity/cyber-awareness-2022-consider-deepfakes-nfts-and-more/. Accessed 3 Sep 2022