ИИ — не винтовка, граната или стингер, все риски которых лишь в том, что могут некачественно выполнить свою функцию или быть украденными и использованными во зло.
ИИ — это электричество, железные дороги и ядерная реакция вместе взятые. И потому структурные риски ИИ невообразимо сложны и колоссально серьезны.
Подавляющее большинство профессионалов ИИ, а также политиков и даже военных привыкли к мысли, что два главных типа рисков, связанных с ИИ, — это риски аварий (ошибок в работе или выхода из строя) и риски нецелевого использования (непредусмотренного действия, произошедшего по недоработке, дурости или злонамеренности разработчиков, операторов, пользователей или злоумышленников).
Смею утверждать, что это чрезвычайно упрощенная недооценка рисков ИИ, не учитывающая третий тип рисков — структурные риски, — из-за неадекватного понимания сути технологического феномена ИИ.
И это странно. Ведь метафора, что ИИ подобен электричеству — структурно меняет большинство уже существующих технологий и позволяет создавать новые и доселе невообразимые, — широко известна и применяется всеми, кому не лень.
Но никому до сих пор так и не приходило в голову посмотреть на риски ИИ с этой метафорической точки зрения:
— не как на риски конкретных технологий, использующих ИИ, а как на структурные риски, порождаемые интеллектуализацией уже существующих инфраструктур, систем принятия решений и управления.
Но вот, слава богу, дождались.
Впервые вопрос о структурных рисках ИИ поставлен и даже начально проанализирован в работе Ремко Цветслофа и Алана Дефо «Thinking About Risks From AI: Accidents, Misuse and Structure»
Текст не простой. И его надо читать целиком в оригинале — рекомендую. Ну а я лишь обозначу здесь наиболее заинтересовавшие меня мысли.
1) Структурные риски связаны не сколько с самой технологией, сколько с физическим и психологическим «переформатированием мира» в результате внедрения новой технологии. Какими будут последствия «переформатирования мира» сложно понять, пока широкое внедрение технологии не произошло.
2) Примером физического «переформатирования мира» может служить построение европейской железнодорожной системы, кардинально изменившей характер и способы ведения Первой мировой войны, поскольку позволяла осуществлять массовые перевозки войск и оружия через континент.
3) Примером психологического «переформатирования мира» может служить пересмотр компромиссов между собственной безопасностью и эффективностью применения оружия, — как это было, например, с появлением ядерного оружия. В результате на Земле возник «долгий мир», основу которого заложила новая глобальная доктрина гарантированного взаимного уничтожения.
4) В пп. 2 и 3 были названы примеры из прошлого. Но вот пример нового структурного риска самого ближайшего будущего (столь близкого, что можно говорить о настоящем). Риск пересмотра доктрины гарантированного взаимного уничтожения и ее замена на доктрину «победитель получает все». Впервые такая попытка была предпринята США в доктрине «Звездных войн» при президенте Рейгане. Тогда не получилось. Хотя СССР таки развалился, и не без влияния гонки технологических перевооружений, начатой США. Теперь, когда ставка сделана на беспилотную военную технику и достижение превосходства в скорости и эффективности принятия военных решений, смена доктрины на «победитель получает все» вполне может состояться. Исключительно за счет компрометации возможностей ответного удара и увеличения риска упреждающей эскалации (и ведь именно об этом вчера говорил в своем послании миру президент РФ).
5) И последнее по счету, но не по важности. Речь идет далеко не только о рисках войны. Структурные ИИ риски возникают повсюду — в политических, социальных и экономических структурах. Всюду, где внедрение ИИ решений будет оказывать давление на лиц, принимающих решения — даже вполне благонамеренных и компетентных, — при принятии ими дорогостоящих и/или рискованных решений.
Именно структурные риски становятся главными при решении многих актуальнейших проблем:
- обеспечение кибербезопасности;
- сбор, распространение и монетизация данных;
- нарастающая монополизация бизнеса крупнейшими компаниями;
- необратимая замена людей машинами и алгоритмами.
- то, что Харари называет «хакинг человека» … и это далеко не все.
И последнее.
Структурные ИИ риски не снижаются путем троирования интеллектуальных систем контроля и прочих технических методов и средств.
Единственный способ их минимизации — создание человечеством новых норм и институтов.
ИИ — не винтовка, граната или стингер, все риски которых лишь в том, что могут некачественно выполнить свою функцию или быть украденными и использованными во зло.
ИИ — это электричество, железные дороги и ядерная реакция вместе взятые. И потому структурные риски ИИ невообразимо сложны и колоссально серьезны.
Впервые опубликован в Medium Сергея Карелова.
