Искусственный интеллект — благо или угроза для человечества?

Несмотря на множество современных достижений в нейробиологии, на сегодняшний день пока никто точно не знает, как устроен естественный интеллект. Соответственно, точно так же никто не знает, как именно создать искусственный интеллект. Существует ряд известных проблем, требующих решения для его создания и разные мнения по поводу приоритетности достижения тех или иных решений. Например, руководитель международных проектов по созданию искусственного интеллекта с открытым кодом OpenCog и SingularityNET Бен Герцель считает, что все необходимые технологии для создания общего (сильного) ИИ в принципе уже разработаны, необходимо только соединить их некоторым правильным образом для получения такой синергии, результатом которой станет возникновение общего ИИ. Другие эксперты настроены более скептично, полагая, что необходимо принципиальное решение многих проблем, которые будут перечислены ниже. Также сильно варьируются экспертные оценки срока возникновения сильного ИИ — от десятка до нескольких десятков лет.

Возникновение систем даже просто автономного или адаптивного, а тем более общего или сильного ИИ связывается с несколькими угрозами разного масштаба, которые актуальны уже сегодня. Среди них можно отметить:

• создание так называемых «автономных систем смертоносных вооружений» — Lethal Autonomous Weapons Systems (LAWS), например, дронов для заказных убийств;
• новый виток гонки вооружений, при котором государства будут совершенствовать уровни интеллекта автономных средств поражения и уничтожения;
• интеллектуальная система, не обязательно боевая, но и промышленная или бытовая, способна не только к целенаправленному действию, но и к сознательному целеполаганию, при том что автономная постановка целей системы может привести к постановке целей, противоречащих целям человека;
• исключение из материального производства подавляющей части населения за счет еще большей автоматизации, что может приводить к еще большему социальному расслоению, снижению эффективности «социальных лифтов» и увеличению массы «лишних людей» с соответствующими социальными последствиями.

Сложность контроля за системами искусственного интеллекта на сегодняшний день обусловлена, в частности, «закрытостью» существующих прикладных решений на основе «глубоких нейронных сетей», которые не позволяют не только верифицировать правильность принятия решений перед их исполнением, но даже по факту проводить анализ решения, которое было принято машиной. Решению этой проблемы сейчас посвящено как новое направление «объяснимый искусственный интеллект» (Explainable Artificial Intelligence, EAI), так и новый интерес к интеграции ассоциативного (нейро-сетевого) и символьного (основанного на логике) подходов к проблеме.

Несколько месяцев назад в Праге на площадке Чешского Технического Университета одновременно прошли конференции, посвященные искусственному интеллекту человеческого уровня, общему искусственному интеллекту, биологически-вдохновленным когнитивным архитектурам, а также нейро-символьным технологиям. На конференциях были представлены доклады ведущих специалистов компаний и учреждений, лидирующих в сфере исследовательских разработок в области искусственного интеллекта (ИИ): Microsoft, Facebook, DARPA, MIT, Good AI. В этих докладах были обозначены как текущее состояние разработок в области ИИ, так и стоящие перед обществом нерешенные проблемы, а также угрозы, возникающие в ходе дальнейшего развития этой технологии. В этом обзоре я постараюсь кратко обозначить основные проблемы и угрозы, а также возможные пути противостояния этим угрозам.

Дмитрий Шефтелович:
Искусственный интеллект: время слабых

Однако, прежде всего, необходимо уточнить значение некоторых терминов, которые обычно употребляются совместно с ИИ в различных контекстах: слабый или специализированный ИИ, автономный ИИ (Autonomous AI), адаптивный ИИ (Adaptive AI), общий ИИ (Artificial General Intelligence, AGI), сильный ИИ (Strong AI), ИИ человеческого уровня (Human-Level AI), ИИ сверхчеловеческого уровня (Super-human AI).

Слабый или специализированный ИИ представлен всеми без исключения существующими решениями и предполагает способность автоматизации решения одной конкретной задачи, будь то игра в Go или распознавание лиц на видеокамерах. При этом отсутствует возможность самостоятельного обучения другим задачам без перепрограммирования человеком.

Автономный ИИ предполагает возможность системы функционировать долгое время без участия оператора. Например, он позволяет дрону, оборудованному солнечными батареями, совершить многодневное путешествие с Елисейских полей на Красную площадь или в обратном направлении, самостоятельно выбирая как маршрут, так и места для промежуточных посадок для подзарядки аккумуляторов, избегая при этом всевозможные препятствия.

Адаптивный ИИ предполагает способность системы адаптироваться к новым условиям, приобретая знания, не закладываемые при создании. Например, позволить системе поддержания диалогов на русском языке самостоятельно осваивать новые языки и применять их знание в разговоре, попадая в новую языковую среду или на основе изучения учебных материалов для этих языков.

Общий ИИ предполагает настолько высокую адаптивность, что обладающая им система может быть использована в самых различных видах деятельности при соответствующем обучении. Обучение может быть как самостоятельным, так и направленным (с помощью инструктора). В этом же смысле в противопоставление слабому или специализированному ИИ также часто употребляется сильный ИИ.

ИИ человеческого уровня предполагает уровень адаптивности сравнимый с человеческим, то есть система способна осваивать те же самые навыки, что и человек в сопоставимые сроки обучения.

ИИ сверхчеловеческого уровня предполагает еще более высокую адаптивность и скорость обучения. Таким образом, система может обучиться тем знаниям и способностям, которые человеку в принципе не под силу.

Принципиальные проблемы создания сильного ИИ

Несмотря на множество современных достижений в нейробиологии, на сегодняшний день пока никто точно не знает, как устроен естественный интеллект. Соответственно, точно так же никто не знает, как именно создать искусственный интеллект. Существует ряд известных проблем, требующих решения для его создания и разные мнения по поводу приоритетности достижения тех или иных решений. Например, руководитель международных проектов по созданию искусственного интеллекта с открытым кодом OpenCog и SingularityNET Бен Герцель считает, что все необходимые технологии для создания общего ИИ в принципе уже разработаны, необходимо только соединить их некоторым правильным образом для получения такой синергии, результатом которой станет возникновение общего ИИ [1]. Другие эксперты настроены более скептично, полагая, что необходимо принципиальное решение многих проблем, которые будут перечислены ниже. Также сильно варьируются экспертные оценки срока возникновения сильного ИИ — от десятка до нескольких десятков лет.

Леонид Ковачич:
Китай упустил промышленную революцию — не пропустит цифровую

Вместе с тем возникновение сильного искусственного интеллекта вполне закономерно в рамках общего эволюционного процесса, как закономерно и возникновение молекул из атомов, клеток из молекул, организмов из клеток, выделение специализированных клеток в центральную нервную систему, возникновение социальных структур, развитие речи, письменности и в конечном итоге — информационных технологий. Закономерность нарастающей сложности информационных структур и способов организации в процессе эволюции хорошо показана Валентином Турчиным [2]. Если не произойдет гибель человеческой цивилизации, то такая эволюция будет неизбежной, и в самой долгосрочной перспективе это будет спасением человечества, постольку только не биологические формы существования информации смогут пережить неизбежную со временем гибель Солнечной системы и смогу сохранить во Вселенной информационный код нашей цивилизации.

При этом важно осознавать, что для того чтобы построить сильный искусственный интеллект, не обязательно понимать, как устроен естественный, так как необязательно понимать, как летает птица, чтобы сделать ракету. Очевидно, это будет сделано рано или поздно тем или иным способом или, возможно, несколькими способами.

В качестве принципиальных проблем [3], решение которых еще предстоит для создания общего или сильного ИИ, большинство экспертов выделяют следующие:

• Быстрое обучение (few-shot learning) — необходимость построения систем, обучающихся на небольшом объеме материала в отличие от существующих систем глубокого обучения, требующих большие объемы специально подготовленного обучающего материала.
• Сильная генерализация (strong generalisation) — создание технологий распознавания ситуаций, в которых распознаваемые объекты встречаются в условиях, отличных от тех, в которых они встречались в использованном для обучения материале.
• Генеративные или генерирующие модели обучения (generative models) — разработка технологий обучения, когда объектом запоминания являются не признаки объекта распознавания, а принципы его формирования, что может позволить отражать более глубокие сущности распознаваемых объектов и осуществлять более быстрое обучение и более сильную генерализацию.
• Структурированное обучение и предсказание (structured prediction and learning) — развитие технологий обучения на основе представления объектов обучения в виде многослойных иерархических структур, где более низкоуровневые элементы определяют более высокоуровневые, что может оказаться альтернативным решением проблем быстрого обучения и сильной генерализации.
• Решение проблемы катастрофического забывания (catastrophic forgetting) — присущего большинству существующих систем, которые, будучи изначально обучены на одном классе объектов и затем до-обучены распознаванию на новом классе объектов, теряют способность распознавать объекты первого класса.
• Достижение возможности инкрементального обучения (incremental learning), предполагающего способность системы накапливать знания и совершенствовать свои возможности постепенно, не теряя при этом полученные ранее знания, но приобретая новые знания применительно к системам диалогового общения на естественном языке. Идеальным является прохождение «младенческого теста Тьюринга» (Baby Turing Test), в случае которого система должна продемонстрировать возможность постепенного освоения языка от уровня младенца до уровня взрослого человека.
• Решение проблемы сознания (consciousness) — предполагает формирование проверенной рабочей модели сознательного поведения, обеспечивающего эффективное прогнозирование и целенаправленное поведение за счет формирования «внутренней картины мира» в рамках которой возможен поиск оптимальных стратегий поведения по достижению поставленных целей без фактического взаимодействия с реальным миром, что существенно повышает безопасность, проверки гипотез, а также повышает скорость и энергетическую эффективность этой проверки, тем самым создавая возможность самообучения живой или искусственной системы в «виртуальном мире» собственного сознания. С прикладной точки зрения проблема сознания имеет две стороны. С одной — создание систем ИИ, обладающих сознанием, позволит резко повысить их эффективность. С другой — появление сознания у таких систем вызывает как дополнительные риски, так и вопросы этического плана, поскольку такие системы в какой-то момент смогут быть по уровню самосознания приравнены к самому человеку с вытекающими из этого последствиями в правовом поле.

Потенциальные угрозы ИИ

Яков Ионин:
Военный ИИ в США — с бюджетом, но без компромисса с Кремниевой долиной

Возникновение систем даже просто автономного или адаптивного, а тем более общего или сильного ИИ связывается с несколькими угрозами разного масштаба, актуальными уже сегодня.

Во-первых, угрозу для человека может представлять интеллект не обязательно сильный, общий, человеческого или сверх-человеческого уровня, так как достаточно иметь автономную систему, оперирующую большими объемами информации с большими скоростями. На её основе могут быть созданы так называемые «автономные системы смертоносных вооружений» — Lethal Autonomous Weapons Systems (LAWS), простейший пример которых — дроны для заказных убийств, печатаемые на 3D-принтерах как в массовых масштабах, так и небольшими партиями в кустарных условиях.

Во-вторых, угрозу для государства может представлять ситуация, когда другое государство (потенциальный противник) получает вооружения с более адаптивным, автономным и общим искусственным интеллектом с повышенной скоростью реакции и предсказательной способностью.

В-третьих, угрозу для всего мира представляет вытекающая из предыдущей угрозы ситуация, когда государства вступают в новый виток гонки вооружений, совершенствуя уровни интеллекта автономных средств поражения и уничтожения — как это было предсказано Станиславом Лемом несколько десятков лет назад [4].

В-четвертых, угрозу для любой стороны представляет любая, не обязательно боевая, но и промышленная или бытовая интеллектуальная система с определенной степенью автономности и адаптивности, способная не только к целенаправленному действию, но и к сознательному целеполаганию, при том что автономная постановка целей системы может привести к постановке целей, противоречащих целям человека и людей, а возможностей достижения этих целей у системы будет намного больше, в силу её более высокого быстродействия, большего объема обрабатываемой информации и большей предсказательной способности. К сожалению, масштабы именно этой угрозы сообществом не вполне изучены и осознаны.

В-пятых, угрозу для общества представляет переход к новому уровню развития производственных отношений в капиталистическом (либо тоталитарном) обществе, когда более малочисленная часть населения получает возможность контролировать материальное производство, исключая из него подавляющую часть населения за счет еще большей автоматизации, что может приводить к еще большему социальному расслоению, снижению эффективности «социальных лифтов» и увеличению массы «лишних людей» с соответствующими социальными последствиями.

Наконец, угрозу для человечества в целом может представлять автономизация глобальных вычислительных систем обработки данных, распространения информации и принятия решений на основе глобальных сетей, поскольку скорость распространения информации в таких системах и масштаб воздействия может приводить к непредсказуемым с позиций имеющегося опыта и существующих моделей управления социальным явлениям. Например, внедряемая система социального кредита в современном Китае является уникальным экспериментом цивилизационного масштаба с непонятными на сегодняшний день последствиями.

Сложность контроля за системами искусственного интеллекта на сегодняшний день обусловлена, в частности, «закрытостью» существующих прикладных решений на основе «глубоких нейронных сетей», которые не позволяют не только верифицировать правильность принятия решений перед их исполнением, но даже по факту проводить анализ решения, которое было принято машиной. Решению этой проблемы сейчас посвящено как новое направление «объяснимый искусственный интеллект» (Explainable Artificial Intelligence,EAI), так и новый интерес к интеграции ассоциативного (нейро-сетевого) и символьного (основанного на логике) подходов к проблеме.

Пути противостояния угрозам

Николай Маркоткин:
Близкие контакты третьего тысячелетия

Представляется безусловно необходимым принятие следующих мер для предотвращения катастрофических сценариев развития технологий ИИ и их применения.

• Международный запрет «автономных систем смертоносных вооружений» (LAWS) и разработка и внедрение мер международного контроля за его исполнением.
• Государственная поддержка работ, направленных на решение обозначенных проблем, в особенности «объяснимого искусственного интеллекта» и интеграции различных подходов, а также изучения принципов работы создания механизмов целеполагания с целью получения эффективных средств программирования и контроля интеллектуальных систем, когда средством программирования будут не правила, а ценности, а контролироваться должны не действия, а цели.
• Демократизация доступа к технологиям и методам ИИ, например, за счет реинвестирования доходов от внедрения интеллектуальных систем в массовое обучение вычислительным и когнитивным технологиям, а также создание решений ИИ с открытым кодом и разработка мер стимулирования открытия кодов существующими «закрытыми» системами ИИ. Например, проект Aigents направлен на создание персональных агентов ИИ для массовых пользователей, работающих автономно и не подверженных централизованным манипуляциям.
• Регламентирование на межгосударственном уровне открытости алгоритмов ИИ, протоколов работы распределенных систем обработки данных и принятия решений на их основе с возможностью независимого аудита как международными и государственными органами, так и частными лицами. Одной из инициатив в этом направлении является создание платформы и экосистемы приложений ИИ с открытым кодом SingularityNET.

Источники

1. Ben Goertzel, Cassio Pennachin, Nil Geisweller, Engineering General Intelligence, Part 1: A Path to Advanced AGI via Embodied Learning and Cognitive Synergy (Atlantis Thinking Machines), Atlantis Press, 2014^th Edition.

2. В. Ф Турчин, Феномен науки: Кибернетический подход к эволюции. Изд. 2-е – М.: ЭТС. — 2000. — 368 с.

3. M. Iklé, A. Franz, R. Rzepka, B. Goertzel, B. (Eds.), Artificial General Intelligence, 11th International Conference, AGI 2018, Prague, Czech Republic, August 22-25, 2018.

4. Станислав Лем, Мир на Земле, антология Операция «Вечность» 1988, М.: Мир, 1988 г.