Распечатать
Оценить статью
(Голосов: 13, Рейтинг: 5)
 (13 голосов)
Поделиться статьей
Антон Колонин

К.т.н., ведущий специалист Новосибирского государственного университета, основатель проекта «Aigents», архитектор проекта «SingularityNET», эксперт РСМД

Сейчас всего несколько глобальных информационных сетей объединяют не менее половины всего человечества, где каждый индивидуум оказывается одновременно и живым сенсором, непрерывно передающим в сеть информацию о своем состоянии, и актором, способным воздействовать на окружающую среду в соответствии с теми мотивациями, которые он получает из сети.

Формируется ситуация, в которой отдельно взятый человек оказывается не в состоянии контролировать и даже осознавать смысл и значимость всех информационных потоков и процессов, в которые он оказывается вовлечен. Возникающие формы «коллективного бессознательного» поведения могут охватывать массы населения, вовлеченные в подобные сети — будь то сеть масштаба государства (как в случае национальных социальных сетей, действующих на территории КНР) или сеть масштаба планеты (как в случае с Facebook или подобными).

Мы имеем дело с возникновением глобальных кибернетических систем «социальных вычислений», подчиняющих себе индивидуальных пользователей в качестве сборщиков информации или исполнителей тех или иных стимулирующих программ. Примечательно, что возможность фактического контроля за прохождением сигналов и анализа смыслов этих сигналов, выявления исполняемых программ, а также формирования подобных программ потенциально сохраняется у ограниченного контингента людей, контролирующих сами системы обработки информации, будь то бизнес-структуры в случае сетей в юрисдикции США или государственные структуры в КНР.

В этом смысле чрезвычайно интересен опыт КНР с ее тотально контролируемой государством социальной сетью и выстраиваемой на её основе репутационной системы «социального кредита», заслуживающей пока противоречивые комментарии. Долгосрочные итоги этого эксперимента можно будет проводить не раньше, чем через одну смену поколений, однако имеющиеся оценки указывают как на рост безопасности и социальной стабильности, так и на возможные пагубные последствия тоталитаризации жизни общества при сохранении возможности манипуляции самой системой и низовыми участниками, и контролирующими её структурами.

Сложность ситуации усугубляется появлением новых сил, ранее неизвестных человечеству — систем искусственного интеллекта (ИИ). Системы машинного обучения при всем их несовершенстве способны выполнять простейшие интеллектуальные задачи вроде распознавания известных объектов или навигации по предопределенным маршрутам гораздо быстрее и надежнее человека. Уже сейчас есть примеры успешного предсказания действий человека, которые успешно применяются при прогнозировании спроса в бизнесе и могут использоваться для предотвращения нарушений в правоохранительной сфере. Однако возможность предсказания поведения дает и возможность управлять им, что также уже используется и в бизнесе.

Что такое интеллект? Присущ ли он разумным существам от рождения или развивается в ходе их взаимодействия с окружающей средой? Является ли интеллект свойством отдельного существа или личности, вроде мыслящего океана, описанного Станиславом Лемом в романе «Солярис» [1]? Или, может быть, это социальное явление, возникающее при взаимодействии отдельных участников социума, будь то люди, муравьи, мушки-роботы из романа того же Станислава Лема «Непобедимый» [2], нервные клетки или даже отдельные белки в человеческой клетке? Можно ли дать точные ответы на все эти вопросы?

Действительно, интеллект отдельных индивидуумов в социуме способствует возникновению коллективного интеллекта социальных групп и сообществ у различных видов — от муравьев и пчел до шимпанзе и человека разумного. При этом одни формы вполне целенаправленного поведения наблюдаются у животных сразу после рождения, а другие требуют обучения, которое может осуществляться либо самостоятельно — методом проб и ошибок, либо при помощи социума — родителей и учителей. В свою очередь интеллектуальные способности отдельных существ, обладающих нервной системой, обеспечиваются децентрализованной коллаборацией различных сегментов нервной коры. Например, последние работы Джеффа Хокинса и компании Numenta [3] показали, как различные кортикальные столбцы вырабатывают совместное решение в части интерпретации предъявленных им стимулов, достигая так называемого консенсуса примерно тем же способом, который принят в сообществах более высокого уровня организации.

Эволюция — процесс развития мира от простого к сложному. Элементарные частицы образуют атомы, атомы — молекулы, из молекул складываются клетки живых организмов и нейронов головного мозга. Из обладающих разумом живых существ — людей — формируются мыслящие сообщества с объединяющим их коллективным сознанием.

Закономерность возникновения более сложных функциональных систем на основе более примитивных в процессе эволюции хорошо показана Валентином Турчиным [4]. При этом происходит так называемый «мета-системный» переход, когда возникает новая функциональная система, более сложная и более богатая функционально, включающая систему-предшественника как один из базовых элементов. Так, атомы в свое время стали частями молекул, молекулы оказались материалом для строительства живых клеток, а клетки развились в различные виды тканей живых организмов, в том числе — в нейроны, дающие нам способность писать и читать. Так и человечеству, согласно еще предсказанию Владимира Вернадского, суждено сформировать «сферу коллективного разума» или «ноосферу» [5].

Однако возникновение такой «сферы коллективного разума» чревато не только переходом планетарной эволюции на Земле на качественно новый уровень, но и влечет определенные риски как для каждого индивидуума, так и для человечества в целом.

tanaptap1.jpg

Рис.1. «Ноосфера» в сегодняшнем исполнении, или коллективный интеллект на основе глобальных информационно-социальных сетей.

Социальные вычисления на современном технологическом уровне: принципиально новые возможности и угрозы

Фактически уже сейчас всего несколько глобальных информационных сетей объединяют в себе не менее половины всего человечества, где каждый индивидуум оказывается одновременно и живым сенсором, непрерывно передающим в сеть информацию о своем состоянии, и актором, способным воздействовать на окружающую среду в соответствии с теми мотивациями, которые он получает из сети.

Учитывая, что социум и законы его функционирования имеют давнюю историю, уходящую корнями в «законы стаи» уже вымерших видов животных, только в последнее десятилетие возникла ситуация, когда средства электронной коммуникации и обработки данных этой коммуникации начали превосходить по своим возможностям средства, доступные от рождения человеку как биологическому виду [6].

Формируется ситуация, в которой отдельно взятый человек оказывается не в состоянии контролировать и даже осознавать смысл и значимость всех информационных потоков и процессов, в которые он оказывается вовлечен. Возникающие формы «коллективного бессознательного» поведения могут охватывать массы населения, вовлеченные в подобные сети — будь то сеть масштаба государства (как в случае национальных социальных сетей, действующих на территории КНР) или сеть масштаба планеты (как в случае с Facebook или подобными). Что немаловажно, скорость распространения сигналов в таких сетях ограничена только физическими каналами связи, в силу чего распространение сигналов по сбору информации или приведению человеческих масс в действие может происходить практически мгновенно.

Таким образом, мы имеем дело с возникновением глобальных кибернетических систем «социальных вычислений», подчиняющих себе индивидуальных пользователей в качестве сборщиков информации или исполнителей тех или иных стимулирующих программ. Примечательно, что возможность фактического контроля за прохождением сигналов и анализа смыслов этих сигналов, выявления исполняемых программ, а также формирования подобных программ потенциально сохраняется у ограниченного контингента людей, контролирующих сами системы обработки информации, будь то бизнес-структуры в случае сетей в юрисдикции США или государственные структуры в КНР. Именно это в последние годы в различных формах мы и наблюдаем в США, Европе, Китае и России.

Учитывая потенциальный разрушительный характер спонтанных или искусственно вызванных процессов, протекающих на больших скоростях и охватывающих массы населения в масштабах стран и континентов, трудно предположить, что мониторинг таких процессов и управление ими не были бы использованы для получения прибылей бизнес-структурами и обеспечения национальной безопасности государственными органами.

tanaptap1.jpg

Рис.2. Сегментация современного мирового информационного пространства основными информационно-социальными сетями.

Достижение социального консенсуса и демократическое управление — старая проблема в новых условиях

В условиях стремительного развития сетевых инфраструктур и платформ неожиданно остро встал вопрос о достижении социального консенсуса — возможности нахождения взаимоприемлемых решений по любым вопросам множеством участников социума, возникающим в ходе развития этого социума. История институтов самоуправления и власти быстро повторяется в развитии современных сетевых вычислительных платформ в течение нескольких последних десятилетий.

Страны и народы все еще мучительно продолжают выбирать между двумя крайностями. С одной стороны, это тоталитарные институты управления — от альфа-самцов в первобытных стаях до авторитарных диктаторов, способных эффективно мобилизовать ресурсы всего социума для решения стоящих перед ними задач, невзирая на потери низовых членов общества, и неспособных адаптироваться к изменениям вызовов времени и саморазрушающихся при потере лидера. С другой стороны — предельно демократические системы: начиная от концепций всеобщего равенства в анархических системах, которые обычно трансформируются в авторитарные диктатуры (например, во Франции и России), заканчивая прямыми демократиями, эффективность которых возможна только при относительно небольшом числе избирателей и обеспечении их возможностью участия в демократическом процессе за счет труда рабов, лишенных какого-либо голоса (как это было в Древней Греции). Очевидно, что «золотую середину» в данном случае находят в различных формах представительной демократии, в конечном итоге неспособных защитить низовых членов общества от коррупции и злоупотребления властью представителей более высоких слоев населения.

Одна из проблем неэффективности любой формы известного демократического устройства заключается в отсутствии надежного способа определения авторитета избираемого представителя и невозможности донести голос каждого рядового избирателя до самых вершин власти. В первобытных стаях и феодальных обществах авторитет и право голоса определялись длиной клыков и силой мускулов, остротой мечей и количеством бойцов в княжеской дружине. В ряде случаев как в криминальных сферах, так и на уровне межгосударственных отношений продолжает использоваться механизм принятия решений, основанный на силовом противостоянии. По мере развития капиталистических отношений силовые механизмы постепенно заменялись финансовыми, и возможности управления социумом постепенно перешли к обладателям финансовых ресурсов и инструментов. Параллельно неуклонные попытки человечества создать демократические институты, где принятие решений основывалось бы, скорее, на заслуженном авторитете, чем на организационных ресурсах и финансовых инструментах, обеспечивающих голоса избирателей, имеют пока весьма скромный успех.

Примечательно, что история архитектур самых различных сетевых проектов за последние 50 лет, и особенно проектов в области «распределенных реестров» (типа «блокчейн») в последние годы, очень напоминает метания человечества в поисках оптимальных форм самоуправления. На самом деле, так называемый консенсус «proof-of-work», реализуемый в системах Bitcoin и Ethereum (криптовалюты, основанные на технологии блокчейн) — это реализация принципа «у кого сила (больше вычислительных мощностей), тот и прав». Альтернативная форма консенсуса в распределенных вычислительных системах «proof-of-stake» означает «сила в деньгах», а его продвинутая форма «delegated-proof-of-stake» предполагает делегирование управления системой «избранным делегатам», при том что «сила голоса» на выборах определяется финансовыми возможностями. В то же время оригинальная форма социального консенсуса, продвигаемая проектом SingularityNET, предполагает консенсус «proof-of-reputation» [7], основанной на истинной репутации участников социального процесса, вычисляемой на основе принципов «текучей демократии».

tanaptap1.jpg

Рис.3. Основные принципы достижения консенсуса при самоуправлении в человеческом обществе и распределенных информационных системах.

Социальные сети и репутационные системы — растворение личности в социуме или больше возможностей для каждого?

Можно сделать вывод о том, что управление социумом посредством выявления истинных авторитетов и лидеров через их репутацию или искусственное увеличение репутации одних перспективных лидеров в глазах сообщества и принижение влияния других лидеров будет все активнее использоваться в современных информационных сетях как во благо, так и во вред обществу. С одной стороны, возможность выявления лидеров мнений и авторитетов может быть полезно для их продвижения и реализации наиболее прогрессивных идей и трендов. С другой стороны, использование этой же возможности для нейтрализации выявленных лидеров может как обезопасить сообщество от нежелательных революционных процессов, так и способствовать застою в нем в том случае, если действующие лидеры, обладающие контролем над подобной системой, стараются сохранить контроль любой ценой, подавляя возможные альтернативы. Точно так же быстрому поднятию репутации одних участников в силу фактических заслуг перед социумом и полученной обратной связи от него может быть противопоставлена манипуляция репутацией за счет «накруток», оплаченных за счет бюджета выгодоприобретателя, и взлома системы и изменения «числа подсчитанных бюллетеней», если у выгодоприобретателя есть доступ к системе.

В этом смысле чрезвычайно интересен опыт КНР с ее тотально контролируемой государством социальной сетью и выстраиваемой на её основе репутационной системы «социального кредита», заслуживающей пока противоречивые комментарии. Видимо, долгосрочные итоги этого эксперимента можно будет проводить не раньше, чем через одну смену поколений, однако имеющиеся оценки указывают как на рост безопасности и социальной стабильности, так и на возможные пагубные последствия тоталитаризации жизни общества при сохранении возможности манипуляции самой системой и низовыми участниками, и контролирующими её структурами.

Существующий тренд на явное или неявное управление обществом через манипуляцию общественным мнением, мониторинг поведения большей части общества через социальные сети бизнес-структурами и правоохранительными органами предполагает несколько направлений развития используемых обществом сетевых коммуникационных систем, отчасти противоречащих друг другу.

С одной стороны, для обеспечения верификации новостей и минимизации рисков манипуляций общественным мнением необходима полная деанонимизация сетевых взаимодействий, что позволит исключить «накрутки» ботами и даст возможность верификации источников информации, не говоря уже об облегчении оперативной деятельности правоохранительных органов. С другой стороны, злоупотребление деанонимизированной информацией правоохранительными органами и преступными элементами делает ее опасной для граждан, если правоохранительные органы недостаточно эффективны или подвержены коррупции.

Также полная открытость сетевых взаимодействий и верификация их подлинности с использованием современных технологий (например, «распределенного реестра») потенциально могут снять риск злоупотреблений, поскольку любые коммуникации в сети, включая сообщения между участниками, оценки или отданные «голоса», могут быть верифицированы независимым аудитом, произведенным любой стороной. Хотя такой подход вполне соответствует парадигме «прозрачного общества», он вступает в противоречие с классическими «западными» ценностями о праве на личную жизнь, тайну переписки и даже праве на забвение, поскольку требование возможности аудита сетевых взаимодействий в любой момент делает невозможным удаление истории своих взаимодействий для участников системы.

Наконец, в условиях любого существующего государственного устройства и практик ведения бизнеса, деанонимизация и открытость всех сетевых взаимодействий для всех участников общества может оказаться неприемлемой по целому ряду причин. В этом случае имеются риски расслоения общества на сегменты контролируемых и контролирующих, с возникновением очевидного социального противостояния между двумя слоями.

Сверхчеловеческий супермозг или сеть персональных ассистентов

Сложность ситуации усугубляется появлением новых сил, ранее неизвестных человечеству — систем искусственного интеллекта (ИИ). Системы машинного обучения при всем их несовершенстве способны выполнять простейшие интеллектуальные задачи вроде распознавания известных объектов или навигации по предопределенным маршрутам гораздо быстрее и надежнее человека. Уже сейчас есть примеры успешного предсказания действий человека, которые успешно применяются при прогнозировании спроса в бизнесе и могут использоваться для предотвращения нарушений в правоохранительной сфере. Однако возможность предсказания поведения дает и возможность управлять им, что также уже используется и в бизнесе.

Учитывая экспоненциальный рост возможностей вычислительных систем и ресурсов, вкладываемых ведущими корпорациями (Amazon, Google, Baidu, Tencent, Alibaba, Apple, Microsoft) и государствами (США, Китай) в совершенствование систем искусственного интеллекта, их управляющая роль в жизни и развитии общества будет неуклонно расти. В лучшем случае в краткосрочной перспективе бенефициарами этого процесса станут бизнес-предприятия, управляющие соответствующими сетевыми платформами, их руководители и акционеры, а также государства, с которыми эти предприятия аффилированы. В худшем случае в долгосрочной перспективе выход интеллектуальных систем управления из-под контроля социума может представлять угрозу существования человеческому обществу в том виде, в котором мы видим его сейчас.

Обеспечение безопасности сетевых систем с использованием искусственного интеллекта может быть достигнуто на нескольких направлениях. Первое — это полная деанонимизация систем искусственного интеллекта; соответствующий закон был принят в сентябре 2018 г. в Калифорнии, согласно которому любая ИИ-система обязана как минимум явно анонсировать свою «искусственность» при любых контактах с человеком. Второе — это открытость кода ИИ-систем и протоколов их взаимодействий, особенно если это касается управления людьми или их коммуникациями; данный принцип положен в основу проекта распределенного ИИ SingularityNET (Нидерланды, Гонконг) и репутационной системы, создаваемой в рамках проекта. Третье — доступность ИИ-систем не только ограниченному числу корпораций, использующих последние их достижения в так называемых «персональных ассистентах», предназначенных для сбора информации личного характера о потребительских предпочтениях пользователей с перепродажей этой информации рекламодателям. В отличии от последнего, такие проекты как Aigo (США) и Aigents> (Россия) нацелены на создание «персональных ассистентов» для службы конечным пользователям, а не на сбор информации о них и управление ими для создания человеко-ориентированной среды коллективного человеко-машинного интеллекта.

Источники

1. Станислав Лем, Соля́рис, роман, 1961 г.

2. Станислав Лем, Непобедимый, роман, 1964 г.

3. Jeff Hawkins*, Subutai Ahmad and Yuwei Cui, A Theory of How Columns in the Neocortex Enable Learning the Structure of the World, Front. Neural Circuits, 25 October 2017 https://www.frontiersin.org/articles/10.3389/fncir.2017.00081/full

4. В. Ф Турчин, Феномен науки: Кибернетический подход к эволюции. Изд. 2-е – М.: ЭТС. — 2000. — 368 с., http://refal.net/turchin/phenomenon/

5. Вернадский В. И., Научная мысль как планетное явление // В кн. Вернадский В. И. Философские мысли натуралиста / отв. ред. А. Л. Яншин. — М.: Наука, 1988. — 520 с. — ISBN 5-02-003325-1.

6. Антон Колонин, Модель коллективного сознания и прогнозирование его изменчивости, 2015 http://aigents.com/papers/2016/Collective-consciousness-model-overview-Kolonin-2016-ru.pdf

7. Anton Kolonin, Ben Goertzel, Deborah Duong, Matt Ikle, A Reputation System for Artificial Societies, Artificial Intelligence (cs.AI); Multiagent Systems (cs.MA) Cite as: arXiv:1806.07342 [cs.AI], 2018 https://arxiv.org/pdf/1806.07342.pdf


Оценить статью
(Голосов: 13, Рейтинг: 5)
 (13 голосов)
Поделиться статьей

Прошедший опрос

  1. Какие угрозы для окружающей среды, на ваш взгляд, являются наиболее важными для России сегодня? Отметьте не более трех пунктов
    Увеличение количества мусора  
     228 (66.67%)
    Вырубка лесов  
     214 (62.57%)
    Загрязнение воды  
     186 (54.39%)
    Загрязнение воздуха  
     153 (44.74%)
    Проблема захоронения ядерных отходов  
     106 (30.99%)
    Истощение полезных ископаемых  
     90 (26.32%)
    Глобальное потепление  
     83 (24.27%)
    Сокращение биоразнообразия  
     77 (22.51%)
    Звуковое загрязнение  
     25 (7.31%)
Бизнесу
Исследователям
Учащимся