Распечатать
Оценить статью
(Голосов: 6, Рейтинг: 4.83)
 (6 голосов)
Поделиться статьей
Андрей Незнамов

К.ю.н., управляющий директор Центра регулирования AI ПАО Сбербанк, эксперт РСМД

В рамках 41-й сессии Генеральной конференции Организации Объединенных Наций по вопросам образования, науки и культуры (ЮНЕСКО), которая прошла в Париже в ноябре этого года, 193 страны пришли к консенсусу относительно общих принципов этики искусственного интеллекта (ИИ) и приняли исторический документ — первое глобальное соглашение по этике ИИ. Путь к достижению компромисса был непростым — процедура подготовки документа заняла два года и сопровождалась бурными дискуссиями делегатов.

Россия была одной из активных участниц процесса разработки Рекомендации по этике ИИ (Recommendation on the Ethics of Artificial Intelligence) и инициировала обсуждения целого ряда вопросов в этой сфере. Российская делегация включала в себя не только дипломатов, но и представителей науки и разработчиков ИИ. Для выработки позиции по документу даже был создан отдельный комитет по вопросам этики ИИ при Комиссии Российской Федерации по делам ЮНЕСКО.

Одна из главных целей Рекомендации — предоставить универсальную базу принципов, которыми государства могли бы руководствоваться при формулировании своего законодательства (например, соразмерность и непричинение вреда; безопасность и защищенность; справедливость и недискриминация и т.д.).

С одной стороны, все эти положения выглядят крайне позитивно, отражая большое количество различных рисков и проблем. Одновременно с этим нельзя не признать, что документ, на наш взгляд, имеет ряд противоречий. Это обсуждали эксперты, об этом заявили в той или иной форме Россия и Китай. Что можно отнести к ним?

Во-первых, несмотря на рекомендательный характер, ряд положений документа имеет прямое указание на его нормативную направленность. Во-вторых, можно увидеть явное сходство Рекомендации с европейскими документами в сфере ИИ. Нельзя не учитывать, что среди подписантов Рекомендации сейчас присутствуют практически все страны мира. Очевидно, что полностью отождествить актуальность европейской повестки в сфере ИИ с интересами, например, небольших африканских стран, практически не имеющих своих разработок в сфере ИИ, было бы преждевременно. В-третьих, как сошлись во мнении российские эксперты, Рекомендация в значительно меньшей степени посвящена вопросам этики (среди которых часто называют безопасность работы систем ИИ, обеспечение недискриминации, риск-ориентированному подходу и др.), нежели созданию механизмов контроля. Действительно, Рекомендация сфокусирована на создании сложного комплекса различного рода инструментов мониторинга и оценки СИИ (более 20 процедур) как на государственном уровне, так и на уровне частных компаний.

Рекомендация ЮНЕСКО — это международный документ, к тому же написанный в «европейском» стиле. В нем скрупулёзно собраны практически все возможные размышления и идеи о регулировании технологий ИИ. В такой ситуации практическим осмыслением их реализуемости пришлось неизбежно пожертвовать. ЮНЕСКО адресует всем возможным участникам рынка ИИ (прежде всего государствам) десятки и сотни требований-рекомендаций. В таком контексте не покидает ощущение того, что именно Россия и Китай поступили наиболее дальновидно, сразу обозначив мировому сообществу наличие национальных и более практических документов в сфере этики ИИ.

В рамках 41-й сессии Генеральной конференции Организации Объединенных Наций по вопросам образования, науки и культуры (ЮНЕСКО), которая прошла в Париже в ноябре этого года, 193 страны пришли к консенсусу относительно общих принципов этики искусственного интеллекта (ИИ) и приняли исторический документ — первое глобальное соглашение по этике ИИ. Путь к достижению компромисса был непростым — процедура подготовки документа заняла два года и сопровождалась бурными дискуссиями делегатов.

Россия была одной из активных участниц процесса разработки Рекомендации по этике ИИ (Recommendation on the Ethics of Artificial Intelligence) и инициировала обсуждения целого ряда вопросов в этой сфере. Российская делегация включала в себя не только дипломатов, но и представителей науки и разработчиков ИИ. Для выработки позиции по документу даже был создан отдельный комитет по вопросам этики ИИ при Комиссии Российской Федерации по делам ЮНЕСКО.

Рекомендация по этике ИИ

Текст Рекомендации по этике ИИ (далее — Рекомендация) получился достаточно объемным и включает в себя 141 пункт. Стоит отметить, что в среднем корпоративные этические документы в сфере ИИ сформулированы в виде 5–7 конкретных принципов, а Рекомендации Совета ОЭСР по искусственному интеллекту имеет чуть больше 20 пунктов.

Рекомендация позиционируется ЮНЕСКО как инструмент «мягкого права» и не носит обязательный характер. В документе сформулированы ценностные установки и принципы деятельности в сфере ИИ, которые должны соблюдаться всеми заинтересованными сторонами на протяжении всего жизненного цикла систем искусственного интеллекта (СИИ) и поощряться путем внесения изменений в действующее законодательство, принятия новых нормативных актов, а также руководящих принципов предпринимательской деятельности.

В число ценностных установок входят:

  • Уважение, защита и поощрение человеческого достоинства, прав человека и основных свобод. Подразумевается, что на всем протяжении жизненного цикла СИИ участники отношений в сфере ИИ должны обеспечивать уважение, защиту и поощрение прав человека и основных свобод. Новые технологии не должны допускать ущемления прав человека и предлагать новые возможности для их отстаивания и реализации.

  • Благополучие окружающей среды и экосистем. Имеется в виду признание участниками отношений в сфере ИИ значимости роли окружающей среды и экосистем, а также поощрение их благополучия, в том числе посредством стремления к снижению оказываемого СИИ воздействия на экологию, включая углеродный след.

  • Обеспечение разнообразия и инклюзивности. Данная установка направлена на уважение, защиту и поощрение разнообразия и инклюзивности, в том числе в демографическом, культурном, гендерном и социальном измерениях.

  • Жизнь в гармонии и мире. Деятельность, связанная с различными этапами жизненного цикла СИИ, не должна вести к дискриминации или созданию небезопасных для людей условий, порождать разногласия между отдельными людьми и их группами, ставить под угрозу гармоничное сосуществование человека с другими живыми существами и окружающей его природой.

Принципы деятельности в сфере ИИ

Одна из главных целей Рекомендации — предоставить универсальную базу принципов, которыми государства могли бы руководствоваться при формулировании своего законодательства. Эти принципы сформулированы следующим образом:

  • Соразмерность и непричинение вреда. В рамках данного принципа предложены критерии, на основе которых должен определяться выбор конкретного метода реализации СИИ. Выбранный метод должен быть оптимальным, соразмерным для достижения законных целей, а также не противоречить базовым ценностным установкам, сформулированным в Рекомендации, и подходить для конкретных условий (контекста), а также основываться на подтвержденных результатах научных исследований. В сценариях, связанных с принятием жизненно важных решений, окончательное слово должно оставаться за человеком.

  • Безопасность и защищенность. Данный принцип предполагает, что на всех этапах жизненного цикла СИИ следует избегать непреднамеренного причинения вреда человеку и устранять уязвимости с целью обеспечения защиты от кибератак.

  • Справедливость и недискриминация. Принцип подразумевает совместное использование благ на местном, национальном и международном уровнях, полученных благодаря ИИ, с учетом специфических потребностей разных групп граждан. На международном уровне наиболее технологически продвинутые государства должны проявить солидарность с наименее развитыми странами.

  • Устойчивость. В данном принципе зафиксировано, что оценка социальных, культурных, экономических и экологических аспектов применения технологий на основе ИИ должна проводиться с должным учетом их влияния на устойчивость развития, под которой имеются в виду цели Организации Объединенных Наций в области устойчивого развития (ЦУР).

  • Неприкосновенность частной жизни и защита данных. Сбор, использование, передача, архивирование и удаление данных, применяемых в СИИ, должны осуществляться в соответствии с установками и принципами, которые изложены в Рекомендации. Участники отношений в сфере ИИ должны гарантировать, что несут ответственность за обеспечение защиты личной информации.

  • Подконтрольность и подчиненность человеку. Возможность возложения этической и правовой ответственности на любом из этапов жизненного цикла СИИ на конкретное физическое или действующее юридическое лицо.

  • · Прозрачность и объяснимость. Принцип закрепляет право людей знать, какие решения принимаются с использованием алгоритмов, чтобы иметь возможность просить о предоставлении пояснительной информации. Объяснимость предполагает предоставления разъяснений в отношении полученных с помощью СИИ результатов.

  • Ответственность и подотчетность. Участники отношений в сфере ИИ должны нести этическую и правовую ответственность в соответствии с действующим национальным и международным законодательством. Для обеспечения подконтрольности СИИ и их воздействия на всех этапах жизненного цикла необходимо разработать соответствующие механизмы контроля, оценки этического воздействия и проверки соблюдения этических норм.

  • Осведомленность и грамотность. Должно быть обеспечено формирование отношения людей к СИИ через понимание того, каким образом они воздействуют на сферу прав человека и возможность реализации этих прав.

  • Многостороннее и адаптивное управление и взаимодействие. Использование данных должно осуществляться на основе международного права и уважения суверенитета государств. Для недискриминационного управления в сфере ИИ, совместного использования полученных благодаря ИИ благ необходимо вовлечение широкого круга заинтересованных сторон во все этапы жизненного цикла СИИ.

Стратегические направления реализации

В Рекомендации выделены 11 стратегически важных направлений для ее применения.

Направление 1 — Оценка этического воздействия. Предполагается, что государствам — членам ЮНЕСКО следует определить основы для оценки воздействия ИИ, такие как оценка этического воздействия, для выявления и оценки преимуществ, проблем и рисков СИИ, а также соответствующие меры по предотвращению, смягчению и мониторингу рисков. Государствам-членам и коммерческим предприятиям следует принять соответствующие меры для мониторинга всех этапов жизненного цикла СИИ.

Направление 2 — Ответственное управление и контроль. Подразумевается, что государства-члены должны обеспечить инклюзивность, прозрачность, мультидисциплинарность механизмов управления ИИ и участие в них широкого круга заинтересованных сторон. В частности, управление должно включать аспекты прогнозирования и эффективной защиты, мониторинга воздействия, правоприменения и возмещения вреда, причиненного СИИ. Государствам-членам рекомендуется рассмотреть такие формы мягкого управления, как механизм сертификации систем ИИ и взаимное признание сертификации в зависимости от чувствительности области применения и ожидаемого воздействия на права человека и окружающую среду. Государства-члены должны также установить четкие требования к прозрачности и объяснимости системы ИИ.

Направление 3 — Политика в области данных. Имеется в виду, что государства-члены должны разработать стратегии управления данными, обеспечивающие постоянную оценку качества данных для обучения СИИ, включая адекватность процессов сбора и отбора данных, надлежащие меры безопасности и защиты данных.

Направление 4 — Развитие и международное сотрудничество. Внимание акцентируется на необходимости для государств-членов и транснациональных корпораций уделять приоритетное внимание этике ИИ, включая обсуждение этических вопросов, связанных с ИИ, на соответствующих международных, межправительственных форумах и других площадках с участием широкого круга заинтересованных сторон.

Направление 5 — Окружающая среда и экосистемы. Государства-члены и коммерческие предприятия должны оценивать прямое и косвенное воздействие на окружающую среду на протяжении всего жизненного цикла СИИ, включая углеродный след, потребление энергии.

Направление 6 — Гендер. Государства-члены должны обеспечить реализацию потенциала СИИ для достижения гендерного равенства, в том числе гарантировать, что эти технологии не усугубят гендерный разрыв, существующий в различных областях, а напротив — будут стремиться устранить его. Например, гендерный разрыв в заработной плате, в представительстве по определенным профессиям и видам деятельности.

Направление 7 — Культура. Государствам-членам рекомендуется использовать СИИ для сохранения, обогащения, понимания, продвижения, управления и обеспечения доступности материального, документального и нематериального культурного наследия, включая языки, находящиеся под угрозой исчезновения, а также языки и знания коренных народов, например, путем внедрения или обновление образовательных программ, связанных с применением СИИ.

Направление 8 — Образование и исследования. Государствам-членам следует поощрять приобретение необходимых навыков для образования в области ИИ, таких как базовая грамотность, счет, кодирование и цифровые навыки, а также медийная и информационная грамотность, а также критическое и творческое мышление, работа в команде, общение, социально-эмоциональные навыки и знание этики ИИ. Государствам-членам следует поощрять исследовательские инициативы по ответственному и этичному использованию технологий ИИ в обучении.

Направление 9 — Коммуникация и информация. Государствам-членам следует использовать СИИ для улучшения доступа к информации и знаниям. Это может включать поддержку исследователей, академических кругов, журналистов, широкой общественности и разработчиков в целях повышения свободы выражения мнений, академических и научных свобод и доступа к информации, а также более активного раскрытия официальных данных и информации.

Направление 10 — Экономика и труд. Государствам-членам следует оценивать и решать вопросы воздействия СИИ на рынки труда и требования к образованию. Это может включать внедрение более широкого спектра основных и междисциплинарных навыков на всех уровнях образования, чтобы предоставить нынешним работникам и новым поколениям справедливые шансы найти работу на быстро меняющемся рынке и обеспечить их осведомленность об этических аспектах ИИ.

Направление 11 — Здоровье и социальное благополучие. Государства-члены должны стремиться использовать СИИ для улучшения здоровья человека и защиты права на жизнь, включая смягчение вспышек заболеваний. Государствам-членам следует разработать руководящие принципы взаимодействия человека и робота и их воздействия на отношения человека и человека, основанные на исследованиях и направленные на будущее развитие роботов, и подойти к этому с особым вниманием к психическому и физическому здоровью людей.

Противоречивый характер документа

С одной стороны, все эти положения выглядят крайне позитивно, отражая большое количество различных рисков и проблем. Одновременно с этим нельзя не признать, что документ, на наш взгляд, имеет ряд противоречий. Это обсуждали эксперты, об этом заявили в той или иной форме Россия и Китай. Что можно отнести к ним?

Во-первых, несмотря на рекомендательный характер, ряд положений документа имеет прямое указание на его нормативную направленность. Так, в тексте указано, что Рекомендация направлена на создание общепринятого нормативного документа, который сфокусируется не только на формулировании ценностей и принципов, а также на их практической реализации посредством конкретных политических рекомендаций. В ряде пунктов содержатся характерные для нормативного документа оговорки. Например, о том, что «при принятии решения о выборе того или иного алгоритма необходимо учитывать, что его использование не должно нарушать основополагающие ценности, зафиксированные в Рекомендации». Кроме того, обязательным признано предоставление отчетов об исполнении Рекомендации государствами — членами ЮНЕСКО. Этот вопрос также был предметом нешуточных дебатов во время Генеральной конференции. Наконец, Рекомендация дает конкретные указания, какие виды СИИ следует запретить — это системы для целей социального рейтинга и массового наблюдения.

Во-вторых, нельзя не заметить явное сходство Рекомендации с европейскими документами в сфере ИИ. Вслед за Советом Европы и Европейским союзом в документе ЮНЕСКО прослеживаются характерные акценты, среди которых, например, особое внимание уделено вопросам гендерного разнообразия в сфере ИИ (вопросы гендера выделены в одно из стратегических направлений, а всего гендерная проблематика адресуется в тексте документа прямо или косвенно более 30 раз) и защиты окружающей среды. Решение актуальных вопросов в этих сферах можно, безусловно, только приветствовать. Однако нельзя не учитывать, что среди подписантов Рекомендации сейчас присутствуют практически все страны мира. Очевидно, что полностью отождествить актуальность европейской повестки в сфере ИИ с интересами, например, небольших африканских стран, практически не имеющих своих разработок в сфере ИИ, было бы преждевременно.

В-третьих, как сошлись во мнении российские эксперты, Рекомендация в значительно меньшей степени посвящена вопросам этики (среди которых часто называют безопасность работы систем ИИ, обеспечение недискриминации, риск-ориентированному подходу и др.), нежели созданию механизмов контроля. Действительно, Рекомендация сфокусирована на создании сложного комплекса различного рода инструментов мониторинга и оценки СИИ (более 20 процедур) как на государственном уровне, так и на уровне частных компаний.

Механизмы контроля

Документом предусмотрены следующие механизмы контроля, предназначенные для обеспечения реализации принятых Рекомендаций:

1. Оценка этического воздействия СИИ

Правительствам следует принять нормативно-правовую базу, определяющую процедуру оценки этического воздействия (особенно для государственных органов). Оценка этического воздействия должна включать механизмы надзора, возможность аудита, внешней аттестации, прозрачности и объяснимости СИИ. В рамках оценки этического воздействия должна проводиться оценка воздействия на конфиденциальность.

2. Обеспечение подотчетности СИИ

По мнению авторов документа, в странах должны быть разработаны механизмы надзора, оценки воздействия, аудита и due diligence, а также внедрены обязательные протоколы прозрачности. Государства-члены должны установить четкие требования к прозрачности и объяснимости СИИ. Такие требования должны включать разработку и внедрение механизмов воздействия, учитывающих природу определенного приложения, предполагаемого контекста его использования, целевой аудитории каждой конкретной СИИ.

3. Аудит и самооценка СИИ в рамках форм мягкого управления

Требуется проведение аудита СИИ различного уровня, в том числе аудита данных, соблюдения этических принципов и процедурных требований; также регулярный мониторинг надежности и целостности СИИ и соблюдения этических норм. Самооценка государствами существующих и предлагаемых к использованию СИИ включает в себя оценку целесообразности использования СИИ, определения подходящего алгоритма, а также возможности нарушения обязательств государств-членов в области прав человека в случае применения СИИ.

4. Независимый сотрудник по этике ИИ

Для надзора за оценкой этического воздействия, аудита и постоянного мониторинга, а также обеспечения этического руководства СИИ государства-члены должны поощрять компании к созданию роли независимого сотрудника по этике ИИ или какого-либо другого механизма и формировать сеть таких сотрудников при поддержке ЮНЕСКО.

5. Мониторинг социального и экономического воздействия СИИ

Государства-члены, которые применяют СИИ в чувствительных для прав человека сферах, таких как правоохрана, социальное обеспечение, занятость, здравоохранение и независимая судебная система, должны создать механизмы для мониторинга социального и экономического воздействия таких систем.

6. Механизмы для борьбы с предвзятостью

Государства-члены должны внедрить механизмы, требующие от участников отношений в сфере ИИ раскрывать и бороться с любыми стереотипами в результатах работы систем ИИ и данных для обучения ИИ.

7. Оценка воздействия СИИ на окружающую среду

Государства-члены должны разработать требования, гарантирующие, что используемое приложение ИИ будет иметь желаемый эффект и не окажет негативного воздействия на окружающую среду.

8. Оценка эффективности и действенности политики и практики в области этики ИИ

Государствам и ЮНЕСКО необходимо разработать инструменты и индикаторы для оценки эффективности и действенности политики и практики в области этики ИИ. Мониторинг и оценка воздействия СИИ и связанных политик и практик в области этики должны проводиться систематически, соразмерно рискам и включать в себя оценку частных и государственных учреждений, провайдеров и программ, включая самооценку.

Создание сложных механизмов контроля, с одной стороны, понятно и в какой-то степени — это логичный шаг для практического исполнения положений Рекомендации. Задачи и целесообразность каждого из этих элементов вполне объяснимы. С другой стороны, нельзя не отметить некоторую хаотичность и даже избыточность такого рода сложной системы механизмов для документа, посвященного этике. Практическая реализация такого широкого набора инструментов единовременно, вероятнее всего, может осложнить работу разработчика и создаст большое количество вопросов для государств.

Что будет дальше?

ЮНЕСКО разработает методологию оценки готовности государств-членов к выполнению Рекомендации с точки зрения научного, технологического, экономического, образовательного, правового, нормативного, инфраструктурного, социального, культурного и других аспектов, чтобы помочь заинтересованным государствам-членам определить свой статус

Организация обеспечит поддержку заинтересованных государств-членов при разработке методологии для оценки этического воздействия технологий ИИ.

Кроме того, ЮНЕСКО разработает методологию для оценки эффективности и действенности политики в отношении этических норм.

Государствам-членам, компаниям частного сектора и организациям гражданского общества при поддержке ЮНЕСКО предлагается создать сеть независимых сотрудников по этике ИИ.

Как это повлияет на Россию?

Как можно было увидеть в ходе прямой трансляции заседания Генеральной конференции, Россия отметила важность и значимость разработки Рекомендации. Одновременно, как и Китай, представители нашей страны указали на существование национальных рамок этики в сфере ИИ.

26 октября в России был открыт для подписания национальный Кодекс этики в сфере ИИ. Документ был разработан профессиональным сообществом на площадке Альянса в сфере ИИ совместно с академическим сообществом и при поддержке Аналитического центра при Правительстве Российской Федерации и Минэкономразвития России. В обсуждении документа приняли участие сотни российских экспертов, а дискуссии по нему прошли на полях Общественной палаты и Совета Федерации, а также АНО «Цифровая экономика». Положения Кодекса в значительной степени перекликаются с положениями Рекомендации ЮНЕСКО, однако представляют собой более сфокусированный на этике документ. Например, необходимость обеспечить соблюдение прав человека при развитии технологий ИИ — абсолютно необходимое требование, основополагающее и для документа ЮНЕСКО, и для российского Кодекса этики. При этом в тексте Рекомендации ЮНЕСКО это требование повторяется более чем в 40 пунктах, часто в одних и тех же формулировках.

При схожем внимании ко всем ключевым вопросам в российском Кодексе есть идеи, которые в Рекомендации не получили отражения, например, о контроле рекурсивно самосовершенствующихся алгоритмов, или «сильном ИИ». Так, участникам отношений в сфере ИИ рекомендуется сотрудничать в выявлении и проверке информации о способах и формах создания так называемых универсальных («сильных») систем ИИ и предотвращении возможных угроз, которые они несут. Вопрос применения технологий «сильного» ИИ должен находиться под контролем государства.

Кроме того, российский Кодекс этики серьезно акцентирует внимание на развитии культуры сотрудничества и взаимодействия в сфере ИИ. Участникам отношений в этой сфере рекомендуется развивать сотрудничество в рамках профильного сообщества, прежде всего разработчиков, в том числе путем информирования о выявленных критических уязвимостях с целью предотвращения их массового распространения, а также прилагать усилия для повышения качества и доступности ресурсов в сфере разработки СИИ. Поощряется повышение доступности данных, в том числе размеченных (то есть подготовленных к использованию для обучения ИИ); обеспечение совместимости разрабатываемых СИИ там, где это применимо; создание условий для формирования национальной школы развития технологий ИИ, в том числе общедоступных национальных репозиториев библиотек и моделей сетей, доступных национальных средств разработки, открытых национальных фреймворков и др.; повышение доступности знаний и использования открытых баз знаний; стимулирование научной, образовательной, просветительской деятельности в сфере ИИ путем участия в проектах и деятельности ведущих научно-исследовательских центров и образовательных организаций России.

Как в Рекомендации, так и в Кодексе есть аспекты, которые были целенаправленно оставлены за их пределами. Например, идея о наделении СИИ какими-либо правами (правосубъектность ИИ). При разработке обоих документов эти идеи рассматривались в числе прочих и были целенаправленно отвергнуты.

Схожи у документов и механизмы исполнения: оценка рисков и гуманитарного воздействия, создание института уполномоченных по этике, идеи добровольной сертификации, обмен лучшими и худшими практиками в сфере ИИ.

Фундаментальное различие в подходах заключается в том, как и для кого создавались данные документы. Российский Кодекс — это компромисс между точками зрения представителей самых разных слоев общества. Все его положения сформулированы с прицелом на практическую реализацию, и этот документ будет одинаково полезен как разработчикам, так и пользователям СИИ.

Рекомендация ЮНЕСКО — это международный документ, к тому же написанный в «европейском» стиле. В нем скрупулёзно собраны практически все возможные размышления и идеи о регулировании технологий ИИ. В такой ситуации практическим осмыслением их реализуемости пришлось неизбежно пожертвовать. ЮНЕСКО адресует всем возможным участникам рынка ИИ (прежде всего государствам) десятки и сотни требований-рекомендаций. В таком контексте не покидает ощущение того, что именно Россия и Китай поступили наиболее дальновидно, сразу обозначив мировому сообществу наличие национальных и более практических документов в сфере этики ИИ.

Оценить статью
(Голосов: 6, Рейтинг: 4.83)
 (6 голосов)
Поделиться статьей

Прошедший опрос

  1. Какие угрозы для окружающей среды, на ваш взгляд, являются наиболее важными для России сегодня? Отметьте не более трех пунктов
    Увеличение количества мусора  
     228 (66.67%)
    Вырубка лесов  
     214 (62.57%)
    Загрязнение воды  
     186 (54.39%)
    Загрязнение воздуха  
     153 (44.74%)
    Проблема захоронения ядерных отходов  
     106 (30.99%)
    Истощение полезных ископаемых  
     90 (26.32%)
    Глобальное потепление  
     83 (24.27%)
    Сокращение биоразнообразия  
     77 (22.51%)
    Звуковое загрязнение  
     25 (7.31%)
 
Социальная сеть запрещена в РФ
Социальная сеть запрещена в РФ
Бизнесу
Исследователям
Учащимся