Рейтинг фабрик мысли: проблемы методологии

28 января 2020 г. Университет Пенсильвании в рамках «Программы мозговых центров и гражданского общества» представил очередной рейтинг фабрик мысли «2019 Global Go To Think Tank Index Report». По данным исследования, Россия находится на 7 месте по количеству аналитических центров (215 институтов), уступая ФРГ (218), Аргентине (227), Великобритании (321), КНР (507), Индии (509) и США (1871). Нововведением этого года стала номинация «Центр передового опыта» (Center of excellence) — её вручают той фабрике мыслей, которая 3 года подряд становилась лучшим мозговым центром мира. Российские центры всегда занимали ведущие позиции как в мире, так и в региональном зачёте, однако абсолютное лидерство американских фабрик мысли, вызывает сомнения в объективности составителей рейтинга.

Пережив мировые войны и вступая в четвёртую промышленную революцию, аналитические центры превратились из мелких команд экспертов в «пятую власть» со своим влиянием на общество и политиков. Идеи прозрачности, независимости, формирования гражданского общества несомненно являются важнейшими руководящими принципами в их работе. Кто бы ни выделял гранты и бюджеты, рекомендации научного центра обязаны оставаться объективными. И Global Go To Think Tank Index Report несомненно заслуживает благодарность за свою уникальность и популяризацию мозговых центров как во всём мире, так и по каждому региону и специальности. В заслугу можно поставить, что рейтинг постоянно совершенствуется — добавляются новые рейтинги, делается обзор ситуации в мире, а некоторые списки расставляются без присваивания мест (просто в алфавитном порядке). Однако влиятельный рейтинг-монополист может позволить себе трактовать эти изначально политизированные вопросы по-своему. Не все страны могут похвастаться государственным устройством как на Западе; некоторые фабрики мысли вынуждены подстраиваться под государственные интересы и обслуживать правящий режим. Глобализация и гражданское общество, по мнению авторов доклада, нуждаются в защите, но в рейтинге стали появляться не столько научные организации, сколько фонды и международные организации вроде Amnesty International или Human Rights Watch, чья деятельность вызывает споры и слабо связана с политическими исследованиями. Трактовка мировых трендов по лекалам западных СМИ и ретрансляция всех предрассудков насчёт некоторых стран — тоже не в плюс авторам доклада. К тому же, не все центры могут охватывать широкий круг проблем, поэтому глобальный рейтинг для них — вещь неподъёмная. Ветераны интеллектуального труда уже давно зарекомендовали себя и не испытывают проблем с репутацией и бюджетом. Проблема в том, что крупные центры могут попасть в список не столько из-за своих исследований, сколько из-за популярности. Рейтинг должен приносить пользу для развивающихся стран и новых фабрик мысли, особенно независимых, т.к. упоминание в рейтинге — шанс быть замеченными спонсорами и заработать статус в экспертном сообществе.

28 января 2020 г. Университет Пенсильвании в рамках «Программы мозговых центров и гражданского общества» представил очередной рейтинг фабрик мысли «2019 Global Go To Think Tank Index Report». По данным исследования, Россия находится на 7 месте по количеству аналитических центров (215 институтов), уступая ФРГ (218), Аргентине (227), Великобритании (321), КНР (507), Индии (509) и США (1871). Нововведением этого года стала номинация «Центр передового опыта» (Center of excellence) — её вручают той организации, которая 3 года подряд становилась лучшим аналитическим центром мира. Российские центры всегда занимали ведущие позиции как в мире, так и в региональном зачёте, однако тот факт, что первые места всегда достаются американским фабрикам мысли, вызывает сомнения в объективности составителей рейтинга.

Россия в рейтинге

В данном рейтинге Россия всегда входила в десятку по количеству аналитических центров, в Восточной Европе сохраняла лидерскую позицию, а в общеевропейском зачёте была наравне с Францией и ФРГ, уступая лишь Великобритании. Ниже приведены места основных российских мозговых центров с 2008 года в общемировом рейтинге:

Источник: Global Go To Think Tank Index Reports, The Think Tanks and Civil Societies Program (TTCSP), University of Pennsylvania. Примечание: места в 2008-2010 гг. указаны без учёта американских центров.

Более оптимистичная и разнообразная картина предстаёт в региональном рейтинге центров Восточной и Центральной Европы:

Источник: Global Go To Think Tank Index Reports, The Think Tanks and Civil Societies Program (TTCSP), University of Pennsylvania.

Антон Цветов:
Промышленное мышление: как и на какие деньги сегодня думают о внешней политике

Российские аналитические центры входят в число лидеров по таким профильным направлениям как оборона, экономика, мировая экономика, внешняя политика. Однако судя по расположению в общемировом и региональном списках, Университет Пенсильвании отдаёт предпочтение тем фабрикам мысли, которые, по его мнению, являются негосударственными и независимыми как в плане научных работ, так и в плане бюджета. 2014 год стал переломным моментом в международной политике, и это сказалось на приведённых выше показателях — институты, сильнее других связанные с государственным финансированием, начали сдавать свои позиции, тогда как лидером российского рейтинга оставался филиал американской организации.

Понятие think thank и критерии, влияющие на рейтинг

Под мозговыми центрами авторы рейтинга понимают организации, которые не только занимаются исследовательской деятельностью, но и проводят консультации с лицами, принимающими решения по вопросам внутренней и внешней политики. Фабрики мысли могут быть как независимыми институтами, так и связанными с государственными структурами. Фактически это канал связи между академическим и политическим сообществом, а также между государством и гражданским обществом, где аналитический центр должен выступать в роли независимой стороны для обеих сторон, «переводя» фундаментальные и прикладные исследования на доступный для всех «язык». В рейтинге выделяются следующие типы аналитических центров:

• автономный и независимый (практически независимый от какой-либо группы заказчиков и государственного финансирования);
• квазинезависимый (внешне независим от государства, но контролируется заинтересованной группой, которая обеспечивает значительную часть финансирования);
• аффилированный с государством (является частью государственных структур);
• квазигосударственный (де-юре не является частью государственных структур, но сильно зависит от правительственных грантов и контрактов);
• аффилированный с университетом (исследовательский центр при университете);
• аффилированный с политической партией (официально связан с политической партией);
• корпоративный (связан с корпорациями или просто действуют на коммерческой основе).

Из американского феномена аналитические центры сегодня превратились в общемировое явление, которое имеет универсальные черты и везде интерпретируется одинаково. Политики сталкиваются с проблемой привлечения независимых специалистов для выработки решений и мониторинга нынешней ситуации как в стране, так и в мире. Центры выходят за национальные и узкопрофильные рамки, налаживают сотрудничество с другими фабриками мысли, открывают филиалы за рубежом, расширяют свою аудиторию.

Антон Цветов:
Фабрики мысли в поисках смысла

Поскольку планета живёт в условиях неопределённости, недостатка безопасности (после окончания холодной войны) и популистской риторики, аналитический центр должен вносить свою лепту в формирование миропорядка: проводить постоянный анализ изменений в политике, экономике и технологическом прогрессе, использовать новые технологии в своих исследованиях и помочь понять, как отразятся те или иные события в будущем (на руководящих постах не всегда успевают уследить за трансформациями). Таким образом авторы рейтинга видят в фабрике мысли не только группу экспертов-посредников, но и закреплённую за ними некую цивилизационную миссию — донести окружающим объяснение происходящих процессов и качественно участвовать в формировании политики по самым разным вопросам. Именно так авторы рейтинга представляют себе задачи современного think tank.

Интересно, что в рейтинге 2019 года выделяется одна общая проблема современных фабрик мысли — недостаточное использование новых технологий, в частности, искусственного интеллекта. Центры сосредоточены на политике в области ИИ, а не на его использовании, это ставит вопрос об их способности применять ИИ в будущем. Победит не только тот, у кого больше финансирование, но и тот, кто акцентирует внимание на междисциплинарных исследованиях.

В своей методологии авторы рейтинга основываются на опросе широкой группы экспертов, которым необходимо оценить 8162 (2019) аналитических центра и выделить наиболее эффективные и влиятельные из них. В последнем отчёте было установлено 28 критериев (однако авторы предупредили, что ими оценка не ограничивается). Вот некоторые из них:

• эффективность руководства;
• репутация сотрудников;
• количество и качество выпускаемых исследований, охват научных интересов;
• способность привлекать человеческие и материальные ресурсы;
• влияние на политиков и отношения с ними;
• приверженность принципу беспристрастности;
• способность «достучаться» до политиков, СМИ, общества;
• полезность информации;
• использование социальных сетей, присутствие центра в Сети;
• стабильность финансирования, эффективность использования материальных ресурсов;
• способность к инновациям;
• влияние на общество (прямая связь между продуктами центра и положительными изменениями в обществе).

Однако тут же авторы рейтинга признаются, что задача оценки фабрик мысли осложняется политическими процессами в мире, что, в свою очередь, отражается на качестве исследований. Университет Пенсильвании рекомендует использовать 4 группы индикаторов для оценки: ресурсы, полезность, объём научной продукции и влияние. Для более точных данных необходимо также привлекать лиц, принимающих решения, чтобы знать, насколько продукция востребована.

Проблемы методологии подсчёта

Первое, на что нужно обратить внимание (и в отчёте тоже задаются этим вопросом) — перекос в сторону количественных критериев. Джеймс Макганн (руководитель программы Университета Пенсильвании, составляющей рейтинг) разделил понятия объёма продукции и влияния, но на вопрос о влиянии на политику аналитические центры часто просто предоставляли списки своей продукции и увеличивали её выпуск ради повышения количественных показателей. В связи с чем были введены качественные показатели (ресурсы, влияние, полезность) и рекомендации по привлечению НПО и политиков к составлению рейтинга. Но если, по мнению самих же авторов доклада, оценка осложнена международной повесткой дня, то может возникнуть ситуация, когда политическое руководство страны, сами центры и журналисты не будут полностью объективны в своих оценках. Также в отчёте говорится, что влияние на процесс принятия решений может быть достигнуто, даже если научные труды не привели к конкретным политическим шагам. Власть имущие и СМИ могут просто назвать тот или иной центр, это даст количественный показатель (упоминание в СМИ, например), а то, что рекомендации фабрики мысли не были восприняты, уже не имеет значения.

Второй вопрос — перевод качественных показателей в количественные. Упоминания в СМИ, цитируемость, количество трудов, сотрудников, «лайков» в соцсетях, интервью, официальных встреч, семинаров, наград и т.п. — всё это поддаётся простому математическому подсчёту. Качество научных работ, репутация в СМИ, полезность — все эти показатели обрастают ареалом субъективности. Репутация в СМИ может быть разной (если это страна со свободой слова и разными источниками информации), полезность предоставленной информации не всегда может быть оценена в краткосрочной перспективе и ей требуется время для достижения нужного эффекта, доступ к влиятельным аудиториям тоже может быть неправильно растолкован (в странах с развитой политической культурой их может быть несколько; а если есть доступ к высшим эшелонам власти, то такого рода контакты не всегда могут афишироваться), приверженность профессиональным стандартам доказывается путём долгих научных диспутов и не всегда может быть оценена объективно, характер цитирования тоже не всегда может быть оценен в пользу того или иного центра. И если есть количественные показатели, то почему отсутствуют соответствующие рейтинги? Некоторые из этих показателей могут быть отражены в количестве позитивных и негативных отзывов, но перевести в количественные метрики уровень доступа к политикам и влияния на них, СМИ, руководство страны, отношение властей к аналитическому центру крайне затруднительно.

Кэмерон Мантер:
Фабрики мысли решают задачи, недоступные правительствам

Третья проблема — ситуация в мире и конкретных странах на момент составления рейтинга. В отчётах отводится место глобальным трендам, и некоторые события могут быть представлены с западной точки зрения. В 2008 году в начале доклада был сделан акцент на «наступлении» российских властей на гражданское общество и снижении финансирования независимых неправительственных организаций (однако положительным моментом авторы рейтинга посчитали формирование нового поколения российских учёных, не знавших холодной войны). Присоединение Крыма к России и ситуация на востоке Украины в докладе 2014 года преподносится как «российская агрессия, угрожающая нормам международного права». Очевидно, что после такого вступления рейтинг МГИМО, готовящего кадры для Министерства иностранных дел, пострадал больше всех. Однако позиции ИМЭМО и ИСКРАН, которые являются частью РАН (откуда проистекает история отечественных фабрик мысли), и центров, критически относящихся к проводимой политике, практически не пошатнулись. Независимое неправительственное объединение Совет по внешней и оборонной политике вообще пропало из рейтингов (вероятно, авторы подсчитали, что сотрудничество с министерствами и с дискуссионным клубом «Валдай» сделало структуру полностью государственной). А в 2016 году авторы рейтинга были шокированы победой Дональда Трампа на выборах президента США, объявляя о конце существования фабрик мысли в том виде, в котором мы их знаем. Всё это заставляет сомневаться в непредвзятости рейтинга.

Четвёртая проблема — этапы отбора. Сначала всё происходит вполне открыто — более 8100 фабрикам мысли по всему миру были разосланы заявки на участие в конкурсе. Также к составлению рейтинга было привлечено 12 800 журналистов, политиков, государственных и частных спонсоров. Центры, получившие более 10 голосов, проходят во второй этап, который дублирует первый, но уже с меньшим количеством участников. А вот далее решение за экспертными советами, которые ранжируют центры по регионам мира и сфере научных интересов. На последнем этапе главный Экспертный совет представляет свои рейтинги. Утверждается, что Совет включает представителей всех регионов и специальностей, но механизм его формирования не описан.

Пятая проблема — охват. То, что рейтинг охватывает практически все страны, стоит только приветствовать, но возникает сомнение в способности «переварить» такой массив информации. Как, например, политический think tank будет оценивать экономический или как опубликовать абсолютно все участвующие центры. Также представители одного региона могут не знать всех тонкостей работы фабрик мысли другого. В итоге глобальный рейтинг практически не меняется, а единственным спасением остаются списки по профилю и региону. Научный центр из не очень богатой части мира с соответствующим бюджетом сможет вырваться только в профильном рейтинге.

Шестая проблема — подсчёт. Какие-либо методы математического выражения рейтинга не опубликованы. Например, Индекс человеческого развития содержит в себе формулы вычисления, после которых каждая страна получает значение от 0,001 до 0,999 и занимает определённое место в списке. В названии рейтинга аналитических центров присутствует слово «индекс», но что-либо подобного как в ИЧР нет — читателя просто ставят перед фактом, расставив центры в таблице. Получается, что доклад представляет собой результат сбора рекомендаций по всему миру и их финальную сортировку группой специалистов.

Седьмая проблема — первые места. Они практически не меняются. Достаточно взглянуть на первую пятёрку глобального рейтинга (*):

Источник: Global Go To Think Tank Index Reports, The Think Tanks and Civil Societies Program (TTCSP), University of Pennsylvania. Примечание: в 2008 году общемирового рейтинга не было; в 2019 году Брукингский институт (США) также был признан лучшим мозговым центром и получил звание «Центр передового опыта».

Очевидно явное доминирование американских и британских вузов, к которым иногда присоединялись представители Франции, Бельгии, Швеции и Бразилии. При этом существует разделение глобального рейтинга на лучшие центры с участием США и без участия США. Среди таблиц с количеством фабрик мысли отдельно прописывается их количество по штатам США. Однако не стоит и недооценивать пятерку лидеров — эти мозговые центры появились ещё в начале XX в. и поставили во главу угла внешнеполитические вопросы (в то же время международные отношения становятся научной дисциплиной). Локомотивом в этой области стали США, где постоянно увеличивалось количество фабрик мысли, консультирующих руководство страны (в эпоху мировых войн, деколонизации и противостояния с СССР это было особенно актуально), да и сам термин think tank тоже пришёл оттуда. Хотя факт наличия среди основателей и руководителей лиц из вооружённых сил и правительства почему-то не отражается на независимости центра.

В Библиотеке Достоевского обсудили будущее «фабрик мысли»

Восьмая проблема — представленный рейтинг — единственный в своём роде, больше такого крупного и всеобъемлющего нет. Не будем отрицать заслуги авторов доклада в изучении, отборе и представлении общественности крупнейших фабрик мысли, однако отсутствие сильного академического рейтинга-конкурента делает Global Go To Think Tank Index монополистом на узком рынке исследований мозговых центров. Он может не утруждать себя объяснениями, почему места распределены таким или иным способом. И это ему, возможно, не нужно, раз мозговые центры стремятся в него попасть по причине безальтернативности.

Пережив мировые войны и вступая в четвёртую промышленную революцию, фабрики мысли превратились из мелких команд экспертов в «пятую власть» со своим влиянием на общество и политиков. Идеи прозрачности, независимости, формирования гражданского общества несомненно являются и должны являться важнейшими руководящими принципами в их работе. Кто бы ни выделял гранты и бюджеты, рекомендации научного центра обязаны оставаться объективными. И Global Go To Think Tank Index Report несомненно заслуживает благодарность за свою уникальность и популяризацию аналитических центров как во всём мире, так и по каждому региону и специальности. В заслугу авторам можно поставить, что рейтинг постоянно совершенствуется — добавляются новые разделы, делается обзор ситуации в мире, а некоторые списки расставляются без присваивания мест (просто в алфавитном порядке). Однако влиятельный рейтинг-монополист может позволить себе трактовать эти изначально политизированные вопросы по-своему. Не все страны могут похвастаться государственным устройством как на Западе; некоторые фабрики мысли вынуждены подстраиваться под государственные интересы и обслуживать правящий режим. Глобализация и гражданское общество, по мнению авторов доклада, нуждаются в защите, но в рейтинге стали появляться не столько научные организации, сколько фонды и международные организации вроде Amnesty International или Human Rights Watch, чья деятельность вызывает споры и слабо связана с политическими исследованиями. Трактовка мировых трендов по лекалам западных СМИ и ретрансляция всех предрассудков насчёт некоторых стран — тоже не в плюс авторам доклада. К тому же, не все центры могут охватывать широкий круг проблем, поэтому глобальный рейтинг для них — вещь неподъёмная. Ветераны интеллектуального труда уже давно зарекомендовали себя и не испытывают проблем с репутацией и бюджетом. Проблема состоит в том, что крупные центры могут попасть в список не столько из-за качества своих исследований, сколько из-за популярности. Рейтинг должен приносить пользу для развивающихся стран и новых аналитических центров, особенно независимых, так как упоминание в рейтинге — шанс быть замеченными спонсорами и заработать статус в экспертном сообществе.

* Фонд Карнеги, Chatham House, Центр стратегических и международных исследований признаны нежелательными организациями в РФ.