Так ли страшен ChatGPT и аналогичные ему большие языковые модели?

Бешеная популярность первой многозадачной модели искусственного интеллекта (ИИ) — ChatGPT — способной создавать реалистичный, интеллектуальный текст в ответ на запросы пользователя, вновь обострила дискуссии о потенциальных рисках и угрозах цифровых технологий на базе ИИ. В контексте больших языковых моделей, обученных на огромном количестве созданных человеком текстов (в случае с ChatGPT — еще и доученной на высококачественных текстах и диалогах с экспертами), разработчиками был достигнут новый для чат-ботов уровень полезности и связанности изложения информации. Полученный результат, помноженный на доступность технологии для широкого круга пользователей, высветил огромное поле возможностей по применению ChatGPT и его аналогов в различных областях общественных отношений. Однако надо понимать, что в современном мире положительные ожидания от передовых технологий всегда идут рука об руку с потенциальными, зачастую непредвиденными рисками. Многие из них выявляются лишь с практикой. В экспертном сообществе риски принято подразделять на общие или универсальные, то есть характерные для всех областей человеческой деятельности, и специальные — несущие угрозы отдельным сферам жизни общества.

На текущем этапе развития больших языковых моделей специалистами просматриваются следующие общие (универсальные) риски.

• Риск применения моделей в целях имитации деятельности человека в областях, в которых по умолчанию подразумеваются результаты его интеллектуального труда.
• Риск избыточного доверия к результатам работы больших языковых моделей.
• Риск дискриминации и риск распространения деструктивной информации.

Существуют также так называемые социальные риски, которые зачастую трудно отнести к общим или специальным. Пожалуй, самый обсуждаемый из них — это угроза стремительного переформатирования глобального рынка труда, то есть замены людей на «умных» ассистентов.

Действительно, рынок труда в ближайшие годы претерпит существенные изменения. Дальнейшая автоматизация, дополненная алгоритмичным управлением государственных и общественных процессов, переведет многие профессии в разряд «устаревших». Но на их месте появятся новые.

Появившийся как результат теоретического дискурса в 1968 г. в материалах генеральной конференции ЮНЕСКО термин «непрерывное образование» (англ. lifelong learning) сегодня становится правилом жизни информационного общества.

Необходимость непрерывного образования обусловлена прогрессом науки и техники, широким применением инновационных технологий. Современному человеку в целях сохранения собственной конкурентоспособности на рынке труда необходимо идти в ногу с современными технологиями, включая возможность смены сферы деятельности (и ни один раз) в течение всего периода трудовой деятельности.

Бешеная популярность первой многозадачной модели искусственного интеллекта (ИИ) — ChatGPT — способной создавать реалистичный, интеллектуальный текст в ответ на запросы пользователя, вновь обострила дискуссии о потенциальных рисках и угрозах цифровых технологий на базе ИИ. В контексте больших языковых моделей, обученных на огромном количестве созданных человеком текстов (в случае с ChatGPT — еще и доученной на высококачественных текстах и диалогах с экспертами), разработчиками был достигнут новый для чат-ботов уровень полезности и связанности изложения информации. Полученный результат, помноженный на доступность технологии для широкого круга пользователей, высветил огромное поле возможностей по применению ChatGPT и его аналогов в различных областях общественных отношений. Однако надо понимать, что в современном мире положительные ожидания от передовых технологий всегда идут рука об руку с потенциальными, зачастую непредвиденными рисками. Многие из них выявляются лишь с практикой. В экспертном сообществе риски принято подразделять на общие или универсальные, то есть характерные для всех областей человеческой деятельности, и специальные — несущие угрозы отдельным сферам жизни общества.

Антон Колонин:
От GPT к AGI — взлет или посадка?

На текущем этапе развития больших языковых моделей специалистами просматриваются следующие общие (универсальные) риски.

— Риск применения моделей в целях имитации деятельности человека в областях, в которых по умолчанию подразумеваются результаты его интеллектуального труда. В числе прочего этот риск запускает сценарий массового использования чат-ботов в целях манипуляции общественным мнением. Так, по запросу пользователя, ChatGPT и его аналоги способны поставить на конвейер создание эффективных ботов, до определенной степени неотличимых от людей, с целью фальсификации отзывов в Интернете (на товары, сервисы, услуги и др.), якобы основанных на личном опыте, которого у чат-ботов нет и быть не может. В этой же плоскости лежит риск манипуляционного воздействия на аудиторию через массовую генерацию публикаций, якобы созданных человеком. Такое применение языковых моделей существенно усиливает любой пропагандистский потенциал за счет встроенного в ИИ-систему функционала по быстрому генерированию разнообразных текстов с общим смыслом (на один и тот же контекстный запрос система каждый раз будет выдавать уникальный текст на базе требуемой идеи или тезиса). В эту же категорию можно включить риск акцентированного применения больших языковых моделей в целях генерации большого объема идеологически-заряженной информации для задач политической и социальной дестабилизации общества (фокусных групп населения). Ряд экспертов справедливо полагают, что благодаря глубокой интеграции языковых моделей в средства поиска информации в Интернете и социальные сети, в кратчайшие сроки возможно создание неконтролируемого информпространства. Для позиционирования России в мире этот риск имеет особое значение, поскольку высокое качество формулирования текстов ChatGPT и его аналогов, их преимущественное обучение на корпусе англоязычных текстов, способно генерировать негативно-устойчивый по отношению к России онтологический информационный фон. Иными словами, есть очевидный риск мультипликативного эффекта или цепной реакции, когда вбрасываемые чат-ботами в англоязычное инфополе антироссийские смыслы начнут подхватываться и обрастать реальной человеческой аудиторией с дальнейшей эволюцией посеянных идеологических семян. Последствия такого «эффекта домино» трудно просчитать.

— Риск избыточного доверия к результатам работы больших языковых моделей. Выявлено множество случаев, когда тот же ChatGPT в силу своего несовершенства выдавал не только взятые с потолка суждения, но и «выдумывал» для их легендирования несуществующие источники, факты и события. Однако первый позитивный опыт использования модели может существенно притупить бдительность пользователей. Избыточное доверие к ИИ-системе, подогреваемое природной ленью человека, грозит риском исключения дополнительной перепроверки полученных результатов при решении тех или иных задач, включая общественно важных.

— Риск дискриминации и риск распространения деструктивной информации. Несмотря на то, что на этапе дообучения больших языковых моделей разработчики стремятся ограничивать системы в выдаче неэтичной или противоправной информации (иначе возникнут сложности с выходом на национальные рынки), существуют и, вероятно, всегда будут существовать лазейки для того, чтобы «раскрутить» чат-бота на генерирование потенциально вредоносных или как минимум неэтичных суждений. Этот риск обусловлен тем, что в ходе обучения большие языковые модели фактически опираются на весь доступный в Интернете контент, включая дискриминационный или деструктивный. В связи с этим последующее цензурирование чат-ботов может идти или по пути ограничения их функционала (крайне не приветствуется разработчиками, поскольку существенно снижаются «интеллектуальные» возможности ИИ-систем), или в сторону встраивания этических принципов в ходе дообучения с живыми экспертами, в том числе, исходя из опыта применения чат-ботов на практике. Однако следует держать в уме, что ни один из двух вариантов не способен сделать ИИ-систему абсолютно «стерильной», то есть безобидной для всех: в разных странах и регионах практикуются зачастую полярные подходы к определению и классификации противоправного, деструктивного или неэтичного контента.

В перечне прогнозируемых или уже наблюдаемых экспертами специальных рисков можно выделить следующие проблемные области.

Юрий Линдре:
Большие языковые модели: новое поле битвы глобальных ИТ-гигантов

— Образовательный процесс. Главный риск — неэтичное использование нейросетей при сдаче письменных экзаменов. Известны случаи, когда тот же ChatGPT оказался способен качественно ответить на вопросы квалификационных экзаменов, например, в ходе аттестации на право работать врачом в США. Кроме того, экспоненциально множатся случаи применения больших языковых моделей в целях написания различных видов письменных работ, в том числе выпускных в школах и вузах. Порой невозможность отличить созданный ChatGPT текст от написанного рукою человека, что явным образом нарушает принцип самостоятельности выполнения работ. В свою очередь нарождающаяся практика ставит под сомнение соблюдение базового требования любой системы классического образования — успешное освоение материала школьником/студентом по итогам обучения. Иными словами, существующие методики оценки учащихся не способны в полной мере отвечать новым реалиям. Требуется или их корректировка, или введение ограничений на использование больших языковых моделей в сфере образования.

— Научно-исследовательская деятельность. Основной риск применения больших языковых моделей заключается в высокой вероятности искажений результатов научной работы с последующим масштабированием на все дальнейшие исследования, которые будут опираться на ранее сделанные некорректные выводы (как в школьной задачке по математике: если в первом действии совершена ошибка, то итоговое решение будет неверным даже при условии отсутствия новых ошибок в последующих действиях). Кроме того, параллельно возникает риск в области доверия/верификации результатов и авторства открытий, сделанных не совсем человеком.

— Здравоохранение. По аналогии со сферой образования велик риск коррумпирования текстов (выводов) медицинских заключений. Врачи могут излишне (пере)довериться ChatGPT в целях быстрой постановки диагнозов и/или генерации текстов медицинских заключений, по сути, основываясь лишь на аналогичных случаях из ранее наработанной практики, не вдаваясь при этом в тонкости ситуации с конкретным пациентом [1].

— Правосудие. Как показывает практика, большие языковые модели вполне способны оценивать логику и последовательность суждений человека, а также их обоснованность на письме, то есть могут выстраивать причинно-следственные связи, весьма востребованные для квалификации и разбора дел в судопроизводстве. Главный риск состоит в том, что на сегодняшний день невозможно проверить степень вовлечения, то есть влияния ИИ-систем на процесс принятия судьей решений [2]. В отличие от ИИ, сознание судьи-человека при рассмотрении дела по существу позволяет учитывать и осмысливать не только нормы действующего законодательства, но и давать оценку различным философско-правовым или морально-этическим категориям, например, в контексте определения степени вины или раскаяния обвиняемого.

Описанные выше риски — не единственные. Существуют также так называемые социальные риски, которые зачастую трудно отнести к общим или специальным. Пожалуй, самый обсуждаемый из них — это угроза стремительного переформатирования глобального рынка труда, то есть замены людей на «умных» ассистентов. В этом смысле большие языковые модели зачастую представляются в качестве отправных точек запуска такого сценария. В целом, опасения небеспочвенны. Однако необходимо понимать, что тема ChatGPT и его аналогов сильно перегревается всеми заинтересованными сторонами. Одни глобальные ИТ-игроки в целях получения конкурентного преимущества всеми силами стремятся продвигать свой продукт в массы, и им выгодно раздувать «магию» чат-ботов. Другие, наоборот, создают контрволну в инфополе с очевидной целью сдержать вырвавшихся вперед конкурентов. По этой причине в равной степени ошибаются как сторонники теории, что вскоре «мир захватят машины», так и противники этой идеи, полагающие, что с миром и человеком ничего страшного не произойдет. Рынок труда, действительно, будет стремительно меняться, в том числе по причине быстрого развития ИИ-технологий, способных выполнять, прежде всего, шаблонную или узкопрофильную работу. Однако рынок труда менялся и до появления ИИ-алгоритмов в гражданском обороте, будет он меняться и после ИИ. Вопрос лишь в скорости изменений и способностях человека адаптироваться к этим новым скоростям. В XIX в. функционал и труд типичного кузнеца мало чем отличался от его предшественника из XVI или даже XIV в. В ряде общественных сфер скорость изменений в образе жизни и на рынке труда оставалась минимальной вплоть до конца XX века. Переход в информобщество, то есть на новый технологический уклад, изменил привычный ритм жизни. Что касается ИИ-систем, то они играют лишь одну из ролей в новом сценарии, но не единственную.

Юрий Линдре, Александр Капитанов:
Дипфейк: невинная технология для развлечения или угроза современному обществу?

Действительно, рынок труда в ближайшие годы претерпит существенные изменения. Дальнейшая автоматизация, дополненная алгоритмичным управлением государственных и общественных процессов, переведет многие профессии в разряд «устаревших». Но на их месте появятся новые. В качестве иллюстрации: первый автомобильный конвейер, внедренный Генри Фордом в начале XX в., подразумевал последовательную, разбитую на этапы, но все же полностью ручную сборку машин, когда каждый работник отвечал лишь за свой участок сборки. С появлением роботов и манипуляторов доля ручного труда на автозаводах стала стремительно снижаться по причине делегирования автоматам значительной части сборочного процесса (в некоторых случаях сегодня доля ручного труда не превышает 15%). С одной стороны, в последние десятилетия в автоиндустрии по всему миру многократно упал спрос на определенные «рабочие» профессии, а с другой — востребованными стали новые специальности, связанные с производством роботов, их программированием и обслуживанием. Ровно та же схема применима к ситуации с массовым внедрением ИИ-систем, включая большие языковые модели, в госсектор, науку, производство или бизнес-процессы.

Таким образом, появившийся как результат теоретического дискурса в 1968 г. в материалах генеральной конференции ЮНЕСКО термин «непрерывное образование» (англ. lifelong learning) сегодня становится правилом жизни информационного общества. В России это понятие на государственном уровне впервые было введено Концепцией Федеральной целевой программы развития образования на 2005–2010 гг. Под «непрерывным образованием» в документе понимается «процесс роста образовательного (общего и профессионального) потенциала личности в течение всей жизни на основе использования системы государственных и общественных институтов и в соответствии с потребностями личности и общества». Необходимость непрерывного образования обусловлена прогрессом науки и техники, широким применением инновационных технологий. Собственно, для ответственных чиновников без всяких новомодных чат-ботов давно очевидно, что современному человеку в целях сохранения собственной конкурентоспособности на рынке труда необходимо идти в ногу с современными технологиями, включая возможность смены сферы деятельности (и ни один раз) в течение всего периода трудовой деятельности. Именно в принятии этой новой нормальности кроется рецепт от любых страхов, реальных и умозрительных рисков, связанных с внедрением передовых технологий, включая ИИ-системы.

1. Модель GPT-3 была дообучена с целью диагностики болезни Альцгеймера на основе подмножества набора данных записей речи пациентов. https://hightech.fm/2022/12/27/chatgpt-alzheimer

2. Судья в Колумбии опирался на «мнение» ChatGPT при вынесении приговора https://www.theguardian.com/technology/2023/feb/03/colombia-judge-chatgpt-ruling