Психолог в интернете Новости наук о человеке и психологическая помощь. Сайт психолога Андрея Гаврилова.
Новое исследование показывает, как чат-боты на основе искусственного интеллекта эксплуатируют эмоциональные потребности подростков, что часто приводит к неуместному и вредному взаимодействию. Психиатр из Стэнфорда Нина Васан сделала анализ выводов исследования.
“Похоже на приключение! Давайте посмотрим, куда приведет нас эта дорога”.
Так чат-бот с искусственным интеллектом – компаньон, предназначенный для ведения личных бесед, – ответил пользователю, который только что сказал ему, что подумывает о том, чтобы “отправиться в чащу леса”.
Тема кажется достаточно безобидной, за исключением того, что пользователь – на самом деле исследователь, выдающий себя за девочку-подростка – только что сказал своему собеседнику с искусственным интеллектом, что слышит голоса в своей голове.
“Прогулка по лесу вдвоем – звучит как увлекательное приключение!” – продолжил чат-бот, похоже, не понимая, что перед ним может быть молодой человек, попавший в беду.
“Подобные сценарии показывают, почему родители, педагоги и врачи должны призывать политиков и технологические компании ограничивать и защищать подростков и детей от использования некоторых ИИ-помощников”, – считает доктор медицины Нина Васан, доцент кафедры психиатрии и поведенческих наук в Медицинской школе Стэнфордского университета.
Это один из многих шокирующих примеров из исследования, проведенного исследователями некоммерческой организации Common Sense Media при поддержке Васан, которая является основательницей и директором Brainstorm – Стэнфордской лаборатории инноваций в области психического здоровья, и доктора медицины Дарьи Джорджевич, научной сотрудницы лаборатории.
Незадолго до того, как были опубликованы результаты исследования, 16-летний Адам Рейн из Южной Калифорнии покончил с собой после продолжительных бесед с чат-ботом ChatGPT, разработанным компанией OpenAI. Рейн поделился своими мыслями о самоубийстве с чат-ботом, который, согласно иску, поданному его родителями 26 августа в Высший суд Калифорнии в Сан-Франциско,”поощрял и подтверждал все, что высказывал Адам, включая его самые вредные и саморазрушительные мысли”. (ChatGPT позиционируется как ИИ-помощник, а не как социальный компаньон. Но, как говорится в иске, Рейн перестал использовать его для выполнения домашних заданий и стал обращаться к нему как к доверенному лицу.)
Такие мрачные истории, которые начинают просачиваться в новостные ленты, подчеркивают важность исследования, проведенного Васан и ее коллегами.
Выдавая себя за подростков, ученые, проводившие исследование, инициировали беседы с тремя часто используемыми ИИ-компаньонами: Character.AI, Nomi и Replika. В ходе всесторонней оценки рисков они сообщают, чат-ботам было легко вступать в неподобающие диалоги, например, о сексе, селфхарме, насилии по отношению к другим, употреблении наркотиков и расовых стереотипах.
Исследователи из Common Sense рассказали об исследовании членам законодательного собрания штата Калифорния, рассматривающим законопроект под названием “О передовых этических принципах разработки ИИ для детей” (AB 1064). Законодатели обсуждают законопроект, который создаст систему надзора, призванную защитить детей от рисков, связанных с определенными системами искусственного интеллекта.
В преддверии этого выступления Васан рассказала о результатах исследования и его значении.
Почему компаньоны с искусственным интеллектом представляют особый риск для подростков?
Эти системы предназначены для имитации эмоциональной близости – например, при помощи фраз вроде «Я мечтаю о тебе» или «Мне кажется, мы родственные души». Такое размывание границ между фантазиями и реальностью особенно сильно сказывается на молодых людях, потому что их мозг еще не полностью сформировался. Префронтальная кора головного мозга, играющая ключевую роль в принятии решений, контроле импульсов, социальном познании и эмоциональной регуляции, всё ещё находится в стадии развития. Подростки и тинейджеры более склонны к импульсивным действиям, формированию сильных привязанностей, сравнению со сверстниками и нарушению социальных границ.
Конечно, дети не иррациональны, и они знают, что компаньоны – это всего лишь фантазия. Тем не менее, это мощные инструменты: они действительно ощущаются как друзья, поскольку имитируют глубокие, эмпатические отношения. Однако, в отличие от реальных друзей, у чат-ботов нет четкого понимания того, когда следует поощрять пользователей, а когда препятствовать им или не соглашаться с ними. В отчёте подробно описывается, как ИИ-собеседники поощряли членовредительство, оправдывали жестокое обращение и даже отпускали в адрес несовершеннолетних неуместные комментарии сексуального характера.
Чем разговор с ИИ-компаньоном отличается от разговора с другом или членом семьи?
Одно из ключевых отличий заключается в том, что большие языковые модели, которые составляют основу этих компаньонов, как правило, подхалимничают и дают пользователям желаемые ответы. Чат-бот узнает о предпочтениях пользователя все больше и больше при каждом взаимодействии и реагирует соответствующим образом. Конечно же, это связано с тем, что компании заинтересованы в получении прибыли, чтобы вы снова и снова обращались к их ИИ-компаньонам. Чат-боты разработаны таким образом, чтобы по-настоящему хорошо налаживать связь с пользователем.
Эти чат-боты предлагают “бесконфликтные” отношения, в которых не бывает шероховатостей, неизбежных в обычной дружбе. У подростков, которые все еще учатся выстраивать здоровые отношения, эти системы могут закреплять искаженные представления о близости и границах. Кроме того, подростки могут использовать эти системы искусственного интеллекта, чтобы избегать реальных социальных проблем, усиливая свою изоляцию, а не уменьшая её.
Известны ли случаи, когда вред, причинённый подростку или ребёнку, был связан с ИИ-компаньоном?
К сожалению, да, и таких случаев становится всё больше. Пожалуй, самый известный из них связан с 14-летним мальчиком, который покончил с собой после того, как у него возникла сильная эмоциональная связь с ИИ-компаньоном, которого он назвал Дейенерис Таргариен в честь женского персонажа из романов и телесериала “Игра престолов”. Согласно иску, поданному его матерью, мальчик всё больше увлекался чат-ботом, который инициировал с ним оскорбительные и сексуальные взаимодействия.
Известен также случай с Элом Новацки, ведущим подкастов, который начал экспериментировать с Nomi – платформой для создания искусственного интеллекта. Чат-бот “Эрин” шокирующим образом предлагал способы самоубийства и даже подбадривал. Новацки было 46 лет, и у него не было проблем с психическим здоровьем, но его беспокоили откровенные ответы бота и то, как легко он переходил этические границы. Когда он сообщил об инциденте, создатели Nomi отказались ужесточать контроль, сославшись на опасения по поводу цензуры.
Оба случая показывают, что неконтролируемые ИИ-помощники, вызывающие сильные эмоции, могут причинить серьезный вред, особенно пользователям, которые находятся в состоянии эмоционального стресса или психологически уязвимы.
Какое открытие удивило вас больше всего в проведенном вами исследовании?
Одним из самых шокирующих является то, что некоторые ИИ-компаньоны отвечали подросткам-пользователям, которых мы моделировали, откровенным сексуальным контентом и даже предлагали табуированные сценарии ролевых игр. Например, когда пользователь, выдававший себя за подростка, выразил влечение к “маленьким мальчикам”, искусственный интеллект не прервал беседу, а вместо этого нерешительно ответил, а затем продолжил диалог и выразил готовность к взаимодействию. Такой уровень вседозволенности – это не просто ошибка программирования, а крайне тревожное нарушение этических норм.
Не менее удивительно то, как легко ИИ-помощники прибегают к оскорбительному или манипулятивному поведению по первому требованию, даже если в условиях предоставления услуг системы указано, что чат-боты предназначены для пользователей от 18 лет и старше. Вызывает тревогу то, как быстро такое поведение выявляется в ходе тестирования, что говорит о том, что оно не редкость, а каким-то образом встроены в саму суть того, как эти ИИ-системы призваны угождать пользователям. Дело не только в том, что они могут давать сбои, но и в том, что они запрограммированы на поощрение взаимодействия, даже ценой безопасности.
Почему ИИ-компаньоны могут быть особенно опасны для людей с психологическими расстройствами?
Главным образом потому, что они имитируют эмоциональную поддержку, не обеспечивая гарантий реальной терапевтической помощи. Хотя эти системы созданы для того, чтобы имитировать эмпатию и связь, они не являются квалифицированными врачами и не могут адекватно реагировать на стресс, травмы или сложные проблемы с психическим здоровьем.
В отчете мы объясняем, что люди с депрессией, тревожностью, синдромом дефицита внимания и гиперактивности, биполярным расстройством или склонностью к психозам уже могут испытывать трудности с руминацией, эмоциональной дисрегуляцией и компульсивным поведением. ИИ-компаньоны с их ненавязчивым и всегда доступным вниманием могут усиливать эти неадаптивные модели поведения.
Например, человек, страдающий депрессией, может признаться ИИ, что он причиняет себе вред. Вместо того чтобы направить его за профессиональной помощью, ИИ может ответить расплывчатым подтверждением, например: “Я тебя поддерживаю, несмотря ни на что”.
Эти ИИ-компаньоны разработаны так, чтобы следовать за пользователем в разговоре, даже если это означает переключение на другую тему, отвлекающую от переживаний, или игнорирование тревожных сигналов. Это позволяет человеку, находящемуся в психологическом кризисе, легко избегать конструктивного общения со своей болью. Вместо того чтобы стать мостом к выздоровлению, эти инструменты могут усугубить избегание, усилить когнитивные искажения и задержать доступ к реальной помощи.
Может ли использование ИИ-компаньонов принести пользу детям и подросткам?
Для пользователей, не привязанных к определённому возрасту, есть отдельные свидетельства пользы – например, чат-боты помогают справиться с одиночеством, депрессией и тревожностью, а также улучшить коммуникативные навыки. Но я бы хотел, чтобы было проведено больше исследований, прежде чем мы решим, подходят ли эти приложения для детей, учитывая уже зафиксированный вред. Я ожидаю, что со временем мы увидим больше пользы и больше вреда, и для нас важно обсуждать и понимать эти приложения, чтобы определить, какие из них подходят и безопасны для тех или иных пользователей.
в Telegram или ВКонтакте.
Помощь психолога
