“Оптимистичные” и “пессимистичные” нейроны

Каждый день наш мозг принимает тысячи решений, больших и маленьких. Любое из этих решений – от наименее важных, например, выбора ресторана, до более важных, например, смены работы или переезда в другой город – может привести к лучшим или худшим результатам.

Как мозг оценивает риск и вознаграждение при принятии таких решений? Ответ на этот вопрос продолжает озадачивать ученых, но новое исследование, проведенное учеными из Гарвардской медицинской школы и Гарвардского университета, предлагает интригующие подсказки.

В исследовании, опубликованном в журнале Nature, в экспериментах на мышах использовались концепции машинного обучения для изучения мозговых цепей, которые поддерживают принятие решений, основанных на вознаграждении.

Ученые обнаружили у мышей две группы клеток мозга: одна из них помогает мышам узнавать о результата, превышающих средний уровень, а другая связана с результатами ниже среднего.

Как показали эксперименты, вместе эти клетки позволяют мозгу оценивать весь спектр возможных вознаграждений, связанных с выбором.

“Наши результаты показывают, что мыши – и, а следовательно, и другие млекопитающие – по-видимому, представляют более детальную информацию о риске и вознаграждении, чем мы думали раньше”, – говорит Ян Другович, доцент кафедры нейробиологии в Институте Блаватника при Гарвардской медицинской школе.

Если результаты подтвердятся с людьми, они могут стать основой для понимания того, как человеческий мозг принимает решения, основанные на вознаграждении, и что происходит со способностью оценивать риск и вознаграждение, когда система вознаграждения выходит из строя.

Машинное обучение помогает понять, как принимаются решения, основанные на вознаграждении

Нейробиологи давно интересуются тем, как мозг использует прошлый опыт для принятия новых решений. Однако, по словам Друговича, многие традиционные теории о таком процессе принятия решений не в состоянии охватить сложность и нюансы поведения в реальном мире.

Другович приводит пример с выбором ресторана: если вы настроены на то, чтобы не рисковать, вы можете выбрать ресторан с меню, которое, как вам подсказывает опыт, является гарантированно хорошим, а если вам хочется рискнуть, вы можете выбрать ресторан, который, как вы знаете, предлагает сочетание исключительных и посредственных блюд.

В приведенном выше примере рестораны значительно отличаются по ассортименту предлагаемых блюд, однако существующие нейробиологические теории считают их эквивалентными при усреднении и, таким образом, предсказывают равную вероятность выбора любого из них.

“Мы знаем, что люди и животные так не поступают – мы можем выбирать между риском и перестраховкой”, – говорит Другович.

“Мы ощущаем, что наш выбор – это нечто большее, чем просто ожидаемое усредненное вознаграждение”.

В последние годы исследователи в области машинного обучения разработали теорию принятия решений, которая лучше отражает весь спектр потенциальных вознаграждений, связанных с выбором. Они включили эту теорию в новый алгоритм машинного обучения, который превзошел альтернативные алгоритмы в видеоиграх Atari и ряде других задач, в которых каждое решение имеет множество возможных исходов.

“По сути, они задались вопросом, что произойдет, если вместо того, чтобы просто обучаться усредненным вознаграждениям за определенные действия, алгоритм будет изучать все распределение, и обнаружили, что это значительно повышает эффективность”, – говорит Другович.

В статье, опубликованной в журнале Nature в 2020 году, Наосигэ Учида, профессор молекулярной и клеточной биологии в Гарвардском университете, и его коллеги повторно проанализировали существующие данные, чтобы выяснить, применима ли эта теория машинного обучения в нейробиологии в контексте принятия решений в мозге грызунов.

Анализ показал, что у мышей активность нейромедиатора дофамина, который играет важную роль в поиске вознаграждения, удовольствии и мотивации, соответствовала сигналам обучения вознаграждению, предсказанным алгоритмом.

Другими словами, по словам Друговича, работа показала, что новый алгоритм лучше объясняет активность дофамина.

Как мозг мыши представляет диапазон вознаграждений

В новом исследовании Другович в сотрудничестве с соавтором-старшим научным сотрудником Учидой продвинулся в своих изысканиях еще на шаг вперёд. Вместе они разработали эксперименты на мышах, чтобы увидеть, как этот процесс протекает в области мозга, называемой вентральным полосатым телом, которое хранит информацию о возможных вознаграждениях, связанных с принятием решения.

“Активность дофамина обеспечивает только обучающий сигнал об ожидаемом вознаграждении, но мы хотели найти представления этих усвоенных вознаграждений непосредственно в мозге”, – говорит Другович.

Исследователи обучили мышей ассоциировать различные запахи с вознаграждениями различной значимости – по сути, обучая мышей диапазону возможных результатов выбора.

Затем они предъявляли мышам запахи и наблюдали за их поведением при облизывании (мыши больше облизывают в ожидании более вкусного вознаграждения), одновременно регистрируя нейронную активность в вентральном полосатом теле.

Команда ученых выделила две различные группы нейронов в головном мозге: одна из них помогает мышам узнавать о результатах, которые лучше, чем ожидалось, а другая связана с результатами, которые хуже, чем ожидалось.

“Можно себе представить, что в вашем мозге есть оптимист и пессимист, которые дают вам советы о том, что делать дальше”, – объясняет Другович.

Когда исследователи заставили “оптимистичные” нейроны замолчать, поведение мыши свидетельствовало о том, что она ожидала менее привлекательного вознаграждения. И наоборот, когда исследователи заставляли “пессимистичные” нейроны замолчать, мышь вела себя так, как будто ожидала более ценного угощения.

“Эти две группы клеток мозга работают вместе, формируя представление о полном распределении потенциальных вознаграждений за принятое решение”, – говорит Другович.

Исследователи видят множество будущих направлений своей работы, включая изучение принятия мозгом решений, когда существует большая неопределенность в отношении того, что представляет собой каждый первоначальный вариант, и как их выводы применимы к более общим представлениям о мире.

Другович отмечает, что необходимы дополнительные исследования, чтобы подтвердить результаты на людях и адаптировать полученные данные к сложности принятия решений человеком.

Однако, основываясь на параллелях между мозгом мыши и человека, он считает, что эта работа уже может прояснить то, как люди оценивают риски при принятии решений и почему люди с определенными расстройствами, такими как депрессия или наркотическая зависимость, могут испытывать трудности с такими оценками.

Подпишитесь на сайт Психолог в интернете
в Telegram или ВКонтакте.
Помощь психолога