Презентация на тему Центры подкрепления, прилежащее ядро. Кора больших полушарий: механизмы обучения; гиппокамп

эмоций, положительного и отрицательного подкрепления:

гипоталамус, миндалина
прилежащее ядро (nucl. accumbens)
голубое

пятно, поясная изв. и др.

Прилежащее ядро прозрачной перегородки: относится к базальным ганглиям; занимает передне-вентральную область полосатого тела, то есть стриатума, в которое также входят хвостатое ядро (caudate) и скорлупа (putamen) (на нижнем рис. отмечены синим).

занимает передне-вентральную область полосатого тела, то есть стриатума, в

которое также входят хвостатое ядро (caudate) и скорлупа (putamen) (на нижнем рис. отмечены синим).

Прилежащее ядро рассматривается как основной путь для передачи положительных эмоциональных сигналов (информации о получении положительного подкрепления) через передние ядра таламуса к коре больших полушарий. Такие сигналы играют важнейшую роль в запоминании («укреплении») поведенческих программ, позволивших удовлетворить тут или иную потребность.

положительных эмоциональных сигналов (информации о получении положительного подкрепления) через

передние ядра таламуса к коре больших полушарий. Такие сигналы играют важнейшую роль в запоминании («укреплении») поведенческих программ, позволивших удовлетворить тут или иную потребность.

Центр одной из
биологических
потребностей
(например, пищевой)

Центры конкретных биологических потребностей могут оказывать собственное подкрепляющее действие на нейронные цепи коры (параллельно с влиянием прилежащего ядра).

ОБУЧЕНИЕ

подкрепле-ние»): рост концентра-ции глюкозы в крови, вкусовые ощущения, растяжение

желудка

Центры конкретных биологических потребностей могут оказывать собственное подкрепляющее действие на нейронные цепи коры (параллельно с влиянием прилежащего ядра).

Электрич. раздражение любой из этих зон вызывает положит. эмоции, что подтверждают опыты Дж. Олдса
(метод самостимуляции).

Очень велико медиаторное разнообразие подкрепляющих влияний: DA, NE, Ацх, энкефа-лины (отсюда – разнообразие наркотич. препаратов).
5-НТ в мозге позвоночных работает как фактор, сдерживающий избыточные эмоции.

учат прыгать на полку в ответ на звонок (иначе

она получает удар эл. током). Это пример условного рефлекса («ассоциативное обучение»).

Произошло формирование ново-го канала для передачи инфор-мации, образованного интерней-ронами коры за счет повышения эффективности Glu-синапсов. В основе – синтез белков-рецепто-ров к глутаминовой кислоте.

Теперь можно приблизить эту схему к реальности и добавить второй фактор: влияния центров положительного подкрепления. Эти влияния должны одновременно с сенсорными стимула-ми подействовать на обучающиеся нейроны – только тогда начнется синтез Glu-рецепторов.

учат прыгать на полку в ответ на звонок (иначе

она получает удар эл. током). Это пример условного рефлекса («ассоциативное обучение»).

Произошло формирование ново-го канала для передачи инфор-мации, образованного интерней-ронами коры за счет повышения эффективности Glu-синапсов. В основе – синтез белков-рецепто-ров к глутаминовой кислоте.

Теперь можно приблизить эту схему к реальности и добавить второй фактор: влияния центров положительного подкрепления. Эти влияния должны одновременно с сенсорными стимула-ми подействовать на обучающиеся нейроны – только тогда начнется синтез Glu-рецепторов.

Данный механизм – главный способ форми-рования долговременной памяти, которая, по сути, заключается в ассоциациях между сенсорными стимулами и реакциями (двигательными и/или вегетативными).

Эти ассоциации и есть «програм-мы», значимость которых растет при успешной реализации. На уровне клеток такой рост озна-чает увеличение эффективности обучающихся синапсов.

повышая его эффективность.
РЕЗУЛЬТАТ: сенсор-
ный стимул запускает
ПД и реакцию

т.к. «раскачать» синтез допол-нит. рецепторов непросто.
Но это не единственный

путь формирования нового канала для передачи информации.

В лекции о Glu и ГАМК был охарактеризован еще один способ – выбивание Mg2+-пробок (NMDA-рецепторы).

Этот путь малостабильный (кратковременная память), но зато очень быстрый. Поэтому, как правило, информация сначала записывается в кратковременную память (ассоциации образуются за счет выбивания Mg2+-пробок), а затем происходит «пере-запись» в долговременную.

старой коры в глубине височной доли). Гиппокамп (1) через

свод (fornix, 2), мамилляр-ные тела (3) и передние ядра таламуса (4) связан с поясной извилиной (5), а поясная извили- на через нейроны старой коры – опять с гиппокампом
(круг Пейпеза - Papez).

Этот путь малостабильный (кратковременная память), но зато очень быстрый. Поэтому, как правило, информация сначала записывается в кратковременную память (ассоциации образуются за счет выбивания Mg2+-пробок), а затем происходит «пере-запись» в долговременную.

Гиппо-
камп

в долговремен-ную память.

и другие спо-собы повысить эффективность синапсов:
на несколько минут-часов

(фосфорилировать постсинаптические рецепторы; увеличить активность кальциевых каналов);
на более длительное время (синтезировать больше медиатора; увеличить размер синапса – «дендритные шипики»).

Напомню, что постсинап-тическ. клетка, получив-шая сигнал от центров подкрепления, может, в свою очередь, влиять на пресинаптические сенсорные окончания, например, с помощью анандамида.

Кандел: Ноб. пр. (2000) за описание ряда принципов обуче-ния

на уровне синапсов:
белки-ферменты, реагирующие на появление вторичн. посредников («протеинкиназы»), могут влиять:
(1) на активность Са2+-каналов;
(2) на образование фермента, отвечающего за синтез медиатора; (3) на разрастание синапса.

приводящее к формированию новых каналов для передачи информации.

Однако

мозг умеет также активно избавляться от неэффективных программ («отрицательное обучение»).
Оно запускается центрами отрицательного подкрепления, которые включаются, если поведение не достигло успеха.

На субъективном уровне при этом возникают отрицательные эмоции, на уровне информационных каналов – ослабление эффективности синапсов либо подключение к каналам тормозных нейронов.

Стимуляция центров отрицательного
подкрепления в задней части гипо-
таламуса останавливает всякую
текущую деятельность («фрустрация»).

На фото: Хосе Делгадо и бык.

полушария подкреплялась стимуляцией прилежащего ядра, если крыса сворачивала налево

либо направо.
Скоро у крысы была выра-ботана четкая ассоциация, позволяющая управлять движением животного.

К Р Ы С А – С У П Е Р А Г Е Н Т

передается в ассоциативную лобную кору.

Здесь весьма значима миндалина: видимо,

именно она во многом решает, какая потреб-ность доминирует (выделяет доминанту), а также меняет доминанту при изменении условий, появлении врожденно значимых сенсорных сигналов и т.п.

Но записать программу-ассоциацию – это еще не все. По ходу жизни мозг накапливает множество таких программ. И одна из наиболее сложных задач – выбрать среди них наиболее соответствующую текущим условиям.

На первом этапе нужно определить, чего больше всего хочется, то есть какая потребность доминирует («доминанта»);
в каждый момент времени может
быть только одна доминанта.

гипоталамус:
Миндалина собирает сигналы, (прежде всего, стрессогенные) врожденно значимые

и ставшие значимыми в ходе обучения, и далее действует на гипоталамус; гипоталамус отвечает за вегетативную, эндокринную и, во многом, эмоциональную составляющие реагирования.

минда-
лина

тала-
мус

гиппокамп

сенсорная кора

гипо-
таламус

связей с сенсорной корой (1) и подкорковыми сенсорными зонами

(2), с центрами подкрепления (3), вегетативной нервной системой (4).
Сейчас речь идёт о связях миндалины с ассоциативной лобной корой (5) – главным центром, принимающим решение о запуске поведенческих программ («центр воли и инициативы»).

В тот момент, когда информация о до-минирующей по-требности попадает в лобную кору, можно говорить о возникновении мотивации.

Потребность определяют как «избирательную зависимость организма от факторов внешней либо внутренней среды».

Мотивация – это «готовность к реализации деятельности, направленной на удовлетворение потребности».

Потребность неконкретна: «есть хочется…»; мотивация означает, что еще немного – и произойдет запуск поведения: «что бы такое съесть?».

При повреждении миндалины наблюдается нарушение процедуры выбора и смены доминанты, нервная система может «зависать» на той или иной потребности (мании, психозы, в частности, гиперсексуальность, агрессивность, чрезмерное потребление пищи).
При этом более «тонкие» потребности (например, стремление доминировать в стае) нередко вообще исчезают.

зрительная кора.
2. Височная доля – слуховая кора.
3. Передняя часть

теменной доли – болевая, кожная и мышечная чувст-ть.
4. Внутри боковой борозды (островковая доля) – вестибуляр-
ная чувст-ть и вкус.
5. Задняя часть лобной доли – двигательная кора.

1

2

3

4

5

6

7

6. Задняя часть теменной и височной долей – ассоциативная теменная кора: объединяет потоки сигналов от разных сенсорных систем; здесь – речевые центры, центры мышления.

7. Передняя часть лобной доли – ассоциативная лобная кора: с учетом сенсорных сигналов, сигналов от центров потребностей, памяти и мышления принимает решения о запуске поведенческих программ («центр воли и инициативы»).

Запуск
поведения

выбор из «меню» возможных программ идет в три этапа:
Из

всего многообразия программ выбираются («предварительно активиру-ются») только те, которые связаны с удовлетворением доминирующей потребности.
На основе информации от сенсорных центров и ассоциа-тивной теменной коры оцени-вается соответствие программ текущим стимулам, поступаю-щим из внешней среды.
Учитывает «индивидуальная история» программы (ее «вес»), то есть общее число реализаций и доля успешных реализаций.

и конкурируют три программы Пр1, Пр2 и Пр3:
Как происходит

выбор поведенческой программы?

Судя по всему, выбор из «меню» возможных программ идет в три этапа:
Из всего многообразия программ выбираются («предварительно активиру-ются») только те, которые связаны с удовлетворением доминирующей потребности.
На основе информации от сенсорных центров и ассоциа-тивной теменной коры оцени-вается соответствие программ текущим стимулам, поступаю-щим из внешней среды.
Учитывает «индивидуальная история» программы (ее «вес»), то есть общее число реализаций и доля успешных реализаций.

условиях и настроена на присутствие определенных стимулов.

Эти стимулы

и дают «баллы», если воздействуют на органы чувств.

Пусть в данный момент на организм действуют стимулы 1, 3, 5 и 7. Тогда на втором этапе выбора «вперед выходит» программа Пр3.

Третий этап – учет веса програм-мы (эффективности соотв. синапсов).

Пусть Пр1 – «старая добрая» программа, много раз реализова-лась и практически всегда при-водит к успеху; ее вес – 90% из 100% возможных.

Х 90

Пр2 – давно известная програм-ма, которая нередко «дает сбои» и не всегда приводит к получению положительного подкрепления;
ее вес – 50%.

Х 50

Пр3 – недавно сформированная программа, и эффективность соответствующих синапсов еще невелика (память не очень прочна); вес – 25% из 100%.

Х 25

= 90

= 50

= 50

система предпочитает известные пути новым («стереотипизация поведения»), и это

не очень хорошо с точки зрения адаптивности наших реакций, гибкого реагирования на изменяющиеся условия.
На сознательном уровне желательно контролировать процесс выбора поведенческих программ и корректировать проявления стереотипизации.

система предпочитает известные пути новым («стереотипизация поведения»), и это

не очень хорошо с точки зрения адаптивности наших реакций, гибкого реагирования на изменяющиеся условия.
На сознательном уровне желательно контролировать процесс выбора поведенческих программ и корректировать проявления стереотипизации.

Повреждения ассоциативной лобной коры ведут к ухудшению качества выбора программ, а серьёзные повреждения – к прекращению выбора. В этом случае мозг «зависает» до получения команды извне либо до появления сильной внутренней потребности.

Лоботомия: перерезка волокон белого вещества, соединяющих ассоциативную лобную кору с остальным мозгом (Ноб. пр. 1949; Эгаш Мониш); через несколько лет появились нейролептики…

заднюю часть лобной доли (премоторная и моторная кора), а

уже оттуда запускаются конкретные двигательные реакции.

Однако есть еще одна проблема: многие поведенческие программы представляют собой длительные, многоэтапные акты. Соответственно, важно контролировать успешность не только программы в целом (получено либо нет положительное
подкрепление), но и успешность каждого ее этапа.

Данную функцию выполняет, в первую очередь, поясная извилина.

представляют собой длительные, многоэтапные акты. Соответственно, важно контролировать успешность

не только программы в целом (получено либо нет положительное подкрепление), но и успешность каждого ее этапа.

Данную функцию выполняет, в первую очередь, поясная извилина.

Поясная извилина проходит над мозолистым телом; обес-печивает сравнение реальных и ожидаемых результатов по-ведения (реальные результаты = информация от сенсорных систем; ожидаем. результаты = память о предыдущ. успешных реализациях программы).

Результаты сравнения переда-ются в ассоциативную лобную кору и используются для кор-рекции выполняемых поведен-ческих программ.

При совпадении реальных и ожидаемых результатов ассоц. лобная кора получает рекомен-дацию продолжать программу; параллельно сигнал поступает в центры положит. подкрепле-ния, и мы испытываем положит. эмоции («всё идет, как надо»).

При несовпадении реальных и ожидаемых результатов ассоц. лобная кора начинает коррек-цию программы; если несовпа-дение не устраняется – может произойти смена программы; параллельно сигнал поступает в центры отрицат. подкрепле-ния, и мы испытываем отрица-тельн. эмоции («фрустрация»).

кора получает рекомен-дацию продолжать программу; параллельно сигнал поступает в

центры положит. подкрепле-ния, и мы испытываем положит. эмоции («всё идет, как надо»).

Легкость и быстрота смены программы (ассоциативная лобная кора), а также смены доминанты (миндалина) – важнейшая индивидуальная характеристика нервной системы («подвижность»).

Выраженность эмоций, связанных с деятельностью поясной извилины, очень индивидуальна; у флегматиков их меньше всего.
В клинике рассечение поясной извилины используют для
ослабления проявлений ряда психопатологий и даже для
снижения влечения к нар-
котическим препаратам.

При несовпадении реальных и ожидаемых результатов ассоц. лобная кора начинает коррек-цию программы; если несовпа-дение не устраняется – может произойти смена программы; параллельно сигнал поступает в центры отрицат. подкрепле-ния, и мы испытываем отрица-тельн. эмоции («фрустрация»).

полушарий, пропуская сильные и новые сигналы, а также сигналы,

связанные с текущей деятельностью коры. Подразделяется на ядра, избирательно связанные с разными по функциям зонами коры.

Передние ядра (1) и вентраль-ные передние ядра (2) связаны с кругом Пейпеза, передачей сигналов от гиппокампа, при-лежащего ядра, миндалины.

Медиальные ядра (3) связаны с центрами сна и бодрство-вания, дорзальные (4) – с ассоц. теменной корой.

Вентральные латеральные ядра (5) – с двигательной ко-рой (задняя часть лобн. доли).

Вентральные задние ядра (6) – с пере-дачей кожной и мышечной чувствит-ти.

Латеральные коленчатые тела (7) и подушка (8) – с передачей зрительной чувствит-ти (затылочная доля).

Медиальные коленчатые тела (9) – с передачей слуховой чувствительности (височная доля).

ВИД СВЕРХУ

связаны с кругом Пейпеза, передачей сигналов от гиппокампа, при-

лежащего ядра, миндалины.

Медиальные ядра (3) связаны с центрами сна и бодрство-вания, дорзальные (4) – с ассоц. теменной корой.

Вентральные латеральные ядра (5) – с двигательной ко-рой (задняя часть лобн. доли).

ВИД СВЕРХУ

п/ш.
При слабом равномерном сигнале эта сеть затормо-жена (возвратное и

лате-ральное торможение). Но если по одному из каналов поступит сильный сигнал, то он не просто преодолеет «тормозную завесу», но и уменьшит активность в со-седних каналах («контрас-тирование» сигнала).

сигнал по среднему каналу 30 Гц, а коэффициент торможения

0.5. Тогда «половина» сигнала будет со знаком минус возвращена релейным клеткам и вычтется из их активности.

При слабом равномерном сигнале эта сеть затормо-жена (возвратное и лате-ральное торможение). Но если по одному из каналов поступит сильный сигнал, то он не просто преодолеет «тормозную завесу», но и уменьшит активность в со-седних каналах («контрас-тирование» сигнала).

При этом наиболее выра-женное действие окажет самый возбужденный канал
(торможение -15), который, хотя и снизит свою собст-венную активность, но зато полностью выключит сосед-ние каналы («контрастиро-вание»).

Сигналы, поступающие в такой форме, коре гораздо легче воспринимать и анализировать (улучшение отношения «сигнал / шум»).

Таким образом, всякий сигнал (прежде всего, сенсорный) должен доказать, что «достоин» обработки в коре – только тогда он сможет миновать таламус.

доказать, что «достоин» обработки в коре – только тогда

он сможет миновать таламус.

Таламус пропускает:

(1) сильные сигналы;

(2) новые сигналы (по «подсказке» четверохолмия);

(3) сигналы, связанные с текущей деятельностью коры.

+ (2): «непроизвольное внимание»; настройку органов чувств на стимулы помогает осуществить ориентировочный рефлекс (см. лекцию 10).

(3): «произвольное внимание»; в основе – команды, передаваемые корой на тормозные интернейроны таламуса (пример: настройка слухового восприятия на определенный частотный диапазон – тембр голоса).

доказать, что «достоин» обработки в коре – только тогда

он сможет миновать таламус.

В целом деятельность таламуса можно сравнить с воронкой, пропускающей в кору только небольшую часть информации, причем положение «отверстия» воронки способна регулировать сама кора.

(3): «произвольное внимание»; в основе – команды, передаваемые корой на тормозные интернейроны таламуса (пример: настройка слухового восприятия на определенный частотный диапазон – тембр голоса).

пропускающей в кору только небольшую часть информации, причем положение

«отверстия» воронки способна регулировать сама кора.

Студент слушает лекцию…

Как себя чувствует правая пятка?

не только напрямую, но и за счет торможения ГАМК-нейронов

ретикулярного ядра;
ядра шва (5-НТ) оказывают противоположное действие.

На такие ядра эффективно влияют центры сна и бодрствования, регулируя поток сигналов, идущих в кору;
особенно важную роль играет воздей-ствие на ГАМК-нейроны медиальных ядер таламуса и ретикулярного (наружного) ядра таламуса.

Кроме «релейных» ядер, содержащих таламо-кортикальные нейроны, в таламусе имеются ядра, реализующие внутриталамические влияния.