NEUROLAB Recompensa e dopamina
O problema da recompensa distal · rede de neurônios de Izhikevich
O intervalo entre a ação e a dopamina chegar. É a distância que o traço de elegibilidade precisa cobrir sozinho.
Em zero, a elegibilidade se forma e decai normalmente, mas nunca vira peso: nada aprende.
Um nível de fundo constante, sem relação com nenhuma ação. Reforça qualquer elegibilidade que exista, indiscriminadamente.
Por quanto tempo uma sinapse “lembra” que acabou de participar de um disparo. O atraso da recompensa compete com este número.
A rede tem uma via-alvo (verde), cujo disparo aciona a recompensa, e uma via-controle (cinza), que recebe estímulo semelhante mas nunca decide a recompensa. As duas competem pela mesma dopamina, que é global: só a via que realmente participou do disparo recompensado deveria aprender mais.
Rede de neurônios de Izhikevich com plasticidade dependente do tempo de disparo modulada por dopamina, na linhagem de Izhikevich (2007). Simplificações declaradas: sem atraso axonal, rede de 60 neurônios em vez de mil, e uma tarefa de condicionamento clássico em vez da detecção do padrão espaço-temporal específico do artigo original. O atraso da recompensa não produz uma falha binária: o aprendizado degrada de forma gradual, seguindo a curva exponencial do próprio traço de elegibilidade.
Roteiro de prática
Como recompensar algo que já acabou
Duração estimada: 40 a 50 minutos · Pré-requisitos: potencial de ação e o conceito geral de plasticidade sináptica
Antes de começar
A plasticidade dependente do tempo de disparo (STDP) só enxerga milissegundos: se um neurônio dispara pouco antes de outro, a sinapse entre eles se fortalece; se dispara pouco depois, se enfraquece. Isso funciona bem para aprender relações imediatas. O problema é que recompensa, na vida real, quase nunca é imediata.
STDP enxerga milissegundos · a recompensa chega segundos depois
A solução deste modelo é uma marca intermediária: quando um par de neurônios dispara na ordem certa, a sinapse entre eles ganha uma elegibilidade, não uma mudança de peso ainda. Essa marca decai devagar, ao longo de segundos. Só quando a dopamina chega, mesmo atrasada, ela converte a elegibilidade acumulada em mudança de peso real.
O que costuma confundir: achar que a dopamina “sabe” qual sinapse recompensar. Ela não sabe. A dopamina é global, chega em toda sinapse elegível ao mesmo tempo. Quem carrega a informação de qual sinapse participou da ação é a elegibilidade, não a dopamina. Este roteiro existe para você ver essa divisão de trabalho com os próprios olhos.
1 Sem dopamina, o traço de elegibilidade não serve para nada
Hipótese a testar
Se as sinapses certas disparam na ordem certa repetidas vezes, elas devem se fortalecer sozinhas, mesmo sem nenhum sinal de recompensa.
Procedimento
- Rode o cenário Normal e anote a taxa de resposta final e os pesos das duas vias.
- Rode o cenário Sem dopamina e anote os mesmos três valores.
- Compare os pesos finais das duas vias em cada cenário com o peso inicial (perto de 5,0, visível nas primeiras tentativas se você passar o cursor sobre o início da curva).
Tabela de registro
| Cenário | Taxa de resposta final | Peso via-alvo | Peso via-controle | Os pesos mudaram do inicial? |
|---|---|---|---|---|
| Normal | ||||
| Sem dopamina |
Para responder
- Sem dopamina, os pesos mudaram? A hipótese do início sobreviveu?
- O traço de elegibilidade ainda se formava a cada disparo nesse cenário, só não virava peso. Onde, na equação do modelo, está escrito que o traço precisa da dopamina para virar mudança real?
- Biologicamente, isso corresponde a quê? Pense num neurônio que participou de uma ação que não teve consequência nenhuma.
- Se STDP puro (sem dopamina) já bastasse para aprender qualquer coisa, qual seria o problema disso para um organismo que precisa aprender especificamente o que dá certo e não generalizar para tudo que aconteceu por perto?
2 Dopamina o tempo todo não ensina nada específico
Pergunta central
Se dopamina é o que causa aprendizado, mais dopamina deveria significar mais aprendizado. Mais é sempre melhor?
Procedimento
- Rode Normal de novo e anote a diferença entre o peso da via-alvo e o da via-controle (via-alvo menos via-controle).
- Rode Dopamina tônica, que mantém um nível de fundo constante de dopamina, além dos pulsos normais de recompensa. Anote a mesma diferença.
Tabela de registro
| Cenário | Peso via-alvo | Peso via-controle | Diferença (alvo − controle) |
|---|---|---|---|
| Normal | |||
| Dopamina tônica |
Para responder
- A diferença entre as duas vias ficou maior ou menor com a dopamina tônica? A hipótese do início sobreviveu?
- A via-controle não tinha relação nenhuma com a recompensa. Por que ela ainda ganhou peso quando a dopamina ficou sempre presente?
- Complete: a dopamina decide quando reforçar, mas quem decide o quê reforçar é ….
- Pacientes em uso de certos medicamentos dopaminérgicos, ou em quadros de sensibilização por drogas de abuso, às vezes desenvolvem comportamentos compulsivos generalizados, não ligados a uma recompensa específica. Com o que você observou aqui, proponha um mecanismo em nível sináptico para isso.
3 Até onde uma recompensa pode estar distante e ainda funcionar
Hipótese a testar
Com o mecanismo de elegibilidade, o aprendizado funciona igualmente bem não importa o quão atrasada a recompensa chegue, desde que ela chegue.
Procedimento
- No cenário Normal, anote a diferença de peso (via-alvo menos via-controle).
- Rode Atraso no limite, em que o atraso da recompensa é igual à constante de tempo do traço, e anote a mesma diferença.
- Rode Recompensa bem distal, com atraso bem maior que a constante de tempo, e anote de novo.
- Agora, no cenário Normal, aumente a constante de tempo do traço de 1000 para 3000 ms, mantendo o atraso em 500 ms, e observe se a diferença de peso muda.
Tabela de registro
| Situação | Atraso | Constante de tempo | Diferença de peso |
|---|---|---|---|
| Normal | 500 ms | 1000 ms | |
| Atraso no limite | 1000 ms | 1000 ms | |
| Recompensa bem distal | 4000 ms | 1000 ms | |
| Normal com traço maior | 500 ms | 3000 ms |
Para responder
- A diferença de peso caiu conforme o atraso cresceu? A hipótese do início sobreviveu?
- O simulador não mostra uma falha repentina num certo atraso: a diferença encolhe aos poucos. Explique essa forma usando a palavra “exponencial” e o que você sabe do traço de elegibilidade.
- Aumentar a constante de tempo do traço, mantendo o mesmo atraso, teve efeito parecido com diminuir o atraso? Por que os dois números competem um com o outro, e não cada um sozinho?
- Um animal que precisa aprender a associar uma ação a uma consequência que demora minutos, não segundos, para aparecer, precisaria de quê no cérebro dele, segundo este modelo?
- Isso tem relação com o motivo pelo qual é tão mais fácil treinar um cão com um petisco imediato do que com uma recompensa dada horas depois?
Síntese
Escreva, sem consultar o roteiro, a resposta a esta pergunta: “por que a plasticidade sináptica comum não resolve o problema do reforço, e o que precisa ser acrescentado a ela para resolver?” O texto precisa conter, nesta ordem:
- Por que o STDP sozinho é míope demais para ligar ação e recompensa distantes no tempo.
- O que o traço de elegibilidade faz que o STDP sozinho não faz.
- Por que a dopamina, sendo global, não pode ser a única fonte de especificidade.
- O limite: o que acontece quando o atraso ultrapassa muito a constante de tempo do traço.
Para ir além
Este simulador usa uma tarefa simplificada, de uma via que aciona a recompensa. O artigo original de Izhikevich resolve um problema mais difícil: reconhecer um padrão específico de disparos entre muitos neurônios, distribuído no tempo por causa de atrasos de condução axonal diferentes entre as sinapses, os chamados grupos policrônicos. Procure o que são grupos policrônicos e por que o atraso de condução, que este simulador removeu de propósito, é justamente o ingrediente que permite a uma rede reconhecer padrões temporais complexos, e não só decidir se uma via ultrapassou um limiar.
Modelo. Izhikevich EM. Solving the distal reward problem through linkage of STDP and dopamine signaling. Cereb Cortex. 2007;17(10):2443-2452. A equação de neurônio é a de Izhikevich (IEEE Trans Neural Netw. 2003;14(6):1569-1572), com os parâmetros de disparo regular (a=0,02, b=0,2, c=-65, d=8). Simplificações declaradas em relação ao artigo original: sem atraso axonal, rede de 60 neurônios em vez de mil, e uma tarefa de condicionamento clássico com duas vias paralelas (uma que decide a recompensa, outra que não) em vez da detecção de um grupo policrônico específico. O atraso da recompensa não produz uma falha binária no aprendizado: a magnitude do reforço degrada de forma gradual, seguindo a curva exponencial do próprio traço de elegibilidade.