Storyboard

A tomada de decisão sob incerteza é o processo de seleção de uma ação quando o resultado não é completamente previsível. A teoria da utilidade esperada (Von Neumann-Morgenstern) fornece a estrutura normativa: a ação ótima maximiza a utilidade esperada EU = P(o|a)·U(o). Contudo, os organismos reais desviam-se sistematicamente deste óptimo de maneiras reveladoras.

O modelo de difusão de deriva (DDM) é o modelo mecanicista de maior sucesso do processo de decisão: a evidência é acumulada com deriva (proporcional ao SNR) e ruído até que um limiar seja atingido. O limite controla a compensação entre velocidade e precisão: mais alto mais lento, mas mais preciso. Neurônios em LIP e área MT mostram atividade crescente consistente com este modelo.

O desconto temporal hiperbólico V = R/(1+k·t) descreve como os organismos desvalorizam as recompensas futuras: ao contrário do desconto exponencial (V = R·e^(-k·t)), o desconto hiperbólico produz preferências temporalmente inconsistentes (as preferências invertem-se à medida que o tempo passa). Este comportamento irracional é observado em humanos, ratos, pombos e primatas não humanos.

O sinal de erro de previsão de recompensa (_t = r_t + ·V(s_{t+1}) - V(s_t)) é o núcleo da aprendizagem por reforço temporal (TD-learning). Neurobiologicamente, os neurônios dopaminérgicos do mesencéfalo respondem exatamente com _t: eles disparam quando uma recompensa inesperada chega ( > 0), eles inibem quando uma recompensa esperada não chega ( < 0) e não respondem às recompensas previstas ( = 0).

A aversão ao risco ( <1 na função de utilidade) explica porque os animais preferem opções seguras a recompensas iguais: a utilidade marginal diminui com a magnitude. Porém, no domínio das perdas, os organismos são caçadores de risco (função convexa), o que é descrito pela teoria prospectiva de Kahneman e Tversky. Esta assimetria tem valor evolutivo: a aversão à perda é adaptativa em ambientes com recursos variáveis.

>Modelo

ID:('ky', 590)

Descrição

ID:(0, 590)