Storyboard

Bei der Entscheidungsfindung unter Unsicherheit handelt es sich um den Prozess der Auswahl einer Aktion, wenn das Ergebnis nicht vollständig vorhersehbar ist. Die Erwartungsnutzentheorie (Von Neumann-Morgenstern) liefert den normativen Rahmen: optimales Handeln maximiert den Erwartungsnutzen EU = P(o|a)·U(o). Allerdings weichen reale Organismen in aufschlussreicher Weise systematisch von diesem Optimum ab.

Das Driftdiffusionsmodell (DDM) ist das erfolgreichste mechanistische Modell des Entscheidungsprozesses: Beweise werden mit Drift (proportional zum SNR) und Rauschen akkumuliert, bis ein Schwellenwert erreicht wird. Der Schwellenwert steuert den Kompromiss zwischen Geschwindigkeit und Genauigkeit: höherer langsamer, aber genauer. Neuronen in LIP und Area MT zeigen eine ansteigende Aktivität, die mit diesem Modell übereinstimmt.

Die hyperbolische zeitliche Diskontierung V = R/(1+k·t) beschreibt, wie Organismen zukünftige Belohnungen entwerten: Im Gegensatz zur exponentiellen Diskontierung (V = R·e^(-k·t)) führt die Hyperbolik zu zeitlich inkonsistenten Präferenzen (Präferenzen kehren sich im Laufe der Zeit um). Dieses irrationale Verhalten wird bei Menschen, Ratten, Tauben und nichtmenschlichen Primaten beobachtet.

Das Belohnungsvorhersagefehlersignal (_t = r_t + ·V(s_{t+1}) V(s_t)) ist der Kern des zeitlichen Verstärkungslernens (TD-Lernen). Neurobiologisch reagieren dopaminerge Neuronen im Mittelhirn genau mit _t: Sie feuern, wenn eine unerwartete Belohnung eintrifft ( > 0), sie hemmen, wenn eine erwartete Belohnung nicht eintrifft ( < 0), und sie reagieren nicht auf vorhergesagte Belohnungen ( = 0).

Risikoaversion ( < 1 in der Nutzenfunktion) erklärt, warum Tiere sichere Optionen gegenüber gleichen Belohnungen bevorzugen: Der Grenznutzen nimmt mit der Größe ab. Im Verlustbereich sind Organismen jedoch Risikosuchende (konvexe Funktion), was durch die Prospect-Theorie von Kahneman und Tversky beschrieben wird. Diese Asymmetrie hat einen evolutionären Wert: Die Verlustaversion ist in Umgebungen mit variablen Ressourcen adaptiv.

>Modell

ID:('ky', 590)

Beschreibung

ID:(0, 590)