Usuario:

Exploración activa del entorno

Storyboard

La exploración activa es la selección deliberada de acciones sensoriales para maximizar la información obtenida del entorno. A diferencia de la percepción pasiva, el organismo controla qué señales recibe: movimientos de la cabeza (sniffing, sacadas oculares, escudriño auditivo), emisión de señales activas (ecolocalización, electrolocación) o desplazamientos espaciales.

La ganancia de información IG(a) = H(S) - E[H(S|o_a)] mide cuánto reduce la acción a la incertidumbre sobre el estado S. La estrategia de exploración óptima elige la acción que maximiza IG: esto es el principio de 'curiosidad epistémica' o búsqueda de información, que da cuenta de comportamientos exploratorios observados en mamíferos e insectos.

El dilema exploración-explotación es central en el comportamiento adaptativo: ¿usar el conocimiento actual para maximizar la recompensa (explotación) o explorar opciones desconocidas que podrían ser mejores (exploración)? El algoritmo UCB resuelve esto de forma teóricamente óptima: añade un bono de exploración (ln(t)/n(a)) que decrece conforme se visita más una acción, equilibrando ambas estrategias.

El sniffing activo aumenta dramáticamente la velocidad de detección de odorantes: el modelo exponencial C_recep(t) = C_amb·(1-e^(-v·A·t/V)) muestra que mayor flujo v_sniff llena más rápido la cavidad nasal con la concentración ambiente. Los roedores hacen sniffing a 412 Hz, sincronizando la actividad olfativa con el ritmo respiratorio para optimizar la adquisición de información.

La electrolocación activa (peces eléctricos débiles) perturba el campo eléctrico propio cuando un objeto con conductividad diferente al agua entra en él: E (_obj - _agua)·V_obj/r³. La magnitud y distribución de E en la piel del pez permite estimar tamaño, forma, distancia y conductividad del objeto. Los peces gymnotiformes generan movimientos exploratorios estereotipados para maximizar la información de electrolocación.

>Modelo

ID:('ky', 589)


Ganancia información

Storyboard



$IG(a)=H(S)-E[H(S\mid o_a)]$

$E[H(Smid o_a)]$
Entropía condicional esperada
$bit$
$H(S)$
Entropía inicial
$bit$
$IG(a)$
Ganancia de información
$bit$



>Modelo

ID:('gm', 5310)


Acción óptima IG

Storyboard



$a^*=\arg\max_a IG(a)$

$a^*$
Acción exploratoria óptima
$1$
$IG(a)$
Ganancia de información
$bit$



>Modelo

ID:('gm', 5311)


UCB

Storyboard



$UCB = Q(a)+c\sqrt{\ln(t)/n(a)}$

$c$
Peso de exploración
$1$
$Q(a)$
Valor esperado de acción
$1$
$mathrm{UCB}$
Valor upper confidence bound
$1$
$n(a)$
Visitas de acción
$1$
$t$
Tiempo
$s$



>Modelo

ID:('gm', 5312)


Sniffing

Storyboard



$C_{\rm recep}=C_{\rm amb}[1-e^{-v_{\rm sniff}A_{\rm recep}t/V_{\rm nasal}}]$

$v_{ m sniff}$
Velocidad de flujo nasal
$m/s$
$A_{ m recep}$
Área receptora
$m²$
$V_{ m nasal}$
Volumen nasal
$m³$
$C_{ m amb}$
Concentración ambiente
$mol/m³$
$C_{ m recep}$
Concentración en receptor
$mol/m³$
$t$
Tiempo
$s$



>Modelo

ID:('gm', 5313)


Sacada saliente

Storyboard



$P({\rm sac}\to loc_i)= S_i[1-e^{-d/\sigma_{\rm att}}]$

$P({ m sac} o loc_i)$
Probabilidad de sacada
$1$
$S_i$
Saliencia local
$1$
$d(loc_i,mathrm{fovea})$
Distancia a fóvea
$m$
$sigma_{ m att}$
Escala atencional
$m$



>Modelo

ID:('gm', 5314)


Electrolocación

Storyboard



$\Delta E=\frac{(\sigma_{\rm obj}-\sigma_{\rm agua})V_{\rm obj}E_0}{4\pi r^3}$

$E_0$
Campo eléctrico propio
$V/m$
$Delta E$
Perturbación de campo eléctrico
$V/m$
$r$
Distancia al objeto
$m$
$V_{ m obj}$
Volumen del objeto
$m³$
$sigma_{ m agua}$
Conductividad del agua
$s/m$
$sigma_{ m obj}$
Conductividad del objeto
$s/m$



>Modelo

ID:('gm', 5315)


Fisher acumulada

Storyboard



$\Delta I_{\rm Fisher}=\sum_t[\partial_\theta\log P(z_t\mid\theta)]^2$

$Delta I_{ m Fisher}$
Información de Fisher acumulada
$1$
$partial_ hetalog P(z_tmid heta$
Sensibilidad log-verosimilitud
$1$
$t$
Tiempo
$s$



>Modelo

ID:('gm', 5316)


Epsilon-greedy

Storyboard



$P(a_{\rm explore})=\varepsilon,;P(a_{\rm best})=1-\varepsilon$

$varepsilon$
Probabilidad de exploración
$1$



>Modelo

ID:('gm', 5317)


Estructura del modelo

Descripción

Red de modelo


Primero, seleccione la ecuación:   a ,  luego, seleccione la variable:   a 

Símbolo
Ecuación
Resuelto
Traducido

Cálculos

Símbolo
Ecuación
Resuelto
Traducido

 Variable   Dado   Calcule   Objetivo :   Ecuación   A utilizar



Variables

Símbolo
Texto
Variable
Valor
Unidades
Calcule
Valor MKS
Unidades MKS
$a^*$
a_star
Acción exploratoria óptima
1
$E[H(Smid o_a)]$
EH_S_oa
Entropía condicional esperada
bit
$H(S)$
H_S
Entropía inicial
bit
$IG(a)$
IG
Ganancia de información
bit
$Delta I_{ m Fisher}$
DeltaI_Fisher
Información de Fisher acumulada
1
$c$
c
Peso de exploración
1
$varepsilon$
epsilon
Probabilidad de exploración
1
$P({ m sac} o loc_i)$
P_sac
Probabilidad de sacada
1
$S_i$
S_i
Saliencia local
1
$partial_ hetalog P(z_tmid heta$
dlogP_dtheta
Sensibilidad log-verosimilitud
1
$Q(a)$
Q_a
Valor esperado de acción
1
$mathrm{UCB}$
UCB
Valor upper confidence bound
1
$n(a)$
n_a
Visitas de acción
1
$v_{ m sniff}$
v_sniff
Velocidad de flujo nasal
m/s
$E_0$
E0
Campo eléctrico propio
V/m
$Delta E$
DeltaE
Perturbación de campo eléctrico
V/m
$d(loc_i,mathrm{fovea})$
d_loc
Distancia a fóvea
m
$r$
r
Distancia al objeto
m
$sigma_{ m att}$
sigma_att
Escala atencional
m
$A_{ m recep}$
A_recep
Área receptora
$V_{ m obj}$
V_obj
Volumen del objeto
$V_{ m nasal}$
V_nasal
Volumen nasal
$C_{ m amb}$
C_amb
Concentración ambiente
mol/m³
$C_{ m recep}$
C_recep
Concentración en receptor
mol/m³
$t$
t
Tiempo
s
$sigma_{ m agua}$
sigma_agua
Conductividad del agua
s/m
$sigma_{ m obj}$
sigma_obj
Conductividad del objeto
s/m

ID:(0, 589)


gphysics.net - Dr. Willy H. Gerber
Palos Verdes, Costa de Corral, Región de los Rios, Chile