Funzione softmax
In matematica, una funzione softmax, o funzione esponenziale normalizzata, una generalizzazione di una funzione logistica che comprime un vettore
k
{\displaystyle k}
-dimensionale
z
{\displaystyle \mathbf {z} }
di valori reali arbitrari in un vettore
k
{\displaystyle k}
-dimensionale
(
z
)
{\displaystyle \sigma (\mathbf {z} )}
di valori compresi in un intervallo
(
0
,
1
)
{\displaystyle (0,1)}
la cui somma
1
{\displaystyle 1}
. La funzione data da:
:
R
K
{
z
R
K
|
z
i
>
0
,
i
=
1
K
z
i
=
1
}
{\displaystyle \sigma :\mathbb {R} ^{K}\to \left\{z\in \mathbb {R} ^{K}|z_{i}>0,\sum _{i=1}^{K}z_{i}=1\right\}}
(
z
)
j
=
e
z
j
k
=
1
K
e
z
k
{\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}}
per
j
=
1
,
,
K
.
{\displaystyle j=1,\ldots ,K.}
La funzione softmax anche il gradiente della funzione LogSumExp. La funzione softmax usata in vari metodi di classificazione multi-classe, come la regressione logistica multinomiale, analisi discriminante lineare multiclasse, classificatori bayesiani e reti neurali artificiali.
