Informazione mutua puntuale

L'informazione mutua puntuale (IMP) (pointwise mutual information, PMI) (o informazione mutua specifica) è una misura di associazione usata nella teoria dell'informazione e nella statistica.

L'IMP di un paio di esiti x e y appartenenti a variabili casuali discrete quantifica la discrepanza tra la probabilità della loro coincidenza data la loro distribuzione congiunta, rispetto alla probabilità della loro coincidenza date soltanto le loro distribuzioni individuali e assumendo l'indipendenza delle variabili. Matematicamente,

${\displaystyle SI(x,y)=\log {\frac {p(x,y)}{p(x)p(y)}}.}$

L'informazione mutua di X e Y è il valore atteso dell'informazione mutua specifica di tutti i possibili esiti.

La misura è simmetrica (${\displaystyle SI(x,y)=SI(y,x)}$). È zero se X e Y sono indipendenti, ed uguale a -log(p(x)) se X e Y sono perfettamente associate. Infine, ${\displaystyle SI(x,y)}$ aumenterà se p(x|y) è fissa, ma p(x) diminuisce. Può assumere valori sia negativi che positivi.

Ecco un esempio per illustrare:

Usando questa tabella possiamo marginalizzare per ottenere la seguente tabella di addizioni

Con questo esempio, possiamo calcolare quattro valori per SI(x,y). (Assumendo log in base 2)

(Per riferimento la mutua informazione MI(X,Y) sarebbe allora 0,214170945)

Analogamente all'IMP, si può anche definire la divergenza di Kullback-Leibler puntuale, ${\displaystyle PD_{KL}}$:

${\displaystyle PD_{KL}[X\|Y;x,y]=\log {\frac {p(X=x)}{p(Y=y)}}.}$

• (EN) Demo sul Rensselaer MSR Server (valori della IMP normalizzati per essere tra 0 e 1)