Podmíněná entropie

Podmíněná entropie (anglicky conditional entropy) v teorii informace kvantifikuje množství informace potřebné pro popsání výsledku náhodného pokusu ${\displaystyle Y}$, pokud je známá hodnota jiné náhodné proměnné ${\displaystyle X}$. Měří se stejně jako informační entropie v bitech (kterým se v této souvislosti také říká „shannons“), někdy v „přirozených jednotkách“ (natech) nebo v desítkových číslicích (nazývaný „dits“, „bans“ nebo „hartleys“). Jednotka měření závisí na základu logaritmu použitého pro výpočet entropie.

Entropii ${\displaystyle Y}$ podmíněnou ${\displaystyle X}$ zapisujeme ${\displaystyle \mathrm {H} (Y|X)}$, kde ${\displaystyle \mathrm {H} }$ je velké řecké písmeno Éta.

Podmíněná entropie ${\displaystyle Y}$, je-li dáno ${\displaystyle X}$, je definována jako

kde ${\displaystyle {\mathcal {X}}}$ a ${\displaystyle {\mathcal {Y}}}$ označuje nosič náhodných proměnných ${\displaystyle X}$ a ${\displaystyle Y}$.

Poznámka: při výpočtech se neurčité výrazy ${\displaystyle 0\log 0}$ a ${\displaystyle 0\log c/0}$ pro pevné ${\displaystyle c>0}$ považují za rovné nule, protože ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \,c/\theta =0}$ a ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \theta =0}$.^[1]

Intuitivní vysvětlení definice: Podle definice platí, že ${\displaystyle \displaystyle H(Y|X)=\mathbb {E} (\ f(X,Y)\ )}$ kde ${\displaystyle \displaystyle f:(x,y)\ \rightarrow -\log(\ p(y|x)\ ).}$ ${\displaystyle \displaystyle f}$ přiřazuje dvojici ${\displaystyle \displaystyle (x,y)}$ informační obsah ${\displaystyle \displaystyle (Y=y)}$, je-li dáno ${\displaystyle \displaystyle (X=x)}$, což je množství informace potřebné pro popsání události ${\displaystyle \displaystyle (Y=y)}$, je-li dáno ${\displaystyle (X=x)}$. Podle zákona velkýich čísel, ${\displaystyle \displaystyle H(Y|X)}$ je aritmetický průměr velkého počtu nezávislých realizací ${\displaystyle \displaystyle f(X,Y)}$.

Nechť ${\displaystyle \mathrm {H} (Y|X=x)}$ je entropie diskrétní náhodné proměnné ${\displaystyle Y}$ podmíněná tím, že diskrétní náhodná proměnná ${\displaystyle X}$ nabývá hodnotu ${\displaystyle x}$. Označme nosiče funkcí ${\displaystyle X}$ a ${\displaystyle Y}$ ${\displaystyle {\mathcal {X}}}$ a ${\displaystyle {\mathcal {Y}}}$. Nechť ${\displaystyle Y}$ má pravděpodobnostní funkci ${\displaystyle p_{Y}{(y)}}$. Nepodmíněná entropie ${\displaystyle Y}$ se spočítá jako ${\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}$, tj.

${\displaystyle \mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},}$

kde ${\displaystyle \operatorname {I} (y_{i})}$ je informační obsah toho, že výsledek ${\displaystyle Y}$ má hodnotu ${\displaystyle y_{i}}$. Entropie ${\displaystyle Y}$ podmíněná tím, že ${\displaystyle X}$ nabývá hodnotu ${\displaystyle x}$, je definována podobně podmíněné očekávání:

${\displaystyle \mathrm {H} (Y|X=x)=-\sum _{y\in {\mathcal {Y}}}{\Pr(Y=y|X=x)\log _{2}{\Pr(Y=y|X=x)}}.}$

Pamatujte, že ${\displaystyle \mathrm {H} (Y|X)}$ je výsledek průměrování ${\displaystyle \mathrm {H} (Y|X=x)}$ přes všechny možné hodnoty ${\displaystyle x}$, kterých může nabývat ${\displaystyle X}$. Také pokud se výše uvedený součet bere přes vzorek ${\displaystyle y_{1},\dots ,y_{n}}$, očekávaná hodnota ${\displaystyle E_{X}[\mathrm {H} (y_{1},\dots ,y_{n}\mid X=x)]}$ je známa v nějakém oboru jako ekvivokace (anglicky equivocation).^[2]

Jsou-li dány diskrétní náhodné proměnné ${\displaystyle X}$ s obrazem ${\displaystyle {\mathcal {X}}}$ a ${\displaystyle Y}$ s obrazem ${\displaystyle {\mathcal {Y}}}$, podmíněná entropie ${\displaystyle Y}$, je-li dáno ${\displaystyle X}$ se definuje jako vážený součet ${\displaystyle \mathrm {H} (Y|X=x)}$ pro každou možnou hodnotu ${\displaystyle x}$, s použitím ${\displaystyle p(x)}$ jako váhy:^[3]:s.15

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}$

${\displaystyle \mathrm {H} (Y|X)=0}$ právě tehdy, když hodnota ${\displaystyle Y}$ je úplně určena hodnotou ${\displaystyle X}$.

Naopak ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ právě tehdy, když ${\displaystyle Y}$ a ${\displaystyle X}$ jsou nezávislé náhodné proměnné.

Předpokládejme, že kombinovaný systém určený dvěma náhodnými proměnnými ${\displaystyle X}$ a ${\displaystyle Y}$ má sdruženou entropii ${\displaystyle \mathrm {H} (X,Y)}$, tj. potřebujeme průměrně ${\displaystyle \mathrm {H} (X,Y)}$ bitů informace pro popsání jeho přesného stavu. Pokud nejdříve zjistíme hodnotu ${\displaystyle X}$, získali jsme ${\displaystyle \mathrm {H} (X)}$ bitů informace. Pokud je ${\displaystyle X}$ známé, potřebujeme pouze ${\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}$ bitů pro popsání stavu celého systému. Tato hodnota se přesně rovná ${\displaystyle \mathrm {H} (Y|X)}$, kterou dává řetízkové pravidlo podmíněné entropie:

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$^[3]:s.17

řetízkové pravidlo vyplývá z výše uvedené definice podmíněné entropie:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}$

Řetízkové pravidlo platí obecně pro více náhodné proměnné:

${\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}$^[3]:s.22

Tento vztah se podobá řetízkovému pravidlu z teorie pravděpodobnosti, ale místo násobení využívá sčítání.

Bayesovo pravidlo pro podmíněnou entropii říká

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

Důkaz: ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$ a ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$. Symetrie má za následek ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}$. Odečtením obou rovnic dostaneme Bayesovo pravidlo.

Pokud ${\displaystyle Y}$ je podmíněně nezávislé na ${\displaystyle Z}$, je-li dáno ${\displaystyle X}$ máme:

${\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}$

Pro jakékoli ${\displaystyle X}$ a ${\displaystyle Y}$:

$${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$$

kde ${\displaystyle \operatorname {I} (X;Y)}$ je vzájemná informace mezi ${\displaystyle X}$ a ${\displaystyle Y}$.

Pro nezávislé ${\displaystyle X}$ a ${\displaystyle Y}$:

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ a ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}$

Přestože určitá podmíněná entropie ${\displaystyle \mathrm {H} (X|Y=y)}$ může být menší i větší než ${\displaystyle \mathrm {H} (X)}$ pro dané náhodné variace ${\displaystyle y}$ ${\displaystyle Y}$, ${\displaystyle \mathrm {H} (X|Y)}$ nemůže nikdy přesáhnout ${\displaystyle \mathrm {H} (X)}$.

Výše uvedená definice platí pro diskrétní náhodné proměnné. Spojitá verze diskrétní podmíněné entropie se nazývá podmíněná diferenciální (nebo spojitá) entropie. Nechť ${\displaystyle X}$ a ${\displaystyle Y}$ jsou spojité náhodné proměnné se sdruženou hustotou pravděpodobnosti ${\displaystyle f(x,y)}$. Diferenciální podmíněná entropie ${\displaystyle h(X|Y)}$ se definuje takto^[3]:s.249

Oproti podmíněné entropii pro diskrétní náhodné proměnné může být podmíněná diferenciální entropie záporná.

Stejně jako v diskrétním případě platí řetízkové pravidlo pro diferenciální entropii:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$^[3]:s.253

Toto pravidlo však neplatí, pokud se příslušné diferenciální entropie neexistují nebo jsou nekonečné.

Sdružené diferenciální entropie se také používají v definici vzájemné informace mezi spojitými náhodnými proměnnými:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$, přičemž rovnost nastává právě tehdy, když ${\displaystyle X}$ a ${\displaystyle Y}$ jsou nezávislé.^[3]:s.253

Podmíněné diferenciální entropie dává spodní mez očekávané druhé mocniny chyby odhadu. Pro jakoukoli náhodnou proměnnou ${\displaystyle X}$, pozorování ${\displaystyle Y}$ a odhad ${\displaystyle {\widehat {X}}}$ platí:^[3]:s.255

$${\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}$$

Což se podobá principu neurčitosti z kvantové mechaniky.

V kvantové teorii informace se podmíněná entropie zobecňuje na podmíněnou kvantovou entropii, která na rozdíl od svého klasického protějšku může nabývat záporných hodnot.

V tomto článku byl použit překlad textu z článku Conditional entropy na anglické Wikipedii.

• Informační entropie
• Vzájemná informace
• Podmíněná kvantová entropie
• Věrohodnostní funkce