Entropi (bilgi teorisi)
![](http://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Entropy_flip_2_coins.jpg/220px-Entropy_flip_2_coins.jpg)
Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır.
Tanım
Ayrık bir rassal değişken X'in entropisi
olarak tanımlanır.
Burada bir x için Pr[X=x]=0 ise,
varsayılır. Bu varsayım
limiti ile tutarlıdır.
Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır.
Ayrık bir rassal değişken X'in entropisi
olarak tanımlanır.
Burada bir x için Pr[X=x]=0 ise,
varsayılır. Bu varsayım
limiti ile tutarlıdır.