4.1.1 Calcul de l'entropie

Voici un exemple de calcul d'entropie: supposons que $x$ représente le résultat d'un lancé de pièce de monnaie. La distribution est définie par $p(\mathtt{pile})=p(\mathtt{face})=\frac{1}{2}$, donc que la probabilité que $x$ représente l'un ou l'autre des deux éléments de la distribution est égale. Puisque la seule information que l'on peut avoir de la valeur de $x$ est $x$ lui-même et que chaque élément de la distribution a une même probabilité de se produire, l'entropie sera la longueur, en bits³, de la chaîne⁴ la plus courte permettant de décrire $x$. L'entropie est de un bit parce qu'on peut coder $\mathtt{pile}$ par 0 et $\mathtt{face}$ par 1. L'entropie d'une chaîne de $n$ lancés de cette même pièce de monnaie aura une entropie de $n$ bits parce qu'il faudra au minimum $n$ bits pour la représenter parfaitement, un bit pour le résultat de chaque lancé.

Supposons maintenant qu'on lance un dé à 4 faces au lieu d'une pièce de monnaie. Il y a maintenant 4 résultats possibles, chacun ayant une probabilité de se produire de $\frac{1}{4}$. On pourra coder les résultats comme ceci:

1	00
2	01
3	10
4	11

On remarque qu'afin de pouvoir représenter chaque résultat, il nous faut une chaîne de 2 bits. L'entropie de cette distribution est donc de 2 bits. La longueur de la chaîne binaire nécessaire pour encoder tous les résultats, et donc de l'entropie en terme de bits, est donnée par l'équation

$$H(\mathbf{X})=-\log _{2}p$$

où $p$ représente la probabilité individuelle de chaque résultat de se produire.

À probalités inégales, il faudra faire la moyenne des probabilités pour trouver l'entropie. Une distribution de probabilités $\frac{1}{2},\frac{1}{4},\frac{1}{4}$ aura une probabilité moyenne de $\frac{1}{3}$. En utilisant la formule ci-dessus, on trouve une entropie d'environ 1.58 bits. Puisqu'une chaîne a toujours une longueur entière, une partie de bit sera redondante.

Un événement de probabilité $2^{-n}$ peut être codé sur une chaîne de longueur $n$. Par exemple, un événement de probabilité $\frac{1}{8}$, laquelle peut aussi s'exprimer $2^{-3}$, nécessite une chaîne de longueur 3 pour être représenté. Plus généralement, un événement de probabilité $p$ peut se coder sur une chaîne de longueur $-\log _{2}p$, arrondi à l'entier supérieur. Lorsqu'on exprime l'équation ci-dessus selon les probabilités individuelles de chacun des résultats possibles, on obtient

$$H(\mathbf{X})=-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}$$

où $p_{i}$ correspond à la probabilité du $i$-ième élément de la distribution $\mathbf{X}$, laquelle comporte $n$ éléments.