Théorie de l’information
Code APOGÉE : MA6AY030 | 6 ECTS | Enseignant : Pascal Molin
Horaires hebdomadaires : 2h CM, 3h TD | Validation : CC + examen
Mutualisé avec : M1 Mathématiques et Informatique, M1 MIC
Le cours s’articule autour de trois résultats fondateurs de Claude Shannon. Ce sont trois théorèmes mathématiques portant sur des problèmes de numérisation optimale et de transmission de l’information.
Présentation générale
Le premier théorème s’intéresse à la compression des données : si on veut numériser un document, il est intuitivement clair qu’on va gagner en espace de stockage en codant de façon plus courte les caractères les plus fréquents et de façon plus longue les moins fréquents. Cette fréquence des caractères nous fera introduire le langage des probabilités et d’entropie de Shannon.
Le deuxième théorème s’intéresse à la transmission (ou stockage) sans pertes des données. On démontre qu’en introduisant un peu de redondance dans un document numérisé, on peut le retrouver malgré la perte aléatoire d’une partie de l’information. C’est encore ici le langage des probabilités qui est utilisé. En plus de l’entropie, apparaît ici la notion de capacité d’un canal de transmission.
Le troisième est le théorème d’échantillonnage. Une information peut être une fonction d’une variable réelle. Le théorème d’échantillonnage nous explique comment, en prenant la valeur de cette fonction en un nombre fini de points, on peut reconstruire l’information. On tient compte pour cela des fréquences de notre fonction. L’analyse faite ici est basée sur la théorie des séries de Fourier.
Programme
- Notions de probabilités discrètes et continues
- Entropie, information mutuelle
- Premiers théorèmes de Shannon
- Séries de Fourier
- Le théorème d’échantillonnage
Bibliographie
- Cover, T. & Thomas, J. (2006). Elements of Information Theory, 2e édition. Hoboken : Wiley & Sons.
- Dym, H. & McKean, H. P. (1972). Fourier series and integrals. New York : Academic Press.
- Shannon, C. (2018). La théorie mathématique de la communication. Collection Le sel et le fer, Paris : Cassini. Traduction de « A mathematical theory of communication », The Bell System Technical Journal, vol. 27, p. 379–423, 623–656, 1948.
- Shannon, C. (1949). Communication in the presence of noise. Proc. of the IRE, vol. 37, p. 10–21. Réimprimé dans Proc. of the IEEE, vol. 86, p. 447-458, 1998.