Demande Aide TIPE

Bonjour,

Nous sommes trois élèves de classe préparatoire, au lycée le CIV de Valbonne (Alpes-maritimes), en classe de MP. Nous projettons de construire un TIPE (Travaux d'initiative personnelle encadrés) à partir du sujet suivant : Les codes Correcteurs.

Nous nous interressons en ce moment à un théorème de Shannon. Celui-ci assure l'existence d'un code correcteur pour un canal bruité, tel que la probabilité d'erreur soit rendu aussi petite que souhaitée. Malheureusement, en raison de nos faibles connaissances, nous avons du mal à comprendre certains points de ce théorème.

Serait-il possible que vous nous aidiez ? Nous ne comprenons pas ce qu'est l'entropie d'une source.
Le lien vers l'article posant problème est le suivant :
http://www-citi.int-evry.fr/~uro/cours-web/deuxieme-shannon.htm

Nous vous remerçions de votre éventuelle aide.