Exposé donné dans le cadre du cycle "un texte un mathématicien" au lycée franco-allemand de Buc.
Gabriel Peyré
www.numerical-tours.com
autour de l’article
"A Mathematical Theory of Communication"
The Bell System Technical Journal,
Vol. 27, pp. 379–423, 623–656, July, October, 1948.
Claude Shannon et
l'avènement de l'ère
numérique
Plan
• Données et information à l’ère numérique
• Claude Shannon
• De l’analogique au numérique
• Codage et décodage
• Borne de l’entropie
Données et information
www.deezer.com
musique
Données et information
www.google.com/imghp
images
www.deezer.com
musique
Données et information
www.google.com/imghp
images
www.deezer.com
musique
www.youtube.com
videos
Données et information
3D, jeux videos
www.google.com/imghp
images
www.deezer.com
musique
www.youtube.com
videos
Données et information
3D, jeux videos r´
eseaux sociaux
www.google.com/imghp
images
www.deezer.com
musique
www.youtube.com
videos
Données et information
3D, jeux videos r´
eseaux sociaux
scanner, imagerie
www.google.com/imghp
images
www.deezer.com
musique
www.youtube.com
videos
Données et information
3D, jeux videos r´
eseaux sociaux
scanner, imagerie
www.google.com/imghp
images
www.deezer.com
musique
www.youtube.com
videos
3 probl`
emes : acqu´
erir / stocker / transmettre ces donn´
ees.
Acquisition, codage et transmission d’information
acquisition
Acquisition, codage et transmission d’information
acquisition
num´
erisation
Acquisition, codage et transmission d’information
acquisition
010010010100111
010101101010010
101001010101001
010010010101010
10010…
codage
num´
erisation
Acquisition, codage et transmission d’information
acquisition
010010010100111
010101101010010
101001010101001
010010010101010
10010…
codage
010010010100011
010111101010010
101001010101001
010010110101010
00010…
transmission
erreurs
attaques
num´
erisation
Acquisition, codage et transmission d’information
acquisition
010010010100111
010101101010010
101001010101001
010010010101010
10010…
codage
010010010100111
010101101010010
101001010101001
010010010101010
10010…
correction
010010010100011
010111101010010
101001010101001
010010110101010
00010…
transmission
erreurs
attaques
num´
erisation
Acquisition, codage et transmission d’information
acquisition
010010010100111
010101101010010
101001010101001
010010010101010
10010…
codage
a chage
decodage
010010010100111
010101101010010
101001010101001
010010010101010
10010…
correction
010010010100011
010111101010010
101001010101001
010010110101010
00010…
transmission
erreurs
attaques
num´
erisation
Acquisition, codage et transmission d’information
acquisition
010010010100111
010101101010010
101001010101001
010010010101010
10010…
codage
a chage
decodage
010010010100111
010101101010010
101001010101001
010010010101010
10010…
correction
010010010100011
010111101010010
101001010101001
010010110101010
00010…
transmission
erreurs
attaques
Compression:
moins de place de stockage,
transmission plus rapide.
Codage:
num´
erisation
Acquisition, codage et transmission d’information
acquisition
010010010100111
010101101010010
101001010101001
010010010101010
10010…
codage
a chage
decodage
010010010100111
010101101010010
101001010101001
010010010101010
10010…
correction
010010010100011
010111101010010
101001010101001
010010110101010
00010…
transmission
erreurs
attaques
Compression:
moins de place de stockage,
transmission plus rapide.
Correction: robustesse aux erreurs et attaques.
Codage:
num´
erisation
Acquisition, codage et transmission d’information
acquisition
010010010100111
010101101010010
101001010101001
010010010101010
10010…
codage
a chage
decodage
010010010100111
010101101010010
101001010101001
010010010101010
10010…
correction
010010010100011
010111101010010
101001010101001
010010110101010
00010…
transmission
erreurs
attaques
Compression:
moins de place de stockage,
transmission plus rapide.
Correction: robustesse aux erreurs et attaques.
Codage:
num´
erisation
!
Shannon a expliqu´
e en 1948 comment faire compression
et
correction.
Acquisition, codage et transmission d’information
acquisition
010010010100111
010101101010010
101001010101001
010010010101010
10010…
codage
a chage
decodage
010010010100111
010101101010010
101001010101001
010010010101010
10010…
correction
010010010100011
010111101010010
101001010101001
010010110101010
00010…
transmission
erreurs
attaques
Compression:
moins de place de stockage,
transmission plus rapide.
Correction: robustesse aux erreurs et attaques.
Codage:
num´
erisation
!
Shannon a expliqu´
e en 1948 comment faire compression
et
correction.
AUJOURD’HUI
Plan
• Données et information à l’ère numérique
• Claude Shannon
• De l’analogique au numérique
• Codage et décodage
• Borne de l’entropie
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Ing´
enieur et math´
ematicien am´
ericain.
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Ing´
enieur et math´
ematicien am´
ericain.
A travaill´
e au laboratoires du MIT
et
`
a Bell.
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Ing´
enieur et math´
ematicien am´
ericain.
A travaill´
e au laboratoires du MIT
et
`
a Bell.
2
e
guerre mondiale: travaille pour les services secrets.
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Ing´
enieur et math´
ematicien am´
ericain.
A travaill´
e au laboratoires du MIT
et
`
a Bell.
P`
ere fondateur de la th´
eorie de l’information.
2
e
guerre mondiale: travaille pour les services secrets.
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Ing´
enieur et math´
ematicien am´
ericain.
A travaill´
e au laboratoires du MIT
et
`
a Bell.
P`
ere fondateur de la th´
eorie de l’information.
A Mathematical Theory of Communication
1948, article fondateur:
2
e
guerre mondiale: travaille pour les services secrets.
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Ing´
enieur et math´
ematicien am´
ericain.
A travaill´
e au laboratoires du MIT
et
`
a Bell.
P`
ere fondateur de la th´
eorie de l’information.
A Mathematical Theory of Communication
1948, article fondateur:
2
e
guerre mondiale: travaille pour les services secrets.
!
sch´
ema: ´
emeteur-codage-d´
ecodage-destinataire.
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Ing´
enieur et math´
ematicien am´
ericain.
A travaill´
e au laboratoires du MIT
et
`
a Bell.
P`
ere fondateur de la th´
eorie de l’information.
A Mathematical Theory of Communication
1948, article fondateur:
!
notions: bits, entropie, code correcteur.
2
e
guerre mondiale: travaille pour les services secrets.
!
sch´
ema: ´
emeteur-codage-d´
ecodage-destinataire.
Claude Shannon
Claude Shannon
1916-2001
Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
professeur Howard Gardner de Harward considère cette thèse comme peut - être la
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
Vannevar Bush.
En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
travaille sur les problèmes théoriques d’information et de commutation et en
particulier durant la guerre sur la cryptographie.
Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
qui lui donnera 3 enfants.
En parallèle à ses activités à la Bell il est professeur au MIT à partir
de 1959.
Claude Shannon est par ailleurs un esprit curieux de tout. Il
fabrique une machines à jongler, une souris qui traverse les
labyrinthes, une machine qui résout le cube de Rubik, une autre qui
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
N´
e en 1916 et mort en 2001.
Ing´
enieur et math´
ematicien am´
ericain.
A travaill´
e au laboratoires du MIT
et
`
a Bell.
P`
ere fondateur de la th´
eorie de l’information.
A Mathematical Theory of Communication
1948, article fondateur:
!
notions: bits, entropie, code correcteur.
!
th´
eor`
emes:
limite th´
eorique de compression
capacit´
e d’un canal de transmission.
2
e
guerre mondiale: travaille pour les services secrets.
!
sch´
ema: ´
emeteur-codage-d´
ecodage-destinataire.
Ses autres contributions …
Ses autres contributions …
ge.noos.fr/fholvoet/shannon.htm 1/2
ie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
donnera 3 enfants.
rallèle à ses activités à la Bell il est professeur au MIT à partir
9.
de Shannon est par ailleurs un esprit curieux de tout. Il
ue une machines à jongler, une souris qui traverse les
nthes, une machine qui résout le cube de Rubik, une autre qui
ux échecs, qui ne sera battue qu’en 42 coups par le champion
nde Mikhail Botvinnik en 1965 à Moscou.
également passablement fantaisiste et les ingénieurs de la Bell
rappellent chevauchant un monocycle en jonglant avec 3
dans les couloirs du labo.
ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
ulier la Médaille Nationale de la Science des mains du président Johnson en
t le Prix Kyoto pour la Science de Base.
t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
ylvania.
e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
où il mourra le 24 février 2001.
mportance des travaux de Shannon
Ses autres contributions …
ge.noos.fr/fholvoet/shannon.htm 1/2
ie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
donnera 3 enfants.
rallèle à ses activités à la Bell il est professeur au MIT à partir
9.
de Shannon est par ailleurs un esprit curieux de tout. Il
ue une machines à jongler, une souris qui traverse les
nthes, une machine qui résout le cube de Rubik, une autre qui
ux échecs, qui ne sera battue qu’en 42 coups par le champion
nde Mikhail Botvinnik en 1965 à Moscou.
également passablement fantaisiste et les ingénieurs de la Bell
rappellent chevauchant un monocycle en jonglant avec 3
dans les couloirs du labo.
ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
ulier la Médaille Nationale de la Science des mains du président Johnson en
t le Prix Kyoto pour la Science de Base.
t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
ylvania.
e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
où il mourra le 24 février 2001.
mportance des travaux de Shannon
Ses autres contributions …
ge.noos.fr/fholvoet/shannon.htm 1/2
ie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
donnera 3 enfants.
rallèle à ses activités à la Bell il est professeur au MIT à partir
9.
de Shannon est par ailleurs un esprit curieux de tout. Il
ue une machines à jongler, une souris qui traverse les
nthes, une machine qui résout le cube de Rubik, une autre qui
ux échecs, qui ne sera battue qu’en 42 coups par le champion
nde Mikhail Botvinnik en 1965 à Moscou.
également passablement fantaisiste et les ingénieurs de la Bell
rappellent chevauchant un monocycle en jonglant avec 3
dans les couloirs du labo.
ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
ulier la Médaille Nationale de la Science des mains du président Johnson en
t le Prix Kyoto pour la Science de Base.
t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
ylvania.
e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
où il mourra le 24 février 2001.
mportance des travaux de Shannon
Ses autres contributions …
ge.noos.fr/fholvoet/shannon.htm 1/2
ie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
donnera 3 enfants.
rallèle à ses activités à la Bell il est professeur au MIT à partir
9.
de Shannon est par ailleurs un esprit curieux de tout. Il
ue une machines à jongler, une souris qui traverse les
nthes, une machine qui résout le cube de Rubik, une autre qui
ux échecs, qui ne sera battue qu’en 42 coups par le champion
nde Mikhail Botvinnik en 1965 à Moscou.
également passablement fantaisiste et les ingénieurs de la Bell
rappellent chevauchant un monocycle en jonglant avec 3
dans les couloirs du labo.
ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
ulier la Médaille Nationale de la Science des mains du président Johnson en
t le Prix Kyoto pour la Science de Base.
t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
ylvania.
e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
où il mourra le 24 février 2001.
mportance des travaux de Shannon
Plan
• Données et information à l’ère numérique
• Claude Shannon
• De l’analogique au numérique
• Codage et décodage
• Borne de l’entropie
Un exemple : les images
appareil photo
Un exemple : les images
appareil photo
image
couleur
Un exemple : les images
appareil photo
image
couleur
rouge vert
bleu
image N&B
Un exemple : les images
appareil photo
image
couleur
rouge vert
bleu
image N&B
Un exemple : les images
zoom
appareil photo
image
couleur
rouge vert
bleu
image N&B
Un exemple : les images
zoom
lumi`
ere
filtres
capteurs
CCD
convertisseur
appareil photo
image
couleur
rouge vert
bleu
Monde analogique
lumi`
ere
image N&B
Un exemple : les images
zoom
lumi`
ere
filtres
capteurs
CCD
convertisseur
appareil photo
image
couleur
rouge vert
bleu
Monde analogique
lumi`
ere ´
electricit´
e
image N&B
Un exemple : les images
zoom
lumi`
ere
filtres
capteurs
CCD
convertisseur
appareil photo
image
couleur
rouge vert
bleu
Monde analogique
lumi`
ere ´
electricit´
e
nombres r´
eels
image N&B
Un exemple : les images
zoom
lumi`
ere
filtres
capteurs
CCD
convertisseur
appareil photo
image
couleur
rouge vert
bleu
Monde analogique
lumi`
ere ´
electricit´
e
nombres r´
eels
Monde num´
erique
nombres entiers
image N&B
Monde analogique
De l’analogique au numérique
image N&B
Monde analogique
De l’analogique au numérique
zoom
0.23 0.55 0.93 0.66 0.39
0.80 0.68 0.59 0.49 0.60
0.72 0.45 0.43 0.60 0.63
0.62 0.42 0.47 0.68 0.62
0.70 0.46 0.56 0.69 0.58
0.00 1.00
0.50 0.75
0.25 R´
eels dans [0, 1].
Monde num´
erique
image N&B
Monde analogique
De l’analogique au numérique
zoom
0.23 0.55 0.93 0.66 0.39
0.80 0.68 0.59 0.49 0.60
0.72 0.45 0.43 0.60 0.63
0.62 0.42 0.47 0.68 0.62
0.70 0.46 0.56 0.69 0.58
0 0 1 1 0
1 1 1 0 1
1 0 0 1 1
1 0 0 1 1
1 0 0 1 0
0 1
0.00 1.00
0.50 0.75
0.25 R´
eels dans [0, 1].
Entiers {0, 1}.
Monde num´
erique
image N&B
Monde analogique
De l’analogique au numérique
zoom
0.23 0.55 0.93 0.66 0.39
0.80 0.68 0.59 0.49 0.60
0.72 0.45 0.43 0.60 0.63
0.62 0.42 0.47 0.68 0.62
0.70 0.46 0.56 0.69 0.58
0 0 1 1 0
1 1 1 0 1
1 0 0 1 1
1 0 0 1 1
1 0 0 1 0
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
0 1
0 1 2 3
0.00 1.00
0.50 0.75
0.25 R´
eels dans [0, 1].
Entiers {0, 1}.
Entiers {0, 1, 2, 3}.
Monde num´
erique
image N&B
Monde analogique
De l’analogique au numérique
zoom
0.23 0.55 0.93 0.66 0.39
0.80 0.68 0.59 0.49 0.60
0.72 0.45 0.43 0.60 0.63
0.62 0.42 0.47 0.68 0.62
0.70 0.46 0.56 0.69 0.58
0 0 1 1 0
1 1 1 0 1
1 0 0 1 1
1 0 0 1 1
1 0 0 1 0
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
0 7 15 9 3
12 10 8 5 8
11 4 4 8 9
8 4 5 10 8
10 5 7 10 7
0 1
0 1 2 3
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
0.00 1.00
0.50 0.75
0.25 R´
eels dans [0, 1].
Entiers {0, 1}.
Entiers {0, 1, 2, 3}.
Entiers {0, 1, . . . , 15}.
Plan
• Données et information à l’ère numérique
• Claude Shannon
• De l’analogique au numérique
• Codage et décodage
• Borne de l’entropie
Codage uniforme : représentation binaire
Ecriture binaire (base 2):
[. . . a3a2a1a0]2 repr´
esente a020 + a121 + a222 + a323 + . . .
Exemple:
[110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.
Codage uniforme : représentation binaire
Ecriture binaire (base 2):
[. . . a3a2a1a0]2 repr´
esente a020 + a121 + a222 + a323 + . . .
[0]10 = [0]2
[1]10 = [1]2
[2]10 = [10]2
[3]10 = [11]2
!
code = 01
!
code = 00
!
code = 10
!
code = 11
Codage des nombres
{
0
,
1
,
2
,
3
}
:
Exemple:
[110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.
Codage uniforme : représentation binaire
Ecriture binaire (base 2):
[. . . a3a2a1a0]2 repr´
esente a020 + a121 + a222 + a323 + . . .
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
[0]10 = [0]2
[1]10 = [1]2
[2]10 = [10]2
[3]10 = [11]2
!
code = 01
!
code = 00
!
code = 10
!
code = 11
Codage des nombres
{
0
,
1
,
2
,
3
}
:
Exemple:
[110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.
Codage uniforme : représentation binaire
Ecriture binaire (base 2):
[. . . a3a2a1a0]2 repr´
esente a020 + a121 + a222 + a323 + . . .
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
[0]10 = [0]2
[1]10 = [1]2
[2]10 = [10]2
[3]10 = [11]2
!
code = 01
!
code = 00
!
code = 10
!
code = 11
Codage des nombres
{
0
,
1
,
2
,
3
}
:
Exemple:
[110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.
Codage uniforme : représentation binaire
Ecriture binaire (base 2):
[. . . a3a2a1a0]2 repr´
esente a020 + a121 + a222 + a323 + . . .
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
codage
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
[0]10 = [0]2
[1]10 = [1]2
[2]10 = [10]2
[3]10 = [11]2
!
code = 01
!
code = 00
!
code = 10
!
code = 11
Codage des nombres
{
0
,
1
,
2
,
3
}
:
Exemple:
[110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.
Codage uniforme : représentation binaire
Ecriture binaire (base 2):
[. . . a3a2a1a0]2 repr´
esente a020 + a121 + a222 + a323 + . . .
000111100011101001101001011010100101101001011001
Code `
a envoyer:
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
codage
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
[0]10 = [0]2
[1]10 = [1]2
[2]10 = [10]2
[3]10 = [11]2
!
code = 01
!
code = 00
!
code = 10
!
code = 11
Codage des nombres
{
0
,
1
,
2
,
3
}
:
Exemple:
[110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.
Codage uniforme : représentation binaire
Ecriture binaire (base 2):
[. . . a3a2a1a0]2 repr´
esente a020 + a121 + a222 + a323 + . . .
000111100011101001101001011010100101101001011001
Code `
a envoyer:
Chaque symbole 0 ou 1 correspond `
a 1
bit
.
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
codage
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
[0]10 = [0]2
[1]10 = [1]2
[2]10 = [10]2
[3]10 = [11]2
!
code = 01
!
code = 00
!
code = 10
!
code = 11
Codage des nombres
{
0
,
1
,
2
,
3
}
:
Exemple:
[110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.
Codage uniforme : représentation binaire
Ecriture binaire (base 2):
[. . . a3a2a1a0]2 repr´
esente a020 + a121 + a222 + a323 + . . .
000111100011101001101001011010100101101001011001
Code `
a envoyer:
D´
ecodage: d´
ecouper en bloc de 2 bits.
Chaque symbole 0 ou 1 correspond `
a 1
bit
.
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
codage
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
[0]10 = [0]2
[1]10 = [1]2
[2]10 = [10]2
[3]10 = [11]2
!
code = 01
!
code = 00
!
code = 10
!
code = 11
Codage des nombres
{
0
,
1
,
2
,
3
}
:
Exemple:
[110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.
Codage variable
Logarithme en base 2:
`
= log2(
N
) est l’unique r´
eel tel que 2
`
=
N
.
CAS G´
EN´
ERAL
Exemples: log2(2) = 1
,
log2(4) = 2
,
log2(6)
⇡
2
.
585
. . .
Codage variable
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
Exemple:
N
= 16 = 2
4 !
besoin de log2(16) = 4 bits/symbole.
N
symboles
{
0
,
1
, . . . , N
1
} !
besoin de
d
log2(
N
)
e
bits/symbole.
Logarithme en base 2:
`
= log2(
N
) est l’unique r´
eel tel que 2
`
=
N
.
CAS G´
EN´
ERAL
Exemples: log2(2) = 1
,
log2(4) = 2
,
log2(6)
⇡
2
.
585
. . .
Codage variable
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
Exemple:
N
= 16 = 2
4 !
besoin de log2(16) = 4 bits/symbole.
N
symboles
{
0
,
1
, . . . , N
1
} !
besoin de
d
log2(
N
)
e
bits/symbole.
Logarithme en base 2:
`
= log2(
N
) est l’unique r´
eel tel que 2
`
=
N
.
CAS G´
EN´
ERAL
Exemples: log2(2) = 1
,
log2(4) = 2
,
log2(6)
⇡
2
.
585
. . .
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
000111100011101001101001011010100101101001011001
Code `
a envoyer:
4 symboles
{
0
,
1
,
2
,
3
} !
besoin de 2 bits par symbole.
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
Codage variable
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
Peut-on faire mieux?
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
Exemple:
N
= 16 = 2
4 !
besoin de log2(16) = 4 bits/symbole.
N
symboles
{
0
,
1
, . . . , N
1
} !
besoin de
d
log2(
N
)
e
bits/symbole.
Logarithme en base 2:
`
= log2(
N
) est l’unique r´
eel tel que 2
`
=
N
.
CAS G´
EN´
ERAL
Exemples: log2(2) = 1
,
log2(4) = 2
,
log2(6)
⇡
2
.
585
. . .
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
000111100011101001101001011010100101101001011001
Code `
a envoyer:
4 symboles
{
0
,
1
,
2
,
3
} !
besoin de 2 bits par symbole.
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
Codage variable
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
Peut-on faire mieux?
0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
Exemple:
N
= 16 = 2
4 !
besoin de log2(16) = 4 bits/symbole.
N
symboles
{
0
,
1
, . . . , N
1
} !
besoin de
d
log2(
N
)
e
bits/symbole.
Logarithme en base 2:
`
= log2(
N
) est l’unique r´
eel tel que 2
`
=
N
.
CAS G´
EN´
ERAL
Exemples: log2(2) = 1
,
log2(4) = 2
,
log2(6)
⇡
2
.
585
. . .
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
000111100011101001101001011010100101101001011001
Code `
a envoyer:
4 symboles
{
0
,
1
,
2
,
3
} !
besoin de 2 bits par symbole.
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
Codage variable
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
Peut-on faire mieux?
00101000100100011011101011110101110101101
Code `
a envoyer:
001 01 000 1 001 000 1 1 01 1 1 01 01 1 1 1 01 01 1 1 01 01 1 01
0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
Exemple:
N
= 16 = 2
4 !
besoin de log2(16) = 4 bits/symbole.
N
symboles
{
0
,
1
, . . . , N
1
} !
besoin de
d
log2(
N
)
e
bits/symbole.
Logarithme en base 2:
`
= log2(
N
) est l’unique r´
eel tel que 2
`
=
N
.
CAS G´
EN´
ERAL
Exemples: log2(2) = 1
,
log2(4) = 2
,
log2(6)
⇡
2
.
585
. . .
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
000111100011101001101001011010100101101001011001
Code `
a envoyer:
4 symboles
{
0
,
1
,
2
,
3
} !
besoin de 2 bits par symbole.
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
Codage variable
00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
Peut-on faire mieux?
! 41 bits.
! 50 bits.
00101000100100011011101011110101110101101
Code `
a envoyer:
001 01 000 1 001 000 1 1 01 1 1 01 01 1 1 1 01 01 1 1 01 01 1 01
0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
Exemple:
N
= 16 = 2
4 !
besoin de log2(16) = 4 bits/symbole.
N
symboles
{
0
,
1
, . . . , N
1
} !
besoin de
d
log2(
N
)
e
bits/symbole.
Logarithme en base 2:
`
= log2(
N
) est l’unique r´
eel tel que 2
`
=
N
.
CAS G´
EN´
ERAL
Exemples: log2(2) = 1
,
log2(4) = 2
,
log2(6)
⇡
2
.
585
. . .
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
000111100011101001101001011010100101101001011001
Code `
a envoyer:
4 symboles
{
0
,
1
,
2
,
3
} !
besoin de 2 bits par symbole.
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
!
Se repr´
esente sous forme d’un arbre binaire.
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
000 001 010 011 100 101 110 111
0 1
00 01 10 11
!
Se repr´
esente sous forme d’un arbre binaire.
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
000 001 010 011 100 101 110 111
0 1
00 01 10 11
!
Se repr´
esente sous forme d’un arbre binaire.
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
0 1
00 01 10 11
000 001 010 011 100 101 110 111
3 0
1
2
000 001 010 011 100 101 110 111
0 1
00 01 10 11
0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
!
Se repr´
esente sous forme d’un arbre binaire.
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
0 1
00 01 10 11
000 001 010 011 100 101 110 111
3 0
1
2
000 001 010 011 100 101 110 111
0 1
00 01 10 11
D´
ecodage: parcours de l’arbre.
00101000100100011011101011110101110101101 !
d´
ecode 0
0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
!
Se repr´
esente sous forme d’un arbre binaire.
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
0 1
00 01 10 11
000 001 010 011 100 101 110 111
3 0
1
2
000 001 010 011 100 101 110 111
0 1
00 01 10 11
D´
ecodage: parcours de l’arbre.
00101000100100011011101011110101110101101 !
d´
ecode 0
0 01000100100011011101011110101110101101 !
d´
ecode 1
0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
!
Se repr´
esente sous forme d’un arbre binaire.
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
0 1
00 01 10 11
000 001 010 011 100 101 110 111
3 0
1
2
000 001 010 011 100 101 110 111
0 1
00 01 10 11
D´
ecodage: parcours de l’arbre.
00101000100100011011101011110101110101101 !
d´
ecode 0
0 01000100100011011101011110101110101101 !
d´
ecode 1
0 1 000100100011011101011110101110101101 !
d´
ecode 3
0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
!
Se repr´
esente sous forme d’un arbre binaire.
D´
ecodage non-ambigu¨
e : aucun mot du code n’est le d´
ebut d’un autre.
Code pr´
efixe.
Décodage et arbres binaires
00101000100100011011101011110101110101101
Code re¸
cu :
0 1
00 01 10 11
000 001 010 011 100 101 110 111
3 0
1
2
000 001 010 011 100 101 110 111
0 1
00 01 10 11
D´
ecodage: parcours de l’arbre.
00101000100100011011101011110101110101101 !
d´
ecode 0
0 01000100100011011101011110101110101101 !
d´
ecode 1
0 1 000100100011011101011110101110101101 !
d´
ecode 3
0 1 3 100100011011101011110101110101101 !
d´
ecode 2
. . .
0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
!
Se repr´
esente sous forme d’un arbre binaire.
Plan
• Données et information à l’ère numérique
• Claude Shannon
• De l’analogique au numérique
• Codage et décodage
• Borne de l’entropie
Entropie
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
Entropie
pi = fr´
equence d’apparition du symbole
i
.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
p0 + p1 + p2 + p3 = 1
Entropie
pi = fr´
equence d’apparition du symbole
i
.
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
p0 + p1 + p2 + p3 = 1
Entropie
pi = fr´
equence d’apparition du symbole
i
.
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
923 pixels blanc
! p3 =
923
216
⇡
0
.
01.
p0 + p1 + p2 + p3 = 1
Entropie
pi = fr´
equence d’apparition du symbole
i
.
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
923 pixels blanc
! p3 =
923
216
⇡
0
.
01.
p0 + p1 + p2 + p3 = 1
p1
⇡ 0.53, p2
⇡ 0.19
Entropie
pi = fr´
equence d’apparition du symbole
i
.
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
923 pixels blanc
! p3 =
923
216
⇡
0
.
01.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
p0 + p1 + p2 + p3 = 1
p1
⇡ 0.53, p2
⇡ 0.19
Entropie
pi = fr´
equence d’apparition du symbole
i
.
Entropie
:
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
923 pixels blanc
! p3 =
923
216
⇡
0
.
01.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H
(
p
)
def.
=
X
i
pi log2
⇣
1
pi
⌘
p0 + p1 + p2 + p3 = 1
0 1
1/e
0
pi log2(1
/pi)
pi
p1
⇡ 0.53, p2
⇡ 0.19
Entropie
pi = fr´
equence d’apparition du symbole
i
.
Entropie
:
Propri´
et´
e: 0
6 H
(
p
)
6
log2(
N
).
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
923 pixels blanc
! p3 =
923
216
⇡
0
.
01.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H
(
p
)
def.
=
X
i
pi log2
⇣
1
pi
⌘
p0 + p1 + p2 + p3 = 1
0 1
1/e
0
pi log2(1
/pi)
pi
p1
⇡ 0.53, p2
⇡ 0.19
Entropie
pi = fr´
equence d’apparition du symbole
i
.
Entropie
:
Propri´
et´
e: 0
6 H
(
p
)
6
log2(
N
).
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
923 pixels blanc
! p3 =
923
216
⇡
0
.
01.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
0 1 2 3
0
0.2
0.4
0.6
0.8
1
p0 p2 p3
p1
0 1 0 0
H(p) = 0
H
(
p
)
def.
=
X
i
pi log2
⇣
1
pi
⌘
p0 + p1 + p2 + p3 = 1
0 1
1/e
0
pi log2(1
/pi)
pi
p1
⇡ 0.53, p2
⇡ 0.19
Entropie
pi = fr´
equence d’apparition du symbole
i
.
Entropie
:
Propri´
et´
e: 0
6 H
(
p
)
6
log2(
N
).
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
923 pixels blanc
! p3 =
923
216
⇡
0
.
01.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1 0 1 2 3
0
0.1
0.2
0.3
p0 p2 p3
p1
0.25 0.25 0.25 0.25
H
(
p
) = log2(4) = 2
0 1 2 3
0
0.2
0.4
0.6
0.8
1
p0 p2 p3
p1
0 1 0 0
H(p) = 0
H
(
p
)
def.
=
X
i
pi log2
⇣
1
pi
⌘
p0 + p1 + p2 + p3 = 1
0 1
1/e
0
pi log2(1
/pi)
pi
p1
⇡ 0.53, p2
⇡ 0.19
Entropie
pi = fr´
equence d’apparition du symbole
i
.
Entropie
:
Propri´
et´
e: 0
6 H
(
p
)
6
log2(
N
).
256
⇥
256 = 2
16
pixels:
17432 pixels noirs
! p0 =
17432
216
⇡
0
.
27.
Comment quantifier la quantit´
e d’information d’une suite de symboles ?
923 pixels blanc
! p3 =
923
216
⇡
0
.
01.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1 0 1 2 3
0
0.1
0.2
0.3
p0 p2 p3
p1
0.25 0.25 0.25 0.25
H
(
p
) = log2(4) = 2
0 1 2 3
0
0.2
0.4
0.6
0.8
1
p0 p2 p3
p1
0 1 0 0
H(p) = 0
H
(
p
)
def.
=
X
i
pi log2
⇣
1
pi
⌘
p0 + p1 + p2 + p3 = 1
0 1
1/e
0
pi log2(1
/pi)
pi
p1
⇡ 0.53, p2
⇡ 0.19
H(p) ⇡ 1.54
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H(p) ⇡ 1.54
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
Codage pr´
efixe:
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H(p) ⇡ 1.54
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
Codage pr´
efixe:
Long. moy. =
p0
⇥
Long(
c0) +
p1
⇥
Long(
c1) +
p2
⇥
Long(
c2) +
p3
⇥
Long(
c3)
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H(p) ⇡ 1.54
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
Codage pr´
efixe:
0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
Exemple:
Long. moy. =
p0
⇥
Long(
c0) +
p1
⇥
Long(
c1) +
p2
⇥
Long(
c2) +
p3
⇥
Long(
c3)
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H(p) ⇡ 1.54
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
Codage pr´
efixe:
0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
Exemple:
Long. moy. =
p0
⇥
Long(
c0) +
p1
⇥
Long(
c1) +
p2
⇥
Long(
c2) +
p3
⇥
Long(
c3)
Long. moy. = 0
.
27
⇥
2 + 0
.
53
⇥
1 + 0
.
19
⇥
3 + 0
.
01
⇥
3 = 1
.
67 bits/symbole.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H(p) ⇡ 1.54
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
Codage pr´
efixe:
0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
Exemple:
Long. moy. =
p0
⇥
Long(
c0) +
p1
⇥
Long(
c1) +
p2
⇥
Long(
c2) +
p3
⇥
Long(
c3)
Long. moy. = 0
.
27
⇥
2 + 0
.
53
⇥
1 + 0
.
19
⇥
3 + 0
.
01
⇥
3 = 1
.
67 bits/symbole.
Codage uniforme
2 bits
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H(p) ⇡ 1.54
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
Codage pr´
efixe:
0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
Exemple:
Long. moy. =
p0
⇥
Long(
c0) +
p1
⇥
Long(
c1) +
p2
⇥
Long(
c2) +
p3
⇥
Long(
c3)
Long. moy. = 0
.
27
⇥
2 + 0
.
53
⇥
1 + 0
.
19
⇥
3 + 0
.
01
⇥
3 = 1
.
67 bits/symbole.
Codage uniforme
2 bits Codage variable
1.67 bits
>
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H(p) ⇡ 1.54
Borne de Shannon
Th´
eor`
eme de Shannon:
si les symboles sont tir´
es au
hasard
selon la loi (
pi)i
le nombre moyen de bits d’un code pr´
efixe est sup´
erieur `
a
H
(
p
).
H
(
p
) faible
,
peu d’information
,
facile `
a coder.
0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
Codage pr´
efixe:
0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
Exemple:
Long. moy. =
p0
⇥
Long(
c0) +
p1
⇥
Long(
c1) +
p2
⇥
Long(
c2) +
p3
⇥
Long(
c3)
Long. moy. = 0
.
27
⇥
2 + 0
.
53
⇥
1 + 0
.
19
⇥
3 + 0
.
01
⇥
3 = 1
.
67 bits/symbole.
Codage uniforme
2 bits Codage variable
1.67 bits
> Entropie
1.54 bits
>
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0 p2 p3
0.27 0.53 0.19 0.01
p1
H(p) ⇡ 1.54
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
0
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+
0 1
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+
0 1
+
3
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+ + + + + + + + + + + + + + + + + + + + + +
0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
1
+
3
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+ + + + + + + + + + + + + + + + + + + + + +
0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
1
+
3
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0
p1 p2
p3
H(p) = 1.54
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+ + + + + + + + + + + + + + + + + + + + + +
0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
1
+
3
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0
p1 p2
p3
H(p) = 1.54
-3 -2 -1 0 1 2 3
0
0.2
0.4
0.6
0.8
p0 p1 p2 p3
p 1
p 2
p 3
H(p) = 0.61
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+ + + + + + + + + + + + + + + + + + + + + +
0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
1
+
3
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
0
01
010
1
00
011
0100 010
0101 01011
010100 010101
0
1
2
3
3
2
1
Long. moy. = 1
.
16 bits.
Long. moy. = 1
.
67 bits.
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0
p1 p2
p3
H(p) = 1.54
-3 -2 -1 0 1 2 3
0
0.2
0.4
0.6
0.8
p0 p1 p2 p3
p 1
p 2
p 3
H(p) = 0.61
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+ + + + + + + + + + + + + + + + + + + + + +
0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
1
+
3
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
0
01
010
1
00
011
0100 010
0101 01011
010100 010101
0
1
2
3
3
2
1
Long. moy. = 1
.
16 bits.
Long. moy. = 1
.
67 bits.
Image 256
⇥
256 pixels:
16.3 ko
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0
p1 p2
p3
H(p) = 1.54
-3 -2 -1 0 1 2 3
0
0.2
0.4
0.6
0.8
p0 p1 p2 p3
p 1
p 2
p 3
H(p) = 0.61
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+ + + + + + + + + + + + + + + + + + + + + +
0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
1
+
3
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
0
01
010
1
00
011
0100 010
0101 01011
010100 010101
0
1
2
3
3
2
1
Long. moy. = 1
.
16 bits.
Long. moy. = 1
.
67 bits.
Image 256
⇥
256 pixels:
16.3 ko 13.7 ko
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0
p1 p2
p3
H(p) = 1.54
-3 -2 -1 0 1 2 3
0
0.2
0.4
0.6
0.8
p0 p1 p2 p3
p 1
p 2
p 3
H(p) = 0.61
Comment faire mieux?
!
Les pixels ne sont pas ind´
ependants les uns des autres !
Retransformation des symboles
,
diminuer l’entropie.
0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
+ + + + + + + + + + + + + + + + + + + + + +
0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
1
+
3
0 1 3 2 0
3 2 2 1 2
2 1 1 2 2
2 1 1 2 2
2 1 1 2 1
bijectivit´
e
0
01
010
1
00
011
0100 010
0101 01011
010100 010101
0
1
2
3
3
2
1
Long. moy. = 1
.
16 bits.
Long. moy. = 1
.
67 bits.
Image 256
⇥
256 pixels:
16.3 ko 13.7 ko 9.5 ko
0 1 2 3
0
0.1
0.2
0.3
0.4
0.5
p0
p1 p2
p3
H(p) = 1.54
-3 -2 -1 0 1 2 3
0
0.2
0.4
0.6
0.8
p0 p1 p2 p3
p 1
p 2
p 3
H(p) = 0.61
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conversion analogique
!
num´
erique.
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conversion analogique
!
num´
erique.
Compression : utilisation de code variables.
symbole fr´
equent
!
code court
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conversion analogique
!
num´
erique.
Compression : utilisation de code variables.
symbole fr´
equent
!
code court
Non abord´
e: comment calculer ces codes ?
! arbre de Hu↵man (1952).
!
codage arithm´
etique (1976).
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conversion analogique
!
num´
erique.
Compression : utilisation de code variables.
symbole fr´
equent
!
code court
Non abord´
e: comment calculer ces codes ?
! arbre de Hu↵man (1952).
!
codage arithm´
etique (1976).
Non abord´
e: correction des erreurs.
Math´
ematiques pour les sciences de l’information:
mod´
eliser
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conversion analogique
!
num´
erique.
Compression : utilisation de code variables.
symbole fr´
equent
!
code court
Non abord´
e: comment calculer ces codes ?
! arbre de Hu↵man (1952).
!
codage arithm´
etique (1976).
Non abord´
e: correction des erreurs.
Math´
ematiques pour les sciences de l’information:
mod´
eliser
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conversion analogique
!
num´
erique.
Compression : utilisation de code variables.
symbole fr´
equent
!
code court
Non abord´
e: comment calculer ces codes ?
! arbre de Hu↵man (1952).
!
codage arithm´
etique (1976).
Non abord´
e: correction des erreurs.
prouver
des bornes
Math´
ematiques pour les sciences de l’information:
mod´
eliser
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conversion analogique
!
num´
erique.
Compression : utilisation de code variables.
symbole fr´
equent
!
code court
Non abord´
e: comment calculer ces codes ?
! arbre de Hu↵man (1952).
!
codage arithm´
etique (1976).
Non abord´
e: correction des erreurs.
prouver
des bornes
atteindre
ces bornes
Math´
ematiques pour les sciences de l’information:
mod´
eliser
Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2
joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
du monde Mikhail Botvinnik en 1965 à Moscou.
Il est également passablement fantaisiste et les ingénieurs de la Bell
se le rappellent chevauchant un monocycle en jonglant avec 3
balles dans les couloirs du labo.
Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
particulier la Médaille Nationale de la Science des mains du président Johnson en
1966 et le Prix Kyoto pour la Science de Base.
Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
Pennsylvania.
Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
Mass. où il mourra le 24 février 2001.
L'importance des travaux de Shannon
Claude Shannon, p`
ere fondateur de la th´
eorie de l’information.
Conversion analogique
!
num´
erique.
Compression : utilisation de code variables.
symbole fr´
equent
!
code court
Non abord´
e: comment calculer ces codes ?
! arbre de Hu↵man (1952).
!
codage arithm´
etique (1976).
Non abord´
e: correction des erreurs.
prouver
des bornes
atteindre
ces bornes