Claude Shannon et l'avènement de l'ère numérique

Gabriel Peyré www.numerical-tours.com autour de l’article "A Mathematical Theory of
Communication" The Bell System Technical Journal, Vol. 27, pp. 379–423, 623–656, July, October, 1948. Claude Shannon et l'avènement de l'ère numérique

Plan • Données et information à l’ère numérique • Claude
Shannon • De l’analogique au numérique • Codage et décodage • Borne de l’entropie

Données et information www.deezer.com musique

Données et information www.google.com/imghp images www.deezer.com musique

Données et information www.google.com/imghp images www.deezer.com musique www.youtube.com videos

Données et information 3D, jeux videos www.google.com/imghp images www.deezer.com musique
www.youtube.com videos

Données et information 3D, jeux videos r´ eseaux sociaux www.google.com/imghp
images www.deezer.com musique www.youtube.com videos

Données et information 3D, jeux videos r´ eseaux sociaux scanner,
imagerie www.google.com/imghp images www.deezer.com musique www.youtube.com videos

Données et information 3D, jeux videos r´ eseaux sociaux scanner,
imagerie www.google.com/imghp images www.deezer.com musique www.youtube.com videos 3 probl` emes : acqu´ erir / stocker / transmettre ces donn´ ees.

Acquisition, codage et transmission d’information acquisition

Acquisition, codage et transmission d’information acquisition num´ erisation

Acquisition, codage et transmission d’information acquisition 010010010100111 010101101010010 101001010101001 010010010101010
10010… codage num´ erisation

10010… codage 010010010100011 010111101010010 101001010101001 010010110101010 00010… transmission erreurs attaques num´ erisation

10010… codage 010010010100111 010101101010010 101001010101001 010010010101010 10010… correction 010010010100011 010111101010010 101001010101001 010010110101010 00010… transmission erreurs attaques num´ erisation

10010… codage a chage decodage 010010010100111 010101101010010 101001010101001 010010010101010 10010… correction 010010010100011 010111101010010 101001010101001 010010110101010 00010… transmission erreurs attaques num´ erisation

10010… codage a chage decodage 010010010100111 010101101010010 101001010101001 010010010101010 10010… correction 010010010100011 010111101010010 101001010101001 010010110101010 00010… transmission erreurs attaques Compression: moins de place de stockage, transmission plus rapide. Codage: num´ erisation

10010… codage a chage decodage 010010010100111 010101101010010 101001010101001 010010010101010 10010… correction 010010010100011 010111101010010 101001010101001 010010110101010 00010… transmission erreurs attaques Compression: moins de place de stockage, transmission plus rapide. Correction: robustesse aux erreurs et attaques. Codage: num´ erisation

10010… codage a chage decodage 010010010100111 010101101010010 101001010101001 010010010101010 10010… correction 010010010100011 010111101010010 101001010101001 010010110101010 00010… transmission erreurs attaques Compression: moins de place de stockage, transmission plus rapide. Correction: robustesse aux erreurs et attaques. Codage: num´ erisation ! Shannon a expliqu´ e en 1948 comment faire compression et correction.

10010… codage a chage decodage 010010010100111 010101101010010 101001010101001 010010010101010 10010… correction 010010010100011 010111101010010 101001010101001 010010110101010 00010… transmission erreurs attaques Compression: moins de place de stockage, transmission plus rapide. Correction: robustesse aux erreurs et attaques. Codage: num´ erisation ! Shannon a expliqu´ e en 1948 comment faire compression et correction. AUJOURD’HUI

Claude Shannon Claude Shannon 1916-2001 Claude Shannon est né le
30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001.

30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001. Ing´ enieur et math´ ematicien am´ ericain.

30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001. Ing´ enieur et math´ ematicien am´ ericain. A travaill´ e au laboratoires du MIT et ` a Bell.

30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001. Ing´ enieur et math´ ematicien am´ ericain. A travaill´ e au laboratoires du MIT et ` a Bell. 2 e guerre mondiale: travaille pour les services secrets.

30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001. Ing´ enieur et math´ ematicien am´ ericain. A travaill´ e au laboratoires du MIT et ` a Bell. P` ere fondateur de la th´ eorie de l’information. 2 e guerre mondiale: travaille pour les services secrets.

30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001. Ing´ enieur et math´ ematicien am´ ericain. A travaill´ e au laboratoires du MIT et ` a Bell. P` ere fondateur de la th´ eorie de l’information. A Mathematical Theory of Communication 1948, article fondateur: 2 e guerre mondiale: travaille pour les services secrets.

30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001. Ing´ enieur et math´ ematicien am´ ericain. A travaill´ e au laboratoires du MIT et ` a Bell. P` ere fondateur de la th´ eorie de l’information. A Mathematical Theory of Communication 1948, article fondateur: 2 e guerre mondiale: travaille pour les services secrets. ! sch´ ema: ´ emeteur-codage-d´ ecodage-destinataire.

30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001. Ing´ enieur et math´ ematicien am´ ericain. A travaill´ e au laboratoires du MIT et ` a Bell. P` ere fondateur de la th´ eorie de l’information. A Mathematical Theory of Communication 1948, article fondateur: ! notions: bits, entropie, code correcteur. 2 e guerre mondiale: travaille pour les services secrets. ! sch´ ema: ´ emeteur-codage-d´ ecodage-destinataire.

30 avril 1916 à Gaylord dans le Michigan dont il fréquente l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de commutation » il utilise l’algèbre de Boole pour concevoir les circuits de commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques, qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le professeur Howard Gardner de Harward considère cette thèse comme peut - être la plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de Vannevar Bush. En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il travaille sur les problèmes théoriques d’information et de commutation et en particulier durant la guerre sur la cryptographie. Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore qui lui donnera 3 enfants. En parallèle à ses activités à la Bell il est professeur au MIT à partir de 1959. Claude Shannon est par ailleurs un esprit curieux de tout. Il fabrique une machines à jongler, une souris qui traverse les labyrinthes, une machine qui résout le cube de Rubik, une autre qui joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, N´ e en 1916 et mort en 2001. Ing´ enieur et math´ ematicien am´ ericain. A travaill´ e au laboratoires du MIT et ` a Bell. P` ere fondateur de la th´ eorie de l’information. A Mathematical Theory of Communication 1948, article fondateur: ! notions: bits, entropie, code correcteur. ! th´ eor` emes: limite th´ eorique de compression capacit´ e d’un canal de transmission. 2 e guerre mondiale: travaille pour les services secrets. ! sch´ ema: ´ emeteur-codage-d´ ecodage-destinataire.

Ses autres contributions …

Ses autres contributions … ge.noos.fr/fholvoet/shannon.htm 1/2 ie en 1949 «
Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore donnera 3 enfants. rallèle à ses activités à la Bell il est professeur au MIT à partir 9. de Shannon est par ailleurs un esprit curieux de tout. Il ue une machines à jongler, une souris qui traverse les nthes, une machine qui résout le cube de Rubik, une autre qui ux échecs, qui ne sera battue qu’en 42 coups par le champion nde Mikhail Botvinnik en 1965 à Moscou. également passablement fantaisiste et les ingénieurs de la Bell rappellent chevauchant un monocycle en jonglant avec 3 dans les couloirs du labo. ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en ulier la Médaille Nationale de la Science des mains du président Johnson en t le Prix Kyoto pour la Science de Base. t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, ylvania. e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, où il mourra le 24 février 2001. mportance des travaux de Shannon

Un exemple : les images appareil photo

Un exemple : les images appareil photo image couleur

Un exemple : les images appareil photo image couleur rouge
vert bleu

image N&B Un exemple : les images appareil photo image
couleur rouge vert bleu

image N&B Un exemple : les images zoom appareil photo
image couleur rouge vert bleu

image N&B Un exemple : les images zoom lumi` ere
ﬁltres capteurs CCD convertisseur appareil photo image couleur rouge vert bleu Monde analogique lumi` ere

ﬁltres capteurs CCD convertisseur appareil photo image couleur rouge vert bleu Monde analogique lumi` ere ´ electricit´ e

ﬁltres capteurs CCD convertisseur appareil photo image couleur rouge vert bleu Monde analogique lumi` ere ´ electricit´ e nombres r´ eels

ﬁltres capteurs CCD convertisseur appareil photo image couleur rouge vert bleu Monde analogique lumi` ere ´ electricit´ e nombres r´ eels Monde num´ erique nombres entiers

image N&B Monde analogique De l’analogique au numérique

image N&B Monde analogique De l’analogique au numérique zoom 0.23
0.55 0.93 0.66 0.39 0.80 0.68 0.59 0.49 0.60 0.72 0.45 0.43 0.60 0.63 0.62 0.42 0.47 0.68 0.62 0.70 0.46 0.56 0.69 0.58 0.00 1.00 0.50 0.75 0.25 R´ eels dans [0, 1].

Monde num´ erique image N&B Monde analogique De l’analogique au
numérique zoom 0.23 0.55 0.93 0.66 0.39 0.80 0.68 0.59 0.49 0.60 0.72 0.45 0.43 0.60 0.63 0.62 0.42 0.47 0.68 0.62 0.70 0.46 0.56 0.69 0.58 0 0 1 1 0 1 1 1 0 1 1 0 0 1 1 1 0 0 1 1 1 0 0 1 0 0 1 0.00 1.00 0.50 0.75 0.25 R´ eels dans [0, 1]. Entiers {0, 1}.

numérique zoom 0.23 0.55 0.93 0.66 0.39 0.80 0.68 0.59 0.49 0.60 0.72 0.45 0.43 0.60 0.63 0.62 0.42 0.47 0.68 0.62 0.70 0.46 0.56 0.69 0.58 0 0 1 1 0 1 1 1 0 1 1 0 0 1 1 1 0 0 1 1 1 0 0 1 0 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 0 1 0 1 2 3 0.00 1.00 0.50 0.75 0.25 R´ eels dans [0, 1]. Entiers {0, 1}. Entiers {0, 1, 2, 3}.

numérique zoom 0.23 0.55 0.93 0.66 0.39 0.80 0.68 0.59 0.49 0.60 0.72 0.45 0.43 0.60 0.63 0.62 0.42 0.47 0.68 0.62 0.70 0.46 0.56 0.69 0.58 0 0 1 1 0 1 1 1 0 1 1 0 0 1 1 1 0 0 1 1 1 0 0 1 0 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 0 7 15 9 3 12 10 8 5 8 11 4 4 8 9 8 4 5 10 8 10 5 7 10 7 0 1 0 1 2 3 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0.00 1.00 0.50 0.75 0.25 R´ eels dans [0, 1]. Entiers {0, 1}. Entiers {0, 1, 2, 3}. Entiers {0, 1, . . . , 15}.

Codage uniforme : représentation binaire Ecriture binaire (base 2): [.
. . a3a2a1a0]2 repr´ esente a020 + a121 + a222 + a323 + . . . Exemple: [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

. . a3a2a1a0]2 repr´ esente a020 + a121 + a222 + a323 + . . . [0]10 = [0]2 [1]10 = [1]2 [2]10 = [10]2 [3]10 = [11]2 ! code = 01 ! code = 00 ! code = 10 ! code = 11 Codage des nombres { 0 , 1 , 2 , 3 } : Exemple: [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

. . a3a2a1a0]2 repr´ esente a020 + a121 + a222 + a323 + . . . 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 [0]10 = [0]2 [1]10 = [1]2 [2]10 = [10]2 [3]10 = [11]2 ! code = 01 ! code = 00 ! code = 10 ! code = 11 Codage des nombres { 0 , 1 , 2 , 3 } : Exemple: [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

. . a3a2a1a0]2 repr´ esente a020 + a121 + a222 + a323 + . . . 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 [0]10 = [0]2 [1]10 = [1]2 [2]10 = [10]2 [3]10 = [11]2 ! code = 01 ! code = 00 ! code = 10 ! code = 11 Codage des nombres { 0 , 1 , 2 , 3 } : Exemple: [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

. . a3a2a1a0]2 repr´ esente a020 + a121 + a222 + a323 + . . . 00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 codage 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 [0]10 = [0]2 [1]10 = [1]2 [2]10 = [10]2 [3]10 = [11]2 ! code = 01 ! code = 00 ! code = 10 ! code = 11 Codage des nombres { 0 , 1 , 2 , 3 } : Exemple: [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

. . a3a2a1a0]2 repr´ esente a020 + a121 + a222 + a323 + . . . 000111100011101001101001011010100101101001011001 Code ` a envoyer: 00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 codage 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 [0]10 = [0]2 [1]10 = [1]2 [2]10 = [10]2 [3]10 = [11]2 ! code = 01 ! code = 00 ! code = 10 ! code = 11 Codage des nombres { 0 , 1 , 2 , 3 } : Exemple: [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

. . a3a2a1a0]2 repr´ esente a020 + a121 + a222 + a323 + . . . 000111100011101001101001011010100101101001011001 Code ` a envoyer: Chaque symbole 0 ou 1 correspond ` a 1 bit . 00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 codage 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 [0]10 = [0]2 [1]10 = [1]2 [2]10 = [10]2 [3]10 = [11]2 ! code = 01 ! code = 00 ! code = 10 ! code = 11 Codage des nombres { 0 , 1 , 2 , 3 } : Exemple: [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

. . a3a2a1a0]2 repr´ esente a020 + a121 + a222 + a323 + . . . 000111100011101001101001011010100101101001011001 Code ` a envoyer: D´ ecodage: d´ ecouper en bloc de 2 bits. Chaque symbole 0 ou 1 correspond ` a 1 bit . 00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 codage 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 [0]10 = [0]2 [1]10 = [1]2 [2]10 = [10]2 [3]10 = [11]2 ! code = 01 ! code = 00 ! code = 10 ! code = 11 Codage des nombres { 0 , 1 , 2 , 3 } : Exemple: [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

Codage variable Logarithme en base 2: ` = log2( N
) est l’unique r´ eel tel que 2 ` = N . CAS G´ EN´ ERAL Exemples: log2(2) = 1 , log2(4) = 2 , log2(6) ⇡ 2 . 585 . . .

Codage variable 0 1 2 3 4 5 6 7
8 9 10 11 12 13 14 15 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 Exemple: N = 16 = 2 4 ! besoin de log2(16) = 4 bits/symbole. N symboles { 0 , 1 , . . . , N 1 } ! besoin de d log2( N ) e bits/symbole. Logarithme en base 2: ` = log2( N ) est l’unique r´ eel tel que 2 ` = N . CAS G´ EN´ ERAL Exemples: log2(2) = 1 , log2(4) = 2 , log2(6) ⇡ 2 . 585 . . .

Codage variable 00 01 11 10 00 11 10 10
01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 Exemple: N = 16 = 2 4 ! besoin de log2(16) = 4 bits/symbole. N symboles { 0 , 1 , . . . , N 1 } ! besoin de d log2( N ) e bits/symbole. Logarithme en base 2: ` = log2( N ) est l’unique r´ eel tel que 2 ` = N . CAS G´ EN´ ERAL Exemples: log2(2) = 1 , log2(4) = 2 , log2(6) ⇡ 2 . 585 . . . 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 000111100011101001101001011010100101101001011001 Code ` a envoyer: 4 symboles { 0 , 1 , 2 , 3 } ! besoin de 2 bits par symbole. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1

Codage variable 00 01 11 10 00 11 10 10
01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 Peut-on faire mieux? 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 Exemple: N = 16 = 2 4 ! besoin de log2(16) = 4 bits/symbole. N symboles { 0 , 1 , . . . , N 1 } ! besoin de d log2( N ) e bits/symbole. Logarithme en base 2: ` = log2( N ) est l’unique r´ eel tel que 2 ` = N . CAS G´ EN´ ERAL Exemples: log2(2) = 1 , log2(4) = 2 , log2(6) ⇡ 2 . 585 . . . 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 000111100011101001101001011010100101101001011001 Code ` a envoyer: 4 symboles { 0 , 1 , 2 , 3 } ! besoin de 2 bits par symbole. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1

Codage variable 00 01 11 10 00 11 10 10
01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 Peut-on faire mieux? 0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 Exemple: N = 16 = 2 4 ! besoin de log2(16) = 4 bits/symbole. N symboles { 0 , 1 , . . . , N 1 } ! besoin de d log2( N ) e bits/symbole. Logarithme en base 2: ` = log2( N ) est l’unique r´ eel tel que 2 ` = N . CAS G´ EN´ ERAL Exemples: log2(2) = 1 , log2(4) = 2 , log2(6) ⇡ 2 . 585 . . . 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 000111100011101001101001011010100101101001011001 Code ` a envoyer: 4 symboles { 0 , 1 , 2 , 3 } ! besoin de 2 bits par symbole. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1

Codage variable 00 01 11 10 00 11 10 10
01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 Peut-on faire mieux? 00101000100100011011101011110101110101101 Code ` a envoyer: 001 01 000 1 001 000 1 1 01 1 1 01 01 1 1 1 01 01 1 1 01 01 1 01 0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 Exemple: N = 16 = 2 4 ! besoin de log2(16) = 4 bits/symbole. N symboles { 0 , 1 , . . . , N 1 } ! besoin de d log2( N ) e bits/symbole. Logarithme en base 2: ` = log2( N ) est l’unique r´ eel tel que 2 ` = N . CAS G´ EN´ ERAL Exemples: log2(2) = 1 , log2(4) = 2 , log2(6) ⇡ 2 . 585 . . . 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 000111100011101001101001011010100101101001011001 Code ` a envoyer: 4 symboles { 0 , 1 , 2 , 3 } ! besoin de 2 bits par symbole. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1

Codage variable 00 01 11 10 00 11 10 10
01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01 Peut-on faire mieux? ! 41 bits. ! 50 bits. 00101000100100011011101011110101110101101 Code ` a envoyer: 001 01 000 1 001 000 1 1 01 1 1 01 01 1 1 1 01 01 1 1 01 01 1 01 0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 Exemple: N = 16 = 2 4 ! besoin de log2(16) = 4 bits/symbole. N symboles { 0 , 1 , . . . , N 1 } ! besoin de d log2( N ) e bits/symbole. Logarithme en base 2: ` = log2( N ) est l’unique r´ eel tel que 2 ` = N . CAS G´ EN´ ERAL Exemples: log2(2) = 1 , log2(4) = 2 , log2(6) ⇡ 2 . 585 . . . 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 000111100011101001101001011010100101101001011001 Code ` a envoyer: 4 symboles { 0 , 1 , 2 , 3 } ! besoin de 2 bits par symbole. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1

Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu :

D´ ecodage non-ambigu¨ e : aucun mot du code n’est
le d´ ebut d’un autre. Code pr´ eﬁxe. Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu :

le d´ ebut d’un autre. Code pr´ eﬁxe. Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu : ! Se repr´ esente sous forme d’un arbre binaire.

le d´ ebut d’un autre. Code pr´ eﬁxe. Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu : 000 001 010 011 100 101 110 111 0 1 00 01 10 11 ! Se repr´ esente sous forme d’un arbre binaire.

le d´ ebut d’un autre. Code pr´ eﬁxe. Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu : 0 1 00 01 10 11 000 001 010 011 100 101 110 111 3 0 1 2 000 001 010 011 100 101 110 111 0 1 00 01 10 11 0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000 ! Se repr´ esente sous forme d’un arbre binaire.

le d´ ebut d’un autre. Code pr´ eﬁxe. Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu : 0 1 00 01 10 11 000 001 010 011 100 101 110 111 3 0 1 2 000 001 010 011 100 101 110 111 0 1 00 01 10 11 D´ ecodage: parcours de l’arbre. 00101000100100011011101011110101110101101 ! d´ ecode 0 0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000 ! Se repr´ esente sous forme d’un arbre binaire.

le d´ ebut d’un autre. Code pr´ eﬁxe. Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu : 0 1 00 01 10 11 000 001 010 011 100 101 110 111 3 0 1 2 000 001 010 011 100 101 110 111 0 1 00 01 10 11 D´ ecodage: parcours de l’arbre. 00101000100100011011101011110101110101101 ! d´ ecode 0 0 01000100100011011101011110101110101101 ! d´ ecode 1 0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000 ! Se repr´ esente sous forme d’un arbre binaire.

le d´ ebut d’un autre. Code pr´ eﬁxe. Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu : 0 1 00 01 10 11 000 001 010 011 100 101 110 111 3 0 1 2 000 001 010 011 100 101 110 111 0 1 00 01 10 11 D´ ecodage: parcours de l’arbre. 00101000100100011011101011110101110101101 ! d´ ecode 0 0 01000100100011011101011110101110101101 ! d´ ecode 1 0 1 000100100011011101011110101110101101 ! d´ ecode 3 0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000 ! Se repr´ esente sous forme d’un arbre binaire.

le d´ ebut d’un autre. Code pr´ eﬁxe. Décodage et arbres binaires 00101000100100011011101011110101110101101 Code re¸ cu : 0 1 00 01 10 11 000 001 010 011 100 101 110 111 3 0 1 2 000 001 010 011 100 101 110 111 0 1 00 01 10 11 D´ ecodage: parcours de l’arbre. 00101000100100011011101011110101110101101 ! d´ ecode 0 0 01000100100011011101011110101110101101 ! d´ ecode 1 0 1 000100100011011101011110101110101101 ! d´ ecode 3 0 1 3 100100011011101011110101110101101 ! d´ ecode 2 . . . 0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000 ! Se repr´ esente sous forme d’un arbre binaire.

Entropie Comment quantiﬁer la quantit´ e d’information d’une suite de
symboles ?

Entropie pi = fr´ equence d’apparition du symbole i .
Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? p0 + p1 + p2 + p3 = 1

256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? p0 + p1 + p2 + p3 = 1

256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? 923 pixels blanc ! p3 = 923 216 ⇡ 0 . 01. p0 + p1 + p2 + p3 = 1

256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? 923 pixels blanc ! p3 = 923 216 ⇡ 0 . 01. p0 + p1 + p2 + p3 = 1 p1 ⇡ 0.53, p2 ⇡ 0.19

256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? 923 pixels blanc ! p3 = 923 216 ⇡ 0 . 01. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 p0 + p1 + p2 + p3 = 1 p1 ⇡ 0.53, p2 ⇡ 0.19

Entropie : 256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? 923 pixels blanc ! p3 = 923 216 ⇡ 0 . 01. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H ( p ) def. = X i pi log2 ⇣ 1 pi ⌘ p0 + p1 + p2 + p3 = 1 0 1 1/e 0 pi log2(1 /pi) pi p1 ⇡ 0.53, p2 ⇡ 0.19

Entropie : Propri´ et´ e: 0 6 H ( p ) 6 log2( N ). 256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? 923 pixels blanc ! p3 = 923 216 ⇡ 0 . 01. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H ( p ) def. = X i pi log2 ⇣ 1 pi ⌘ p0 + p1 + p2 + p3 = 1 0 1 1/e 0 pi log2(1 /pi) pi p1 ⇡ 0.53, p2 ⇡ 0.19

Entropie : Propri´ et´ e: 0 6 H ( p ) 6 log2( N ). 256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? 923 pixels blanc ! p3 = 923 216 ⇡ 0 . 01. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 0 1 2 3 0 0.2 0.4 0.6 0.8 1 p0 p2 p3 p1 0 1 0 0 H(p) = 0 H ( p ) def. = X i pi log2 ⇣ 1 pi ⌘ p0 + p1 + p2 + p3 = 1 0 1 1/e 0 pi log2(1 /pi) pi p1 ⇡ 0.53, p2 ⇡ 0.19

Entropie : Propri´ et´ e: 0 6 H ( p ) 6 log2( N ). 256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? 923 pixels blanc ! p3 = 923 216 ⇡ 0 . 01. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 0 1 2 3 0 0.1 0.2 0.3 p0 p2 p3 p1 0.25 0.25 0.25 0.25 H ( p ) = log2(4) = 2 0 1 2 3 0 0.2 0.4 0.6 0.8 1 p0 p2 p3 p1 0 1 0 0 H(p) = 0 H ( p ) def. = X i pi log2 ⇣ 1 pi ⌘ p0 + p1 + p2 + p3 = 1 0 1 1/e 0 pi log2(1 /pi) pi p1 ⇡ 0.53, p2 ⇡ 0.19

Entropie : Propri´ et´ e: 0 6 H ( p ) 6 log2( N ). 256 ⇥ 256 = 2 16 pixels: 17432 pixels noirs ! p0 = 17432 216 ⇡ 0 . 27. Comment quantiﬁer la quantit´ e d’information d’une suite de symboles ? 923 pixels blanc ! p3 = 923 216 ⇡ 0 . 01. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 0 1 2 3 0 0.1 0.2 0.3 p0 p2 p3 p1 0.25 0.25 0.25 0.25 H ( p ) = log2(4) = 2 0 1 2 3 0 0.2 0.4 0.6 0.8 1 p0 p2 p3 p1 0 1 0 0 H(p) = 0 H ( p ) def. = X i pi log2 ⇣ 1 pi ⌘ p0 + p1 + p2 + p3 = 1 0 1 1/e 0 pi log2(1 /pi) pi p1 ⇡ 0.53, p2 ⇡ 0.19 H(p) ⇡ 1.54

Borne de Shannon Th´ eor` eme de Shannon: si les
symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ).

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder.

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H(p) ⇡ 1.54

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder. 0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3 Codage pr´ eﬁxe: 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H(p) ⇡ 1.54

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder. 0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3 Codage pr´ eﬁxe: Long. moy. = p0 ⇥ Long( c0) + p1 ⇥ Long( c1) + p2 ⇥ Long( c2) + p3 ⇥ Long( c3) 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H(p) ⇡ 1.54

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder. 0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3 Codage pr´ eﬁxe: 0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111 Exemple: Long. moy. = p0 ⇥ Long( c0) + p1 ⇥ Long( c1) + p2 ⇥ Long( c2) + p3 ⇥ Long( c3) 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H(p) ⇡ 1.54

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder. 0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3 Codage pr´ eﬁxe: 0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111 Exemple: Long. moy. = p0 ⇥ Long( c0) + p1 ⇥ Long( c1) + p2 ⇥ Long( c2) + p3 ⇥ Long( c3) Long. moy. = 0 . 27 ⇥ 2 + 0 . 53 ⇥ 1 + 0 . 19 ⇥ 3 + 0 . 01 ⇥ 3 = 1 . 67 bits/symbole. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H(p) ⇡ 1.54

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder. 0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3 Codage pr´ eﬁxe: 0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111 Exemple: Long. moy. = p0 ⇥ Long( c0) + p1 ⇥ Long( c1) + p2 ⇥ Long( c2) + p3 ⇥ Long( c3) Long. moy. = 0 . 27 ⇥ 2 + 0 . 53 ⇥ 1 + 0 . 19 ⇥ 3 + 0 . 01 ⇥ 3 = 1 . 67 bits/symbole. Codage uniforme 2 bits 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H(p) ⇡ 1.54

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder. 0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3 Codage pr´ eﬁxe: 0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111 Exemple: Long. moy. = p0 ⇥ Long( c0) + p1 ⇥ Long( c1) + p2 ⇥ Long( c2) + p3 ⇥ Long( c3) Long. moy. = 0 . 27 ⇥ 2 + 0 . 53 ⇥ 1 + 0 . 19 ⇥ 3 + 0 . 01 ⇥ 3 = 1 . 67 bits/symbole. Codage uniforme 2 bits Codage variable 1.67 bits > 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H(p) ⇡ 1.54

symboles sont tir´ es au hasard selon la loi ( pi)i le nombre moyen de bits d’un code pr´ eﬁxe est sup´ erieur ` a H ( p ). H ( p ) faible , peu d’information , facile ` a coder. 0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3 Codage pr´ eﬁxe: 0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111 Exemple: Long. moy. = p0 ⇥ Long( c0) + p1 ⇥ Long( c1) + p2 ⇥ Long( c2) + p3 ⇥ Long( c3) Long. moy. = 0 . 27 ⇥ 2 + 0 . 53 ⇥ 1 + 0 . 19 ⇥ 3 + 0 . 01 ⇥ 3 = 1 . 67 bits/symbole. Codage uniforme 2 bits Codage variable 1.67 bits > Entropie 1.54 bits > 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p2 p3 0.27 0.53 0.19 0.01 p1 H(p) ⇡ 1.54

Comment faire mieux? ! Les pixels ne sont pas ind´
ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie.

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 0 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + 0 1 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + 0 1 + 3 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + + + + + + + + + + + + + + + + + + + + + + 0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 1 + 3 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + + + + + + + + + + + + + + + + + + + + + + 0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 1 + 3 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p1 p2 p3 H(p) = 1.54

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + + + + + + + + + + + + + + + + + + + + + + 0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 1 + 3 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p1 p2 p3 H(p) = 1.54 -3 -2 -1 0 1 2 3 0 0.2 0.4 0.6 0.8 p0 p1 p2 p3 p 1 p 2 p 3 H(p) = 0.61

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + + + + + + + + + + + + + + + + + + + + + + 0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 1 + 3 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e 0 01 010 1 00 011 0100 010 0101 01011 010100 010101 0 1 2 3 3 2 1 Long. moy. = 1 . 16 bits. Long. moy. = 1 . 67 bits. 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p1 p2 p3 H(p) = 1.54 -3 -2 -1 0 1 2 3 0 0.2 0.4 0.6 0.8 p0 p1 p2 p3 p 1 p 2 p 3 H(p) = 0.61

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + + + + + + + + + + + + + + + + + + + + + + 0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 1 + 3 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e 0 01 010 1 00 011 0100 010 0101 01011 010100 010101 0 1 2 3 3 2 1 Long. moy. = 1 . 16 bits. Long. moy. = 1 . 67 bits. Image 256 ⇥ 256 pixels: 16.3 ko 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p1 p2 p3 H(p) = 1.54 -3 -2 -1 0 1 2 3 0 0.2 0.4 0.6 0.8 p0 p1 p2 p3 p 1 p 2 p 3 H(p) = 0.61

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + + + + + + + + + + + + + + + + + + + + + + 0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 1 + 3 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e 0 01 010 1 00 011 0100 010 0101 01011 010100 010101 0 1 2 3 3 2 1 Long. moy. = 1 . 16 bits. Long. moy. = 1 . 67 bits. Image 256 ⇥ 256 pixels: 16.3 ko 13.7 ko 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p1 p2 p3 H(p) = 1.54 -3 -2 -1 0 1 2 3 0 0.2 0.4 0.6 0.8 p0 p1 p2 p3 p 1 p 2 p 3 H(p) = 0.61

ependants les uns des autres ! Retransformation des symboles , diminuer l’entropie. 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1 + + + + + + + + + + + + + + + + + + + + + + 0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1 1 + 3 0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 2 1 1 2 1 bijectivit´ e 0 01 010 1 00 011 0100 010 0101 01011 010100 010101 0 1 2 3 3 2 1 Long. moy. = 1 . 16 bits. Long. moy. = 1 . 67 bits. Image 256 ⇥ 256 pixels: 16.3 ko 13.7 ko 9.5 ko 0 1 2 3 0 0.1 0.2 0.3 0.4 0.5 p0 p1 p2 p3 H(p) = 1.54 -3 -2 -1 0 1 2 3 0 0.2 0.4 0.6 0.8 p0 p1 p2 p3 p 1 p 2 p 3 H(p) = 0.61

Conclusion http://mapage.noos.fr/fholvoet/shannon.htm 1/2 joue aux échecs, qui ne sera battue
qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, Mass. où il mourra le 24 février 2001. L'importance des travaux de Shannon Claude Shannon, p` ere fondateur de la th´ eorie de l’information.

qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, Mass. où il mourra le 24 février 2001. L'importance des travaux de Shannon Claude Shannon, p` ere fondateur de la th´ eorie de l’information. Conversion analogique ! num´ erique.

qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, Mass. où il mourra le 24 février 2001. L'importance des travaux de Shannon Claude Shannon, p` ere fondateur de la th´ eorie de l’information. Conversion analogique ! num´ erique. Compression : utilisation de code variables. symbole fr´ equent ! code court

qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, Mass. où il mourra le 24 février 2001. L'importance des travaux de Shannon Claude Shannon, p` ere fondateur de la th´ eorie de l’information. Conversion analogique ! num´ erique. Compression : utilisation de code variables. symbole fr´ equent ! code court Non abord´ e: comment calculer ces codes ? ! arbre de Hu↵man (1952). ! codage arithm´ etique (1976).

qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, Mass. où il mourra le 24 février 2001. L'importance des travaux de Shannon Claude Shannon, p` ere fondateur de la th´ eorie de l’information. Conversion analogique ! num´ erique. Compression : utilisation de code variables. symbole fr´ equent ! code court Non abord´ e: comment calculer ces codes ? ! arbre de Hu↵man (1952). ! codage arithm´ etique (1976). Non abord´ e: correction des erreurs.

Math´ ematiques pour les sciences de l’information: mod´ eliser Conclusion
http://mapage.noos.fr/fholvoet/shannon.htm 1/2 joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, Mass. où il mourra le 24 février 2001. L'importance des travaux de Shannon Claude Shannon, p` ere fondateur de la th´ eorie de l’information. Conversion analogique ! num´ erique. Compression : utilisation de code variables. symbole fr´ equent ! code court Non abord´ e: comment calculer ces codes ? ! arbre de Hu↵man (1952). ! codage arithm´ etique (1976). Non abord´ e: correction des erreurs.

http://mapage.noos.fr/fholvoet/shannon.htm 1/2 joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, Mass. où il mourra le 24 février 2001. L'importance des travaux de Shannon Claude Shannon, p` ere fondateur de la th´ eorie de l’information. Conversion analogique ! num´ erique. Compression : utilisation de code variables. symbole fr´ equent ! code court Non abord´ e: comment calculer ces codes ? ! arbre de Hu↵man (1952). ! codage arithm´ etique (1976). Non abord´ e: correction des erreurs. prouver des bornes

http://mapage.noos.fr/fholvoet/shannon.htm 1/2 joue aux échecs, qui ne sera battue qu’en 42 coups par le champion du monde Mikhail Botvinnik en 1965 à Moscou. Il est également passablement fantaisiste et les ingénieurs de la Bell se le rappellent chevauchant un monocycle en jonglant avec 3 balles dans les couloirs du labo. Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en particulier la Médaille Nationale de la Science des mains du président Johnson en 1966 et le Prix Kyoto pour la Science de Base. Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton, Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts, Pennsylvania. Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford, Mass. où il mourra le 24 février 2001. L'importance des travaux de Shannon Claude Shannon, p` ere fondateur de la th´ eorie de l’information. Conversion analogique ! num´ erique. Compression : utilisation de code variables. symbole fr´ equent ! code court Non abord´ e: comment calculer ces codes ? ! arbre de Hu↵man (1952). ! codage arithm´ etique (1976). Non abord´ e: correction des erreurs. prouver des bornes atteindre ces bornes

Claude Shannon et l'avènement de l'ère numér...

Claude Shannon et l'avènement de l'ère numérique

More Decks by Gabriel Peyré

Other Decks in Education

Featured

Transcript