$30 off During Our Annual Pro Sale. View Details »

Claude Shannon et l'avènement de l'ère numérique

Claude Shannon et l'avènement de l'ère numérique

Exposé donné dans le cadre du cycle "un texte un mathématicien" au lycée franco-allemand de Buc.

Gabriel Peyré

April 03, 2016
Tweet

More Decks by Gabriel Peyré

Other Decks in Education

Transcript

  1. Gabriel Peyré
    www.numerical-tours.com
    autour de l’article
    "A Mathematical Theory of Communication"
    The Bell System Technical Journal,
    Vol. 27, pp. 379–423, 623–656, July, October, 1948.
    Claude Shannon et
    l'avènement de l'ère
    numérique

    View Slide

  2. Plan
    • Données et information à l’ère numérique
    • Claude Shannon
    • De l’analogique au numérique
    • Codage et décodage
    • Borne de l’entropie

    View Slide

  3. Données et information
    www.deezer.com
    musique

    View Slide

  4. Données et information
    www.google.com/imghp
    images
    www.deezer.com
    musique

    View Slide

  5. Données et information
    www.google.com/imghp
    images
    www.deezer.com
    musique
    www.youtube.com
    videos

    View Slide

  6. Données et information
    3D, jeux videos
    www.google.com/imghp
    images
    www.deezer.com
    musique
    www.youtube.com
    videos

    View Slide

  7. Données et information
    3D, jeux videos r´
    eseaux sociaux
    www.google.com/imghp
    images
    www.deezer.com
    musique
    www.youtube.com
    videos

    View Slide

  8. Données et information
    3D, jeux videos r´
    eseaux sociaux
    scanner, imagerie
    www.google.com/imghp
    images
    www.deezer.com
    musique
    www.youtube.com
    videos

    View Slide

  9. Données et information
    3D, jeux videos r´
    eseaux sociaux
    scanner, imagerie
    www.google.com/imghp
    images
    www.deezer.com
    musique
    www.youtube.com
    videos
    3 probl`
    emes : acqu´
    erir / stocker / transmettre ces donn´
    ees.

    View Slide

  10. Acquisition, codage et transmission d’information
    acquisition

    View Slide

  11. Acquisition, codage et transmission d’information
    acquisition
    num´
    erisation

    View Slide

  12. Acquisition, codage et transmission d’information
    acquisition
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    codage
    num´
    erisation

    View Slide

  13. Acquisition, codage et transmission d’information
    acquisition
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    codage
    010010010100011
    010111101010010
    101001010101001
    010010110101010
    00010…
    transmission
    erreurs
    attaques
    num´
    erisation

    View Slide

  14. Acquisition, codage et transmission d’information
    acquisition
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    codage
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    correction
    010010010100011
    010111101010010
    101001010101001
    010010110101010
    00010…
    transmission
    erreurs
    attaques
    num´
    erisation

    View Slide

  15. Acquisition, codage et transmission d’information
    acquisition
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    codage
    a chage
    decodage
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    correction
    010010010100011
    010111101010010
    101001010101001
    010010110101010
    00010…
    transmission
    erreurs
    attaques
    num´
    erisation

    View Slide

  16. Acquisition, codage et transmission d’information
    acquisition
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    codage
    a chage
    decodage
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    correction
    010010010100011
    010111101010010
    101001010101001
    010010110101010
    00010…
    transmission
    erreurs
    attaques
    Compression:
    moins de place de stockage,
    transmission plus rapide.
    Codage:
    num´
    erisation

    View Slide

  17. Acquisition, codage et transmission d’information
    acquisition
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    codage
    a chage
    decodage
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    correction
    010010010100011
    010111101010010
    101001010101001
    010010110101010
    00010…
    transmission
    erreurs
    attaques
    Compression:
    moins de place de stockage,
    transmission plus rapide.
    Correction: robustesse aux erreurs et attaques.
    Codage:
    num´
    erisation

    View Slide

  18. Acquisition, codage et transmission d’information
    acquisition
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    codage
    a chage
    decodage
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    correction
    010010010100011
    010111101010010
    101001010101001
    010010110101010
    00010…
    transmission
    erreurs
    attaques
    Compression:
    moins de place de stockage,
    transmission plus rapide.
    Correction: robustesse aux erreurs et attaques.
    Codage:
    num´
    erisation
    !
    Shannon a expliqu´
    e en 1948 comment faire compression
    et
    correction.

    View Slide

  19. Acquisition, codage et transmission d’information
    acquisition
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    codage
    a chage
    decodage
    010010010100111
    010101101010010
    101001010101001
    010010010101010
    10010…
    correction
    010010010100011
    010111101010010
    101001010101001
    010010110101010
    00010…
    transmission
    erreurs
    attaques
    Compression:
    moins de place de stockage,
    transmission plus rapide.
    Correction: robustesse aux erreurs et attaques.
    Codage:
    num´
    erisation
    !
    Shannon a expliqu´
    e en 1948 comment faire compression
    et
    correction.
    AUJOURD’HUI

    View Slide

  20. Plan
    • Données et information à l’ère numérique
    • Claude Shannon
    • De l’analogique au numérique
    • Codage et décodage
    • Borne de l’entropie

    View Slide

  21. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.

    View Slide

  22. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.
    Ing´
    enieur et math´
    ematicien am´
    ericain.

    View Slide

  23. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.
    Ing´
    enieur et math´
    ematicien am´
    ericain.
    A travaill´
    e au laboratoires du MIT
    et
    `
    a Bell.

    View Slide

  24. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.
    Ing´
    enieur et math´
    ematicien am´
    ericain.
    A travaill´
    e au laboratoires du MIT
    et
    `
    a Bell.
    2
    e
    guerre mondiale: travaille pour les services secrets.

    View Slide

  25. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.
    Ing´
    enieur et math´
    ematicien am´
    ericain.
    A travaill´
    e au laboratoires du MIT
    et
    `
    a Bell.
    P`
    ere fondateur de la th´
    eorie de l’information.
    2
    e
    guerre mondiale: travaille pour les services secrets.

    View Slide

  26. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.
    Ing´
    enieur et math´
    ematicien am´
    ericain.
    A travaill´
    e au laboratoires du MIT
    et
    `
    a Bell.
    P`
    ere fondateur de la th´
    eorie de l’information.
    A Mathematical Theory of Communication
    1948, article fondateur:
    2
    e
    guerre mondiale: travaille pour les services secrets.

    View Slide

  27. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.
    Ing´
    enieur et math´
    ematicien am´
    ericain.
    A travaill´
    e au laboratoires du MIT
    et
    `
    a Bell.
    P`
    ere fondateur de la th´
    eorie de l’information.
    A Mathematical Theory of Communication
    1948, article fondateur:
    2
    e
    guerre mondiale: travaille pour les services secrets.
    !
    sch´
    ema: ´
    emeteur-codage-d´
    ecodage-destinataire.

    View Slide

  28. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.
    Ing´
    enieur et math´
    ematicien am´
    ericain.
    A travaill´
    e au laboratoires du MIT
    et
    `
    a Bell.
    P`
    ere fondateur de la th´
    eorie de l’information.
    A Mathematical Theory of Communication
    1948, article fondateur:
    !
    notions: bits, entropie, code correcteur.
    2
    e
    guerre mondiale: travaille pour les services secrets.
    !
    sch´
    ema: ´
    emeteur-codage-d´
    ecodage-destinataire.

    View Slide

  29. Claude Shannon
    Claude Shannon
    1916-2001
    Claude Shannon est né le 30 avril 1916 à Gaylord dans le Michigan dont il fréquente
    l’université. Et où il obtient une licence de mathématiques et de physique. Il entre au
    M.I.T et dans sa thèse de Master, « Une analyse symbolique des circuit à relais et de
    commutation » il utilise l’algèbre de Boole pour concevoir les circuits de
    commutation. Il apporte ainsi un outil théorique aux concepteurs de circuits logiques,
    qui servira aussi bien pour les circuits à relais que pour les circuits intégrés. Le
    professeur Howard Gardner de Harward considère cette thèse comme peut - être la
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    plus importante du siècle. Il travaille en même temps sur l’analyseur différentiel de
    Vannevar Bush.
    En 1941, muni de son PHD, il entre aux laboratoires Bell qu’il quittera en 1972. Il
    travaille sur les problèmes théoriques d’information et de commutation et en
    particulier durant la guerre sur la cryptographie.
    Il publie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    publie, également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    fameux « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    qui lui donnera 3 enfants.
    En parallèle à ses activités à la Bell il est professeur au MIT à partir
    de 1959.
    Claude Shannon est par ailleurs un esprit curieux de tout. Il
    fabrique une machines à jongler, une souris qui traverse les
    labyrinthes, une machine qui résout le cube de Rubik, une autre qui
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,

    e en 1916 et mort en 2001.
    Ing´
    enieur et math´
    ematicien am´
    ericain.
    A travaill´
    e au laboratoires du MIT
    et
    `
    a Bell.
    P`
    ere fondateur de la th´
    eorie de l’information.
    A Mathematical Theory of Communication
    1948, article fondateur:
    !
    notions: bits, entropie, code correcteur.
    !
    th´
    eor`
    emes:
    limite th´
    eorique de compression
    capacit´
    e d’un canal de transmission.
    2
    e
    guerre mondiale: travaille pour les services secrets.
    !
    sch´
    ema: ´
    emeteur-codage-d´
    ecodage-destinataire.

    View Slide

  30. Ses autres contributions …

    View Slide

  31. Ses autres contributions …
    ge.noos.fr/fholvoet/shannon.htm 1/2
    ie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    donnera 3 enfants.
    rallèle à ses activités à la Bell il est professeur au MIT à partir
    9.
    de Shannon est par ailleurs un esprit curieux de tout. Il
    ue une machines à jongler, une souris qui traverse les
    nthes, une machine qui résout le cube de Rubik, une autre qui
    ux échecs, qui ne sera battue qu’en 42 coups par le champion
    nde Mikhail Botvinnik en 1965 à Moscou.
    également passablement fantaisiste et les ingénieurs de la Bell
    rappellent chevauchant un monocycle en jonglant avec 3
    dans les couloirs du labo.
    ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    ulier la Médaille Nationale de la Science des mains du président Johnson en
    t le Prix Kyoto pour la Science de Base.
    t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    ylvania.
    e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    où il mourra le 24 février 2001.
    mportance des travaux de Shannon

    View Slide

  32. Ses autres contributions …
    ge.noos.fr/fholvoet/shannon.htm 1/2
    ie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    donnera 3 enfants.
    rallèle à ses activités à la Bell il est professeur au MIT à partir
    9.
    de Shannon est par ailleurs un esprit curieux de tout. Il
    ue une machines à jongler, une souris qui traverse les
    nthes, une machine qui résout le cube de Rubik, une autre qui
    ux échecs, qui ne sera battue qu’en 42 coups par le champion
    nde Mikhail Botvinnik en 1965 à Moscou.
    également passablement fantaisiste et les ingénieurs de la Bell
    rappellent chevauchant un monocycle en jonglant avec 3
    dans les couloirs du labo.
    ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    ulier la Médaille Nationale de la Science des mains du président Johnson en
    t le Prix Kyoto pour la Science de Base.
    t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    ylvania.
    e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    où il mourra le 24 février 2001.
    mportance des travaux de Shannon

    View Slide

  33. Ses autres contributions …
    ge.noos.fr/fholvoet/shannon.htm 1/2
    ie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    donnera 3 enfants.
    rallèle à ses activités à la Bell il est professeur au MIT à partir
    9.
    de Shannon est par ailleurs un esprit curieux de tout. Il
    ue une machines à jongler, une souris qui traverse les
    nthes, une machine qui résout le cube de Rubik, une autre qui
    ux échecs, qui ne sera battue qu’en 42 coups par le champion
    nde Mikhail Botvinnik en 1965 à Moscou.
    également passablement fantaisiste et les ingénieurs de la Bell
    rappellent chevauchant un monocycle en jonglant avec 3
    dans les couloirs du labo.
    ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    ulier la Médaille Nationale de la Science des mains du président Johnson en
    t le Prix Kyoto pour la Science de Base.
    t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    ylvania.
    e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    où il mourra le 24 février 2001.
    mportance des travaux de Shannon

    View Slide

  34. Ses autres contributions …
    ge.noos.fr/fholvoet/shannon.htm 1/2
    ie en 1949 « Théorie de la communication des systèmes secrets ».C’est dans le cadre de ses travaux à la Bell qu’il
    également en 1949, aidé du mathématicien Waren Weaver, le texte fondateur de la théorie de l’information, son
    x « Théorie mathématique de la communication »C’est aussi en 1949 qu’il épouse Mary Elisabeth « Betty » Moore
    donnera 3 enfants.
    rallèle à ses activités à la Bell il est professeur au MIT à partir
    9.
    de Shannon est par ailleurs un esprit curieux de tout. Il
    ue une machines à jongler, une souris qui traverse les
    nthes, une machine qui résout le cube de Rubik, une autre qui
    ux échecs, qui ne sera battue qu’en 42 coups par le champion
    nde Mikhail Botvinnik en 1965 à Moscou.
    également passablement fantaisiste et les ingénieurs de la Bell
    rappellent chevauchant un monocycle en jonglant avec 3
    dans les couloirs du labo.
    ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    ulier la Médaille Nationale de la Science des mains du président Johnson en
    t le Prix Kyoto pour la Science de Base.
    t membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    urgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    ylvania.
    e après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    adie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    où il mourra le 24 février 2001.
    mportance des travaux de Shannon

    View Slide

  35. Plan
    • Données et information à l’ère numérique
    • Claude Shannon
    • De l’analogique au numérique
    • Codage et décodage
    • Borne de l’entropie

    View Slide

  36. Un exemple : les images
    appareil photo

    View Slide

  37. Un exemple : les images
    appareil photo
    image
    couleur

    View Slide

  38. Un exemple : les images
    appareil photo
    image
    couleur
    rouge vert
    bleu

    View Slide

  39. image N&B
    Un exemple : les images
    appareil photo
    image
    couleur
    rouge vert
    bleu

    View Slide

  40. image N&B
    Un exemple : les images
    zoom
    appareil photo
    image
    couleur
    rouge vert
    bleu

    View Slide

  41. image N&B
    Un exemple : les images
    zoom
    lumi`
    ere
    filtres
    capteurs
    CCD
    convertisseur
    appareil photo
    image
    couleur
    rouge vert
    bleu
    Monde analogique
    lumi`
    ere

    View Slide

  42. image N&B
    Un exemple : les images
    zoom
    lumi`
    ere
    filtres
    capteurs
    CCD
    convertisseur
    appareil photo
    image
    couleur
    rouge vert
    bleu
    Monde analogique
    lumi`
    ere ´
    electricit´
    e

    View Slide

  43. image N&B
    Un exemple : les images
    zoom
    lumi`
    ere
    filtres
    capteurs
    CCD
    convertisseur
    appareil photo
    image
    couleur
    rouge vert
    bleu
    Monde analogique
    lumi`
    ere ´
    electricit´
    e
    nombres r´
    eels

    View Slide

  44. image N&B
    Un exemple : les images
    zoom
    lumi`
    ere
    filtres
    capteurs
    CCD
    convertisseur
    appareil photo
    image
    couleur
    rouge vert
    bleu
    Monde analogique
    lumi`
    ere ´
    electricit´
    e
    nombres r´
    eels
    Monde num´
    erique
    nombres entiers

    View Slide

  45. image N&B
    Monde analogique
    De l’analogique au numérique

    View Slide

  46. image N&B
    Monde analogique
    De l’analogique au numérique
    zoom
    0.23 0.55 0.93 0.66 0.39
    0.80 0.68 0.59 0.49 0.60
    0.72 0.45 0.43 0.60 0.63
    0.62 0.42 0.47 0.68 0.62
    0.70 0.46 0.56 0.69 0.58
    0.00 1.00
    0.50 0.75
    0.25 R´
    eels dans [0, 1].

    View Slide

  47. Monde num´
    erique
    image N&B
    Monde analogique
    De l’analogique au numérique
    zoom
    0.23 0.55 0.93 0.66 0.39
    0.80 0.68 0.59 0.49 0.60
    0.72 0.45 0.43 0.60 0.63
    0.62 0.42 0.47 0.68 0.62
    0.70 0.46 0.56 0.69 0.58
    0 0 1 1 0
    1 1 1 0 1
    1 0 0 1 1
    1 0 0 1 1
    1 0 0 1 0
    0 1
    0.00 1.00
    0.50 0.75
    0.25 R´
    eels dans [0, 1].
    Entiers {0, 1}.

    View Slide

  48. Monde num´
    erique
    image N&B
    Monde analogique
    De l’analogique au numérique
    zoom
    0.23 0.55 0.93 0.66 0.39
    0.80 0.68 0.59 0.49 0.60
    0.72 0.45 0.43 0.60 0.63
    0.62 0.42 0.47 0.68 0.62
    0.70 0.46 0.56 0.69 0.58
    0 0 1 1 0
    1 1 1 0 1
    1 0 0 1 1
    1 0 0 1 1
    1 0 0 1 0
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    0 1
    0 1 2 3
    0.00 1.00
    0.50 0.75
    0.25 R´
    eels dans [0, 1].
    Entiers {0, 1}.
    Entiers {0, 1, 2, 3}.

    View Slide

  49. Monde num´
    erique
    image N&B
    Monde analogique
    De l’analogique au numérique
    zoom
    0.23 0.55 0.93 0.66 0.39
    0.80 0.68 0.59 0.49 0.60
    0.72 0.45 0.43 0.60 0.63
    0.62 0.42 0.47 0.68 0.62
    0.70 0.46 0.56 0.69 0.58
    0 0 1 1 0
    1 1 1 0 1
    1 0 0 1 1
    1 0 0 1 1
    1 0 0 1 0
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    0 7 15 9 3
    12 10 8 5 8
    11 4 4 8 9
    8 4 5 10 8
    10 5 7 10 7
    0 1
    0 1 2 3
    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    0.00 1.00
    0.50 0.75
    0.25 R´
    eels dans [0, 1].
    Entiers {0, 1}.
    Entiers {0, 1, 2, 3}.
    Entiers {0, 1, . . . , 15}.

    View Slide

  50. Plan
    • Données et information à l’ère numérique
    • Claude Shannon
    • De l’analogique au numérique
    • Codage et décodage
    • Borne de l’entropie

    View Slide

  51. Codage uniforme : représentation binaire
    Ecriture binaire (base 2):
    [. . . a3a2a1a0]2 repr´
    esente a020 + a121 + a222 + a323 + . . .
    Exemple:
    [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

    View Slide

  52. Codage uniforme : représentation binaire
    Ecriture binaire (base 2):
    [. . . a3a2a1a0]2 repr´
    esente a020 + a121 + a222 + a323 + . . .
    [0]10 = [0]2
    [1]10 = [1]2
    [2]10 = [10]2
    [3]10 = [11]2
    !
    code = 01
    !
    code = 00
    !
    code = 10
    !
    code = 11
    Codage des nombres
    {
    0
    ,
    1
    ,
    2
    ,
    3
    }
    :
    Exemple:
    [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

    View Slide

  53. Codage uniforme : représentation binaire
    Ecriture binaire (base 2):
    [. . . a3a2a1a0]2 repr´
    esente a020 + a121 + a222 + a323 + . . .
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    [0]10 = [0]2
    [1]10 = [1]2
    [2]10 = [10]2
    [3]10 = [11]2
    !
    code = 01
    !
    code = 00
    !
    code = 10
    !
    code = 11
    Codage des nombres
    {
    0
    ,
    1
    ,
    2
    ,
    3
    }
    :
    Exemple:
    [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

    View Slide

  54. Codage uniforme : représentation binaire
    Ecriture binaire (base 2):
    [. . . a3a2a1a0]2 repr´
    esente a020 + a121 + a222 + a323 + . . .
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    [0]10 = [0]2
    [1]10 = [1]2
    [2]10 = [10]2
    [3]10 = [11]2
    !
    code = 01
    !
    code = 00
    !
    code = 10
    !
    code = 11
    Codage des nombres
    {
    0
    ,
    1
    ,
    2
    ,
    3
    }
    :
    Exemple:
    [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

    View Slide

  55. Codage uniforme : représentation binaire
    Ecriture binaire (base 2):
    [. . . a3a2a1a0]2 repr´
    esente a020 + a121 + a222 + a323 + . . .
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    codage
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    [0]10 = [0]2
    [1]10 = [1]2
    [2]10 = [10]2
    [3]10 = [11]2
    !
    code = 01
    !
    code = 00
    !
    code = 10
    !
    code = 11
    Codage des nombres
    {
    0
    ,
    1
    ,
    2
    ,
    3
    }
    :
    Exemple:
    [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

    View Slide

  56. Codage uniforme : représentation binaire
    Ecriture binaire (base 2):
    [. . . a3a2a1a0]2 repr´
    esente a020 + a121 + a222 + a323 + . . .
    000111100011101001101001011010100101101001011001
    Code `
    a envoyer:
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    codage
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    [0]10 = [0]2
    [1]10 = [1]2
    [2]10 = [10]2
    [3]10 = [11]2
    !
    code = 01
    !
    code = 00
    !
    code = 10
    !
    code = 11
    Codage des nombres
    {
    0
    ,
    1
    ,
    2
    ,
    3
    }
    :
    Exemple:
    [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

    View Slide

  57. Codage uniforme : représentation binaire
    Ecriture binaire (base 2):
    [. . . a3a2a1a0]2 repr´
    esente a020 + a121 + a222 + a323 + . . .
    000111100011101001101001011010100101101001011001
    Code `
    a envoyer:
    Chaque symbole 0 ou 1 correspond `
    a 1
    bit
    .
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    codage
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    [0]10 = [0]2
    [1]10 = [1]2
    [2]10 = [10]2
    [3]10 = [11]2
    !
    code = 01
    !
    code = 00
    !
    code = 10
    !
    code = 11
    Codage des nombres
    {
    0
    ,
    1
    ,
    2
    ,
    3
    }
    :
    Exemple:
    [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

    View Slide

  58. Codage uniforme : représentation binaire
    Ecriture binaire (base 2):
    [. . . a3a2a1a0]2 repr´
    esente a020 + a121 + a222 + a323 + . . .
    000111100011101001101001011010100101101001011001
    Code `
    a envoyer:

    ecodage: d´
    ecouper en bloc de 2 bits.
    Chaque symbole 0 ou 1 correspond `
    a 1
    bit
    .
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    codage
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    [0]10 = [0]2
    [1]10 = [1]2
    [2]10 = [10]2
    [3]10 = [11]2
    !
    code = 01
    !
    code = 00
    !
    code = 10
    !
    code = 11
    Codage des nombres
    {
    0
    ,
    1
    ,
    2
    ,
    3
    }
    :
    Exemple:
    [110]2 = [1 ⇥ 4 + 1 ⇥ 2 + 0 ⇥ 1]10 = [6]10.

    View Slide

  59. Codage variable
    Logarithme en base 2:
    `
    = log2(
    N
    ) est l’unique r´
    eel tel que 2
    `
    =
    N
    .
    CAS G´
    EN´
    ERAL
    Exemples: log2(2) = 1
    ,
    log2(4) = 2
    ,
    log2(6)

    2
    .
    585
    . . .

    View Slide

  60. Codage variable
    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
    Exemple:
    N
    = 16 = 2
    4 !
    besoin de log2(16) = 4 bits/symbole.
    N
    symboles
    {
    0
    ,
    1
    , . . . , N
    1
    } !
    besoin de
    d
    log2(
    N
    )
    e
    bits/symbole.
    Logarithme en base 2:
    `
    = log2(
    N
    ) est l’unique r´
    eel tel que 2
    `
    =
    N
    .
    CAS G´
    EN´
    ERAL
    Exemples: log2(2) = 1
    ,
    log2(4) = 2
    ,
    log2(6)

    2
    .
    585
    . . .

    View Slide

  61. Codage variable
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
    Exemple:
    N
    = 16 = 2
    4 !
    besoin de log2(16) = 4 bits/symbole.
    N
    symboles
    {
    0
    ,
    1
    , . . . , N
    1
    } !
    besoin de
    d
    log2(
    N
    )
    e
    bits/symbole.
    Logarithme en base 2:
    `
    = log2(
    N
    ) est l’unique r´
    eel tel que 2
    `
    =
    N
    .
    CAS G´
    EN´
    ERAL
    Exemples: log2(2) = 1
    ,
    log2(4) = 2
    ,
    log2(6)

    2
    .
    585
    . . .
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    000111100011101001101001011010100101101001011001
    Code `
    a envoyer:
    4 symboles
    {
    0
    ,
    1
    ,
    2
    ,
    3
    } !
    besoin de 2 bits par symbole.
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1

    View Slide

  62. Codage variable
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    Peut-on faire mieux?
    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
    Exemple:
    N
    = 16 = 2
    4 !
    besoin de log2(16) = 4 bits/symbole.
    N
    symboles
    {
    0
    ,
    1
    , . . . , N
    1
    } !
    besoin de
    d
    log2(
    N
    )
    e
    bits/symbole.
    Logarithme en base 2:
    `
    = log2(
    N
    ) est l’unique r´
    eel tel que 2
    `
    =
    N
    .
    CAS G´
    EN´
    ERAL
    Exemples: log2(2) = 1
    ,
    log2(4) = 2
    ,
    log2(6)

    2
    .
    585
    . . .
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    000111100011101001101001011010100101101001011001
    Code `
    a envoyer:
    4 symboles
    {
    0
    ,
    1
    ,
    2
    ,
    3
    } !
    besoin de 2 bits par symbole.
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1

    View Slide

  63. Codage variable
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    Peut-on faire mieux?
    0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
    Exemple:
    N
    = 16 = 2
    4 !
    besoin de log2(16) = 4 bits/symbole.
    N
    symboles
    {
    0
    ,
    1
    , . . . , N
    1
    } !
    besoin de
    d
    log2(
    N
    )
    e
    bits/symbole.
    Logarithme en base 2:
    `
    = log2(
    N
    ) est l’unique r´
    eel tel que 2
    `
    =
    N
    .
    CAS G´
    EN´
    ERAL
    Exemples: log2(2) = 1
    ,
    log2(4) = 2
    ,
    log2(6)

    2
    .
    585
    . . .
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    000111100011101001101001011010100101101001011001
    Code `
    a envoyer:
    4 symboles
    {
    0
    ,
    1
    ,
    2
    ,
    3
    } !
    besoin de 2 bits par symbole.
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1

    View Slide

  64. Codage variable
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    Peut-on faire mieux?
    00101000100100011011101011110101110101101
    Code `
    a envoyer:
    001 01 000 1 001 000 1 1 01 1 1 01 01 1 1 1 01 01 1 1 01 01 1 01
    0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
    Exemple:
    N
    = 16 = 2
    4 !
    besoin de log2(16) = 4 bits/symbole.
    N
    symboles
    {
    0
    ,
    1
    , . . . , N
    1
    } !
    besoin de
    d
    log2(
    N
    )
    e
    bits/symbole.
    Logarithme en base 2:
    `
    = log2(
    N
    ) est l’unique r´
    eel tel que 2
    `
    =
    N
    .
    CAS G´
    EN´
    ERAL
    Exemples: log2(2) = 1
    ,
    log2(4) = 2
    ,
    log2(6)

    2
    .
    585
    . . .
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    000111100011101001101001011010100101101001011001
    Code `
    a envoyer:
    4 symboles
    {
    0
    ,
    1
    ,
    2
    ,
    3
    } !
    besoin de 2 bits par symbole.
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1

    View Slide

  65. Codage variable
    00 01 11 10 00 11 10 10 01 10 10 01 01 10 10 10 01 01 10 10 01 01 10 01
    Peut-on faire mieux?
    ! 41 bits.
    ! 50 bits.
    00101000100100011011101011110101110101101
    Code `
    a envoyer:
    001 01 000 1 001 000 1 1 01 1 1 01 01 1 1 1 01 01 1 1 01 01 1 01
    0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
    0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
    Exemple:
    N
    = 16 = 2
    4 !
    besoin de log2(16) = 4 bits/symbole.
    N
    symboles
    {
    0
    ,
    1
    , . . . , N
    1
    } !
    besoin de
    d
    log2(
    N
    )
    e
    bits/symbole.
    Logarithme en base 2:
    `
    = log2(
    N
    ) est l’unique r´
    eel tel que 2
    `
    =
    N
    .
    CAS G´
    EN´
    ERAL
    Exemples: log2(2) = 1
    ,
    log2(4) = 2
    ,
    log2(6)

    2
    .
    585
    . . .
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    000111100011101001101001011010100101101001011001
    Code `
    a envoyer:
    4 symboles
    {
    0
    ,
    1
    ,
    2
    ,
    3
    } !
    besoin de 2 bits par symbole.
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1

    View Slide

  66. Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :

    View Slide


  67. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :

    View Slide


  68. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :
    !
    Se repr´
    esente sous forme d’un arbre binaire.

    View Slide


  69. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :
    000 001 010 011 100 101 110 111
    0 1
    00 01 10 11
    !
    Se repr´
    esente sous forme d’un arbre binaire.

    View Slide


  70. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :
    000 001 010 011 100 101 110 111
    0 1
    00 01 10 11
    !
    Se repr´
    esente sous forme d’un arbre binaire.

    View Slide


  71. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :
    0 1
    00 01 10 11
    000 001 010 011 100 101 110 111
    3 0
    1
    2
    000 001 010 011 100 101 110 111
    0 1
    00 01 10 11
    0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
    !
    Se repr´
    esente sous forme d’un arbre binaire.

    View Slide


  72. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :
    0 1
    00 01 10 11
    000 001 010 011 100 101 110 111
    3 0
    1
    2
    000 001 010 011 100 101 110 111
    0 1
    00 01 10 11

    ecodage: parcours de l’arbre.
    00101000100100011011101011110101110101101 !

    ecode 0
    0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
    !
    Se repr´
    esente sous forme d’un arbre binaire.

    View Slide


  73. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :
    0 1
    00 01 10 11
    000 001 010 011 100 101 110 111
    3 0
    1
    2
    000 001 010 011 100 101 110 111
    0 1
    00 01 10 11

    ecodage: parcours de l’arbre.
    00101000100100011011101011110101110101101 !

    ecode 0
    0 01000100100011011101011110101110101101 !

    ecode 1
    0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
    !
    Se repr´
    esente sous forme d’un arbre binaire.

    View Slide


  74. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :
    0 1
    00 01 10 11
    000 001 010 011 100 101 110 111
    3 0
    1
    2
    000 001 010 011 100 101 110 111
    0 1
    00 01 10 11

    ecodage: parcours de l’arbre.
    00101000100100011011101011110101110101101 !

    ecode 0
    0 01000100100011011101011110101110101101 !

    ecode 1
    0 1 000100100011011101011110101110101101 !

    ecode 3
    0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
    !
    Se repr´
    esente sous forme d’un arbre binaire.

    View Slide


  75. ecodage non-ambigu¨
    e : aucun mot du code n’est le d´
    ebut d’un autre.
    Code pr´
    efixe.
    Décodage et arbres binaires
    00101000100100011011101011110101110101101
    Code re¸
    cu :
    0 1
    00 01 10 11
    000 001 010 011 100 101 110 111
    3 0
    1
    2
    000 001 010 011 100 101 110 111
    0 1
    00 01 10 11

    ecodage: parcours de l’arbre.
    00101000100100011011101011110101110101101 !

    ecode 0
    0 01000100100011011101011110101110101101 !

    ecode 1
    0 1 000100100011011101011110101110101101 !

    ecode 3
    0 1 3 100100011011101011110101110101101 !

    ecode 2
    . . .
    0 ! 001, 1 ! 01, 2 ! 1, 3 ! 000
    !
    Se repr´
    esente sous forme d’un arbre binaire.

    View Slide

  76. Plan
    • Données et information à l’ère numérique
    • Claude Shannon
    • De l’analogique au numérique
    • Codage et décodage
    • Borne de l’entropie

    View Slide

  77. Entropie
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?

    View Slide

  78. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    p0 + p1 + p2 + p3 = 1

    View Slide

  79. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    p0 + p1 + p2 + p3 = 1

    View Slide

  80. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    923 pixels blanc
    ! p3 =
    923
    216

    0
    .
    01.
    p0 + p1 + p2 + p3 = 1

    View Slide

  81. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    923 pixels blanc
    ! p3 =
    923
    216

    0
    .
    01.
    p0 + p1 + p2 + p3 = 1
    p1
    ⇡ 0.53, p2
    ⇡ 0.19

    View Slide

  82. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    923 pixels blanc
    ! p3 =
    923
    216

    0
    .
    01.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    p0 + p1 + p2 + p3 = 1
    p1
    ⇡ 0.53, p2
    ⇡ 0.19

    View Slide

  83. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    Entropie
    :
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    923 pixels blanc
    ! p3 =
    923
    216

    0
    .
    01.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H
    (
    p
    )
    def.
    =
    X
    i
    pi log2

    1
    pi

    p0 + p1 + p2 + p3 = 1
    0 1
    1/e
    0
    pi log2(1
    /pi)
    pi
    p1
    ⇡ 0.53, p2
    ⇡ 0.19

    View Slide

  84. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    Entropie
    :
    Propri´
    et´
    e: 0
    6 H
    (
    p
    )
    6
    log2(
    N
    ).
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    923 pixels blanc
    ! p3 =
    923
    216

    0
    .
    01.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H
    (
    p
    )
    def.
    =
    X
    i
    pi log2

    1
    pi

    p0 + p1 + p2 + p3 = 1
    0 1
    1/e
    0
    pi log2(1
    /pi)
    pi
    p1
    ⇡ 0.53, p2
    ⇡ 0.19

    View Slide

  85. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    Entropie
    :
    Propri´
    et´
    e: 0
    6 H
    (
    p
    )
    6
    log2(
    N
    ).
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    923 pixels blanc
    ! p3 =
    923
    216

    0
    .
    01.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    0 1 2 3
    0
    0.2
    0.4
    0.6
    0.8
    1
    p0 p2 p3
    p1
    0 1 0 0
    H(p) = 0
    H
    (
    p
    )
    def.
    =
    X
    i
    pi log2

    1
    pi

    p0 + p1 + p2 + p3 = 1
    0 1
    1/e
    0
    pi log2(1
    /pi)
    pi
    p1
    ⇡ 0.53, p2
    ⇡ 0.19

    View Slide

  86. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    Entropie
    :
    Propri´
    et´
    e: 0
    6 H
    (
    p
    )
    6
    log2(
    N
    ).
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    923 pixels blanc
    ! p3 =
    923
    216

    0
    .
    01.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1 0 1 2 3
    0
    0.1
    0.2
    0.3
    p0 p2 p3
    p1
    0.25 0.25 0.25 0.25
    H
    (
    p
    ) = log2(4) = 2
    0 1 2 3
    0
    0.2
    0.4
    0.6
    0.8
    1
    p0 p2 p3
    p1
    0 1 0 0
    H(p) = 0
    H
    (
    p
    )
    def.
    =
    X
    i
    pi log2

    1
    pi

    p0 + p1 + p2 + p3 = 1
    0 1
    1/e
    0
    pi log2(1
    /pi)
    pi
    p1
    ⇡ 0.53, p2
    ⇡ 0.19

    View Slide

  87. Entropie
    pi = fr´
    equence d’apparition du symbole
    i
    .
    Entropie
    :
    Propri´
    et´
    e: 0
    6 H
    (
    p
    )
    6
    log2(
    N
    ).
    256

    256 = 2
    16
    pixels:
    17432 pixels noirs
    ! p0 =
    17432
    216

    0
    .
    27.
    Comment quantifier la quantit´
    e d’information d’une suite de symboles ?
    923 pixels blanc
    ! p3 =
    923
    216

    0
    .
    01.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1 0 1 2 3
    0
    0.1
    0.2
    0.3
    p0 p2 p3
    p1
    0.25 0.25 0.25 0.25
    H
    (
    p
    ) = log2(4) = 2
    0 1 2 3
    0
    0.2
    0.4
    0.6
    0.8
    1
    p0 p2 p3
    p1
    0 1 0 0
    H(p) = 0
    H
    (
    p
    )
    def.
    =
    X
    i
    pi log2

    1
    pi

    p0 + p1 + p2 + p3 = 1
    0 1
    1/e
    0
    pi log2(1
    /pi)
    pi
    p1
    ⇡ 0.53, p2
    ⇡ 0.19
    H(p) ⇡ 1.54

    View Slide

  88. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).

    View Slide

  89. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.

    View Slide

  90. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H(p) ⇡ 1.54

    View Slide

  91. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.
    0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
    Codage pr´
    efixe:
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H(p) ⇡ 1.54

    View Slide

  92. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.
    0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
    Codage pr´
    efixe:
    Long. moy. =
    p0

    Long(
    c0) +
    p1

    Long(
    c1) +
    p2

    Long(
    c2) +
    p3

    Long(
    c3)
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H(p) ⇡ 1.54

    View Slide

  93. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.
    0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
    Codage pr´
    efixe:
    0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
    Exemple:
    Long. moy. =
    p0

    Long(
    c0) +
    p1

    Long(
    c1) +
    p2

    Long(
    c2) +
    p3

    Long(
    c3)
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H(p) ⇡ 1.54

    View Slide

  94. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.
    0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
    Codage pr´
    efixe:
    0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
    Exemple:
    Long. moy. =
    p0

    Long(
    c0) +
    p1

    Long(
    c1) +
    p2

    Long(
    c2) +
    p3

    Long(
    c3)
    Long. moy. = 0
    .
    27

    2 + 0
    .
    53

    1 + 0
    .
    19

    3 + 0
    .
    01

    3 = 1
    .
    67 bits/symbole.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H(p) ⇡ 1.54

    View Slide

  95. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.
    0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
    Codage pr´
    efixe:
    0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
    Exemple:
    Long. moy. =
    p0

    Long(
    c0) +
    p1

    Long(
    c1) +
    p2

    Long(
    c2) +
    p3

    Long(
    c3)
    Long. moy. = 0
    .
    27

    2 + 0
    .
    53

    1 + 0
    .
    19

    3 + 0
    .
    01

    3 = 1
    .
    67 bits/symbole.
    Codage uniforme
    2 bits
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H(p) ⇡ 1.54

    View Slide

  96. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.
    0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
    Codage pr´
    efixe:
    0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
    Exemple:
    Long. moy. =
    p0

    Long(
    c0) +
    p1

    Long(
    c1) +
    p2

    Long(
    c2) +
    p3

    Long(
    c3)
    Long. moy. = 0
    .
    27

    2 + 0
    .
    53

    1 + 0
    .
    19

    3 + 0
    .
    01

    3 = 1
    .
    67 bits/symbole.
    Codage uniforme
    2 bits Codage variable
    1.67 bits
    >
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H(p) ⇡ 1.54

    View Slide

  97. Borne de Shannon
    Th´
    eor`
    eme de Shannon:
    si les symboles sont tir´
    es au
    hasard
    selon la loi (
    pi)i
    le nombre moyen de bits d’un code pr´
    efixe est sup´
    erieur `
    a
    H
    (
    p
    ).
    H
    (
    p
    ) faible
    ,
    peu d’information
    ,
    facile `
    a coder.
    0 ! c0, 1 ! c1, 2 ! c2, 3 ! c3
    Codage pr´
    efixe:
    0 ! 10, 1 ! 0, 2 ! 110, 3 ! 111
    Exemple:
    Long. moy. =
    p0

    Long(
    c0) +
    p1

    Long(
    c1) +
    p2

    Long(
    c2) +
    p3

    Long(
    c3)
    Long. moy. = 0
    .
    27

    2 + 0
    .
    53

    1 + 0
    .
    19

    3 + 0
    .
    01

    3 = 1
    .
    67 bits/symbole.
    Codage uniforme
    2 bits Codage variable
    1.67 bits
    > Entropie
    1.54 bits
    >
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0 p2 p3
    0.27 0.53 0.19 0.01
    p1
    H(p) ⇡ 1.54

    View Slide

  98. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.

    View Slide

  99. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1

    View Slide

  100. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1

    View Slide

  101. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1

    View Slide

  102. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e

    View Slide

  103. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    0
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e

    View Slide

  104. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    +
    0 1
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e

    View Slide

  105. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    +
    0 1
    +
    3
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e

    View Slide

  106. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    + + + + + + + + + + + + + + + + + + + + + +
    0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    1
    +
    3
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e

    View Slide

  107. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    + + + + + + + + + + + + + + + + + + + + + +
    0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    1
    +
    3
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0
    p1 p2
    p3
    H(p) = 1.54

    View Slide

  108. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    + + + + + + + + + + + + + + + + + + + + + +
    0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    1
    +
    3
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0
    p1 p2
    p3
    H(p) = 1.54
    -3 -2 -1 0 1 2 3
    0
    0.2
    0.4
    0.6
    0.8
    p0 p1 p2 p3
    p 1
    p 2
    p 3
    H(p) = 0.61

    View Slide

  109. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    + + + + + + + + + + + + + + + + + + + + + +
    0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    1
    +
    3
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e
    0
    01
    010
    1
    00
    011
    0100 010
    0101 01011
    010100 010101
    0
    1
    2
    3
    3
    2
    1
    Long. moy. = 1
    .
    16 bits.
    Long. moy. = 1
    .
    67 bits.
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0
    p1 p2
    p3
    H(p) = 1.54
    -3 -2 -1 0 1 2 3
    0
    0.2
    0.4
    0.6
    0.8
    p0 p1 p2 p3
    p 1
    p 2
    p 3
    H(p) = 0.61

    View Slide

  110. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    + + + + + + + + + + + + + + + + + + + + + +
    0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    1
    +
    3
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e
    0
    01
    010
    1
    00
    011
    0100 010
    0101 01011
    010100 010101
    0
    1
    2
    3
    3
    2
    1
    Long. moy. = 1
    .
    16 bits.
    Long. moy. = 1
    .
    67 bits.
    Image 256

    256 pixels:
    16.3 ko
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0
    p1 p2
    p3
    H(p) = 1.54
    -3 -2 -1 0 1 2 3
    0
    0.2
    0.4
    0.6
    0.8
    p0 p1 p2 p3
    p 1
    p 2
    p 3
    H(p) = 0.61

    View Slide

  111. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    + + + + + + + + + + + + + + + + + + + + + +
    0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    1
    +
    3
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e
    0
    01
    010
    1
    00
    011
    0100 010
    0101 01011
    010100 010101
    0
    1
    2
    3
    3
    2
    1
    Long. moy. = 1
    .
    16 bits.
    Long. moy. = 1
    .
    67 bits.
    Image 256

    256 pixels:
    16.3 ko 13.7 ko
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0
    p1 p2
    p3
    H(p) = 1.54
    -3 -2 -1 0 1 2 3
    0
    0.2
    0.4
    0.6
    0.8
    p0 p1 p2 p3
    p 1
    p 2
    p 3
    H(p) = 0.61

    View Slide

  112. Comment faire mieux?
    !
    Les pixels ne sont pas ind´
    ependants les uns des autres !
    Retransformation des symboles
    ,
    diminuer l’entropie.
    0 1 3 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    0 1 2 -1 -2 3 -1 0 -1 1 0 -1 0 1 0 0 -1 0 1 0 -1 0 -1 1
    + + + + + + + + + + + + + + + + + + + + + +
    0 2 0 3 2 2 1 2 2 1 1 2 2 2 1 1 2 2 1 1 2 1
    1
    +
    3
    0 1 3 2 0
    3 2 2 1 2
    2 1 1 2 2
    2 1 1 2 2
    2 1 1 2 1
    bijectivit´
    e
    0
    01
    010
    1
    00
    011
    0100 010
    0101 01011
    010100 010101
    0
    1
    2
    3
    3
    2
    1
    Long. moy. = 1
    .
    16 bits.
    Long. moy. = 1
    .
    67 bits.
    Image 256

    256 pixels:
    16.3 ko 13.7 ko 9.5 ko
    0 1 2 3
    0
    0.1
    0.2
    0.3
    0.4
    0.5
    p0
    p1 p2
    p3
    H(p) = 1.54
    -3 -2 -1 0 1 2 3
    0
    0.2
    0.4
    0.6
    0.8
    p0 p1 p2 p3
    p 1
    p 2
    p 3
    H(p) = 0.61

    View Slide

  113. Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.

    View Slide

  114. Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.
    Conversion analogique
    !
    num´
    erique.

    View Slide

  115. Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.
    Conversion analogique
    !
    num´
    erique.
    Compression : utilisation de code variables.
    symbole fr´
    equent
    !
    code court

    View Slide

  116. Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.
    Conversion analogique
    !
    num´
    erique.
    Compression : utilisation de code variables.
    symbole fr´
    equent
    !
    code court
    Non abord´
    e: comment calculer ces codes ?
    ! arbre de Hu↵man (1952).
    !
    codage arithm´
    etique (1976).

    View Slide

  117. Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.
    Conversion analogique
    !
    num´
    erique.
    Compression : utilisation de code variables.
    symbole fr´
    equent
    !
    code court
    Non abord´
    e: comment calculer ces codes ?
    ! arbre de Hu↵man (1952).
    !
    codage arithm´
    etique (1976).
    Non abord´
    e: correction des erreurs.

    View Slide

  118. Math´
    ematiques pour les sciences de l’information:
    mod´
    eliser
    Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.
    Conversion analogique
    !
    num´
    erique.
    Compression : utilisation de code variables.
    symbole fr´
    equent
    !
    code court
    Non abord´
    e: comment calculer ces codes ?
    ! arbre de Hu↵man (1952).
    !
    codage arithm´
    etique (1976).
    Non abord´
    e: correction des erreurs.

    View Slide

  119. Math´
    ematiques pour les sciences de l’information:
    mod´
    eliser
    Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.
    Conversion analogique
    !
    num´
    erique.
    Compression : utilisation de code variables.
    symbole fr´
    equent
    !
    code court
    Non abord´
    e: comment calculer ces codes ?
    ! arbre de Hu↵man (1952).
    !
    codage arithm´
    etique (1976).
    Non abord´
    e: correction des erreurs.
    prouver
    des bornes

    View Slide

  120. Math´
    ematiques pour les sciences de l’information:
    mod´
    eliser
    Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.
    Conversion analogique
    !
    num´
    erique.
    Compression : utilisation de code variables.
    symbole fr´
    equent
    !
    code court
    Non abord´
    e: comment calculer ces codes ?
    ! arbre de Hu↵man (1952).
    !
    codage arithm´
    etique (1976).
    Non abord´
    e: correction des erreurs.
    prouver
    des bornes
    atteindre
    ces bornes

    View Slide

  121. Math´
    ematiques pour les sciences de l’information:
    mod´
    eliser
    Conclusion
    http://mapage.noos.fr/fholvoet/shannon.htm 1/2
    joue aux échecs, qui ne sera battue qu’en 42 coups par le champion
    du monde Mikhail Botvinnik en 1965 à Moscou.
    Il est également passablement fantaisiste et les ingénieurs de la Bell
    se le rappellent chevauchant un monocycle en jonglant avec 3
    balles dans les couloirs du labo.
    Cela ne l’empêche pas de recevoir toutes les distinctions que son génie mérite, en
    particulier la Médaille Nationale de la Science des mains du président Johnson en
    1966 et le Prix Kyoto pour la Science de Base.
    Il était membre de nombreuses et prestigieuses sociétés savants et docteur Honoris
    Causa de nombreuses universités : Yale, Michigan, Princeton, Edimburgh, Princeton,
    Pittsburgh, Northwestern, Oxford, East Anglia, Carnegie-Mellon, Tufts,
    Pennsylvania.
    Même après sa retraite de professeur, il continuera à travailler au MIT jusqu'à ce que
    la maladie d’Alzeimer le conduise au Courtyard Nursing Care Center de Medford,
    Mass. où il mourra le 24 février 2001.
    L'importance des travaux de Shannon
    Claude Shannon, p`
    ere fondateur de la th´
    eorie de l’information.
    Conversion analogique
    !
    num´
    erique.
    Compression : utilisation de code variables.
    symbole fr´
    equent
    !
    code court
    Non abord´
    e: comment calculer ces codes ?
    ! arbre de Hu↵man (1952).
    !
    codage arithm´
    etique (1976).
    Non abord´
    e: correction des erreurs.
    prouver
    des bornes
    atteindre
    ces bornes

    View Slide