$30 off During Our Annual Pro Sale. View Details »

Programme 10% : PARTIE 2 - formation impact environnemental

etalab-ia
June 22, 2023
27

Programme 10% : PARTIE 2 - formation impact environnemental

Benoit Courty, data scientist à l’Assemblée nationale et Brigitte Tran, conseiller SI au ministère de la Culture - tous deux participants au programme 10% - ont conçu une formation sur l’impact environnemental des projets IA et data afin d'expliquer comment mesurer celui des projets 10%.
La deuxième partie de cette formation est opérationnelle et propose un outil pour mesurer l'impact carbone des projets numériques.

etalab-ia

June 22, 2023
Tweet

Transcript

  1. View Slide

  2. Sommaire

    Notre approche

    Comment estimer

    CodeCarbon

    Démo

    Options

    Comment réduire

    Choses à éviter

    View Slide

  3. Notre solution
    “Ce qui ne se mesure pas, n’existe pas.”
    Niels Bohr

    View Slide

  4. Historique

    2019 : MLCO2 : outil en ligne pour quantifier les émissions de
    carbone de l'apprentissage automatique.

    2020 : Lancement de CodeCarbon

    2021 : API et tableau de bord de CodeCarbon.

    View Slide

  5. Comment estimer

    Mesure de la consommation électrique du matériel

    Estimer les émissions de CO2
    x

    View Slide

  6. Mesure de la consommation

    CPU : RAPL, Intel Power Gadget, TDP...

    GPU : Nvidia API

    RAM : psutil

    Disk : We don’t do it

    View Slide

  7. Intensité Carbone
    https://app.electricitymaps.com/map

    View Slide

  8. DEMO
    package
    dasboard

    View Slide

  9. CodeCarbon compatibility
    ● Package : PyPi et Conda
    ● Usage : ligne de commande ou paquet Python
    ● OS : Windows, OSX et Linux
    ● Mode : Toute la machine ou seulement un processus

    Supporte le hors-ligne

    Plusieurs possibilité de mesurer la consommation du CPU
    ● Estimations : moyenne annuel ou temps réel avec CO2 Signal
    ● Sorties : CSV, WebHook, API, GCP Cloud Logging, CometML, Prometheus
    ● Visualisation : tableau de bord local et en ligne

    View Slide

  10. Utilisateurs
    CometML
    CometML

    45 contributeurs

    20 000 téléchargement Pypi par mois

    View Slide

  11. Comment réduire ?

    Localisation basée sur l’intensité carbone

    Avez-vous vraiment besoin de ce nouveau projet ?

    Mesure de comparaison

    Fine-tuning plutôt qu’entraînement de zéro

    Mise en cache

    Ne pas aller jusqu'à l’état de l’art, s'arrêter lorsque les exigences sont satisfaites

    Utiliser un GPU au lieu du CPU

    Recherche bayésienne au lieu d'une optimisation de paramètres par force brute

    Pruning de modèle pour réduire le coût d'inférence.

    View Slide

  12. Don’t go too far

    Réduire l'empreinte carbone de votre projet ne doit pas
    l'augmenter ailleurs : par exemple, déplacer le calcul vers le
    client est pire. Il vaut mieux changer un serveur que des milliers
    d’ordinateurs clients.

    View Slide

  13. Restons en contact

    Site web: codecarbon.io

    Code source: GitHub

    Documentation: Github.io

    Youtube channel

    Discussion sur Gitter

    View Slide

  14. ANNEXES

    View Slide

  15. Disclaimer

    Attention : tous les chiffres présentés sont des estimations avec des marges
    d’erreurs qui peuvent être importantes. Jusqu’à 90x
    https://www.carbonbrief.org/factcheck-what-is-the-carbon-footprint-of-streaming-video-on-netflix

    View Slide

  16. 40 % 10 %
    Le PUE descend
    maintenant à 1.1

    View Slide

  17. Site « responsive » en fonction du mix
    énergétique

    Organic Basics a créé un site dont le contenu et l’expérience changent en fonction
    de l’intensité carbone de l’électricité.

    Plus la production d’électricité est carbonée, moins il faut la
    consommer et le site devient donc plus léger, jusqu’à sa
    fermeture si l’intensité carbone dépense les 500 g.CO
    2
    eq/kWh.
    https://lowimpact.organicbasics.com/eur

    View Slide

  18. Pas seulement le CO2
    ...
    Photo: The Carter Center / G. Dubourthoumieu Eau, minerais, travail des enfants, de la mine au recyclage.

    View Slide

  19. IT emission is going up

    Surprisingly, DataCenter has not increase consumtion between
    2015 and 2021 : less than 5% of the world electricity.
    Source : "Global Data Centers Energy Demand by Type 2015-2021" by Nane Sönnichsen

    View Slide