Programme 10% : PARTIE 2 - formation impact environnemental

Benoit Courty, data scientist à l’Assemblée nationale et Brigitte Tran, conseiller SI au ministère de la Culture - tous deux participants au programme 10% - ont conçu une formation sur l’impact environnemental des projets IA et data afin d'expliquer comment mesurer celui des projets 10%.
La deuxième partie de cette formation est opérationnelle et propose un outil pour mesurer l'impact carbone des projets numériques.

Transcript

1. View Slide

2. Sommaire
   ●
   Notre approche
   ●
   Comment estimer
   ●
   CodeCarbon
   ●
   Démo
   ●
   Options
   ●
   Comment réduire
   ●
   Choses à éviter
   

   View Slide

3. Notre solution
   “Ce qui ne se mesure pas, n’existe pas.”
   Niels Bohr
   

   View Slide

4. Historique
   ●
   2019 : MLCO2 : outil en ligne pour quantifier les émissions de
   carbone de l'apprentissage automatique.
   ●
   2020 : Lancement de CodeCarbon
   ●
   2021 : API et tableau de bord de CodeCarbon.
   

   View Slide

5. Comment estimer
   ●
   Mesure de la consommation électrique du matériel
   ●
   Estimer les émissions de CO2
   x
   

   View Slide

6. Mesure de la consommation
   ●
   CPU : RAPL, Intel Power Gadget, TDP...
   ●
   GPU : Nvidia API
   ●
   RAM : psutil
   ●
   Disk : We don’t do it
   

   View Slide

7. Intensité Carbone
   https://app.electricitymaps.com/map
   

   View Slide

8. DEMO
   package
   dasboard
   

   View Slide

9. CodeCarbon compatibility
   ● Package : PyPi et Conda
   ● Usage : ligne de commande ou paquet Python
   ● OS : Windows, OSX et Linux
   ● Mode : Toute la machine ou seulement un processus
   ●
   Supporte le hors-ligne
   ●
   Plusieurs possibilité de mesurer la consommation du CPU
   ● Estimations : moyenne annuel ou temps réel avec CO2 Signal
   ● Sorties : CSV, WebHook, API, GCP Cloud Logging, CometML, Prometheus
   ● Visualisation : tableau de bord local et en ligne
   

   View Slide

10. Utilisateurs
    CometML
    CometML
    ●
    45 contributeurs
    ●
    20 000 téléchargement Pypi par mois
    

    View Slide

11. Comment réduire ?
    ●
    Localisation basée sur l’intensité carbone
    ●
    Avez-vous vraiment besoin de ce nouveau projet ?
    ●
    Mesure de comparaison
    ●
    Fine-tuning plutôt qu’entraînement de zéro
    ●
    Mise en cache
    ●
    Ne pas aller jusqu'à l’état de l’art, s'arrêter lorsque les exigences sont satisfaites
    ●
    Utiliser un GPU au lieu du CPU
    ●
    Recherche bayésienne au lieu d'une optimisation de paramètres par force brute
    ●
    Pruning de modèle pour réduire le coût d'inférence.
    

    View Slide

12. Don’t go too far
    ●
    Réduire l'empreinte carbone de votre projet ne doit pas
    l'augmenter ailleurs : par exemple, déplacer le calcul vers le
    client est pire. Il vaut mieux changer un serveur que des milliers
    d’ordinateurs clients.
    

    View Slide

13. Restons en contact
    ●
    Site web: codecarbon.io
    ●
    Code source: GitHub
    ●
    Documentation: Github.io
    ●
    Youtube channel
    ●
    Discussion sur Gitter
    

    View Slide

14. ANNEXES
    

    View Slide

15. Disclaimer
    ●
    Attention : tous les chiffres présentés sont des estimations avec des marges
    d’erreurs qui peuvent être importantes. Jusqu’à 90x
    https://www.carbonbrief.org/factcheck-what-is-the-carbon-footprint-of-streaming-video-on-netflix
    

    View Slide

16. 40 % 10 %
    Le PUE descend
    maintenant à 1.1
    

    View Slide

17. Site « responsive » en fonction du mix
    énergétique
    ●
    Organic Basics a créé un site dont le contenu et l’expérience changent en fonction
    de l’intensité carbone de l’électricité.
    ●
    Plus la production d’électricité est carbonée, moins il faut la
    consommer et le site devient donc plus léger, jusqu’à sa
    fermeture si l’intensité carbone dépense les 500 g.CO
    2
    eq/kWh.
    https://lowimpact.organicbasics.com/eur
    

    View Slide

18. Pas seulement le CO2
    ...
    Photo: The Carter Center / G. Dubourthoumieu Eau, minerais, travail des enfants, de la mine au recyclage.
    

    View Slide

19. IT emission is going up
    ●
    Surprisingly, DataCenter has not increase consumtion between
    2015 and 2021 : less than 5% of the world electricity.
    Source : "Global Data Centers Energy Demand by Type 2015-2021" by Nane Sönnichsen
    

    View Slide