Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Programme 10% : PARTIE 2 - formation impact environnemental

etalab-ia
June 22, 2023
34

Programme 10% : PARTIE 2 - formation impact environnemental

Benoit Courty, data scientist à l’Assemblée nationale et Brigitte Tran, conseiller SI au ministère de la Culture - tous deux participants au programme 10% - ont conçu une formation sur l’impact environnemental des projets IA et data afin d'expliquer comment mesurer celui des projets 10%.
La deuxième partie de cette formation est opérationnelle et propose un outil pour mesurer l'impact carbone des projets numériques.

etalab-ia

June 22, 2023
Tweet

Transcript

  1. Sommaire • Notre approche • Comment estimer • CodeCarbon •

    Démo • Options • Comment réduire • Choses à éviter
  2. Historique • 2019 : MLCO2 : outil en ligne pour

    quantifier les émissions de carbone de l'apprentissage automatique. • 2020 : Lancement de CodeCarbon • 2021 : API et tableau de bord de CodeCarbon.
  3. Mesure de la consommation • CPU : RAPL, Intel Power

    Gadget, TDP... • GPU : Nvidia API • RAM : psutil • Disk : We don’t do it
  4. CodeCarbon compatibility • Package : PyPi et Conda • Usage

    : ligne de commande ou paquet Python • OS : Windows, OSX et Linux • Mode : Toute la machine ou seulement un processus • Supporte le hors-ligne • Plusieurs possibilité de mesurer la consommation du CPU • Estimations : moyenne annuel ou temps réel avec CO2 Signal • Sorties : CSV, WebHook, API, GCP Cloud Logging, CometML, Prometheus • Visualisation : tableau de bord local et en ligne
  5. Comment réduire ? • Localisation basée sur l’intensité carbone •

    Avez-vous vraiment besoin de ce nouveau projet ? • Mesure de comparaison • Fine-tuning plutôt qu’entraînement de zéro • Mise en cache • Ne pas aller jusqu'à l’état de l’art, s'arrêter lorsque les exigences sont satisfaites • Utiliser un GPU au lieu du CPU • Recherche bayésienne au lieu d'une optimisation de paramètres par force brute • Pruning de modèle pour réduire le coût d'inférence.
  6. Don’t go too far • Réduire l'empreinte carbone de votre

    projet ne doit pas l'augmenter ailleurs : par exemple, déplacer le calcul vers le client est pire. Il vaut mieux changer un serveur que des milliers d’ordinateurs clients.
  7. Restons en contact • Site web: codecarbon.io • Code source:

    GitHub • Documentation: Github.io • Youtube channel • Discussion sur Gitter
  8. Disclaimer • Attention : tous les chiffres présentés sont des

    estimations avec des marges d’erreurs qui peuvent être importantes. Jusqu’à 90x https://www.carbonbrief.org/factcheck-what-is-the-carbon-footprint-of-streaming-video-on-netflix
  9. Site « responsive » en fonction du mix énergétique •

    Organic Basics a créé un site dont le contenu et l’expérience changent en fonction de l’intensité carbone de l’électricité. • Plus la production d’électricité est carbonée, moins il faut la consommer et le site devient donc plus léger, jusqu’à sa fermeture si l’intensité carbone dépense les 500 g.CO 2 eq/kWh. https://lowimpact.organicbasics.com/eur
  10. Pas seulement le CO2 ... Photo: The Carter Center /

    G. Dubourthoumieu Eau, minerais, travail des enfants, de la mine au recyclage.
  11. IT emission is going up • Surprisingly, DataCenter has not

    increase consumtion between 2015 and 2021 : less than 5% of the world electricity. Source : "Global Data Centers Energy Demand by Type 2015-2021" by Nane Sönnichsen