Programme 10% : PARTIE 2 - formation impact environnemental

Benoit Courty, data scientist à l’Assemblée nationale et Brigitte Tran, conseiller SI au ministère de la Culture - tous deux participants au programme 10% - ont conçu une formation sur l’impact environnemental des projets IA et data afin d'expliquer comment mesurer celui des projets 10%.
La deuxième partie de cette formation est opérationnelle et propose un outil pour mesurer l'impact carbone des projets numériques.

Transcript

2. Sommaire • Notre approche • Comment estimer • CodeCarbon • Démo • Options • Comment réduire • Choses à éviter
3. Notre solution “Ce qui ne se mesure pas, n’existe pas.” Niels Bohr
4. Historique • 2019 : MLCO2 : outil en ligne pour quantifier les émissions de carbone de l'apprentissage automatique. • 2020 : Lancement de CodeCarbon • 2021 : API et tableau de bord de CodeCarbon.
5. Comment estimer • Mesure de la consommation électrique du matériel • Estimer les émissions de CO2 x
6. Mesure de la consommation • CPU : RAPL, Intel Power Gadget, TDP... • GPU : Nvidia API • RAM : psutil • Disk : We don’t do it
7. Intensité Carbone https://app.electricitymaps.com/map
8. DEMO package dasboard
9. CodeCarbon compatibility • Package : PyPi et Conda • Usage : ligne de commande ou paquet Python • OS : Windows, OSX et Linux • Mode : Toute la machine ou seulement un processus • Supporte le hors-ligne • Plusieurs possibilité de mesurer la consommation du CPU • Estimations : moyenne annuel ou temps réel avec CO2 Signal • Sorties : CSV, WebHook, API, GCP Cloud Logging, CometML, Prometheus • Visualisation : tableau de bord local et en ligne
10. Utilisateurs CometML CometML • 45 contributeurs • 20 000 téléchargement Pypi par mois
11. Comment réduire ? • Localisation basée sur l’intensité carbone • Avez-vous vraiment besoin de ce nouveau projet ? • Mesure de comparaison • Fine-tuning plutôt qu’entraînement de zéro • Mise en cache • Ne pas aller jusqu'à l’état de l’art, s'arrêter lorsque les exigences sont satisfaites • Utiliser un GPU au lieu du CPU • Recherche bayésienne au lieu d'une optimisation de paramètres par force brute • Pruning de modèle pour réduire le coût d'inférence.
12. Don’t go too far • Réduire l'empreinte carbone de votre projet ne doit pas l'augmenter ailleurs : par exemple, déplacer le calcul vers le client est pire. Il vaut mieux changer un serveur que des milliers d’ordinateurs clients.
13. Restons en contact • Site web: codecarbon.io • Code source: GitHub • Documentation: Github.io • Youtube channel • Discussion sur Gitter
14. ANNEXES
15. Disclaimer • Attention : tous les chiffres présentés sont des estimations avec des marges d’erreurs qui peuvent être importantes. Jusqu’à 90x https://www.carbonbrief.org/factcheck-what-is-the-carbon-footprint-of-streaming-video-on-netflix
16. 40 % 10 % Le PUE descend maintenant à 1.1
17. Site « responsive » en fonction du mix énergétique • Organic Basics a créé un site dont le contenu et l’expérience changent en fonction de l’intensité carbone de l’électricité. • Plus la production d’électricité est carbonée, moins il faut la consommer et le site devient donc plus léger, jusqu’à sa fermeture si l’intensité carbone dépense les 500 g.CO 2 eq/kWh. https://lowimpact.organicbasics.com/eur
18. Pas seulement le CO2 ... Photo: The Carter Center / G. Dubourthoumieu Eau, minerais, travail des enfants, de la mine au recyclage.
19. IT emission is going up • Surprisingly, DataCenter has not increase consumtion between 2015 and 2021 : less than 5% of the world electricity. Source : "Global Data Centers Energy Demand by Type 2015-2021" by Nane Sönnichsen