VoxxedDaysLuxembourg - CoeurIA : Et si on refaisait ChatGPT au service de la SolidarIT ?

Transcript

2. @ju_hnny5
3. @ju_hnny5
4. @ju_hnny5
5. @ju_hnny5
7. @ju_hnny5
8. @ju_hnny5
9. @ju_hnny5
10. Les Restos en quelques chiffres … 163 millions de repas servis (2023-2024) 80 000 Bénévoles réguliers (dont 35 000 qui utilisent l’informatique au quotidien) 112 Associations départementales 2348 Lieux d’accueil (centre de distribution, etc). @ju_hnny5 + de 40 Applications fonctionnelles (Applications utilisées par les bénévoles au quotidien)
11. @ju_hnny5
12. @ju_hnny5
13. @ju_hnny5
14. @ju_hnny5
15. @ju_hnny5
16. @ju_hnny5
19. @ju_hnny5
20. @ju_hnny5
21. @ju_hnny5
22. @ju_hnny5
23. @ju_hnny5
24. @ju_hnny5 https://doc.aucoeurdu.cloud/doc/openstack/
25. @ju_hnny5
26. @ju_hnny5
27. @ju_hnny5
28. @ju_hnny5
29. @ju_hnny5
30. @ju_hnny5
31. @ju_hnny5
32. @ju_hnny5
33. @ju_hnny5
34. openstack flavor create vllm-mi50 \ --ram 65536 \ --disk 200 \ --vcpus 24 openstack flavor set vllm-mi50 \ --property hw:cpu_policy=dedicated \ --property hw:mem_page_size=large \ --property pci_passthrough:alias=mi50:1 @ju_hnny5
35. Premier problème La puissance élec @ju_hnny5
36. @ju_hnny5
37. @ju_hnny5
38. Second problème Le refroidissement @ju_hnny5
39. L’effet Joule : Plus un appareil consomme, plus il chauffe @ju_hnny5
40. @ju_hnny5 https://github.com/hubblo-org/scaphandre
41. Ethernet pour les usages classiques du Cloud du Coeur (stockage, underlay, routage) Infiniband pour les GPUs @ju_hnny5
42. @ju_hnny5
43. Notre politique de Green IT : Si ça boot, ça part en prod …* @ju_hnny5
44. @ju_hnny5
45. “Pourquoi une association aurait-elle besoin de sa propre IA ?” @ju_hnny5
46. @ju_hnny5
47. @ju_hnny5
48. 1. 2. 3. 4. 5. 6. 7. Procédures internes Guides bénévoles Fiches logistiques Mails Comptes-rendus Documentation informatique Bases de connaissances “Comment gérer une rupture de chaîne du froid ?” “Quelle est la procédure pour l’accueil d’une personne sans justificatif” ? @ju_hnny5
49. 80 000 Bénévoles réguliers (dont 35 000 qui utilisent l’informatique au quotidien) + de 40 Applications fonctionnelles (Applications utilisées par les bénévoles au quotidien) @ju_hnny5
50. @ju_hnny5
51. @ju_hnny5
52. @ju_hnny5
53. @ju_hnny5
54. @ju_hnny5
55. @ju_hnny5
56. @ju_hnny5
57. @ju_hnny5
58. @ju_hnny5
59. @ju_hnny5
61. Optimisation par la contrainte Si ça tourne sur un Raspberry, ça peut partir en prod. @ju_hnny5
62. Electricité Baie Réseau Serveurs Logiciels Matière grise @ju_hnny5
63. A-t-on besoin de gros modèles ? @ju_hnny5
64. @ju_hnny5
65. @ju_hnny5
66. @ju_hnny5
67. @ju_hnny5
68. @ju_hnny5
69. @ju_hnny5
70. @ju_hnny5 https://doc.aucoeurdu.cloud/doc/environnements/openstack/storage/
71. @ju_hnny5
72. docker pull vllm/vllm-openai-rocm:latest @ju_hnny5
73. • Inférence très haute performance • Optimisation du débit (tokens/seconde) • Réduction de la latence utilisateur • Réduction de la fragmentation mémoire GPU • Meilleure densité d’utilisateurs simultanés @ju_hnny5
74. @ju_hnny5
75. @ju_hnny5
76. @ju_hnny5
77. @ju_hnny5
78. @ju_hnny5
79. @ju_hnny5
80. 1. Amélioration de la haute disponibilité (fallback auto d’un provider à l’autre) 2. Réduction des coûts (politique de routage) 3. Gouvernance centralisée (contrôle d’accès, quotas par équipe, journalisation, authentification OIDC, etc) 4. L’observabilité (compatible Prometheus) @ju_hnny5
81. C’est simple mais : 1. Ça coûte des tokens ; 2. Ça ajoute de la latence ; 3. Ça peut être imprévisible 4. Ça devient difficile à maintenir quand on a beaucoup d’outils @ju_hnny5
82. @ju_hnny5
83. @ju_hnny5
84. @ju_hnny5 https://github.com/datalab-to/chandra
85. @ju_hnny5
86. La mauvaise solution : réentraîner un LLM Une réaction classique est : "Mettons tout nos documents dans le modèle." @ju_hnny5
87. Problèmes : • • • • • coûteux complexe lent nécessite de réentraîner régulièrement risque de fuite d'informations @ju_hnny5
88. La bonne question "Pourquoi apprendre au modèle quelque chose qu'il peut simplement aller chercher ?" C'est précisément le principe du RAG. @ju_hnny5
89. @ju_hnny5
90. cdctl ai “lister les serveurs de PAR1” cdctl ai “Analyser les logs de web001 sur PAR1” @ju_hnny5
91. @ju_hnny5
92. @ju_hnny5
93. @ju_hnny5
94. @ju_hnny5
95. @ju_hnny5
96. @ju_hnny5
97. L’infra est prête, reste une autre question : comment fabriquer une IA réellement utile ? @ju_hnny5
98. @ju_hnny5
99. Une charte pour un usage réglementé @ju_hnny5
100. Pas de données sensibles @ju_hnny5
101. L’humain décide @ju_hnny5
102. Récolter les besoin Pour comprendre les usages @ju_hnny5
103. @ju_hnny5
104. @ju_hnny5
105. @ju_hnny5
106. @ju_hnny5
107. @ju_hnny5
108. @ju_hnny5
109. @ju_hnny5
110. @ju_hnny5
111. @ju_hnny5
113. @ju_hnny5
114. @ju_hnny5
116. Monique 32 ans d’ancienneté @ju_hnny5 *image non-contractuelle
117. @ju_hnny5
118. CoeurGPT @ju_hnny5
119. @ju_hnny5
120. @ju_hnny5
121. @ju_hnny5
122. @ju_hnny5
123. @ju_hnny5 6 mois -> 5mn
124. 1 journée = 1min @ju_hnny5
125. @ju_hnny5 600 000 repas / an
126. @ju_hnny5
127. @ju_hnny5
128. @ju_hnny5
129. @ju_hnny5
130. @ju_hnny5
131. @ju_hnny5
132. @ju_hnny5
133. @ju_hnny5
134. @ju_hnny5
135. ~400 000 repas / mois sauvegardés @ju_hnny5
136. Arrêtons de brûler la planète. Utilisons notre matière grise. @ju_hnny5
137. Le Cloud du Coeur existe. CoeurIA existe. Mais l’aventure ne fait que commencer. @ju_hnny5
138. recrutement@cloudducoeur.org contact@cloudducoeur.org
139. @ju_hnny5
140. @ju_hnny5
141. @ju_hnny5
142. @ju_hnny5