ETL, Google Wave, TDD/BDD, Compass, Versioning

Transcript

1. Soirée PLUG
   vendredi 5 juin 2009
   

   View Slide

2. Mon programme
   • 5 minutes sur l’ETL : Extract-Transform-Load
   • 5 minutes sur Google Wave
   • 5 minutes sur le TDD/BDD : Test/Behavour Driven Development
   • démo : Sprockets et Compass : gestion d’assets web (JS/CSS/img)
   • présentation d’intro au Contrôle de version
   

   View Slide

3. 5 minutes sur l‘ETL
   • C’est quoi ? À quoi ça sert ?
   • Exemple d’utilisation
   

   View Slide

4. ETL : c’est quoi ?
   • extraction de données externes (pas toujours maîtrisées)
   • nettoyage des données
   • conformation des données
   • chargement dans un entrepôt de données
   

   View Slide

5. ETL : Extract
   • récupération : fichiers texte, bases (non) relationnelles, aspiration, …
   • analyse (parsing) : structure réelle =? structure attendue
   

   View Slide

6. ETL : Transform
   • choix des colonnes à conserver
   • transcodage de valeurs : codes pays issus des noms de pays
   • calculs basés sur les valeurs : total = quantité x prix unitaire
   • filtrages, tris, jointures (multiples sources de données), agrégation, …
   • génération de clés
   • fusion/fission de colonnes : nom + prenom = nom_complet
   

   View Slide

7. ETL : Load
   • sortie du résultat sous forme de fichier
   • injection dans des bases de données relationnelles “classiques”
   • injection dans un entrepôt de données (Data Warehouse)
   

   View Slide

8. ETL : pour quoi faire ?
   • homogénéisation de données hétérogènes, inconsistentes, …
   • cycles reproductibles à l’identique
   • recettes personnalisées par source/destination
   • contrôle du flux et du résultat
   • automatisation
   

   View Slide

9. ETL : exemple
   • fusion des bases de données de centrales hôtelières
   

   View Slide

10. ETL : +
    • ETL : http://en.wikipedia.org/wiki/Extract,_transform,_load
    • Data Warehouse : http://en.wikipedia.org/wiki/Data_warehouse
    • Livré référence : http://www.amazon.com/Data-Warehouse-ETL-
    Toolkit-Techniques/dp/0764567578/
    

    View Slide

11. 5 minutes sur Google Wave
    • un produit
    • une plateforme
    • un protocole
    

    View Slide

12. Google Wave : un produit
    • un système de communication et collaboration via/sur le web
    • une “wave” est à la fois une conversation et un document
    • les échanges sont (quasi) en temps réel
    • une wave supporte du texte enrichi, images, vidéos, carto, …
    

    View Slide

13. Google Wave : une plateforme
    • le code produit par Google est Open Source
    • le système est ouvert aux extensions tierces
    • des API sont disponibles
    

    View Slide

14. Google Wave : un protocol
    • le système est fédératif
    • on peut monter son propres serveur “wave”, public ou privé
    • Google n’est qu’un serveur parmi d’autres
    • les données ne circulent entre serveurs que si c’est nécessaire
    

    View Slide

15. Google Wave : +
    • http://wave.google.com
    

    View Slide

16. View Slide