ETL, Google Wave, TDD/BDD, Compass, Versioning

Transcript

1. Soirée PLUG vendredi 5 juin 2009

2. Mon programme • 5 minutes sur l’ETL : Extract-Transform-Load •

   5 minutes sur Google Wave • 5 minutes sur le TDD/BDD : Test/Behavour Driven Development • démo : Sprockets et Compass : gestion d’assets web (JS/CSS/img) • présentation d’intro au Contrôle de version

3. 5 minutes sur l‘ETL • C’est quoi ? À quoi

   ça sert ? • Exemple d’utilisation

4. ETL : c’est quoi ? • extraction de données externes

   (pas toujours maîtrisées) • nettoyage des données • conformation des données • chargement dans un entrepôt de données

5. ETL : Extract • récupération : fichiers texte, bases (non)

   relationnelles, aspiration, … • analyse (parsing) : structure réelle =? structure attendue

6. ETL : Transform • choix des colonnes à conserver •

   transcodage de valeurs : codes pays issus des noms de pays • calculs basés sur les valeurs : total = quantité x prix unitaire • filtrages, tris, jointures (multiples sources de données), agrégation, … • génération de clés • fusion/fission de colonnes : nom + prenom = nom_complet

7. ETL : Load • sortie du résultat sous forme de

   fichier • injection dans des bases de données relationnelles “classiques” • injection dans un entrepôt de données (Data Warehouse)

8. ETL : pour quoi faire ? • homogénéisation de données

   hétérogènes, inconsistentes, … • cycles reproductibles à l’identique • recettes personnalisées par source/destination • contrôle du flux et du résultat • automatisation

9. ETL : exemple • fusion des bases de données de

   centrales hôtelières

10. ETL : + • ETL : http://en.wikipedia.org/wiki/Extract,_transform,_load • Data Warehouse

    : http://en.wikipedia.org/wiki/Data_warehouse • Livré référence : http://www.amazon.com/Data-Warehouse-ETL- Toolkit-Techniques/dp/0764567578/

11. 5 minutes sur Google Wave • un produit • une

    plateforme • un protocole

12. Google Wave : un produit • un système de communication

    et collaboration via/sur le web • une “wave” est à la fois une conversation et un document • les échanges sont (quasi) en temps réel • une wave supporte du texte enrichi, images, vidéos, carto, …

13. Google Wave : une plateforme • le code produit par

    Google est Open Source • le système est ouvert aux extensions tierces • des API sont disponibles

14. Google Wave : un protocol • le système est fédératif

    • on peut monter son propres serveur “wave”, public ou privé • Google n’est qu’un serveur parmi d’autres • les données ne circulent entre serveurs que si c’est nécessaire

15. Google Wave : + • http://wave.google.com

16. None