ETL, Google Wave, TDD/BDD, Compass, Versioning

Transcript

1. Soirée PLUG vendredi 5 juin 2009
2. Mon programme • 5 minutes sur l’ETL : Extract-Transform-Load • 5 minutes sur Google Wave • 5 minutes sur le TDD/BDD : Test/Behavour Driven Development • démo : Sprockets et Compass : gestion d’assets web (JS/CSS/img) • présentation d’intro au Contrôle de version
3. 5 minutes sur l‘ETL • C’est quoi ? À quoi ça sert ? • Exemple d’utilisation
4. ETL : c’est quoi ? • extraction de données externes (pas toujours maîtrisées) • nettoyage des données • conformation des données • chargement dans un entrepôt de données
5. ETL : Extract • récupération : fichiers texte, bases (non) relationnelles, aspiration, … • analyse (parsing) : structure réelle =? structure attendue
6. ETL : Transform • choix des colonnes à conserver • transcodage de valeurs : codes pays issus des noms de pays • calculs basés sur les valeurs : total = quantité x prix unitaire • filtrages, tris, jointures (multiples sources de données), agrégation, … • génération de clés • fusion/fission de colonnes : nom + prenom = nom_complet
7. ETL : Load • sortie du résultat sous forme de fichier • injection dans des bases de données relationnelles “classiques” • injection dans un entrepôt de données (Data Warehouse)
8. ETL : pour quoi faire ? • homogénéisation de données hétérogènes, inconsistentes, … • cycles reproductibles à l’identique • recettes personnalisées par source/destination • contrôle du flux et du résultat • automatisation
9. ETL : exemple • fusion des bases de données de centrales hôtelières
10. ETL : + • ETL : http://en.wikipedia.org/wiki/Extract,_transform,_load • Data Warehouse : http://en.wikipedia.org/wiki/Data_warehouse • Livré référence : http://www.amazon.com/Data-Warehouse-ETL- Toolkit-Techniques/dp/0764567578/
11. 5 minutes sur Google Wave • un produit • une plateforme • un protocole
12. Google Wave : un produit • un système de communication et collaboration via/sur le web • une “wave” est à la fois une conversation et un document • les échanges sont (quasi) en temps réel • une wave supporte du texte enrichi, images, vidéos, carto, …
13. Google Wave : une plateforme • le code produit par Google est Open Source • le système est ouvert aux extensions tierces • des API sont disponibles
14. Google Wave : un protocol • le système est fédératif • on peut monter son propres serveur “wave”, public ou privé • Google n’est qu’un serveur parmi d’autres • les données ne circulent entre serveurs que si c’est nécessaire
15. Google Wave : + • http://wave.google.com