ETL, Google Wave, TDD/BDD, Compass, Versioning

ETL, Google Wave, TDD/BDD, Compass, Versioning

7d1caf9df777b3b2cf474ff743494335?s=128

Jérémy Lecour

June 05, 2009
Tweet

Transcript

  1. Soirée PLUG vendredi 5 juin 2009

  2. Mon programme • 5 minutes sur l’ETL : Extract-Transform-Load •

    5 minutes sur Google Wave • 5 minutes sur le TDD/BDD : Test/Behavour Driven Development • démo : Sprockets et Compass : gestion d’assets web (JS/CSS/img) • présentation d’intro au Contrôle de version
  3. 5 minutes sur l‘ETL • C’est quoi ? À quoi

    ça sert ? • Exemple d’utilisation
  4. ETL : c’est quoi ? • extraction de données externes

    (pas toujours maîtrisées) • nettoyage des données • conformation des données • chargement dans un entrepôt de données
  5. ETL : Extract • récupération : fichiers texte, bases (non)

    relationnelles, aspiration, … • analyse (parsing) : structure réelle =? structure attendue
  6. ETL : Transform • choix des colonnes à conserver •

    transcodage de valeurs : codes pays issus des noms de pays • calculs basés sur les valeurs : total = quantité x prix unitaire • filtrages, tris, jointures (multiples sources de données), agrégation, … • génération de clés • fusion/fission de colonnes : nom + prenom = nom_complet
  7. ETL : Load • sortie du résultat sous forme de

    fichier • injection dans des bases de données relationnelles “classiques” • injection dans un entrepôt de données (Data Warehouse)
  8. ETL : pour quoi faire ? • homogénéisation de données

    hétérogènes, inconsistentes, … • cycles reproductibles à l’identique • recettes personnalisées par source/destination • contrôle du flux et du résultat • automatisation
  9. ETL : exemple • fusion des bases de données de

    centrales hôtelières
  10. ETL : + • ETL : http://en.wikipedia.org/wiki/Extract,_transform,_load • Data Warehouse

    : http://en.wikipedia.org/wiki/Data_warehouse • Livré référence : http://www.amazon.com/Data-Warehouse-ETL- Toolkit-Techniques/dp/0764567578/
  11. 5 minutes sur Google Wave • un produit • une

    plateforme • un protocole
  12. Google Wave : un produit • un système de communication

    et collaboration via/sur le web • une “wave” est à la fois une conversation et un document • les échanges sont (quasi) en temps réel • une wave supporte du texte enrichi, images, vidéos, carto, …
  13. Google Wave : une plateforme • le code produit par

    Google est Open Source • le système est ouvert aux extensions tierces • des API sont disponibles
  14. Google Wave : un protocol • le système est fédératif

    • on peut monter son propres serveur “wave”, public ou privé • Google n’est qu’un serveur parmi d’autres • les données ne circulent entre serveurs que si c’est nécessaire
  15. Google Wave : + • http://wave.google.com

  16. None