Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ETL, Google Wave, TDD/BDD, Compass, Versioning

ETL, Google Wave, TDD/BDD, Compass, Versioning

Jérémy Lecour

June 05, 2009
Tweet

More Decks by Jérémy Lecour

Other Decks in Technology

Transcript

  1. Soirée PLUG
    vendredi 5 juin 2009

    View full-size slide

  2. Mon programme
    • 5 minutes sur l’ETL : Extract-Transform-Load
    • 5 minutes sur Google Wave
    • 5 minutes sur le TDD/BDD : Test/Behavour Driven Development
    • démo : Sprockets et Compass : gestion d’assets web (JS/CSS/img)
    • présentation d’intro au Contrôle de version

    View full-size slide

  3. 5 minutes sur l‘ETL
    • C’est quoi ? À quoi ça sert ?
    • Exemple d’utilisation

    View full-size slide

  4. ETL : c’est quoi ?
    • extraction de données externes (pas toujours maîtrisées)
    • nettoyage des données
    • conformation des données
    • chargement dans un entrepôt de données

    View full-size slide

  5. ETL : Extract
    • récupération : fichiers texte, bases (non) relationnelles, aspiration, …
    • analyse (parsing) : structure réelle =? structure attendue

    View full-size slide

  6. ETL : Transform
    • choix des colonnes à conserver
    • transcodage de valeurs : codes pays issus des noms de pays
    • calculs basés sur les valeurs : total = quantité x prix unitaire
    • filtrages, tris, jointures (multiples sources de données), agrégation, …
    • génération de clés
    • fusion/fission de colonnes : nom + prenom = nom_complet

    View full-size slide

  7. ETL : Load
    • sortie du résultat sous forme de fichier
    • injection dans des bases de données relationnelles “classiques”
    • injection dans un entrepôt de données (Data Warehouse)

    View full-size slide

  8. ETL : pour quoi faire ?
    • homogénéisation de données hétérogènes, inconsistentes, …
    • cycles reproductibles à l’identique
    • recettes personnalisées par source/destination
    • contrôle du flux et du résultat
    • automatisation

    View full-size slide

  9. ETL : exemple
    • fusion des bases de données de centrales hôtelières

    View full-size slide

  10. ETL : +
    • ETL : http://en.wikipedia.org/wiki/Extract,_transform,_load
    • Data Warehouse : http://en.wikipedia.org/wiki/Data_warehouse
    • Livré référence : http://www.amazon.com/Data-Warehouse-ETL-
    Toolkit-Techniques/dp/0764567578/

    View full-size slide

  11. 5 minutes sur Google Wave
    • un produit
    • une plateforme
    • un protocole

    View full-size slide

  12. Google Wave : un produit
    • un système de communication et collaboration via/sur le web
    • une “wave” est à la fois une conversation et un document
    • les échanges sont (quasi) en temps réel
    • une wave supporte du texte enrichi, images, vidéos, carto, …

    View full-size slide

  13. Google Wave : une plateforme
    • le code produit par Google est Open Source
    • le système est ouvert aux extensions tierces
    • des API sont disponibles

    View full-size slide

  14. Google Wave : un protocol
    • le système est fédératif
    • on peut monter son propres serveur “wave”, public ou privé
    • Google n’est qu’un serveur parmi d’autres
    • les données ne circulent entre serveurs que si c’est nécessaire

    View full-size slide

  15. Google Wave : +
    • http://wave.google.com

    View full-size slide