Application du concept d'ETL pour faire des jobs avancés

Retour d'expérience et présentation de la solution retenue chez VeryLastRoom lors du sfPot Marseille

Transcript

1. APPLICATION DU CONCEPT D'ETL POUR FAIRE DES BATCHS FORTS EN CHOCOLAT. Présentation par Timothée Barray : twitter.com/timbarray github.com/tyx
2. BESOIN DE CHARGER BEAUCOUP DE DATA DE FORMAT DIVERS ET VARIÉS POUR UNE APP INTERNE.
3. DÉCOUVERTE ETL SOLUTIONS EXISTANTES SOLUTION RETENUE
4. ETL ? Wikipedia : “ Permettre d'effectuer des synchronisations massives d'informations d'une source vers une autre. ”
5. HUM...
6. VOUS AVEZ TOUS DÉJÀ FAIT DE L'ETL !
7. Importer un fichier csv en base ? Exporter des données en json ? Convertir un csv en xml ?
8. C'EST DE L'ETL !
9. EXTRACT Lit la source.
10. TRANSFORM Transforme un élément de la source dans le format souhaité.
11. LOAD Charge dans la source de destination l'élément transformé.
12. ILLUSTRATION < ? p h p / / E x t r a c t $ c s v = n e w S p l F i l e O b j e c t ( $ f i l e n a m e ) ; $ c s v - > s e t F l a g s ( S p l F i l e O b j e c t : : R E A D _ C S V ) ; $ c s v - > s e t C s v C o n t r o l ( " ; " , ' " ' ) ; f o r e a c h ( $ c s v a s $ l i n e ) { $ e l e m e n t = $ l i n e - > f g e t c s v ( ) ; / / T r a n s f o r m $ r e s u l t = $ t r a n s f o r m e r - > t r a n s f o r m ( $ e l e m e n t ) ; / / L o a d $ l o a d e r - > l o a d ( $ r e s u l t ) ; }
13. ETL = ARCHITECTURE PATTERN Même veine que MVC en gros.
14. OBJECTIF ? Dissocier ces 3 opérations pour faciliter leur (ré)utilisation.
15. QUI AIME RÉ-ÉCRIRE À CHAQUE FOIS LA MÊME CHOSE ?
16. EN RÉSUMÉ Extract Transform Loader csv to object mysql mysql to array json http consolidation xml AMQP business callback Mail ... ... ... Vous avez compris l'idée...
17. OK COOL ET MAINTENANT ?
18. LAZY, LAZY, LAZY Topo sur les solutions existantes
19. ON A CHERCHÉ UNE APP QUI : fait juste de l'ETL, facile à mettre en place, Pouvoir lui injecter notre code métier en PHP Facilement à interconnecter avec un environnement Symfony
20. TALEND Java GUI Open Source MultiPlateforme Made in France !
22. Et c'était le meilleur pour nous...
23. Trop lourd: Fait beaucoup d'autres choses Trop compliqué à intégrer à notre workflow Mais ça marche bien hein ! Groupon l'utilise
24. UNE SOLUTION PHP ? Data-Import: https://github.com/ddeboer/data-import
25. Utilisée dans OroCRM Fait très bien le job pour des cas simples ! Ne permet pas de chainer les jobs à l'infini Pas super flexible (workflow déjà implémenté et basique) Pas de couche transport
26. COUCHE TRANSPORT ?
27. TRANSPORT = LE LIEN ENTRE LA SORTIE D'UN JOB ET L'ENTRÉE DU SUIVANT
28. PHP-ETL https://github.com/docteurklein/php-etl Fourni juste des connecteurs ETLs CsvExtractor, JsonExtractor, DataMapper, CallbackTransformer, ORMLoader, FileLoader, ... Contribuez ;)
29. PHP-ETL RETENU ! Simple, bien codé, une seule fonction Mais... il nous manquait quelque chose...
30. JOBFLOW Pour vous servir https://github.com/rezzza/jobflow
32. POURQUOI ?! PARCE QU'IL RESTAIT ENCORE TROP DE CODE À ÉCRIRE PARDI ! Et chez VeryLastRoom on aime pas ça écrire du code.
33. CHOIX DE CRÉER NOTRE SOLUTION. En utilisant PHP-ETL.
34. Code pour faciliter l'usage de php-etl Code pour créer des jobs avancés Code pour la couche transport Code pour les edges cases Code pour limiter le code business à sa plus simple expression
35. CODE, CODE, CODE = LIBRAIRIE
36. RAPPEL : < ? p h p / / E x t r a c t $ c s v = n e w S p l F i l e O b j e c t ( $ f i l e n a m e ) ; $ c s v - > s e t F l a g s ( S p l F i l e O b j e c t : : R E A D _ C S V ) ; $ c s v - > s e t C s v C o n t r o l ( " ; " , ' " ' ) ; f o r e a c h ( $ c s v a s $ l i n e ) { $ e l e m e n t = $ l i n e - > f g e t c s v ( ) ; / / T r a n s f o r m $ r e s u l t = $ t r a n s f o r m e r - > t r a n s f o r m ( $ e l e m e n t ) ; / / L o a d $ l o a d e r - > l o a d ( $ r e s u l t ) ; }
37. AVEC JOBFLOW
38. Exemple basique : https://github.com/rezzza/jobflow/blob/master/examples/basic.p
39. CA FAIT PLUS DE CODE ON EST D'ACCORD ? MAIS CA NE FERA JAMAIS PLUS DE CODE QUE ÇA ! CHAQUE EXTRACTOR, TRANSFORMER, LOADER ÉCRIT EST FACILEMENT RÉUTILISABLE
40. ET ON PEUT GÉRER LA COUCHE TRANSPORT !
41. 2 TRANSPORTS POUR L'INSTANT PHP RabbitMq Contribuez pour rajouter votre préféré.
42. POURQUOI LE TRANSPORT ?
43. PHP MEMORY LIMIT ? Pouvoir s'en affranchir en ne lançant pas de gros portions de code qui font tout.
44. SCALABILITÉ Pouvoir traiter plusieurs opérations en même temps facilement. Voir plus rapidement.
45. TRANSPORT PHP Stock le résultat dans un tableau, le job suivant va lire le tableau... Pas très scalable ! Mais suffisant pour certains cas ;)
46. TRANSPORT RABBITMQ Stock le résultat de chaque job dans une queue, le job suivant va lire la queue. Chaque itération est très petite, plus de problème de memory limit ! Et on peut lancer plusieurs workers... scalable !
47. COMMENT ÇA MARCHE ? Tout simplement...
48. EXPORTER DES PHOTOS STREETVIEW DES BARS DE MARSEILLE Client : https://github.com/rezzza/jobflow/blob/master/examples/placeto rmq.php Worker RabbitMq : https://github.com/rezzza/jobflow/blob/master/examples/worke Notre Job: https://github.com/rezzza/jobflow/blob/master/examples/jobs/P
49. DÉMO ?
50. CHAINER LES JOBS Exporter dans un csv les emails des contributeurs de Symfony. Client : https://github.com/rezzza/jobflow/blob/master/examples/placeto rmq.php Worker RabbitMq : https://github.com/rezzza/jobflow/blob/master/examples/worke Notre Job: https://github.com/rezzza/jobflow/blob/master/examples/jobs/P
51. DÉMO ?
52. JOBFLOW EST ENCORE EN BÊTA Mais vous pouvez déjà le tester hein ! Et même contribuer ;)
53. UNE DERNIÈRE CHOSE...
54. IL Y A UN BUNDLE POUR ÇA : https://github.com/rezzza/JobFlowBundle
55. PROFITE DE L'INJECTION DE DÉPENDANCE PARDI ! INTERFACE AVEC RABBITMQBUNDLE SI CHARGÉ
56. INJECTER FACILEMENT VOS JOBS < s e r v i c e i d = " j o b . t y p e . h o n e y _ t r a n s f o r m e r " c l a s s = " V l r \ H i v e B u n d l e \ J o b \ T y p e \ H o n e y < t a g n a m e = " j o b . t y p e " a l i a s = " h o n e y _ t r a n s f o r m e r " > < / t a g > < / s e r v i c e >
57. ON PEUT FACILEMENT LANCER DES WORKERS RABBITMQ... a p p / c o n s o l e j o b f l o w : w o r k e r
58. PUIS LANCER NOTRE JOB Grâce à une commande symfony aussi : a p p / c o n s o l e j o b f l o w : r u n " m o n . j o b . i d " - - t r a n s p o r t = r a b b i t m q
59. SANS CODE EN PLUS, MON JOB EST ASYNCHRONISÉ JEUNE ! Plus simple à débugger : L'état de notre job est dumpable !
60. FOCUS SUR LE CODE MÉTIER
61. QUESTIONS ?