Evy - Serveur d'Intégration Continue Distribué

Transcript

1. 1.

   Evy Serveur d’Intégration Continue Distribué

2. 2.

   Qui suis-je ? Stéphane WIRTEL !2

3. 3.

   Février 2014 à Bruxelles Au fait !

4. 4.

   Pourquoi suis-je là ? !4

5. 5.

   • pour parler du Runbot (CI) d’OpenERP • échanger des

   idées d’un éventuel remplaçant • et pour le fun ! !5
6. 6.

   C’est quoi ce Runbot ! !6

7. 7.

   Le Runbot - La Bête • Serveur d’intégration continue •

   Propre à OpenERP • en Python, Of course ;-) • parce que nous avions des problèmes avec Buildbot (je sais plus !) !7
8. 8.

   !8 Interface du Runbot

9. 9.

   • Build le dernier commit de plusieurs branches • Si

   build ok -> Instanciation de l’OpenERP • Interface simple • HTTP Proxy avec nginx !9 Le “Pour”
10. 10.

    • Monolitique (non-extensible) • Non-distribué • Exécuté toutes les X

    minutes • Installation très fastidieuse • bzr branch lp:~openerp-dev/openerp-tools/trunk !10 Le “Contre”
11. 11.

    Ok, que proposes-tu ? !11

12. 12.

    Evy Serveur d’Intégration Continue Distribué

13. 13.

    None
14. 14.

    Objectifs • Modularité • Scalabilité • Distribué • Extensible !

    ! • Monitoring • API HTTP Versionnée • Configurable (YAML) • Installation rapide !14
15. 15.

    Glossaire • Proxy • Manager • Worker • Queue •

    Plugin (Capacité) ! • Job • Build • Context d’exécution !15
16. 16.

    Architecture !16

17. 17.

    Modularité • Proxy • Manager • Workers • Plugins !17

18. 18.

    Scalabilité • Ajout de Workers • Ajout de Manager •

    Ajout de Proxy (reverse-proxy, nginx) !18
19. 19.

    Distribué • Redis • Queue • Workers !19

20. 20.

    Extensible • Création de plugins • Utilisation de stevedore (entrypoints)

    !20
21. 21.

    Monitoring !21

22. 22.

    API HTTP • Versionnée • RESTful • SSL • etc…

    !22
23. 23.

    API - Exemple > http GET http://localhost:19000/api/v1/builds/48f5f6f041bd4190af6504663150d67a! HTTP/1.1 200 OK!

    Connection: close! Content-Length: 57! Content-Type: application/json! Date: Sun, 27 Oct 2013 05:02:54 GMT! Server: gunicorn/18.0! ! {! "identifier": "48f5f6f041bd4190af6504663150d67a",! "status": "in progress"! }! !23
24. 24.

    Installation !24 apt-get install redis-server! ! pip install evy-worker evy-master

    evy-plugin-email!
25. 25.

    Redis • In Memory / Persistence on Disk • Queue

    • Utilisé pour la configuration globale du système !25
26. 26.

    Proxy • HTTP API • RESTful • Versionné • Interface

    Web • Interface pour voir les queues !26
27. 27.

    Workers • Capacité • Ecoute sur sa propre queue •

    Fait sa TACHE ! • Configuration (YAML). !27
28. 28.

    Manager • Extension d’un Worker • Utilisation du Plugin “Manager”

    • Dispatch un build en fct(plugin) à éxécuter !28
29. 29.

    Plugins • Stevedore • Configuration • Capacité ! ! !

    • Exemples • Email • Nginx • Bzr !29
30. 30.

    Plugin Email !30 #!/usr/bin/env python! from setuptools import setup! !

    import release! ! setup(! author=release.author,! author_email=release.author_email,! name=release.name,! version=release.version,! install_requires=[! 'EvyWorker',! ],! entry_points={! 'evy.plugins': [! 'email = plugin:Email',! ]! }! )!
31. 31.

    from evyworker.logging import logger! ! class Email(object):! def __init__(self):! pass!

    ! def run(self, job, build, plugin, config, context=None):! logger.info("We do something in this method")! return {}! !31 Plugin Email
32. 32.

    Job !32 • Modèle d’un travail à réaliser • Statique

33. 33.

    Exemple 1 !33 name: Hello! plugins:! - email! config:! email:!

    from: foo@bar.com! to: bar@foo.com! subject: Hello! body: How are you ?!
34. 34.

    Exemple 2 name: OpenERP Build 7.0! plugins:! - bzr_fetch_source! -

    openerp_build! - openerp_execute! - openerp_nginx_http_proxy! - update_web_site! - email! config:! bzr_fetch_source:! branches:! addons: 'lp:openobject-addons/7.0'! server: 'lp:openobject-server/7.0'! web: 'lp:openerp-web/7.0'! openerp_nginx_http_proxy:! server_name: 'demo.openerp.com'! port: 6543! ssl: true! context:! working_directory: /mount/srv/build/! !34
35. 35.

    Messages • Message entrant • Message interne !35

36. 36.

    Message entrant • De Internet vers le Proxy • JSON

    !36 {! "job": "Hello",! "plugins": {! "email": {! "from": "stephane@wirtel.be",! "to": "orga@pycon.fr",! "subject": "Bonjour de Evy",! "body": "Le monde merveilleux de Python",! }! }! }!
37. 37.

    La réponse ;-) HTTP/1.1 202 ACCEPTED! Connection: close! Content-Length: 57!

    Content-Type: application/json! Date: Sun, 27 Oct 2013 04:58:46 GMT! Location: http://localhost:19000/api/v1/builds/48f5f6f041bd4190af6504663150d67a! Server: gunicorn/18.0! X-Evy-Build: 48f5f6f041bd4190af6504663150d67a! ! {! "identifier": "48f5f6f041bd4190af6504663150d67a"! }! !37
38. 38.

    Message interne • Entre Redis et Workers • Pickle !38

39. 39.

    Message interne - Exemples {! "job": "Hello",! "build": "48f5f6f041bd4190af6504663150d67a",! "plugin":

    "email",! "config": {! "from": "stephane@wirtel.be",! "to": "orga@pycon.fr",! "subject": "Bonjour de Evy",! "body": "Le monde merveilleux de Python"! },! "context" : {! }! }! • Envoyé vers le Worker !39
40. 40.

    Message interne {! "job": "Hello",! "build": "48f5f6f041bd4190af6504663150d67a",! "status": "done",! "plugin":

    "email",! "context": {! }! }! {! "job": "Hello",! "build": "48f5f6f041bd4190af6504663150d67a",! "status": "failed",! "plugin": "email",! }! • Retour du Worker !40
41. 41.

    Command Line • Utilise l’API HTTP • Permet de créer

    des jobs • Gérer un build • Extensible en local/remote !41
42. 42.

    Et l’avenir ? • Unit Test • Documentation • Utilisation

    d’un File System distribué • Déplacer les logs vers LogStash ou Riemann • Plugin pour déploiement continu • Git Hook • Python-Eve • JSON (Message Interne) • ZMQ • Cron • Recettes !42
43. 43.

    Au fait ;-) • A la dernière minute -> Place

    vacante !43
44. 44.

    Contribuer !44 git://github.com/matrixise/evy-*

45. 45.

    Merci ! @matrixise Stéphane WIRTEL https://github.com/matrixise