Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Mesos @Viadeo

2807f966a9f6eb6d1cfb7d880bec3ece?s=47 Viadeo
September 10, 2014

Mesos @Viadeo

How Mesos is being packaged/deployed/monitored/used at Viadeo by @Dam_ned

2807f966a9f6eb6d1cfb7d880bec3ece?s=128

Viadeo

September 10, 2014
Tweet

Transcript

  1. Mesos @ Viadeo Mesos Paris User Group Damien Hardy 10/09/2014

  2. Mesos @ Viadeo Contexte Packaging Déploiement Métriques/Monitoring Usages et écueils

    Projets
  3. M@V : Contexte Hadoop cdh 4.1.2 / Debian Squeeze /

    Java 6 Clusters back-office 20 nœuds Logs, events et sqooping MySQL Spark :une demande utilisateurs Contrainte de MR1 pour autres batchs
  4. M@V : Packaging Debian : Viadeo Policy Multi modules :

    client / master / slave • libmesos ( /usr/lib/libmesos* ) • mesos-common ( binaires et UI ) • mesos-master ( script init.d et config) • mesos-slave ( script init.d et config) • python-mesos ( module python ) Pas de gestion des “3rd parties” Avant mesosphere...
  5. M@V : Déploiement Module puppet pour mesos • installation des

    paquets en fonction du profile : master, slave, client • configuration : cluster zookeeper mutualisé avec hadoop • application de la configuration de la collecte de métriques et de monitoring
  6. M@V : Métriques et Monitoring Status : non critique; best

    effort Collectd curl-json vers graphite /stats Nagios: simple monitoring des processus master et slave Frameworks simplement monitorés par utilisateurs pour le moment
  7. M@V : Métriques et Monitoring Logs basés sur GLog difficile

    a manipuler (ticket ouvert) • stdout • perte des logs disponibles depuis UI
  8. M@V : Usages et écueils Pas de restriction pour les

    processus Consigne : limiter l'usage disque au sandbox • perte de noeud à cause de /tmp plein Déploiement de code (packaging pour mesos?) WIP • gestion de configuration ( setenv.sh dans la liste des URL ?) Restrictions réseaux difficiles : VPN
  9. M@V : Projets Utilisation paquet mesosphere Ordonnanceur de Jobs (aurora,

    chronos ?) Marathon ? MR1 sur mesos et faciliter upgrade Hadoop. Packaging Spark et déploiement continu Spark server pour supprimer VPN Docker
  10. M@V : Questions ?