Performances PHP chez M6Web

Retour d'experience qui survole les axes sur lesquels nous travaillons chez m6web, ayant trait aux optimisations de nos sites.

Transcript

1. Performances PHP chez M6Web Retour d’expérience
2. M6Web }  Filiale digitale du groupe M6 }  + de 70 sites web }  Le MVNO M6Mobile avec Orange }  Le Replay et produits dérivés des programmes télé }  Un comparateur de prix }  Diversification : Qooq / Panorabanques / Habbo … }  Interactivité antenne (Sms, audiotel …)
3. M6Web } Implantation lyonnaise } Intégralité des équipes technique à Lyon } Fruit d’une croissance externe, avec le rachat de Cyréalis
4. Qui suis-je ? } Kenny DITS : Responsable Etude et Développement chez M6Web } Twitter : @kenny_dee
5. M6Web en quelques chiffres }  Mysql : }  + de 16000 requêtes SQL / seconde }  + de 500Go de données }  Varnish : }  7Go de cache utile }  4800 clients/seconde }  Trafic sortant : 1Gb/seconde }  VU Mars 2012 (Nielsen): 11,6M }  CA 2011 : 102,1M€ }  EBITA 2011 : 34,6M€
6. Performance === Crédibilité }  « Any pause before responding to a simple question "does this dress make me look big ?" qualifies the inevitable response "absolutely not" as less certain. » Source : http://radar.oreilly.com/2011/04/why- speed-matters.html
7. Speed Matters ! Tout le monde est concerné !
8. Sommaire Introduction 1. Coté Serveur 2. Coté Client Conclusion / Questions
9. Coté Serveur : Introduction
10. 1) Php
11. Cache d’OpCode « Le "Alternative PHP Cache" (APC) est un cache d'opcode libre et ouvert pour PHP. Son objectif est de fournir un framework libre, ouvert et robuste pour la mise en cache et l'optimisation de code intermédiaire PHP. »
12. Profiling PHP : XhProf Automatisé grâce à une console de débuggage sur nos espaces de développement http://pecl.php.net/package/xhprof
13. eregi vs preg vs strpos Remplacement d’un eregi par un preg_match( /i ) dans notre gestion de cache interne : gain 40% cpu sur la PF ! http://www.exinsidephp.com/ 2010/07/02/optimisation-les-posix-ereg- et-les-pcre-preg/
14. ErrorHandler Interception de toutes les erreurs en production (Warning, Fatal, UserNotice etc). Interception des Fatals : Un script Python reçoit l’access Log sur l’entrée standard, parse l’error log en même temps et les associe via le pid du process Apache pour log.
15. Génération d’images à la volée ImageMagick (utilise 1 cœur CPU) Passage à GraphicsMagick (utilise les 24 cœurs) => gain de 30%CPU Modification de GraphicsMagick pour n’utiliser que 2 cœurs env OMP_NUM_THREADS=2 /usr/local/bin/gm ... http://www.graphicsmagick.org/ benchmarks.html
16. 2) Mysql
17. Explain/Profiling Query Cache Liste des requêtes et Explain dans notre console de débuggage. Utilisation occasionnelle du profiling mysql Pour le Query Cache, éviter les fonctions non déterministes now() et rand() notamment
18. Réplication Master/slave Ecritures concentrées sur les master, et lectures sur les slaves Sharding par database Disques SSD sur certains pools
19. Slow Log & No index Très complet mais complexe à traiter
20. Percona Monitoring Tools 1/2 pt-heartbeat è Monitorer le lag de réplication pt-index-usage è Détecte les index en doublons, les +/ - utilisés pt-kill è Vérifie en tâche de fond si des requêtes doivent être killées pt-query-advisor è Donne des conseils sur les requêtes SQL lentes pt-query-digest è Stats sur les requêtes, nombre, temps de réponse et d'exécution, distribution… pt-slave-find è Liste les slaves et leur états
21. Percona Monitoring Tools 2/2 pt-table-checksum è Vérifie la cohérence des données entre master et slaves pt-table-sync è En cas de différence pt-tcp-model è A partir d'une capture tcpdump donne le temps de réponse des requêtes SQL (depuis la réception jusqu'à la fin de l'envoi) pt-upgrade è Avec un set de requêtes, exécutée sur deux machines différentes (moteur,version de mysql), check les différences sur les temps de réponse, les plans d'exécution MySQL, les résultats retournés etc…
22. Recherche FullText avec Sphinx ! http://www.sphinxsearch.com Utilisation de Sphinx en mode API pour toutes les recherches de nos sites. Interdiction d’utiliser Mysql pour des recherches !
23. 3) Serveur Web
24. Apache Utilisation d’Apache pour toute la partie Php
25. Compression Gzip Gzip permet de gagner 70% sur la taille des éléments de la page.
26. NginX Certains projets en php-fpm Les projets en Https Les projets où l’on délivre des fichiers statiques (Ex : Livefeed : 4000 cx HTTP/seconde/ serveur chaque soir avec Gzip, 1000 hits/ seconde max avec mod gzip static)
27. 4) Cache
28. Cache HTTP : Varnish HTTP Reverse proxy (Charge CPU moyenne < 5%) Le keep-alive permet l’établissement de connexions persistantes. Absorbe très bien les pics de charge (renvoi d’audience antenne notamment)
29. Cache HTTP : Varnish Gros soulagement des frontaux lors de la mise en place (Nb de threads sur le graph) https://www.varnish-cache.org/
30. Cache page + Clé/Valeur via (Memcached/Redis) Très performant et persistant : Répond à toute nos problématiques de cache applicatif. + Gestion des piles de travail.
31. 5) Monitoring
32. StatsD + Graphite Graphite + StatsD (© Etsy) modifié Pour monitorer tous nos applicatifs http://graphite.wikidot.com/ https://github.com/etsy/statsd
33. Le client StatsD : •  Incrément/ Décrement •  Timer Applicatif StatsD Métrique Métrique Métrique Le serveur StatsD : •  Reçoit •  Agrège pendant 2 secondes •  Envoie a Graphite
34. Hack de StatsD Modification du client PHP pour envoyer moins de paquets UDP => Utilisation du register_shutdown_function pour envoyer les données Découpage en paquets (MTU à 1500 octets pour Node.js (limitation logicielle/ hardware), 1472 octets max, 28 octets de header) Plusieurs démons Node.js avec un LBL sur les nodes sur un CRC32 de la chaîne modulo le nombre de serveurs
35. Temps CPU http://php.net/manual/fr/ function.getrusage.php Sur un script en Prepend/Append file au niveau du php.ini
36. Temps SQL Par site Par base de données Par type de requêtes …
37. Volume d’erreur Applicatives http://fr.php.net/manual/fr/ function.set-error-handler.php
38. Corréler avec les MEP Fonction drawAsInfinite dans Graphite
39. Alerting maison Grace au &rawdata=true des graphs Graphite
40. DashBoard Avoir un maximum de métriques organisées par dashboard
41. Coté Client: Introduction
42. Etats des lieux Perf Back-End }  15% du temps passé }  3% du temps passé Perf Front-End }  85% du temps passé }  97% du temps passé Source : http://www.webperformancetoday.com/ 2011/04/20/desktop-vs-mobile-web-page-load- speed/ Web Mobile
43. 1) WebPerf
44. Diminuer le nombre de requêtes HTTP Afin d’éviter un maximum de RTT (Round Trip Time) Sprites CSS / Regroupement des JS et CSS http://www.sitioweb.fr/blog/3-technical/ 3-sprite-packing-algorithm
45. Sprites CSS Regrouper plusieurs images en une seule, et les positionner via CSS
46. Images => CSS https://github.com/bluesmoon/ pngtocss Remplacer les images de dégradé (pngtocss) et les bords arrondis par des équivalents CSS 3
47. Regroupement CSS et Js intelligent Regrouper les multiples Js et Css en fonction du rubriquage de votre site.
48. Cache HTTP / Expires Définir une durée de cache pour chaque élément de vos sites : Ex : ExpiresByType dans la conf Apache http://httpd.apache.org/docs/2.0/mod/ mod_expires.html
49. Javascript externe : Asynchrone Charger les scripts qui le permettent en Asynchrone afin de ne pas bloquer le chargement des autres éléments. var e = document.createElement('script’); e.async = true; e.src = document.location.protocol + '// connect.facebook.net/fr_FR/all.js’; document.getElementById('fb- root').appendChild(e);
50. Widgets ou scripts Tiers Attention à l’intégration des widgets Facebook, Twitter, ou tags Adsense & co … Lazyload / Cron … http://stevesouders.com/p3pc/
51. CookieLess Domain Utilisez des domaines sans cookie pour délivrer les contenus statiques.
52. Lazyloading Ne charger certains contenus que lorsque l’utilisateur peut le visualiser. var lazyLoadEnable = false, delay = 500, selector = '#shopper-widget'; function lazyLoad(){ if(!lazyLoadEnable && $(window).scrollTop() + $ (window).height() > ($(selector).offset().top - delay)){ lazyLoadEnable = true; <!-- Code here à } } $(window).scroll(lazyLoad); lazyLoad();
53. Compression des images Jpg/Png OptiPng / Jpegtran / Pngcrush / Smush.it / ImageMagick GraphicMagick …
54. 2) Monitoring client
55. Synthetic User Monitoring Instance Privée de WebPageTest Waterfall Charts / Vidéos comparatives IE / Firefox / Chrome http://www.webpagetest.org
56. Real User Monitoring Navigation Timing API (spéc HTML5) Utilisation de l'image Object JS (new Image()) avec les paramètres relevés Node.Js : Serveur HTTP (200 ok sans contenu) et agrège les données pour les envoyer à Graphite
57. Monitoring Erreur JS Window.onerror(message, url, line) Utilisation de l’image Object JS (new Image()) pour envoyer les infos au serveur
58. Follow me on Twitter @kenny_dee