Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ゼロから始めた Gunosyアドサーバ開発運用記 / 2014-12-16-dots

shunsukeaihara
December 16, 2014

ゼロから始めた Gunosyアドサーバ開発運用記 / 2014-12-16-dots

地雷の話

shunsukeaihara

December 16, 2014
Tweet

More Decks by shunsukeaihara

Other Decks in Technology

Transcript

  1. ࣗݾ঺հ • ҄൧ݪढ़հ (http://argmax.jp) • Gunosy։ൃຊ෦ Ϛωʔδϟʔ • ޿ࠂ഑৴γεςϜͷ։ൃશମͱR&DܥΛ୲౰ •

    ઐ໳: ܭࢉݴޠֶ • Pythonͱඇಉظ෼ࢄγεςϜΛ޷Ή • ը૾ॲཧɾԻ੠৴߸ॲཧͰ͍Ζ͍ΖϥΠϒϥϦ࡞ͬͯΔ • https://bitbucket.org/aihara
  2. Gunosy Adsαʔόߏ੒  2360 19(!%-7     

     +#4/     ,:*'&5.8   MySQL +#$)"
  3. Ξυαʔό։ൃͷجຊελϯε • ࠷ۙ·Ͱ޿ࠂ഑৴ΤϯδχΞ͸2໊ • AWSͰ༗Δ͜ͱΛ࠷େݶ׆༻ • TimeϕʔεͷϓϩϏδϣχϯά + େྔͷcold standby

    • ӡ༻ɾࢮ׆؂ࢹ͸ՄೳͳݶΓࣗಈԽ • αʔό૿΍͢ΑΓνϡʔχϯά(ශ๡ੑ) • ແବʹଟ͍KPI Tool
  4. 1೥ͰGunosyϢʔβ਺͸10ഒ ޿ࠂ഑৴ྔ͸਺ઍഒʹ ਓ ਓ ਓ ਓ ਓ ਓ ਓ ਓ

    ਓ ݄ ݄ ݄ ݄ ݄ ࠓ μ΢ϯϩʔυ਺ ΞυΤϯδχΞਓ਺      
  5. ͸͡Ί͸਺୆ͷαʔόͩͬͨ • Python(Tornado)੡ͷ഑৴αʔό • ΦϯϥΠϯֶश/όϯσΟοτͰCTRਪఆ • Redisʹ഑৴σʔλΛ͢΂ͯ౤ೖ • RDB͸Ұ੾ݟͳ͍ •

    MongoDBʹtd-agentͰϩάΛ౤ೖ • Capped Collectionʹ౤ೖ Redis MongoDB (Log Collector) Batch Server MySQL MySQL ഑৴αʔό
  6. ਓ ਓ ਓ ਓ ਓ ਓ ਓ ਓ ਓ ݄

    ݄ ݄ ݄ ݄ ࠓ μ΢ϯϩʔυ਺ ΞυΤϯδχΞਓ਺       ͜ͷ͋ͨΓ
  7. ϝϞϦʹ৐Βͳ͍Ϗοάσʔλ is ෆཁ • ඇఆظతͳ෼ੳ͸Sparkʹ • ශऀͷຯํEMR on Spot Instance

    • ΞυϗοΫͳ෼ੳͱ͔ճؼϞσϧߏங͸Spark Λར༻ • શϩάूܭ͸ImpalaͰ(ΦϯϝϞϦ͡Όͳ͍͚Ͳ)
  8. ਓ ਓ ਓ ਓ ਓ ਓ ਓ ਓ ਓ ݄

    ݄ ݄ ݄ ݄ ࠓ μ΢ϯϩʔυ਺ ΞυΤϯδχΞਓ਺       ͜ͷ͋ͨΓ
  9. ݟ͑ͯΔ஍ཕΛશͯ౿Έൈ͍ͯࠓʹࢸΔ  2360 19(!%-7      

    +#4/     ,:*'&5.8   MySQL +#$)"