Upgrade to Pro — share decks privately, control downloads, hide ads and more …

秒間数万のログをいい感じにするアーキテクチャ

 秒間数万のログをいい感じにするアーキテクチャ

AWS Summit Tokyo 2016 Developer Conference (2016/06/03)

Hokuto Hoshi

June 03, 2016
Tweet

More Decks by Hokuto Hoshi

Other Decks in Technology

Transcript

  1. ੕๺ే ΄͠΄͘ͱ !LBOJ@C w ΫοΫύουגࣜձࣾΠϯϑϥετϥΫνϟʔ෦
 ηΩϡϦςΟάϧʔϓάϧʔϓ௕ w 8FC\Πϯϑϥ ηΩϡϦςΟ^ΤϯδχΞ w

    ઃܭߏஙӡ༻ w ੬ऑੑ਍அ *%4 8"' *4.4ӡ༻FUD w "84ೝఆ4" %FW0QTΤϯδχΞ 1SPGFTTJPOBM
  2. ٕज़ελοΫ w ΄΅શͯͷαʔϏε͕3VCZ 3VCZPO3BJMT w (PMBOH OPEFKT 1ZUIPOͳͲͷՕॴ΋ w %PDLFS

    w ൒਺Ҏ্ͷγεςϜ͕%PDLFSͰຊ൪Քಇ w 6CVOUVX*UBNBF w $FOU04X1VQQFU͔ΒҠߦத w શαʔϏε͕"84্ͰՔಇ
  3. "84ར༻αʔϏε w ΄΅શͯͷ"84αʔϏεΛར༻ɾݕূ w ࠓճͷ͓࿩ʹؔ܎͢ΔαʔϏε w "NB[PO&$ "NB[PO71$ Ҏ߱&$ 71$ͱදه

     w "NB[PO,JOFTJT4USFBNT Ҏ߱,JOFTJT4USFBNTͱදه  w "NB[PO%ZOBNP%# Ҏ߱%ZOBNP%#ͱදه  w "NB[PO3FETIJGU Ҏ߱3FETIJGUͱදه  w "84-BNCEB Ҏ߱-BNCEBͱදه
  4. ऩू͍ͯ͠Δϩά w 17ϩά w ϖʔδӾཡ͝ͱʹه࿥͞ΕΔ w Ӿཡ਺ɺݕࡧಈ޲ͷ෼ੳͳͲ w ޿ࠂܥϩά w

    ΠϯϓϨογϣϯɺΫϦοΫɺ
 ίϯόʔδϣϯ w ഑৴੍ޚ΍ޮՌଌఆʹ w ΞΫςΟϏςΟϩά w Ϣʔβߦಈ ը໘ભҠͳͲ  w ࢪࡦݕূɺϞόΠϧΞϓϦͷಈ࡞ϩάͱͯ͠ w ؂ࠪϩά wϢʔβσʔλͷ࡞੒ɾߋ৽ɾ࡟আɺ
 ϩάΠϯϩάͳͲ wαϙʔτɺηΩϡϦςΟ؂ࠪͳͲʹ w,1*༻ϩά wlग़དྷࣄzΛه࿥͢Δϩά w66 %6ͳͲ΋ࣗಈܭࢉɺ,1*؅ཧ༻ wγεςϜϩά w04ɺϛυϧ΢ΣΞͷϩά wγεςϜ؅ཧ༻ wFUDʜ
  5. ϩάऩूͷมભ  w 5SFBTVSF%BUBಋೖ w 42- )JWF2- ΞΫηεͰ͖Δ.BOBHFE)BEPPQ ౰࣌ 

    w ूܭͷߴ଎͞ɺར༻ͷ༰қ͞΋ख఻ͬͯϩά͕ٸ૿ w 17ϩάҎ֎ͷϩά΋ऩू͞ΕΔΑ͏ʹ
  6. "QQ4FSWFST &-# ϩάऩूͷมભ  -PH"HHSFHBUPS 6TFS 5SFBTVSF%BUB "NB[PO4 "QQ4FSWFST &-#

    6TFS UBCFNJSV #BUDI4FSWFS 3FETIJGU$MVTUFS %FWFMPQFS %JSFDUPS
  7. ೥த०͘Β͍ͷߏ੒ "QQ4FSWFST &-# -PH"HHSFHBUPS 6TFS 5SFBTVSF%BUB "NB[PO4 "QQ4FSWFST &-# 6TFS

    UBCFNJSV #BUDI4FSWFS 3FETIJGU$MVTUFS %FWFMPQFS %JSFDUPS &MBTUJDTFBSDI
  8. ඞཁͱ͍ͯͨ͠΋ͷ w ૹ৴ઌͷू໿ w ֤Πϯελϯε͔Β͸ʮಛʹߟ͑ͣσʔλΛૹΕΔʯঢ়ଶ w ϩάσʔλͷద੾ͳอޢ w ҆ఆͨ͠ύϑΥʔϚϯεɺѻ͍΍͍͢εέʔϧϞσϧ w

    ΞϓϦέʔγϣϯ͕ϩάΛQVMMͰ͖ΔϞσϧ w ॲཧཻ౓΍ύϑΥʔϚϯεͷҧ͏γεςϜͰ΋
 ಉ͡σʔλετϦʔϜΛѻ͑ΔΑ͏ʹ
  9. ,JOFTJT4USFBNTWT"QBDIF,BGLB w "QBDIF,BGLB w 044ͷ෼ࢄϝοηʔδϯάγεςϜ w 5XJUUFS /FUqJY ָఱͳͲ͕ར༻ w

    ͲͪΒ΋ཁ݅Λຬ͕ͨ͢·ͣϚωʔδυͳ,JOFTJT4USFBNT͔Β w ӡ༻ෛՙͷܰݮ΋໨తͷҰͭͩͬͨ
  10. ,JOFTJT4USFBNT1SPEVDFSΛͭ͘Δ w ૹ৴ͦͷ΋ͷʹ͸'MVFOUE qVFOUQMVHJOLJOFTJT Λར༻ w Πϯελϯε಺ͷόοϑΝϦϯά w ϩάͷϧʔςΟϯά w

    ΞϓϦέʔγϣϯͷίʔυΛมߋ͢Δඞཁ͕ͳ͍ w ू໿ϊʔυ͔Βͷૹ৴͔Β։࢝ w ࠷খݶͷมߋͰݕূͰ͖ΔΑ͏ʹ
  11. ޿ࠂϩά w ΫϦοΫɺΠϯϓϨογϣϯɺΠϕϯτϩά w ྲྀྔ͕ඇৗʹଟ͍ w ୯ମͰ ϨίʔυඵΛ௒͑Δ w ഑৴੍ޚɺ੒Ռใࠂʹར༻

    w ܽଛɺ େ͖ͳ ஗Ԇ͕Ϗδωε্ΫϦςΟΧϧʹ w ४ϦΞϧλΠϜͳσʔλूܭ͕ཁٻ͞ΕΔΑ͏ʹ
  12. ޿ࠂϩάߏங͍ͯ͠Δऩूɾूܭ w 'MVFOUEͰ5SFBTVSF%BUBͱ,JOFTJT4USFBNTʹૹ৴ w 5SFBTVSF%BUBͰόονूܭ w ,JOFTJT4USFBNT͔Β-BNCEBGVODUJPO΁ w -BNCEBGVODUJPO͔Β4ʹૹ৴ 3FETIJGUΠϯϙʔτ

     w -BNCEBGVODUJPOͰूܭͯ͠%ZOBNP%#ʹ֨ೲ ଎ใσʔλ  w 3FETIJGU 5SFBTVSF%BUBͷσʔλΛ.Z42-ʹ֨ೲͯ͠ར༻ w %ZOBNP%#ͷσʔλ͸௚઀ར༻
  13. ӡ༻ʹ͍ͭͯ w ߹ܭγϟʔυ͘Β͍ w ,1-Ͱू໿͍ͯ͠ͳ͍ετϦʔϜ΋ؚΉ w ಈతͳγϟʔυͷ૿ݮ͸͍ͯ͠ͳ͍ w γϟʔυ͸ഒʹ͢Δ͔ʹ͢Δ͔ͷબ୒ࢶ͔͠جຊతʹͳ͍ w

    γϟʔυΩʔ͕े෼ʹ෼ࢄ͍ͯ͠Δ͜ͱ͕લఏ w γϟʔυ୯ҐͷϝτϦΫε͕औಘͰ͖ΔΑ͏ʹͳͬͨ w ϗοτͳγϟʔυ͕ͳ͍͔ͳͲͷ؂ࢹ͕͠΍͍͢
  14. ϩάʹٻΊΔཁ݅ w ࣮֬ʹ഑ૹ͞ΕΔ͜ͱ w %$ؒͰϨϓϦέʔγϣϯ͞ΕΔΑ͏ʹ w Ͱ͖Δ͚ͩ஗Ԇ͕গͳ͍͜ͱ w ࠓͷͱ͜ΖϨίʔυ஗Ԇ͸΄΅ͳ͍ w

    ྔΛݮΒ͢ αϯϓϦϯά ඞཁ͕ͳ͍͜ͱ w ϩάΛड͚Δ TVCTDSJCF͢Δ ଆͰௐ੔Ͱ͖ΔΑ͏ʹͳͬͨ
 4USFBNTࣗମ΋؆୯ʹεέʔϧͰ͖ΔΑ͏ʹͳͬͨ w ෼ੳ͠΍͍͢ܗͰอ࣋Ͱ͖Δ͜ͱ w ϩάࣗମΛஷΊ͓͚ͯΔͷͰࢼߦࡨޡ΋͠΍͍͢
  15. ,JOFTJT4USFBNTͭΒ͍ͱ͜Ζ w 4 3FETIJGUʹૹΔͷʹ$POTVNFSΛ͸͞Ήඞཁ͕͋Δ w ,JOFTJT'JSFIPTF5PLZPSFHJPOΛʜʂ w ։ൃऀଆͰϩάϧʔςΟϯάΛ͢Δඞཁ͕͋Δ w ݱࡏ͸$POTVNFSଆ΍1SPEVDFSଆͰ͕Μ͹Δ

    w 4USFBNT͸ͭಛఆͷλάͷΈ ͱ͍ͬͨQVMM͕͍ͨ͠ w 71$&OEQPJOU͕ͳ͍ /"5͔QVCMJD*1͕ඞཁ  w ഒPSͰγϟʔυ૿ݮ͢Δ"1*͕ཉ͍͠ w γϟʔυ͝ͱʹૢ࡞͕ऴΘΔ·Ͱ଴ͭඞཁ͕͋Δ
  16. 13