Aktsk-Fluentd+MongoDB

http://atnd.org/events/37175

Transcript

1. ΞϓϦΛࢧ͑ΔFluentd +MongoDBΛ࢖ͬͨେن໛ ϩάղੳ 2013/03/25
2. ࣗݾ঺հ • ాத ༐ี(@csouls) • ϋοΧʔLv.3ʢϗΠϛ͕࢖͑ΔΑ͏ʹͳͬ ͨʣ • 8ϲ݄͘Β͍લʹϢʔβܥSIer→Webۀք΁ స৬
3. มԽΛળͱ͢ΔจԽ • స৬ͯ͠Ұ൪มΘͬͨ͜ͱ͸ɺपΓͷਓͷٕ ज़มԽʹର͢ΔՁ஋؍ͷج४͕ѱ→ળʹͳͬ ͨ͜ͱ • ఀ଺͸ΏΔ΍͔ͳࢮɻ͔͠͠ɺมԽ͢Δํ޲ Λؒҧ͑ଓ͚Δͱ͙͢ʹࢮ͵
4. ෼ੳ • มԽͷํ޲ΛܾΊΔಓඪ • ෼ੳج൫΋มԽ(ൃల)͠ଓ͚Δ
5. ϩά෼ੳج൫ • fluentͰϩάΛूΊͯMongoDBͰूܭͯ͠ Ruby on Rails(+Highcharts)Ͱग़ྗ
6. ߏ੒ log aggregate Mithra
7. Fluentd • @frsyukiʹΑΔΠϕϯτϩάऩूπʔϧ • ʮখ͍͞ίΞػೳͱϓϥάΠϯʹΑΔ֦ுʯ ͷΞʔΩςΫνϟ͕࠷ߴʹඒ͍͠
8. Fluentd • tsvσʔλͷ਺஋߲໨ΛIntegerͰMongoDBʹ ೖΕ͍ͨ → in_tailϓϥάΠϯΛ֦ு • https://github.com/yusuket/fluent-plugins
9. ઃఆ [APαʔόଆ] <source>    type  tail_ex    format  tsv    path  /media/ephemeral0/bigdata/payment.log    keys  amount,item_num,(...লུ)    int  item_num    float  amount    tag  app.payment    pos_file  /var/log/td-­‐agent/payment.log.pos </source>
10. Fluentd • URLͷϖʔδͱΫΤϦύϥϝʔλΛ MongoDBʹಥͬࠐΈ͍ͨ • kentaro / fluent-plugin-extract_query_params ϓϥάΠϯΛ֦ு • https://github.com/yusuket/fluent-plugin- extract_query_params
11. ઃఆ [APαʔόଆ] <source>    type  tail    format  tsv    path  /media/ephemeral0/bigdata/access.log    keys  log_time,url,...(লུ)    tag  app.access    pos_file  /var/log/td-­‐agent/access.log.pos </source>   <match  app.access>    type  forward    flush_interval  5s    <server>        host  xxxxxxx        port  xxxx    </server> </match> [ूܭαʔόଆ] <match  app.access>    type  extract_query_params    add_tag_suffix  .extracted    key            url    only          ab    add_path  page </match> <match  app.access.extracted>    type  mongo    host  localhost    database  xxxxxxxx    collection  log.accesses    capped    capped_size  100m    flush_interval  10s </match>
12. Fluentd • 120Λ௒͑ΔϓϥάΠϯͰɺ΍Γ͍ͨ͜ͱ͸ ݁ߏग़དྷΔ • ͪΐͬͱػೳ͕଍Βͳͯ͘΋ɺ ϓϥάΠϯ ֦ு͕؆୯ʹग़དྷΔΑ͏ʹ࡞ΒΕ͍ͯΔ • ໺ྑϓϥάΠϯ͸/etc/td-agent/plugin͔/etc/ fluent/plugin΁
13. ͳͥMongoDB͔ʁ • εΩʔϚϨε • ϩάͷܗ͕ࣜมΘͬͯ΋ɺFluentdͷઃఆ ϑΝΠϧΛม͑Δ͚ͩͰྑ͍ • ͱΓ͋͑ͣಥͬࠐΉʢॲཧํ๏͸ޙͰߟ͑ Δʣͱ͍͏͜ͱ͕ग़དྷΔ
14. ͳͥMongoDB͔ʁ • εέʔϧΞ΢τ͠΍͍͢ • Map-Reduceͷଘࡏ • ϨϓϦέʔγϣϯɾγϟʔσΟϯάΛϛυ ϧ΢ΣΞͰαϙʔτ͍ͯ͠Δͷ͸خ͍͠
15. ूܭ • ϦΞϧλΠϜ • ΞΫηεϩά • ೔࣍/݄࣍όον • ՝ۚ/Πϯετʔϧϩά
16. ϦΞϧλΠϜ෼ੳྫ • ϖʔδผͷUUΛݟ͍ͨ
17. ूܭ • xxxηάϝϯτผͷxxxΛ෼ੳ͍ͨ͠
18. MongoDBͰͷूܭ • ूܭ͸MongoDB + Ruby • ੜϩάΛஷΊΔ log εΩʔϚͱɺϨϙʔτ༻ ͷ aggregated εΩʔϚ
19. MongoDBͷεΩʔϚσβΠϯ • @doryokujin͞ΜͷεϥΠυ͕෼Γқ͗ͯ͢ Կ΋࿩͢͜ͱແ͍ͷͰɺCapped-Collectionʹ ͍ͭͯ http://www.slideshare.net/doryokujin/ mongodb-uimongodb
20. ΞΫηεϩά • 500ສPV/೔͘Β͍ • Google Analytics࢖͍͍͚ͨͲɺ1000ສ PV/݄·Ͱ ϓϨϛΞ͸10ԯ/݄͚ͩͲɺ100ສԁ/݄ ͸ߴ͗͢ • MongoDBͷCapped-CollectionΛར༻
21. Capped-Collection • ݻఆ௕ͷίϨΫγϣϯɻݹ͍ϩά͸ফ͑Δ • ΠϯσοΫεΛషΒͳ͍ͷͰɺॻ͖ࠐΈ͕଎ ͍ • AWS m1.medium + EBS(IOPSΦϓγϣϯແ ͠)Ͱ500ສPV/1೔Λ༨༟Ͱ͞͹͚͍ͯΔ
22. • Capped-CollectionʹΞΫηεϩάΛྲྀ͜͠Μ ͰɺΧʔιϧΛॱ࣍ॲཧͯ͠Page-ViewίϨ ΫγϣϯΛߋ৽ • UU͸countͰɺPV͸pvଐੑͷ૯ܭͰදݱ Capped-Collection _id:              #{yyyymmddhh}  +  ":"  +  #{page}  +  ":"  +  #{user_id} date_hour:  Time page:            String user_id:      Integer pv:                Integer
23. Capped-Collection࣮૷ྫ • ॲཧ͕தஅ͞Εͨͱ͖ͷͨΊʹɺ࠷ޙͷߋ৽ ࣌ؒΛӬଓԽ͢Δ • Χʔιϧ͕Close͢Δ͜ͱ͕͋ΔͷͰɺ࠶։͢ Δ༷ʹ͢Δ
24. #  ӬଓԽ͓͍ͯͨ͠࠷ޙͷߋ৽࣌ؒ processed_time  =  Tmp::PagePosition.first.processed_time loop  do    #  Χʔιϧ͕ด͡ΒΕͨ࣌ʹ࠶։͢Δ    cursor  =  Mongo::Cursor.new('log.accesses',  selector:  {'log_time'  =>  {'$gt'  =>  processed_time}},                                                            timeout:  false,  tailable:  true,  order:  [['$natural',  1]])    loop  do        break  if  cursor.closed?        begin            document  =  cursor.next_document            unless  document  then                sleep(0.1)                next            end              <ϖʔδϏϡʔίϨΫγϣϯͷߋ৽ॲཧ>              if  document["log_time"]  >  processed_time  then                processed_time  =  log_time                Tmp::PagePosition.update_processed_time(processed_time)            end        rescue  =>  e            <Τϥʔग़ྗ>            cursor.close            break        end    end end
25. Capped-Collection࣮૷ྫ • 2^32 = ໿42ԯυΩϡϝϯτ্͕ݶɻ࣮࣭ࠔΔ ͜ͱ͸ͳ͍ɻ্ݶ100ສίϨΫγϣϯͰ΋ɺ ଎౓௿Լ͸ݟΒΕͳ͔ͬͨ • େྔσʔλΛϦΞϧλΠϜ෼ੳ͢Δ༻్ʹ࠷ ద
26. MongoDBͷ೉͍͠ͱ͜Ζ • Join͕࢖͑ͳ͍ɻʮࠓճͷΠϕϯτͷࢀՃ ऀ্Ґ100໊ͷΞΠςϜ࢖༻ঢ়گʯΛग़͢ ͨΊʹ͸1ͭͷίϨΫγϣϯʹΠϕϯτϥ ϯΩϯάଐੑͱΞΠςϜ࢖༻ঢ়گͷଐੑ͕ ඞཁ • Map-Reduce͸SQLΑΓϋʔυϧ͕ߴ͍
27. ݱࡏͷߏ੒ log aggregate Mithra
28. ཧ૝ͷߏ੒ log aggregate Mithra ˍ
29. ·ͱΊ • Fluentd͸ϩάΛ࿈ܞ͢Δ্Ͱ࠷ߴͷϓϩμ Ϋτ • MongoDB͚ͩͰूܭ͢ΔΑΓ΋ɺMySQLͱ ͏·͘૊Έ߹Θͤͯूܭ͢Δํ͕ɺޮ཰͕ྑ ͍ • Treasure Data͞ΜͺͶ͐ͬ͢
30. ·ͱΊ • ৽͍͠ϓϩμΫτ΁௅ઓ͢Δ͜ͱͰɺ৽͍͠ ஌ࣝΛಘΔ͚ͩͰ͸ͳ͘ɺطଘͷٕज़ͷྑ͞ ΋࠶ೝࣝग़དྷΔ • มԽΛڪΕͣνϟϨϯδ͠ଓ͚Δ͜ͱ͕࠷େ ͷϦεΫ΁ͷରԠ