ΞϓϦΛࢧ͑ΔFluentd +MongoDBΛ࢖ͬͨେن໛ ϩάղੳ 2013/03/25 

ࣗݾ঺հ • ాத ༐ี(@csouls) • ϋοΧʔLv.3ʢϗΠϛ͕࢖͑ΔΑ͏ʹͳͬ ͨʣ • 8ϲ݄͘Β͍લʹϢʔβܥSIer→Webۀք΁ స৬ 

มԽΛળͱ͢ΔจԽ • స৬ͯ͠Ұ൪มΘͬͨ͜ͱ͸ɺपΓͷਓͷٕ ज़มԽʹର͢ΔՁ஋؍ͷج४͕ѱ→ળʹͳͬ ͨ͜ͱ • ఀ଺͸ΏΔ΍͔ͳࢮɻ͔͠͠ɺมԽ͢Δํ޲ Λؒҧ͑ଓ͚Δͱ͙͢ʹࢮ͵ 

෼ੳ • มԽͷํ޲ΛܾΊΔಓඪ • ෼ੳج൫΋มԽ(ൃల)͠ଓ͚Δ 

ϩά෼ੳج൫ • fluentͰϩάΛूΊͯMongoDBͰूܭͯ͠ Ruby on Rails(+Highcharts)Ͱग़ྗ 

ߏ੒ log aggregate Mithra 

Fluentd • @frsyukiʹΑΔΠϕϯτϩάऩूπʔϧ • ʮখ͍͞ίΞػೳͱϓϥάΠϯʹΑΔ֦ுʯ ͷΞʔΩςΫνϟ͕࠷ߴʹඒ͍͠ 

Fluentd • tsvσʔλͷ਺஋߲໨ΛIntegerͰMongoDBʹ ೖΕ͍ͨ → in_tailϓϥάΠϯΛ֦ு • https://github.com/yusuket/fluent-plugins 

ઃఆ [APαʔόଆ]    type  tail_ex    format  tsv    path  /media/ephemeral0/bigdata/payment.log    keys  amount,item_num,(...লུ)    int  item_num    float  amount    tag  app.payment    pos_file  /var/log/td-­‐agent/payment.log.pos 

Fluentd • URLͷϖʔδͱΫΤϦύϥϝʔλΛ MongoDBʹಥͬࠐΈ͍ͨ • kentaro / fluent-plugin-extract_query_params ϓϥάΠϯΛ֦ு • https://github.com/yusuket/fluent-plugin- extract_query_params 

ઃఆ [APαʔόଆ]    type  tail    format  tsv    path  /media/ephemeral0/bigdata/access.log    keys  log_time,url,...(লུ)    tag  app.access    pos_file  /var/log/td-­‐agent/access.log.pos      type  forward    flush_interval  5s            host  xxxxxxx        port  xxxx     [ूܭαʔόଆ]    type  extract_query_params    add_tag_suffix  .extracted    key            url    only          ab    add_path  page    type  mongo    host  localhost    database  xxxxxxxx    collection  log.accesses    capped    capped_size  100m    flush_interval  10s 

Fluentd • 120Λ௒͑ΔϓϥάΠϯͰɺ΍Γ͍ͨ͜ͱ͸ ݁ߏग़དྷΔ • ͪΐͬͱػೳ͕଍Βͳͯ͘΋ɺ ϓϥάΠϯ ֦ு͕؆୯ʹग़དྷΔΑ͏ʹ࡞ΒΕ͍ͯΔ • ໺ྑϓϥάΠϯ͸/etc/td-agent/plugin͔/etc/ fluent/plugin΁ 

ͳͥMongoDB͔ʁ • εΩʔϚϨε • ϩάͷܗ͕ࣜมΘͬͯ΋ɺFluentdͷઃఆ ϑΝΠϧΛม͑Δ͚ͩͰྑ͍ • ͱΓ͋͑ͣಥͬࠐΉʢॲཧํ๏͸ޙͰߟ͑ Δʣͱ͍͏͜ͱ͕ग़དྷΔ 

ͳͥMongoDB͔ʁ • εέʔϧΞ΢τ͠΍͍͢ • Map-Reduceͷଘࡏ • ϨϓϦέʔγϣϯɾγϟʔσΟϯάΛϛυ ϧ΢ΣΞͰαϙʔτ͍ͯ͠Δͷ͸خ͍͠ 

ूܭ • ϦΞϧλΠϜ • ΞΫηεϩά • ೔࣍/݄࣍όον • ՝ۚ/Πϯετʔϧϩά 

ϦΞϧλΠϜ෼ੳྫ • ϖʔδผͷUUΛݟ͍ͨ 

ूܭ • xxxηάϝϯτผͷxxxΛ෼ੳ͍ͨ͠ 

MongoDBͰͷूܭ • ूܭ͸MongoDB + Ruby • ੜϩάΛஷΊΔ log εΩʔϚͱɺϨϙʔτ༻ ͷ aggregated εΩʔϚ 

MongoDBͷεΩʔϚσβΠϯ • @doryokujin͞ΜͷεϥΠυ͕෼Γқ͗ͯ͢ Կ΋࿩͢͜ͱແ͍ͷͰɺCapped-Collectionʹ ͍ͭͯ http://www.slideshare.net/doryokujin/ mongodb-uimongodb 

ΞΫηεϩά • 500ສPV/೔͘Β͍ • Google Analytics࢖͍͍͚ͨͲɺ1000ສ PV/݄·Ͱ ϓϨϛΞ͸10ԯ/݄͚ͩͲɺ100ສԁ/݄ ͸ߴ͗͢ • MongoDBͷCapped-CollectionΛར༻ 

Capped-Collection • ݻఆ௕ͷίϨΫγϣϯɻݹ͍ϩά͸ফ͑Δ • ΠϯσοΫεΛషΒͳ͍ͷͰɺॻ͖ࠐΈ͕଎ ͍ • AWS m1.medium + EBS(IOPSΦϓγϣϯແ ͠)Ͱ500ສPV/1೔Λ༨༟Ͱ͞͹͚͍ͯΔ 

• Capped-CollectionʹΞΫηεϩάΛྲྀ͜͠Μ ͰɺΧʔιϧΛॱ࣍ॲཧͯ͠Page-ViewίϨ ΫγϣϯΛߋ৽ • UU͸countͰɺPV͸pvଐੑͷ૯ܭͰදݱ Capped-Collection _id:              #{yyyymmddhh}  +  ":"  +  #{page}  +  ":"  +  #{user_id} date_hour:  Time page:            String user_id:      Integer pv:                Integer 

Capped-Collection࣮૷ྫ • ॲཧ͕தஅ͞Εͨͱ͖ͷͨΊʹɺ࠷ޙͷߋ৽ ࣌ؒΛӬଓԽ͢Δ • Χʔιϧ͕Close͢Δ͜ͱ͕͋ΔͷͰɺ࠶։͢ Δ༷ʹ͢Δ 

#  ӬଓԽ͓͍ͯͨ͠࠷ޙͷߋ৽࣌ؒ processed_time  =  Tmp::PagePosition.first.processed_time loop  do    #  Χʔιϧ͕ด͡ΒΕͨ࣌ʹ࠶։͢Δ    cursor  =  Mongo::Cursor.new('log.accesses',  selector:  {'log_time'  =>  {'$gt'  =>  processed_time}},                                                            timeout:  false,  tailable:  true,  order:  [['$natural',  1]])    loop  do        break  if  cursor.closed?        begin            document  =  cursor.next_document            unless  document  then                sleep(0.1)                next            end              <ϖʔδϏϡʔίϨΫγϣϯͷߋ৽ॲཧ>              if  document["log_time"]  >  processed_time  then                processed_time  =  log_time                Tmp::PagePosition.update_processed_time(processed_time)            end        rescue  =>  e            <Τϥʔग़ྗ>            cursor.close            break        end    end end 

Capped-Collection࣮૷ྫ • 2^32 = ໿42ԯυΩϡϝϯτ্͕ݶɻ࣮࣭ࠔΔ ͜ͱ͸ͳ͍ɻ্ݶ100ສίϨΫγϣϯͰ΋ɺ ଎౓௿Լ͸ݟΒΕͳ͔ͬͨ • େྔσʔλΛϦΞϧλΠϜ෼ੳ͢Δ༻్ʹ࠷ ద 

MongoDBͷ೉͍͠ͱ͜Ζ • Join͕࢖͑ͳ͍ɻʮࠓճͷΠϕϯτͷࢀՃ ऀ্Ґ100໊ͷΞΠςϜ࢖༻ঢ়گʯΛग़͢ ͨΊʹ͸1ͭͷίϨΫγϣϯʹΠϕϯτϥ ϯΩϯάଐੑͱΞΠςϜ࢖༻ঢ়گͷଐੑ͕ ඞཁ • Map-Reduce͸SQLΑΓϋʔυϧ͕ߴ͍ 

ݱࡏͷߏ੒ log aggregate Mithra 

ཧ૝ͷߏ੒ log aggregate Mithra ˍ 

·ͱΊ • Fluentd͸ϩάΛ࿈ܞ͢Δ্Ͱ࠷ߴͷϓϩμ Ϋτ • MongoDB͚ͩͰूܭ͢ΔΑΓ΋ɺMySQLͱ ͏·͘૊Έ߹Θͤͯूܭ͢Δํ͕ɺޮ཰͕ྑ ͍ • Treasure Data͞ΜͺͶ͐ͬ͢ 

·ͱΊ • ৽͍͠ϓϩμΫτ΁௅ઓ͢Δ͜ͱͰɺ৽͍͠ ஌ࣝΛಘΔ͚ͩͰ͸ͳ͘ɺطଘͷٕज़ͷྑ͞ ΋࠶ೝࣝग़དྷΔ • มԽΛڪΕͣνϟϨϯδ͠ଓ͚Δ͜ͱ͕࠷େ ͷϦεΫ΁ͷରԠ