OSC-Hokkaido-2018-hayabusa

Transcript

1. Hayabusa
 ߴ଎ʹશจݕࡧՄೳͳ OSSϩάݕࡧΤϯδϯͷ͝঺հ Ѩ෦ തɿגࣜձࣾϨϐμϜ ݚڀһ OSC 2018 Hokkaido 2018/07/08

2. ࣗݾ঺հ • ໊લɿѨ෦ ത • ॴଐɿגࣜձࣾϨϐμϜʢݚڀһʣɺίίϯגࣜձࣾʢࣾ௕ิࠤ/ٕज़ݚڀ ॴ ݚڀһʣɺ৘ใ௨৴ݚڀػߏʢڠྗݚڀһʣɺ๺཮ઌ୺Պֶٕज़େֶ Ӄେֶʢത࢜ޙظ՝ఔʣ •

   ͦͷଞɿInterop Tokyo ShowNet NOCϝϯόʔ

3. ໨࣍ • എܠͱ໨త • Hayabusaʹ͍ͭͯ • ෼ࢄHayabusaͷఏҊʢઃܭͱ࣮૷ʣ • ධՁ •

   ߟ࡯ • ·ͱΊͱࠓޙͷ՝୊ !3

4. എܠͱ໨త !4

5. Interop Tokyo ShowNet 2018 • 900Λ௒͑Δ෺ཧɾԾ૝ػث܈ • ΄΅શͯͷػث͕syslogΛૹ৴ • ߏஙظؒʹड৴͢Δsyslogྔ

   • ໿2ສ݅/ඵʢ20k/secʣ • ໿1ԯ̓ઍສ݅/೔ !5

6. ShowNetʹ͓͚Δϩάͷӡ༻ • େྔͷϩάΛ஝ੵ͢Δ • େྔͷϩά͔Βݕࡧ͢Δ • ΠϯγσϯτରԠͷͨΊʹϩάΛݕࡧ͢Δ • τϥϒϧγϡʔτͷͨΊʹϩάΛݕࡧ͢Δ •

   ϩά͔Β౷ܭ৘ใΛऔಘ͢Δ • ߜΓࠐΜͩݕࡧ৘ใΛ౷ܭ৘ใͱͯ͠දࣔ͢Δ !6

7. طଘͷղܾࡦ • HadoopΤίγεςϜʢSpark, Impala, Hive, …ʣ • OSSʢElasticsearch + Kibana,

   fluentd, …ʣ • ঎༻ϓϩμΫτʢSplunk, VMware Loginsight, …ʣ • Ϋϥ΢υαʔϏεʢGoogle BigQuery, Treasure Data, …ʣ !7

8. େ͖ͳ໰୊ • ϩάͷߏ଄Խ͕Ͱ͖ͳ͍ • ػࡐʹ౷Ұੑ͕ͳ͍ɾ࠷৽ͷϑΝʔϜ͗ͯ͢৘ใ͕ͳ͍ • ετϦʔϛϯάॲཧ͕೉͍͠ྲྀྔ • ϩάͷྲྀྔ͕ଟ͗ͯ͢ॲཧ͕௥͍͔ͭͳ͍ •

   όονॲཧ͕௥͍͔ͭͳ͍ • όονॲཧ͕ࢦఆ࣌ؒ಺ʹऴΘΒͳ͍ • ෼ࢄॲཧγεςϜ͕ෳࡶ͗͢Δ • ؅ཧίετ͕ലେ !8

9. ໨త • ܰྔʹߏஙɾӡ༻͕ߦ͑ΔγεςϜͷ࣮ݱ • γϯϓϧͰεέʔϧΞοϓՄೳͳγεςϜͷ࣮ݱ • ݕࡧੑೳ͕CPUʢίΞ਺ʣੑೳʹൺྫͯ͠ૣ͘ͳΔ • ෳࡶͳ؅ཧػߏΛඋ͑ͳ͍ !9

10. )BZBCVTBʹ͍ͭͯ !10

11. Hayabusaͱ͸ʁ • େྔͷϩάΛߴ଎ʹݕࡧ͢Δʢ17ԯϨίʔυͷશจݕࡧ͕5ඵʣ • ελϯυΞϩϯαʔόͰಈ࡞͢Δ • ϚϧνίΞΛ༗ޮʹ࢖͍ɺߴ଎ͳฒྻݕࡧॲཧΛ࣮ݱ͢Δ

12. StoreEngine • σΟεΫʹॻ͖ࠐ·ΕͨϩάΛߴ଎ʹಡΈࠐΉ • ಡΈࠐΜͩϩάΛSQLite3ͷϑΝΠϧ΁ͱม׵ʢ1ߦ1Ϩίʔυʣ • SQLite3ͷશจݕࡧʹಛԽͨ͠FTS(Full Text Search)ܗࣜͰinsert •

    ࣌ؒ͸σΟϨΫτϦߏ଄ʹରԠ : /targetdir/yyyy/mm/dd/hh/min.db StoreEngine

13. SearchEngine • GNU ParallelΛ༻͍ͯSQLite3ϑΝΠϧ΁ฒྻݕࡧΛ͔͚Δ $ parallel sqlite3 ::: target files

    ::: “select count(*) from xxx where logs match ‘keyword’;” • ݕࡧ݁ՌΛUNIXύΠϓϥΠϯΛ༻͍ͯɺawk΍countίϚϯυͰूܭ $ parallel sqlite3 ::: target files ::: “select count(*) from xxx where logs match ‘keyword’;” | awk ‘{m+=$1} END{print m;}’ SeachEngine !13

14. શจݕࡧੑೳ • Apache SparkͱͷൺֱʢελϯυΞϩϯ؀ڥʣ • Apache SparkͱͷൺֱʢSpark x 3୆ +

    HDFS vs Hayabusa x 1୆ʣ Hayabusa͕ ̐ഒߴ଎ Hayabusa͕ 27ഒߴ଎

15. OSSͱͯ͠ެ։ • GitHubʹͯެ։ • https://github.com/hirolovesbeer/hayabusa !15

16. Hayabusaͷ໰୊఺ • ελϯυΞϩϯ؀ڥ • ੑೳΛ্͛Δʹ͸εέʔϧΞοϓ͔͠ͳ͍ • εέʔϧΞοϓίετ • ෼ࢄॲཧγεςϜͱͷࠩ •

    ن໛͕େ͖͘ͳΕ͹෼ࢄॲཧγεςϜͷॲཧ଎౓͸଎͘ͳΔ • Hayabusa͸͍͔ͭੑೳ͕ൈ͔ΕΔ !16

17. ෼ࢄ)BZBCVTBͷఏҊʢઃܭͱ࣮૷ʣ !17

18. ໨త • HayabusaΛ෼ࢄॲཧγεςϜ΁ͱਐԽͤ͞ॲཧΛεέʔϧΞ΢τͤ͞Δ • ελϯυΞϩϯͷੑೳ͸ੜ͔͠ଓ͚Δ • ෼ࢄॲཧγεςϜͰ͸͋Δ͕γϯϓϧͳઃܭΛࢤ͢ • σʔλΛෳ੡͢Δ͜ͱͰ଱ো֐ੑΛߴΊΔ !18

19. GNU ParallelͷϦϞʔτ࣮ߦ • ཧ૝ : GNU ParallelͷϦϞʔτ࣮ߦΛར༻͢Ε͹෼ࢄ࣮ߦ͸Մೳ $ time parallel

    —controlmaster -S host1,host2,host3 sqlite3 ::: … • ݱ࣮ : sshͷΦʔόϔου͕͔͔Γॲཧ͕஗Ԇ ϗετ͕૿͑Δͱॲཧ͕࣌ؒ૿͑Δ

20. ఏҊख๏ • ෼ࢄݕࡧ • ࣮ߦ͢ΔݕࡧॲཧΛRPCͱͯ͠Hayabusa΁ૹΓࠐΉ • ݁ՌΛRPCͷϨεϙϯεͱͯ͠ड͚औΓूܭ͢Δ • ฒྻ஝ੵ •

    શͯͷϗετ΁ಉҰͷϦΫΤετ͕ಧ͍ͯ΋ಉ݁͡ՌΛฦ͢Α͏ʹ͢Δ • ࣄલʹશॲཧϗετ΁ͱϩάσʔλΛෳ੡͢Δ !20

21. ෼ࢄHayabusaΞʔΩςΫνϟશ༰

22. ฒྻ஝ੵ • syslogΛෳ਺ϗετ΁ͱෳ੡͢Δ • શϗετͰಉҰͷsyslogΛड৴ • UDP SamplicatorʢOSSʣͷར༻ • syslogύέοτͷෳ੡ͱసૹ

    • ෳ੡ॲཧͷίΞεέʔϧԽ • UDP SmaplicatorͷϚϧνϓϩηεԽ !22 syslogͷෳ੡

23. UDP SamplicatorͷϚϧνϓϩηεԽ • ϘτϧωοΫʹͳΓ͕ͪͳϓϩηεΛίΞεέʔϧ • SO_REUSEPORTΛར༻ͨ͠ϚϧνϓϩηεԽ • ͜ΕʹΑΓUDP 514ϙʔτ͕ෳ਺ϓϩηεͰγΣΞ͞ΕΔ socketΦϓγϣϯͷ௥Ճ

    ۉ౳ʹsyslogసૹͷෛՙ͕ όϥϯε͞ΕΔ !23

24. ෼ࢄݕࡧ • RPC • Producer / ConsumerϞσϧͷ࠾༻ • ࣮૷ •

    ZeroMQͷPush / Pullύλʔϯ • ϦΫΤετͷϩʔυόϥϯε • Push / Pullύλʔϯ͸ۉҰʹϦΫΤετΛϗετ΁෼഑͢Δ ZeroMQͷPush / Pullύλʔϯ !24

25. ෼ࢄݕࡧ • ZeroMQΫϥΠΞϯτ • VentilatorͱSinkͷ໾ׂ • ZeroMQϫʔΧ • ड͚औͬͨॲཧϦΫΤετ
 Λ࣮ߦͯ݁͠ՌΛฦ͢

    !25

26. ॲཧϦΫΤετ • ϦΫΤετ $ parallel sqlite3 ::: target files :::

    “select count(*) from xxx where logs match ‘keyword’;” | awk ‘{m+=$1} END{print m;}’ ੨ࣈ : GNU ParallelͷίϚϯυΛ֤ॲཧϗετ΁ૹΓࠐΉ ੺ࣈ : ΫϥΠΞϯτϗετͰ·ͱΊ͋͛Δ !26

27. ΄΅ຊ෺ͳٙࣅίʔυ • ΫϥΠΞϯτ • Worker ࣮ߦίϚϯυ ίϚϯυΛ ϫʔΧ΁ૹ৴ ίϚϯυΛ࣮ߦ ݁ՌΛΫϥΠΞϯτૹ৴

    ݁ՌΛड͚λʔϛφϧ΁දࣔ !27

28. ධՁ !28

29. ࣮ݧ؀ڥ • Amazon Web Service (AWS) • EC2Πϯελϯε : c4.4xlarge

    • vCPU : Xeon E5-2666 v3 @ 2.90GHz x 16 cores • ϝϞϦ : 30GB • σΟεΫʢEBSʣ : SSD 8GB (OS) + SSD 50GB (Data) • OS : Ubuntu 16.04.3 LTS (Xenial Xerus) !29

30. ෼ࢄݕࡧ • ݕࡧͷ৚݅ • 1೔෼ͷσʔλʹରͯ͠100ճϦΫΤετΛ࣮ߦ͢Δ • 1೔෼ͷσʔλϑΝΠϧ਺͸60෼ʢ60ϑΝΠϧʣ x 24࣌ؒ =

    1,440ϑΝΠϧ • 1ϑΝΠϧ͋ͨΓͷϨίʔυ਺͸10ສ݅ʢ1,440 x 10ສʹ1ԯ4400ສϨίʔυʣ • 100ճ෼ͷϦΫΤετͰ͸144ԯϨίʔυ͕ର৅ͱͳΔ • ࣮ߦ͢ΔSQLจ͸ҎԼͰશจݕࡧͱΧ΢ϯτ • select count(*) from syslog where logs match ‘keyword’; !30

31. ෼ࢄݕࡧʢϗετεέʔϧΞ΢τʣ • ϗετΛ1୆͔Β10୆΁૿Ճͤ͞Δ • 1୆Ͱ249ඵ͔Β10୆Ͱ39ඵ·Ͱ୹ॖʢ10ճࢼߦฏۉʣ

32. ෼ࢄݕࡧʢϗετεέʔϧΞ΢τʣ • ϗετΛ1୆͔Β10୆΁૿Ճͤ͞Δ • 1୆Ͱ249ඵ͔Β10୆Ͱ39ඵ·Ͱ୹ॖʢ10ճࢼߦฏۉʣ Ϋϥ΢υ؀ڥ͸ෆ҆ఆ
    ʢϕετΤϑΥʔτʣ

33. ෼ࢄݕࡧʢWorkerεέʔϧΞ΢τʣ • ϗετ10୆ɺ͔ͭ1୆͋ͨΓͷϫʔΧ਺Λ1͔Β16·Ͱ૿Ճͤ͞Δ • 1ϗετ1 worker 249ඵ͔Β10ϗετ10 workerͰ6.8ඵ·Ͱ୹ॖ ͜ͷลΓ͕࠷଎஋ *0ڝ߹͕ى͖Δ͔Β͔


    ଎౓͔ΘΒͣ

34. ݁Ռͷ·ͱΊ • ॲཧੑೳ • ϗετ10୆ͷ৔߹ : ϗετ1୆ͷ10ഒૣ͘ͳΔʢ249ඵ -> 39ඵʣ •

    ϗετ10୆ͰϫʔΧ਺Λ૿Ճ : ૯ϫʔΧ਺10ʙ160Ͱ 249ඵ -> 6.8ඵ • ϨίʔυΛϑϧεΩϟϯˍશจݕࡧͨ݁͠Ռ • 144ԯϨίʔυ͔ΒඞཁͳσʔλΛൈ͖ग़͢ͷʹ໿6.8ඵ·Ͱߴ଎Խ • 10୆ͷϗετͰ໿36ഒͷߴ଎ԽΛ࣮ݱ !34

35. Amazon Elastic MapReduceͱͷൺֱ • Amazon EMR : Πϯελϯε͸Hayabusaͱಉ͡c4.4xlarge • ߏ੒͸1Ϛελʔϊʔυ

    + 10 ίΞϊʔυ • σʔλ΁ͷΞΫηε • EMR͔ΒAmazon S3΁μΠϨΫτʹ
 ΞΫηε • શจݕࡧͷํ๏ • ϚελʔϊʔυͷPySpark͔Βߦ͏ JNQPSU
    UJNF
    GSPN
    QZTQBSLTRM
    JNQPSU
    42-$POUFYU
    TRM$POUFYU
    
    42-$POUFYU TD
    MJOFT
    
    TDUFYU'JMF TBCFXPSLTTECFODINBSLMPH pMFTLL MPH
    MJOFTDBDIF
    GPS
    J
    JO
    SBOHF  
    
    
    
    
    TUBSU
    
    UJNFUJNF 
    <MJOFTpMUFS MBNCEB
    T
    OPD
    JO
    T DPVOU
    GPS
    J
    JO
    SBOHF  >
    FMBQTFE@UJNF
    
    UJNFUJNF
    
    TUBSU
    QSJOU
    FMBQTFE@UJNF
    1Z4QBSLͰ࣮ߦ͢Δίʔυ

36. Amazon Elastic Mapreduceͱͷൺֱ • ࣮ߦ݁Ռ • 10୆ͷߏ੒Ͱ໿17ഒHayabusaͷํ͕ߴ଎ʹಈ࡞

37. ߟ࡯ !37

38. ݕࡧͷεέʔϧΞ΢τ • 144ԯ͔ΒඞཁͳσʔλΛൈ͖ग़͢ͷʹ໿6.8ඵ·Ͱߴ଎Խ • 2೥લͷBigQueryͷϑϧεΩϟϯ͕120ԯϨίʔυͰ໿5ඵ • 10୆ͷϗετͰ໿36ഒͷߴ଎ԽΛ࣮ݱ • BigQuery͸Կඦ୆ɺԿઍ୆ͷϗετ͕ಉ࣌ʹಈ͍͍ͯΔ͔ෆ໌ •

    Amazon Elastic MapReduceͱͷൺֱ • 10୆ͷߏ੒Ͱ໿17ഒHayabusaͷํ͕ߴ଎ʹશจݕࡧՄೳ • γεςϜͷίετΛߟ͑ͨ৔߹ • ϦʔζφϒϧͰߴੑೳͳ෼ࢄݕࡧॲཧ͕࣮ݱͰ͖ͨ !38

39. ஝ੵͷฒྻԽ • syslogͷෳ੡ͷ໰୊఺ • େྔͷσʔλʢύέοτʣͷෳ੡ͰଳҬΛѹഭ͢Δ • ຊདྷͰ͋Ε͹HDFSͷΑ͏ʹ෼ࢄϑΝΠϧγεςϜΛ࢖͏΂͖ • ϝλσʔλػߏΛܦ༝ͯ͠σʔλʹΞΫηε͢ΔͨΊຊ࣭తʹ஗͘ͳΔ •

    ෼ࢄϑΝΠϧγεςϜ͸ͱͯ΋೉͍͠ʢҰͭͷݚڀ෼໺ʣ • γϯϓϧ͞ͷ௥ٻͷ݁Ռ • อ࣋σʔλ͕ػثͷނোͰফࣦͨ͠ͱͯ͠΋ෳ੡͕࢒ΔɾނোػΛ֎͚ͩ͢ • ෼ࢄϑΝΠϧγεςϜͷΑ͏ʹ࠶഑ஔॲཧ͕ෆཁ !39

40. γϯϓϧͳઃܭʹΑΔӡ༻ͷ؆ུԽ • ෼ࢄݕࡧ • Procedure / ConsumerϞσϧͰ࣮ݱ • ϓϩηε࣮ߦεέδϡʔϥ͸GNU Parallelʹґଘ

    • ෳࡶͳ෼ࢄγεςϜΛ࢖Θͳ͍ར఺ • τϥϒϧ೺Ѳͷߴ଎Խ • γεςϜӡ༻ෛՙͷܰݮ !40

41. ߴ଎Խͷ؊ • ׂΓ੾Γઃܭ • ϦτϥΠॲཧ/Τϥʔॲཧ͸ະ࣮૷ • εέδϡʔϥ • ZeroMQͱGnu Parallelʹ͓೚ͤ

    • ετϨʔδ • ෼ࢄอଘͤͣ͞ʹෳ੡Λอ࣋

42. ϋʔυ΢ΣΞʹґଘ͢Δ଎౓ • CPU Core଎౓ • ૣ͚Ε͹ૣ͍΄Ͳྑ͍ • Coreͷ਺ΑΓΫϩοΫ਺͕ͦͦ͜͜ૣ͍ํ͕଎౓͕ग़Δ͜ͱ΋͋Δ • σΟεΫ଎౓

    • SSD΍NVMeʢͦΓΌૣ͍ʹܾ·͍ͬͯΔʣ • I/OੑೳΛҾ͖ग़͢

43. ଞͷγεςϜͱͷൺֱ • શจݕࡧͰApache Sparkͱൺֱͨ͠ • Elasticsearchͱͷൺֱ͸ʁ • Ͳ͏΍ͬͯൺ΂Δʁ • Τϯδϯͷ଎౓ʁʢElasticsearch͸ͱͯ΋ૣ͍ʣ

    • ݺͼग़͠APIͷ଎౓͸Ճຯ͢ΔʁʢREST APIݺͼग़͠͸ͱͯ΋஗͍ʣ • Write & Read • ॻ͖ͳ͕ΒಡΈࠐΜͩ৔߹͸ʁ

44. ·ͱΊͱࠓޙͷ՝୊ !44

45. ·ͱΊ • Hayabusaͷ෼ࢄγεςϜԽͷઃܭͱ࣮૷ • 144ԯϨίʔυͷsyslogϑϧεΩϟϯˍશจݕࡧΛ໿6.8ඵͰ࣮ݱ • ϚϧνϕϯμػثΛର৅ͱͨ͠ɺେྔͷෆἧ͍ͳϩάΛߴ଎ʹݕࡧՄೳ • τϥϒϧγϡʔτɾΠϯγσϯτϨεϙϯεΛஶ͘͠୹ॖ͢ΔՄೳੑ •

    γϯϓϧͳ෼ࢄॲཧߏ଄ʹΑΔ؅ཧͷ༰қੑ !45

46. ࠓޙͷ՝୊ • ଞͷιϑτ΢ΣΞͱͷൺֱʢBigQuery, ElasticSearch, Splunkʣ • HayabusaͱଞͷΞϓϦέʔγϣϯͱͷ༥߹ʢΞϊϚϦݕ஌ͳͲʣ • Hayabusaͱ౷ܭॲཧϥΠϒϥϦ΍ػցֶशϥΠϒϥϦͱͷ݁߹ •

    ෼ࢄϑΝΠϧγεςϜɾ෼ࢄετϨʔδͷ࣮૷ !46

47. ँࣙ • ຊݚڀͷҰ෦͸ɺࠃཱݚڀ։ൃ๏ਓՊֶٕज़ৼڵػߏʢJSTʣͷݚڀ੒Ռ ൃలࣄۀʮઓུత૑଄ݚڀਪਐࣄۀʢCRESTʣJPMJCR1783ʯͷࢧԉʹ ΑͬͯߦΘΕͨ

48. None