Rancherで構築するDPP（Data Processing Platform）

Rancher Meetup #01 in Osaka (https://rancherjp.connpass.com/event/58191/) にてプレゼンした内容となります。
Data Processing Platform（Spark + Akka +Cassandra + Kafkaなど）をRancherで構築します。他にもMinio, Zeppelin, Prometheusも使っています。

関連記事：https://capsulecloud.io/blog/rancher/5000

Transcript

1. 3BODIFSͰߏங͢Δ%11
   %BUB
   1SPDFTTJOH
   1MBUGPSN ג ࣜ ձࣾ εʔύʔ ι ϑ τ΢Τ Ξ          
   3 B O D I F S
   . F F U V Q
   0 T B L B
    
2. ν ʔ Ϝ ϝ ϯ ό ʔ ঺ հ  ࢁ ᖒ
   Ұ ਔ Yamazawa Kazuhito ؠ Լ
   ढ़ Ұ ࿠ Iwashita Toshiichiro ෱ ࢁ
   ݈ Fukuyama Ken !LFOGEFW ೆ
   ࠫ ཬ M i n a m i S a r i σβΠϯ Ի੍ָ࡞ ϑϩϯτΤϯυ νʔϜϦʔμʔ Πϯϑϥ ϑϩϯτΤϯυ εϚϗΞϓϦ ΦʔϧϚΠςΟ !LZBNB[BXB@TTM !TTT
3. ձ ࣾ ঺ հ  ˔ ೥ઃཱͷιϑτ΢ΣΞ։ൃձࣾ
   ˔ ڌ఺ɿେࡕ ຊࣾ ɺ౦ژɺ޿ౡɺ෱Ԭ
   ˔ ૊ΈࠐΈ͔ΒεϚϗΞϓϦɺ"*·Ͱ৭ʑ΍͍ͬͯ·͢ ϚωʔδυΫϥ΢υαʔϏεɿ$BQTVMF$MPVE I U U Q T    D B Q T V M F D M P V E  J P ג ࣜ ձ ࣾ ε ʔ ύ ʔ ι ϑ τ ΢ Τ Ξ 4 V Q F S 4 P G U X B S F
   $ P
   - U E ΦϦδφϧΞχϝɿϖʔύʔͷதʹ͋ΔΧϛΛ৯΂Δ I U U Q T    Z P V U V  C F  %  4 + [ N 1 J W  : εϚϗΞϓϦ
   ɿອըΧϝϥ
4. ಥ વ Ͱ ͢ ͕ ʜ 
5.  $ 0 8 ଠ ࿠ ܶ ৔
6. $ 0 8 ଠ ࿠ ܶ ৔  ʰϏʔϑ
   PS
   νΩϯʱͱฉ͔Εͯ
   ϏʔϑΛબͿਓ͸Ͳͷ͘Β͍͍Δͷ͔ʁ ΍Γ͍ͨ͜ͱᶃ 74 ؾʹͳΔʙ
7.  ΍Γ͍ͨ͜ͱᶄ $ 0 8 ଠ ࿠ ܶ ৔ ෼ޙʹ ສਓͷ
   ճ౴݁ՌΛ஌Γ͍ͨʂ Α͍͠ΐͬ ̇ ̇ $08ଠ࿠ʙ ͦΖͦΖߦ͘Αʙʁ Ϟʔ Ϟʔ
8.  ͝ڠྗ͓ئ͍͠·͢ʂ ࿈ଧ্౳ʂ IUUQ     
9. σ Ϟ ؀ ڥ Λ ͝ ཡ ͍ ͨ ͩ ͚ · ͢ ʂ  ˔ USZSBODIFSDPN
   Ͱ؀ڥΛެ։͓ͯ͠Γ·͢
   ຊ೔ͷΈ
   ˔ Ӿཡํ๏ʹ͖ͭ·ͯ͠͸ɺ4/4ͷࠂ஌Λ͝ཡ͍ͩ͘͞ S BO D IF SK Q ͓ ஌ Β ͤ 5XJUUFS !3BODIFS+1 SBODIFSNFFUVQ
10.  ͞ ͯ ɺ ࠓ ճ ٻ Ί Β Ε ͯ ͍ Δ ͷ ͸ ʜ
11. ݁ՌΛΦϯλΠϜͰఏڙͰ͖Δ࢓૊Έ  Data Processing Platfor m ୹࣌ؒʹେྔͷϦΫΤετΛड͚ͯ ͦΕΒ͢΂ͯͷσʔλΛ࢖͏Α͏ͳॏ͍ॲཧΛߦ͍
12.  ᴷᴷͦͯ͠ɺ4."$,ͱग़ձ͍·ͨ͠ɻ ʙੈքʹҰ͚ͭͩͷελοΫʙ
13.  Ҿ༻
    IUUQEBUBTUSPQIJDJPEBUBQSPDFTTJOHQMBUGPSNTBSDIJUFDUVSFTXJUITQBSLNFTPTBLLBDBTTBOESBBOELBGLB 4 . " $ , ε λ ο Ϋ ͱ ͸ ʁ S M A C K
14.  ͟ ͬ ͘ Γ ݴ ͏ ͱ ʁ εέʔϥϒϧͳσʔλॲཧϓϥοτϑΥʔϜΛ
    ߏங͢ΔͨΊʹߟ͑ΒΕͨɺ
    -BNCEBΞʔΩςΫνϟ΍,BQQBΞʔΩςΫνϟΛ
    ࣮ݱ͢ΔͨΊͷϛυϧ΢ΣΞελοΫͰ͢ɻ λ κ
15.  ͦ Ε ͧ Ε ͸ Կ ऀ ʁ εέʔϧ෼ࢄͰ͖Δ
    COOL ͳσʔλॲཧΤϯδϯ COOL ʹϦιʔε෼഑͢ΔΫϥελϦιʔε؅ཧγεςϜ ϝοηʔδۦಈΞϓϦέʔγϣϯͷͨΊͷ
    COOL ͳπʔϧΩοτ σʔληϯλʔΛ·͕ͨͬͯ΋
    COOL ʹσʔλ؅ཧͰ͖Δσʔλϕʔε ϦΞϧλΠϜσʔλΛࡹͨ͘Ίͷ
    COOL ͳ෼ࢄϝοηʔδϯάγεςϜ
16.  Ҿ༻
    IUUQEBUBTUSPQIJDJPEBUBQSPDFTTJOHQMBUGPSNTBSDIJUFDUVSFTXJUITQBSLNFTPTBLLBDBTTBOESBBOELBGLB Μʁ
    
    ೥ʁ
17.  ग़ ஗ Ε ͨ ͔ ʂ ʁ
18.  Data Processing Platform ͓·ͨͤ͠·ͨ͠˒ R a n c h e r ٸ͍Ͱͭ͘Δ
19. 
20.  Α ͘ ͋ Δ ࣭ ໰
    
    ʙ Ӭ ԕ ͷ η ϒ ϯ ς Ο ʔϯ ʙ
21.  Ͳͷ͘Β͍ͷϦιʔε͕ඞཁͰ͔͢ʁ Q1
22.  " ͓ΑͦDPSF
    (#ͷϗετ̏୆͕࠷খߏ੒Ͱ͢ɻ DPSF (# Y୆ DPSF (# Y୆ DPSF (# Y୆ ౤ථड෇தʂ
    IUUQ
23. ख࣋ͪͷϚγϯ͡Όݫ͍͠ͷͰ͕͢ʜ  Q2
24. "  IUUQTHJUIVCDPNTVQFSTPGUXBSFUG BXTUSZSBODIFSIPTUTUSFFUSZEQQ ˔ "84ͷΞΧ΢ϯτ͕ඞཁͰ͢
    ˔ ແྉ࿮Ͱ͸࢖༻Ͱ͖ͳ͍ҝɺ͓͕͔͔ۚΓ·͢ʢJYMBSHFͷεϙοτΠϯελϯε
    ºʣ εϙοτΠϯελϯεΛ3BODIFS؀ڥʹ౤ೖ͢Δ
    5FSSBGPSNΛˣͰڞ༗͍ͯ͠·͢ʂ ˞஫ҙ˞
25.  Ͳ͏ͯ͠.FTPT͡Όͳ͍ΜͰ͔͢ʁ Q3 ౤ථड෇தʂ
    IUUQ
26.  " 4QBSLܥ .FTPTҎ্ Λ
    Ͳ͏ͯ͠΋࢖͍͍ͨͱ͍͏ࢲͷΤΰͰ͢ɻ
27.  Ͳ͏ͯ͠)BEPPQ͡Όͳ͍ΜͰ͔͢ʁ Q4
28.  " ৅͚ͩʹॏ͍ͱࢥ͍ͬͯΔࢲͷΤΰͰ͢ɻ
    ಈ࡞Ͱ͸ͳ͘ɺߏ੒΍ཁٻϦιʔε͕
29.  Ͳ͏΍ͬͯ౤ථΛड͚෇͚͍ͯΔΜͰ͔͢ʁ Q5
30.  " /HJOYͰ"OHVMBSΞϓϦΛ഑৴ͯ͠ɺ
    ͔ͦ͜Β"LLBͷ"1*Λୟ͍͍ͯ·͢ɻ
    ϦΫΤετͷৼΓ෼͚͸ϩʔυόϥϯαͰઃఆͯ͠·͢ɻ
31.  ,BGLBͷτϐοΫͷঢ়ଶ͕Θ͔Γʹ͍͘Ͱ͢ʜ Q6
32.  " ঢ়ଶΛ֬ೝ͢ΔͨΊͷπʔϧͱͯ͠ɺ
    ,BGLB
    .BOBHFSΛελοΫʹ௥Ճ͠·ͨ͠ɻ
33.  ; ; ; 4QBSL
    4USFBNJOHͷΞϓϦ͸
    Ͳ͏΍ͬͯىಈ͍ͯ͠ΔͷͰ͔͢ʁ Q7
34.  " .JOJPʹ഑ஔ࣮ͨ͠ߦϑΝΠϧΛESJWFSͷ
    ىಈ࣌ʹऔಘ͠ɺTQBSLTVCNJU͍ͯ͠·͢ɻ
35.  ϗετ͕%*4$0//&$5&%ʹͳΔͷͰ͕͢ʜ Q8 !?
36.  " 4QBSL͕ϦιʔεΛ࢖͍͗͢Δͱɺ
    ͦͷΑ͏ͳݱ৅ʹͳΔ͜ͱ͕͋Γ·͢ɻ
37.  ,BGLBʹ౤ೖ͞Ε͍ͯΔϨίʔυ਺͕
    ࢥͬͨ΄Ͳଟ͘ͳ͍ͷͰ͕͢ʜ Q9 ?
38.  " "1*ʢ"LLBʣίϯςφΛεέʔϧΞ΢τ͠·ͨ͠ɻ
39.  ίϯςφ͕̍ͭͷϗετʹภͬͯ͠·͏
    ͷͰ͕͢ɺ͏·͘෼ࢄͰ͖·ͤΜ͔ʁ Q10
40.  ࢀߟ
    IUUQTEPDTSBODIFSDPNSBODIFSWFODBUUMFTDIFEVMJOH " ίϯςφͷεέδϡʔϦϯάϧʔϧΛઃఆ͠·ͨ͠ɻ
41.  3BODIFSͷ؀ڥ
    &OWJSPONFOU
    ͷ؅ཧͬͯେม͡Όͳ͍Ͱ͔͢ʁ Q11
42.  ࢀߟʣIUUQTXXXUFSSBGPSNJPEPDTQSPWJEFSTSBODIFSJOEFYIUNM " 5FSSBGPSNͰ؅ཧ͍ͯ͠·͢ɻ 5FSSBGPSNͷ1SPWJEFSʹ͸
    3BODIFS΋͋Δʂ
43.  ؀ڥશମͷϦιʔεঢ়گ͕Θ͔Γʹ͍͘Ͱ͢ Q12
44.  " 1SPNFUIFVTελοΫΛ௥Ճͯ͠ɺ
    ϦιʔεͷαϚϦʔ͕ݟΕΔΑ͏ʹ͍ͯ͠·͢ɻ
45.          ։͘ϙʔτ͕ଟ͗ͯ͢ঢ়گ೺Ѳ͕େมͰ͢ Q13
46.  " ঢ়گ֬ೝͰΑ͘࢖͏ϙʔτΛ-#ελοΫʹ·ͱΊ·ͨ͠ɻ
    ͋·Γ࢖Θͳ͍΋ͷ͸71/ܦ༝Ͱ઀ଓ͠·͢ɻ
47.  Ͳͷ͘Β͍ͷύϑΥʔϚϯεͳΜͰ͔͢ʁ Q14
48.  ʙ " ෼Ͱສථ͸༨༟Ͱͨ͠ SQT (PPE ౤ථड෇தʂ
    IUUQ
49.  SQT ຊ౰͸΋ͬͱͰ͖Δ͸͚ͣͩͲʜλΠϜΞοϓʂ ΋ͬͱؤுΒͤͯΈ·ͨ͠ ͔ͤͬ͘ͳͷͰ ͜ͷ͘Β͍·Ͱ͸
    ࡹ͚·͕ͨ͠ʜ
50.  Ͳ͏΍ͬͯܭଌͨ͠ͷͰ͔͢ʁ Q15
51.  " +.FUFSΛ࢖ͬͯෛՙΛੜ੒͠·ͨ͠ɻ
52.  ճ౴݁Ռ͸ͲͷΑ͏ʹूܭ͍ͯ͠ΔͷͰ͔͢ʁ Q16
53.  " ;FQQFMJOͷδϣϒΛεέδϡʔϦϯά͍ͯ͠·͢ɻ ϦιʔεΛ઎༗͠ͳ͍Α͏ʹ
    νΣοΫΛೖΕ͓͖ͯ·͢
54.  ࣗ෼ͷίʔυΛಈ͔ͯ͠Έ͍ͨͷͰ͕͢ʜ Q17
55.  " ҎԼΛࣗ͝਎Ͱ࡞੒ͨ͠΋ͷʹࠩ͠ସ͍͑ͯͩ͘͞ɻ
56.  ݁ Ռ ൃ ද
57.  !L FO GEFW
    !L ZBNB [BXB @T TM S BOD IF SK QͰ ͸! L FO FW
    
    ! Z BN B[B X BͰ ࢀՃͯ͠ ͍· ͢ ʂ ϑΟʔυόοΫେ׻ܴͰ͢ʂ͓଴͍ͪͯ͠·͢ ͍Ζ͍Ζເ͕֦͕Γ·͢Ͷʂ
58. ͓ Θ Γ ʹ  IUUQTDBQTVMFDMPVEJPCMPHSBODIFS ٕज़ϒϩά
59. ͝ ਗ਼ ௌ ͋ Γ ͕ ͱ ͏ ͝ ͟ ͍ · ͠ ͨ ʂ