Aerospike を導入してみた話 / Consideration about Aerospike

Aerospike Deep Diveで使用した資料です。

1. AerospikeΛಋೖͯ͠Έͨ࿩ ʙ ଞKVSͱͷҧ͍ΞϨίϨ ʙ  גࣜձࣾΠϯςΟϝʔτɾϚʔδϟʔɹদా࿨थ
2. ࣗݾ঺հ দా ࿨थ גࣜձࣾΠϯςΟϝʔτɾϚʔδϟʔʢࣾһ਺໊̕ʣ ։ൃຊ෦ • ύϒϦοΫDMPʮAudienceSearchʯͷ։ൃ • ओʹΠϯϑϥपΓΛ୲౰ 
3. ΞδΣϯμ • IMͰͷ࢖ΘΕํʢಋೖࣄྫʣ • ಋೖ࣌ʹݕ౼ͨ͠ଞͷKVS • ಋೖͯ͠ؾ͍ͮͨ͜ͱ 
4. IMͰͷ࢖ΘΕํ 
5. IMͰͷ࢖ΘΕํ • IDSyncαʔϏε • ࣗࣾIDͱଞࣾIDͷϚοϐϯάςʔϒϧͷϗεςΟϯά • ଐੑσʔλͷՃ޻ • ༷ʑͳσʔλιʔε͔Βͷߋ৽ͱδϣΠϯ 
6. IDSyncαʔϏε 
7. IDSyncαʔϏε IDSyncαʔϏεͱ͸ • ࣗࣾIDͱଞࣾIDͷϚοϐϯάςʔϒϧΛੜ੒ɺอ࣋ • API͔Βߋ৽ɺࢀরΛߦ͏͜ͱ͕Մೳ • ݱࡏɺ50ࣾҎ্ͷύʔτφʔͱID࿈ܞ 
8. IDSyncαʔϏε ࿈ܞύʔτφʔʢҰ෦ʣ 
9. ྫɿΞϯέʔτͰಛఆͷճ౴Λͨ͠ਓʹ޿ࠂ഑৴ IDSyncαʔϏε IMID ΞϯέʔτύωϧID DoubleClick ID ྫɿࣗࣾαΠτʢΞϓϦʣʹ๚Εͨਓʹϝʔϧ޿ࠂΛ഑৴  IMID 1st Party Cookie ʢIDFAʣ E-mail
10. IDSyncαʔϏε ELB API Aerospike γεςϜ • ϑϩϯτ͸ ELB + Nginx + uWSGI • όοΫΤϯυʹAerospikeΛ࠾༻ • ฏۉԠ౴଎౓͸1ms • ϐʔΫ࣌Ͱ1000req/sఔ౓ 
11. IDSyncαʔϏε Ԡ౴଎౓ʢELBʣ 
12. IDSyncαʔϏε • ओΩʔ͕ࣗࣾIDɺଞࣾIDͦΕͧΕ ͷςʔϒϧΛੜ੒ ELB API {Aࣾ: hoge} "ࣾ *. IPHF  QJZP  *. "ࣾ  IPHF  QJZP Aerospike Set: A_to_IM Set: IM_to_A ※ Set: RDBMSͷςʔϒϧʹ͋ͨΔ 
13. ଐੑσʔλͷՃ޻ 
14. ଐੑσʔλͷՃ޻  Join Server • ༷ʑͳଐੑ৘ใΛɺҟͳΔιʔε͔Βऔಘ • IMͰอ͍࣋ͯ͠Δଐੑ৘ใΛਓ͕ར༻Ͱ͖Δܗʹ Ճ޻͢Δج൘ʹAerospikeΛ࠾༻ • Ճ޻ͨ͠σʔλ͸ݕࡧΤϯδϯ͔Βར༻
15. ଐੑσʔλͷՃ޻ Cookie IDΛओΩʔʹ༷ʑͳଐੑ৘ใΛอ࣋ • Ӿཡཤྺʹجͮ͘ʮΩʔϫʔυʯ • ֤ϝσΟΞΑΓఏڙ͞ΕΔʮηάϝϯτʯ • ʮUser Agentʯ • ΞΫηεݩIPʹجͮ͘ʮॅॴʯ΍ʮاۀ৘ใʯ • etc… 
16. ଐੑσʔλͷՃ޻ ༷ʑͳଐੑ৘ใΛݸผͷSetͰอ࣋ ͦΕͧΕಠཱͯ͠ߋ৽Λߦ͏͜ͱ͕Մೳ *% ηάϝϯτ  
      
    
     *% ΞΫηεݩ*1     *% ϢʔβʔΤʔδΣϯτ  .BD
    4BGBSJ  8JO
    $ISPNF *1 ౎ಓ෎ݝ  ౦ژ౎  ๺ւಓ *1 اۀ  *.   *% Ωʔϫʔυ  ԭೄཱྀߦ  Ҿͬӽ͠ Set: segment Set: ua Set: keywords Set: ip Set: address Set: company 
17. ଐੑσʔλͷՃ޻ ༷ʑͳଐੑ৘ใΛݸผͷSetͰอ࣋ ͦΕͧΕಠཱͯ͠ߋ৽Λߦ͏͜ͱ͕Մೳ *% ΞΫηεݩ*1     *% ϢʔβʔΤʔδΣϯτ  .BD
    4BGBSJ  8JO
    $ISPNF Set: ua Set: ip  ΞΫηεϩά
18. ଐੑσʔλͷՃ޻ ༷ʑͳଐੑ৘ใΛݸผͷSetͰอ࣋ ͦΕͧΕಠཱͯ͠ߋ৽Λߦ͏͜ͱ͕Մೳ *1 ౎ಓ෎ݝ  ౦ژ౎  ๺ւಓ *1 اۀ  *.   Set: address Set: company  αΠόʔΤϦΞϦαʔνגࣜձࣾ
19. ଐੑσʔλͷՃ޻ ༷ʑͳଐੑ৘ใΛݸผͷSetͰอ࣋ ͦΕͧΕಠཱͯ͠ߋ৽Λߦ͏͜ͱ͕Մೳ *% Ωʔϫʔυ  ԭೄཱྀߦ  Ҿͬӽ͠ Set: keywords  ఏܞϝσΟΞ
20. ଐੑσʔλͷՃ޻ δϣΠϯͯ͠ݕࡧΤϯδϯʹ౤ೖͯ͠׆༻ *% ηάϝϯτ ϢʔβʔΤʔδΣϯτ Ωʔϫʔυ ౎ಓ෎ݝ اۀ  
     .BD
    4BGBSJ ԭೄཱྀߦ ౦ژ౎ *.  
    
     8JO
    $ISPNF Ҿͬӽ͠ ๺ւಓ   Join Server
21. ಋೖ࣌ʹݕ౼ͨ͠ଞͷKVS 
22. ଞͷKVSͱͷൺֱݕ౼ • DynamoDB (AWS) • Redis • Cloud Bigtable (Google) ※ ݕ౼࣌ɺະϦϦʔε 
23. DynamoDB (AWS) • අ༻͕ߴ͍ʢඇϦβʔϒυʣ • 10ສread/sͰɺ130ສԁ/݄ • 10ສwrite/sͰɺ650ສԁ/݄ • ΩϟύγςΟΛ௒͑ͨϦΫΤετ͸ϩετ͢Δ • ௨ৗ͸खલͰΩϡʔΠϯάͯ͠ରԠ͢ΔΒ͍͠ 
24. Redis (ElastiCache) ༻్͝ͱʹRedisΛ෼͚ͯɺෳ਺୆ฒ΂Δ͜ͱΛ૝ఆ • ༰ྔ੍ݶ͋Γʢ࠷େͰ240GBʣ • ౸ୡͨ͠৔߹ʹ୅ସखஈ͕ͳ͍ • ౎౓ߏங͕ඞཁʹͳΓɺεέʔϧ͠ͳ͍ • 50ࣾͱID࿈ܞ͢Δͷʹ50Πϯελϯεඞཁ 
25. Cloud Bigtable (Google) • ଞͷαʔό΋Google Cloud PlatformʹҠ͞ͳ͍ͱɺ ωοτϫʔΫϨΠςϯγ͕ൃੜ͢Δ • Ԡ౴଎౓͕ରAerospikeൺͰ໿10ഒʢΒ͍͠ʣ • Aerospike: 1msҎԼ • Cloud Bigtable: 5ʙ10ms 
26. ಋೖͯ͠ؾ͍ͮͨ͜ͱ 
27. Client͕ߴػೳ • Ϩίʔυ͕Ͳͷϊʔυʹ഑ஔ͞Ε ͍ͯΔ͔೺Ѳ͍ͯ͠Δ • ओΩʔͷϋογϡ஋Λར༻ • ίωΫγϣϯཱ֬࣌ʹɺϚοϐϯά ςʔϒϧΛऔಘ͢Δ • Ϛοϐϯάςʔϒϧ͸ɺϊʔυͷ௥ Ճ΍࡟আ࣌ʹ࠶ܭࢉ͞ΕΔ Client 
28. Client΋ύϫʔ͕ඞཁ • AerospikeͷύϑΥʔϚϯεΛग़͠੾Δʹ͸ɺߴଟॏ ౓ͰϦΫΤετΛߦ͏͜ͱ͕ඞཁ • 1ϦΫΤετ1msͰ3.6ԯϨίʔυऔΓग़͢৔߹ 36ສඵ = 6000෼ = 100࣌ؒ • IMͰ͸16ʙ32coreͷαʔόΛ༻͍ɺ਺ඦଟॏͰॲཧ Λճ͍ͯ͠·͢ 
29. ҙ֎ͱϝϞϦͷ࢖༻ྔ͕େ͖͍ SSDͷΈͷར༻Ͱ΋ҙ֎ͱϝϞϦΛ࢖༻͢Δ • ΠϯσοΫε͕ϝϞϦల։͞ΕΔ • 1Ϩίʔυʹ͖ͭ̒̐όΠτ AWSͰ͸ϝϞϦͱSSDͷൺ཰͕΄΅ݻఆͳͷͰɺҰ෦ ΠϯϝϞϦͷNamespaceΛ࢖͍ɺϦιʔεͷແବΛແ ͘͠·ͨ͠ɻ 
30. Namespace͸෼ׂ͠ʹ͍͘ • RDBMSͰ͍͏σʔλϕʔε • SSDΛ࢖༻͢Δ৔߹ɺϒϩοΫσόΠε୯ҐͰ͔͠ NamespaceΛ෼͚Δ͜ͱ͕ग़དྷͳ͍ • ΠϯϝϞϦͷ৔߹͸ࣗ༝ʹ෼ׂՄೳ 
31. Queryͷ੍໿ SQLϥΠΫͳهड़ͰϨίʔυΛࢀর͢Δ͜ͱ΋Մೳ • ࢦఆͨ͠αʔόͰॲཧ͕૸Δ ʢΫϥΠΞϯτଆͰ͸ͳ͍ʣ • ฒྻ࣮ߦ͕ग़དྷͳ͍ • ࢦఆ͢ΔαʔόΛม͑͋Ε͹࣮ߦՄ • όοΫΞοϓ΋Queryѻ͍  Client ×
32. όοΫΞοϓ • mysqldumpͷ༷ͳίϚϯυ͕͋Δ • ΄΅ฏจͳͷͰɺσʔλྔ͕େ͖͍ • औಘɺ෮ݩʹֻ͕͔࣌ؒΔ • Queryѻ͍ͳͷͰɺ࣮ߦϊʔυʹ஫ҙʢલड़ʣ 
33. ͦͷଞɹࡶײ • ΠϯϝϞϦͩͱಛʹ଎͍ʢൺֱͯ͠ͳ͍͚Ͳʣ • ઃఆ߲໨͕΄΅ແ͍ͷͰɺߏஙָ͕ ʢٯʹϒϥοΫϘοΫεͰ΋͋Γ·͕͢ɻɻʣ • υΩϡϝϯτʹແ͍ػೳ͕ϥΠϒϥϦʹ͋Δ ʢιʔείʔυΛݟ·͠ΐ͏ʂʣ • Ϧιʔεͷݟੵ͕೉͘͠ɺ૝ఆΑΓߴ͘ͳΔɻɻ 
34. ·ͱΊʢ͜Ε͔Β࢝ΊΔํ΁ʣ • ຊ౰ʹAerospike͕ඞཁͳέʔε͸͋·Γଟ͘ͳͦ͞͏ɻ ʻϚονͦ͠͏ͳέʔεʼ • σʔλྔͷݟੵ͕೉͍͠৔߹ʢࣄۀͷεέʔϧͳͲʣ • ࣌ؒ͋ͨΓͷϦΫΤετ਺͕๲େͳ৔߹ • Javascriptܦ༝Ͱෆಛఆଟ਺͔ΒAPIΛίʔϧ͞ΕΔ • όονॲཧͳͲͰॠؒతʹෛՙΛ͔͚Δʢԯ݅୯ҐͷδϣΠϯʣ • αʔόɺΫϥΠΞϯτڞʹඞཁͱ͞ΕΔϦιʔεͷݟੵ͕೉͍͠ ͷͰɺΫϥ΢υ؀ڥͰࢼͯ͠ΈΔ͜ͱΛΦεεϝ͠·͢ɻ • QueryΛϝΠϯʹαʔϏεΛઃܭͯ͠͸͍͚ͳ͍ɻ 
35. ΤϯδχΞืू ࠷৽ͷٕज़ʹڵຯͷ͋Δ৽ϝϯόʔΛืूதͰ͢ʂ ࠾༻ٕज़ ։ൃج൫ 
36. ͋Γ͕ͱ͏͍͟͝·ͨ͠