DynamoDBとBloomFilterのムフフなカンケイ

メディアのための広告配信システム、A.J.A.でのDynamoDBとBloomFilterの活用事例

Transcript

1. DynamoDBͱBloomFilterͷ ϜϑϑͳΧϯέΠ
2. ࣗݾ঺հ ฏদ ߛయ • A.J.A. ϓϩάϥϚʔɾΞʔΩςΫτ • നนͷ֗ ૔ෑग़਎ • Ϊλʔ͍ͬͺ͍࣋ͬͯΔ • ͓ڕ৯΂ΒΕͳ͍ • https://github.com/co-sche
4. લճɺBloomFilterͷಈ࡞ݪ ཧͳͲʹ͍ͭͯ࿩Λ͠·ͨ͠ɻ IUUQXXXTMJEFTIBSFOFUDPTDIFTT
5. A.J.A.ͰͲ͏࢖ΘΕ͍ͯΔͷ͔Λ஌ Γ͍ͨͱ͍͏੠্͕͕ͬͨͷͰɺࠓ ճ͸ͦͷลΛத৺ʹ͓࿩͠͠·͢ɻ
6. ΋͘͡ • DynamoDB • DynamoDBͷ׆༻ࣄྫ • DynamoDBͷ໰୊఺ • BloomFilter • DynamoDB with BloomFilter
7. DynamoDB
8. DynamoDB • AWSͷϑϧϚωʔδυͳ NoSQL DB • ΩϟύγςΟϢχοτͱ͍͏୯ҐͰRead/WriteΛݟ ੵ΋ͬͯઃఆ͢Δ͚ͩͰɺμ΢ϯλΠϜແ͠Ͱεέʔ ϧ • ઃఆͨ͠ΩϟύҎ্ͷΞΫηεʹ͸جຊ଱͑ΒΕͳ͍ • ઃఆͨ͠Ωϟύʹରͯ͠՝ۚ
9. DynamoDB׆༻ࣄྫ A.J.A.ͷ৔߹
10. ϒϥ΢βΫοΩʔͷ୅ସͱͯ͠ಋೖ
11. ֨ೲͯ͠Δ৘ใ • ͲΜͳ಺༰ͷ޿ࠂͳͷ͔ • ͲΜͳ৔ॴʹग़ͯΔͷ͔ • ͲΜͳબग़ͷ͞ΕํΛͨ͠ͷ͔
12. WriteͷλΠϛϯά • ϝσΟΞαΠτͰͷ޿ࠂΫϦοΫ࣌
13. ReadͷλΠϛϯά • ޿ࠂओαΠτʹຒΊࠐ·ΕͨϏʔίϯλά ϑοΫ • PV΍CVͷϩάʹు͍ͯɺ͔࣍Βͷ޿ࠂબ ग़ʹ׆͔͢
14. ͜ͷέʔεͰͷ໰୊఺ • Read͠Α͏ͱ߲ͨ͠໨͕ݟ͔ͭͬͯ΋ݟ͔ͭ Βͳͯ͘΋ΩϟύγςΟϢχοτ͸ফඅ͞Ε Δ
15. A.J.A. Ձ֨.c̋m͞Μ͔ΒϏʔίϯ ड৴͔ͨ͠Β͜ͷID͕ͯ͞͠΍ɻ
16. DynamoDB ͕͚ͨ͞͠Ͳɺ ͦΜͳ΋Μ͋Β΁ΜͰɻ
17. A.J.A. ͞Α͏͔ɻ ͢·Μͳɻ
18. DynamoDB ͓͏ɻ ͋ɺۚ͸΋Ζͯ͘Ͱɻ
19. ͜ͷέʔεͰͷ໰୊఺ • ReadͷλΠϛϯά͸޿ࠂओαΠτʹຒΊࠐ·ΕͨϏʔίϯ ϑοΫ • Ձ֨.c̋mͷ঎඼ৄࡉϖʔδʹຒΊࠐ·ΕͨΒʁ • YAH̋̋!γϣοϐϯάͷߪೖ׬ྃϖʔδʹషΒΕͨΒʁ • ͜ΕΒͷϏʔίϯͷ΄ͱΜͲ͸ɺA.J.A.޿ࠂΛclickͯ͠ભҠ͠ ͨΘ͚Ͱ͸ͳ͍ແؔ܎ͳϏʔίϯ • ͭ·ΓɺReadͰݟ͔ͭΒͳ͍͜ͱ͕΄ͱΜͲ
20. ͜ͷέʔεͰͷ໰୊఺ • ΄ͱΜͲ͕ϛεώοτ͢ΔେྔͷRead • ↑ͷ๫෩͕ಥવਧ͖ߥΕ࢝ΊΔڪා • ͜ΕΒʹରͯ͠ɺΩϟύγςΟΛେྔʹݟੵ ΋Βͳ͚Ε͹ͳΒͳ͍ෆໟײ
21. A.J.A. σʔλͷ༗ແ͚ͩͰ΋ ࣄલʹ෼͔Ε͹͍͍ͷʹ…
22. BloomFilter
23. BloomFilter • ཁૉΛ༩͑ɺޙʹ໰͍߹ΘͤΔͱʮΈͨ͜ͱ ͋ΔΘʔʯ͘Β͍ʹ͍֮͑ͯͯ͘ΕΔσʔλ ߏ଄ • ཁૉΛ༩͑ͯͳ͍ͷʹ஌͔ͬͨͿΔ͜ͱ͕͋ Δ • ༩͑ͨͷʹ֮͑ͯͳ͍ͱ͍͏͜ͱ͸ɺઈରͳ ͍
24. ཁૉΛ༩͑ͯͳ͍ͷʹ஌ͬͨ ͔ͿΔ͜ͱ͕͋Δ ِཅੑ͕͋Δ
25. ༩͑ͨͷʹ֮͑ͯͳ͍ͱ͍͏ ͜ͱ͸ɺઈରͳ͍ ِӄੑ͸ͳ͍
26. BloomFilter • ِཅੑΛڐ༰͢Δ͜ͱͰɺੌ·͘͡লεϖʔε Ͱཁૉͷ༗ແΛهԱ͢Δ͜ͱ͕Ͱ͖Δ • Ұཁૉ͋ͨΓ਺bits
27. DynamoDB with BloomFilter • DynamoDBʹΫΤϦ͢ΔલʹBloomFilterʹฉ ͘͜ͱͰɺϋζϨReadΛ΄΅Χοτ • ِཅੑ͸ൃੜ͢Δ͕ɺͦΕʹΑͬͯى͜Δͷ ͸ͨͩͷϋζϨReadͳͷͰ໰୊ͳ͠
28. DynamoDB with BloomFilter • A.J.A.ͷ৔߹ • PVϏʔίϯ਺ 1000/s • DynamoDB΁ͷΫΤϦ਺ 50/s • ໿ 1 / 20 • ແؔ܎ͳPVϏʔίϯ਺͕ٸಅͯ͠΋໰୊ͳ͠
29. ·ͱΊ • A.J.AͰ͸ɺBloomFilterΛDynamoDBͷલஈ ͷωΨςΟϒΩϟογϡͱͯ͠ར༻͍ͯ͠·͢ɻ
30. ͓·͚ • ͜ͷྨͷਖ਼֬ੑΛͪΐͼͬͱ٘ਜ਼ʹͯ͠ɺ࣌ؒ తɾۭؒతίετΛେ෯ʹઅ໿͢Δσʔλߏ଄ ͸ɺཚ୒σʔλߏ଄ͱݺ͹Ε͍ͯ·͢ɻ • BloomFilterҎ֎ʹ͸ɺHyperLogLog΍MinHash ͱ͍͏ͷ΋͋Γ·͢ɻ • ͦΕͧΕ໘ന͕͋͞ΔͷͰɺௐ΂ͯΈͯԼ͍͞ Ͷʂ
31. Have a nice ཚ୒ʂ
32. ͋Γ͕ͱ͏͍͟͝·ͨ͠ɻ