Riak 2.0 における全く新しい体験 スケールアウトする全文検索

DB Tech Showcase 2014 東京の発表スライド

Transcript

1. Riak 2.0ʹ͓͚Δ શ͘৽͍͠ମݧ εέʔϧΞ΢τ͢Δશจݕࡧ Basho Japan ্੢ 2014/11/11
2. ࣗݾ঺հ •෼ࢄγεςϜྺ6೥ •Bashoδϟύϯͷํ ͔Βདྷ·ͨ͠ •Riak CSͷ։ൃ •ͦͷଞ೔ຊͷ͜ͱ
3. ௚લͷηογϣϯͰ …
4. ෮श •Riak ͸APͷσʔλϕʔεɺ݁Ռ੔߹ੑ •Riak 2.0Ͱ͸༷ʑͳػೳ௥Ճ •৽͍͠ݕࡧΤϯδϯͱͯ͠SolrΛόϯυϧ •ͨͩ͠࢖͍উख͸Riakͦͷ··
5. σʔλϕʔεͷݕࡧ • DB૊ࠐܕ • groongaͳͲ • “LIKE” • Pros • ੔߹ੑΛҡ࣋͠΍͍͢ • Cons • ີ݁߹ʹͳΔ • ֎෦࿈ܞܕ • Solr • Elasticsearch • Pros • ૄ݁߹ʹͰ͖Δ • Cons • ੔߹ੑΛҡ࣋͠ʹ͍͘
6. DBͱΠϯσοΫεͷ੔߹ੑ • DBͷσʔλຊମͱɺΠϯσοΫεΛ౰࣌ʹ҆શʹߋ ৽͢ΔͨΊʹ͸τϥϯβΫγϣϯ͕ඞཁ • ີ݁߹ͷγεςϜͰ͋Ε͹ϩοΫͳͲΛ࢖ͬͯ੔߹ੑ Λอো͠΍͍͢
7. ૄ݁߹ʹ͢ΔϝϦοτ • ಉ͡ݕࡧΤϯδϯͰ͍ΖΜͳDBʹରԠͰ͖Δ • ӡ༻ϊ΢ϋ΢΍πʔϧɺ։ൃΛूதͰ͖Δ • όʔδϣϯ੔߹ͷ੍໿͕؇࿨͞ΕΔ • ยํ͕ނো͍ͯͯ͠΋΋͏ยํ͸ಈ࡞Ͱ͖Δ • ֦ு͠΍͘͢ͳΔ
8. ྆ํͱ΋ ͍͍ͱ͜ͲΓ͍ͨ͠
9. Yokozuna
10. as Riak Search 2.0 = + σʔλͷӬଓԽ Ϋϥελͷ؅ཧ γϯϓϧͳૢ࡞ RVFSZ JOEFYJOH
11. Riak Search 2.0 • RiakʹSolrΛόϯυϧ • RiakͷKVΛߋ৽͢Δͱσʔλ͕ࣗಈతʹΠϯσο ΫεԽ͞ΕΔ • SolrͷϓϥάΠϯ΍εΩʔϚɺΫΤϦΛͦͷ··࢖ ͏͜ͱ͕Ͱ͖Δ • ৑௕Խɺϊʔυ௥Ճ࡟আ͸Riakͷ୲౰
12. ૄ݁߹ʁີ݁߹ʁ • ύοέʔδ͸ಉࠝ • ϓϩηεͱͯ͠͸ૄ݁߹ • ΠϯσοΫεͱσʔλؒ͸݁Ռ੔߹ੑΛอো • ΠϯσοΫεͷ৑௕Խ͸݁Ռ੔߹ੑΛอো
13. Solrͱ͸ૄ݁߹ • Riak ϓϩηε͕ Solr ͷϓϩηεΛ fork ͢Δ • ؅ཧɺ؂ࢹ͸શͯRiak͕ߦ͏ • ผϓϩηεɺϝϞϦۭؒ΋ผ
14. εέʔϧΞ΢τ
15. RingͱΠϯσοΫε • Consistent HashingΛ ࢖ͬͯΠϯσοΫε΋Ωʔ ͱಉ༷ਫฏ෼ࢄ • Valueͱಉ͡ϊʔυʹΠϯ σοΫε͕อଘ͞ΕΔ node1 node2 node3 node4
16. ΠϯσοΫεԽͷྲྀΕ • Riak΁ͷߋ৽ͱҰ৺ಉମʢdocument-based indexingʣ • ΠϯσοΫεԽʹࣦഊ͢ΔͱPUT͕ࣦഊ
17. ݕࡧΫΤϦͷॲཧ • Riakͷ2i΍MapReduceͱಉछͷΫΤϦ͕૸Δ • 3͓͖ͭͷ vnode ʹΞΫηε͢ΔͷͰɺॏෳ͸ͳ͍ ू໿
18. ੔߹ੑͷ໰୊ ͱҟৗܥ ੔߹ੑҡ࣋ͷͨΊʹߋ৽ϩάΛอ࣋ͯ͠ ϦΧόϦ͢Δͱ͍͏ํ๏Ͱ͸ɺՄ༻ੑͱ ෼அ଱ੑΛ୲อͰ͖ͳ͍ɻRiakͰ͸ଞͷ ํ๏Ͱσʔλͷ੔߹ੑΛҡ࣋͢Δɻ
19. Α͋͘Δҟৗܥ #1 •ϊʔυނোͰෳ੡Λ3ͭ࡞Εͳ͍ •෮چͯ͠΋ɺ2ͭͷ··ʹͳͬͯ͠·͏
20. Α͋͘Δҟৗܥ #1 • ෮چͨ͋͠ͱʹRead Repair͢Δ • GETͨ͠ͱ͖ʹɺσʔλʹ͕ܽؕ͋ͬͨΒ RiakଆͰPUT͠௚͢ v2 v2 not found v2
21. Read Repair͕ ݺ͹Εͳ͍ͱ σʔλ͕௚Βͳ͍ʁ YES
22. ΫϥΠΞϯτ͔Β GET͕ݺ͹Εͳ͍ͱ σʔλ͕௚Βͳ͍ʁ NO
23. AAE (Active Anti Entropy) https://www.flickr.com/photos/51pct/7507525118/
24. Active Anti Entropy • APࢦ޲ͷDBͷσʔλྼԽΛ๷͙ ͨΊͷόοΫάϥ΢ϯυॲཧ • Merkle-TreeΛ࢖ͬͯύʔςΟγϣ ϯຖͷʮνΣοΫαϜʯΛܭࢉ • ࠩ෼Λݟ͚ͭͨΒͦ͜ΛRead Repair͢Δ hash(vnode=0, pid=0) hash(vnode=1, pid=0) hash(vnode=2, pid=0)
25. Α͋͘Δҟৗܥ #2 • Solr͕ΠϯσοΫεԽ͢Δલʹམͪͨ • Key, Value͸อଘ͞Ε͕ͨΠϯσοΫε͸ͳ͍
26. Read Repair͕ ݺ͹ΕΕ͹Πϯσο Ϋε͕म෮͞ΕΔʁ NO
27. AAE (Active Anti Entropy) https://www.flickr.com/photos/51pct/7507525118/
28. YZ Active Anti Entropy • ݕࡧΠϯσοΫεʹ͍ͭͯ΋ Merkle TreeΛ࡞੒ • ύʔςΟγϣϯຖʹKey-Valueͷ Treeͱൺֱ͠ɺ͕ࠩ͋Ε͹Πϯ σοΫεΛमਖ਼ hash(vnode=0, pid=0, kv) hash(vnode=0, pid=0, yz)
29. Α͋͘Δҟৗܥ #2 •Searchઐ༻AAE͕ಈ࡞͍ͯ͠Δ •ΠϯσοΫεͱσʔλͷෆ੔߹Λݟ͚ͭͯ म෮͢Δ AAE
30. Α͋͘Δҟৗܥ #3 • ωοτϫʔΫ͕੾Ε͍ͯͨͱ͖ʹ྆ଆͰߋ৽͕ى ͖ͨʢSplit Brainʣ • Hinted HandoffʹΑΓͲͪΒ΋ॻ͖ࠐΈ੒ޭ
31. Α͋͘Δҟৗܥ #3 • ෮چ࣌ʹHandoffͰฦ͞Εɺ྆ํͷ஋Λอ࣋ • GET·ͨ͸AAEʹΑͬͯRead Repair͞ΕΔ
32. ҟৗܥ #1, #2, #3 •Ͳͷҟৗ΋ɺಛʹۓٸͷରॲ͸ඞཁͳ͍ •੔߹ੑݕࠪͱम෮͕ࣗಈͰߦΘΕΔ •ϧʔνϯϫʔΫͷӡ༻࡞ۀ͕΄ͱΜͲͳ͍
33. ·ͱΊ • σʔλϕʔεͱશจݕࡧͷ໰୊ • ੔߹ੑΛͱΔ͔ɺૄ݁߹ΛͱΔ͔ͷ໰୊ • ৽͍͠Riak Search 2.0 • ਫฏ෼ࢄͯ͠εέʔϧΞ΢τͰ͖Δݕࡧ • ݁Ռ੔߹ੑΛબͿ͜ͱʹΑΓૄ݁߹Խͱ෼ࢄԽ ʹ੒ޭʢ͔͠΋APܕʹʂʣ • ݁Ռ੔߹ੑΛબ୒ͨ͠ઃܭʹΑΓӡ༻͕؆୯ʹ
34. Questions?
35. FAQ •ΦϯϥΠϯͷεΩʔϚมߋʁ •μΠφϛοΫεΩʔϚʁ
36. outline • σʔλϕʔεʹೖ͍ͬͯΔσʔλΛશจݕࡧ͍ͨ͠→୔ࢁͷΠϯσοΫε͕Ͱ͖ΔɺFKeyͰ ΠϯσοΫε…ͱ͍͏͚ͩͰ͸ • શจݕࡧΤϯδϯͷछྨ • ֎෦ܕʢ੔߹ੑΛҡ࣋͠ʹ͍͕͘Ԡ༻͕ޮ͘ɺރΕͨιϑτ΢ΣΞ΍ϓϥάΠϯ͕ଟ͍ʣ • ૊ΈࠐΈܕʢ੔߹ੑΛҡ࣋͠΍͍͕͢ɺϝϯςφϯε͕೉͍͠ʣ • Riak͸ͦͷதؒɹόϯυϧͯ͠ΔͷͰָɺ͚ͩͲ࣮ମ͸Solrɺ੔߹ੑΛࣗಈతʹҡ࣋͢Δ • όϯυϧͷํ๏ɺ੔߹ੑɺ෼ࢄͷํ๏ • ݕࡧΠϯσοΫε͚ͩΛ෼ࢄͤ͞Δͷ͸೉͍͠ • DBͱΠϯσοΫεͷ੔߹ɺϨϓϦΧͱϨϓϦΧͷ੔߹ɺJepsenͷ͸ͳ͠