40億レコード以上のSPEEDA大規模データを超高速に表示するElasticsearch活用法

Transcript

1. 40ԯϨίʔυҎ্ͷ SPEEDAେن໛σʔλΛ ௒ߴ଎ʹදࣔ͢Δ Elasticsearch׆༻๏ גࣜձࣾϢʔβϕʔε ͚ͨ͏ͪɹͻͰΏ͖
3. ࣗݾ঺հ ͚ͨ͏ͪͻͰΏ͖ @chimerast גࣜձࣾϢʔβϕʔε
 νʔϑςΫϊϩδετ
 / Πϊϕʔγϣϯ୲౰ࣥߦ໾һ
4. ձࣾ঺հ
5. ܦࡁ৘ใͰɺੈքதͷҙࢥܾఆΛࢧ͑Δ
6. ࣄۀྖҬ:
 ϏδωεͷҙࢥܾఆΛࢧ͑Δ৘ใΠϯϑϥͷఏڙ ઃཱ೥݄೔: 2008೥4݄1೔ ౦ژɺγϯΨϙʔϧɺ߳ߓɺ্ւɺεϦϥϯΧ ैۀһ਺: ໿200໊(ΞϧόΠτɺΠϯλʔϯؚΉ)
7. B2BαʔϏε SPEEDA͸اۀɾۀքͷϑΝϯμϝϯλϧ ෼ੳʹඞཁͱͳΔ͋ΒΏΔ৘ใ͕໢ཏతɾ ମܥతʹ੔ཧ͞ΕͨΦϯϥΠϯ৘ใαʔϏ εʢSaaSܕσʔλϕʔεʣͰ͢ɻ B2CαʔϏε NewsPicks͸ܦࡁ৘ใʹಛԽͨ͠χϡʔε ڞ༗αʔϏεͰ͢ɻ༑ਓ΍ؾʹͳΔۀքͷ ઐ໳ՈΛϑΥϩʔͯ͠ɺ͋ͳ͚ͨͩͷܦࡁ ࢽΛ࡞Δࣄ͕Ͱ͖·͢ɻ·ͨɺࣗ෼ͷҙݟ Λڞ༗͢Δݴ࿦ϓϥοτϑΥʔϜͰ΋͋Γ ·͢ɻ ఏڙ͢Δ̎ͭͷαʔϏε
8. ΑΓ޿͍ൣғͷ
   Ϗδωεύʔιϯ ۚ༥ɾܦࡁͷ
   εϖγϟϦετ
10. اۀɾۀք෼ੳͷ৘ใϓϥοτϑΥʔϜ શੈք330ສࣾ௒ / 550ۀքͷσʔλ ੈք࠷େڃͷM&Aσʔλ 2009೥6݄ϩʔϯν 600ࣾ௒ʹಋೖࡁΈ(ࠃ֎ؚΉ)
11. DEMO
13. ΤϯδχΞ ΞφϦετ ίϯαϧ αϙʔτ
14. ຊ୊
15. SPEEDAͰͷElasticsearch׆༻ࣄྫ
16. SPEEDA͕อ༗͢Δσʔλ (ൈਮ) • اۀσʔλ • جຊ৘ใ • ۀքॴଐ৘ใ • ࡒ຿σʔλ • גՁσʔλ • ηάϝϯτ৘ใ • גओ৘ใ • ؔ܎ձࣾ৘ใ • ༗Ձূ݊ใࠂॻ • IRσʔλ • ۀքσʔλ • ۀքϨϙʔτ • ڝ߹ϓϨΠϠʔ৘ใ • ౷ܭɾIRσʔλ • χϡʔε • M&Aσʔλ • ࡒ຿σʔλ • σΟʔϧσʔλ
17. SPEEDAͷ೰·͍͠ͱ͜Ζ • ୭͕͍ͭͲͷσʔλʹΞΫηε͢Δ͔෼͔Βͳ͍ • ڊେͳσʔλϕʔεʹ΋͔͔ΘΒͣ
 Ωϟογϡ͕Ͱ͖ͳ͍ • ͨͩ͠Ϣʔβ਺͸গͳ͍ • ͍͔ʹσʔλͷ۱ʑ·Ͱߴ଎ʹ
 ΞΫηεग़དྷΔΑ͏ʹ͢Δ͔͕՝୊
18. اۀΛ୳͢
19. ࠓճͷ͓࿩͠Ͱѻ͏σʔλͷൣғ • اۀσʔλ • جຊ৘ใ • ۀքॴଐ৘ใ • ࡒ຿σʔλ • גՁσʔλ • ηάϝϯτ৘ใ • גओ৘ใ • ؔ܎ձࣾ৘ใ • ༗Ձূ݊ใࠂॻ • IRσʔλ • ۀքσʔλ • ۀքϨϙʔτ • ڝ߹ϓϨΠϠʔ৘ใ • ౷ܭɾIRσʔλ • χϡʔε • M&Aσʔλ • ࡒ຿σʔλ • σΟʔϧσʔλ
20. ࣮ݱ͠ͳ͚Ε͹ͳΒͳ͔ͬͨੈք • اۀΛ༷ʑͳ৚݅ͰߜΓࠐΜͰ୳͍ͨ͠ • ྫ͑͹ΞδΞͷاۀͷத͔Β
 ೔ຊϕʔεͰ
 1000ԯԁҎ্ͷ࣌Ձ૯ֹ͔ͭ
 1000ԯԁҎ্ͷച্ߴͰ
 اۀಛ৭ʹmotorͱ͍͏จࣈྻ͕ೖ͍ͬͯΔاۀΛ
 ୳͍ͨ͠
21. ௒ڊେͳࡒ຿σʔλ in MySQL • اۀID × צఆՊ໨ID × ظؒID → ࡒ຿਺஋σʔλ • 330ສاۀ × 2ສՊ໨ × 60೥෼ (௨ظɺ൒ظɺ࢛൒ظ) • ໿6ԯϨίʔυ • ݱ஍௨՟ϕʔεͰ • ओཁ6௨՟ʹม׵ͯ࣋͠ͱ͏ͱ͢Δͱ໿40ԯϨίʔυ
22. ੈքͷࠔ೉͞ in MySQL • ΠϯσοΫεʁҰମ͍ͭ͘Ͳ͏షΕ͹͍͍ͷʁ • LIKEݕࡧʁ௒஗͍ʂ • ௨՟ม׵ʁͳʹͦΕʁݩσʔλ͸ݱ஍௨՟
23. ੈքͷ่յ • ͦΕͰ΋10ສࣾ × 100Պ໨͙Β͍·Ͱ͸஗͍ͳ͕Β΋
 MySQL+ΞϓϦଆͷॲཧͰؤு͍ͬͯͨ • ऩ࿥اۀ͕10ສࣾΛ௒͑ͨลΓ͔Β
 ݕࡧ&μ΢ϯϩʔυ͕5෼Λ௒͑ͯ
 Ͳ͏͠Α͏΋ͳ͍ײ͡ʹ
24. ੈքΛ࣮ݱ͢Δࢼߦࡨޡͷதͷޫ໌ • σʔλ΢ΣΞϋ΢εɺKVSΫϥελͳͲ৭ʑࢼ͍ͯͨ͠
25. ੈքΛ࣮ݱ͢Δࢼߦࡨޡͷதͷޫ໌ • σʔλ΢ΣΞϋ΢εɺKVSΫϥελͳͲ৭ʑࢼ͍ͯͨ͠ • ͦΜͳதɺؾ·͙ΕʹElasticsearchษڧձʹग़ͯΈͨ
26. ੈքΛ࣮ݱ͢Δࢼߦࡨޡͷதͷޫ໌ • σʔλ΢ΣΞϋ΢εɺKVSΫϥελͳͲ৭ʑࢼ͍ͯͨ͠ • ͦΜͳதɺؾ·͙ΕʹElasticsearchษڧձʹग़ͯΈͨ • ෆಈ࢈ݕࡧαΠτ͕Elasticsearch࢖ͬͯΔΑʂ
27. ੈքΛ࣮ݱ͢Δࢼߦࡨޡͷதͷޫ໌ • σʔλ΢ΣΞϋ΢εɺKVSΫϥελͳͲ৭ʑࢼ͍ͯͨ͠ • ͦΜͳதɺؾ·͙ΕʹElasticsearchษڧձʹग़ͯΈͨ • ෆಈ࢈ݕࡧαΠτ͕Elasticsearch࢖ͬͯΔΑʂ • اۀΛ୳͢ػೳͬͯෆಈ࢈Λ୳͢ͷͱಉ͡ͳͷͰ͸ʂʁ • ͩ͜ΘΓ৚݅ࢦఆͱ͔ฏถ਺ࢦఆͱ͔
28. Elasticsearch
29. ElasticsearchͬͯԿʁ • શจݕࡧΤϯδϯ • ͱ͍͍ͭͭूܭ΋ಘҙͰϩάղੳͰ΋Α͘࢖ΘΕΔ • ϕʔεʹLuceneΛ࢖༻ • Ϋϥελߏ੒Λͱͯ΋؆୯ʹ૊Ή͜ͱ͕Ͱ͖Δ • ϊʔυͷ௥Ճ࡟আ͕ΦϯϥΠϯͰ؆୯ʹ
30. ElasticsearchΛͲ͏ͱΒ͑Δ͔ʁ • SPEEDAͰ͸ɺ • ߴ଎ͰڊେͳBitSetԋࢉ૷ஔͱͯ͠ͱΒ͍͑ͯΔ • ݴ͍׵͑ΔͱBitmap Indexͷѻ͍͕௒ಘҙͳγεςϜ
31. Bitmap Index (Scan) • จࣈྻσʔλͷ৔߹͸
 Term୯ҐͰBitSetΛ
 ͋Β͔͡Ίܭࢉ • ਺஋σʔλͷ৔߹͸౎౓
 ৚݅ͷBitSet͕ੜ੒ ৚ ݅ A ৚ ݅ B ৚ ݅ C ৚ ݅ D ݁ Ռ Doc1 0 1 1 1 0 Doc2 1 1 1 1 1 Doc3 0 1 0 0 0 Doc4 0 0 0 0 0 Doc5 1 0 0 0 0 Doc6 1 1 1 1 1 Doc7 0 0 0 1 0 Doc8 0 1 1 0 0 Doc9 0 0 0 0 0 Doc10 0 0 1 1 0 : : : : : : Doc2ͱ Doc6͕ ώοτ
32. σʔλͷ࣋ͪํ in Elasticsearch • 1اۀ=1υΩϡϝϯτͱͯ࣋ͭ͠ (=330ສυΩϡϝϯτ) • 1υΩϡϝϯτͷதʹશͯͷඞཁͳاۀ৘ใΛ࣋ͭ • ࡒ຿σʔλ΋શͯల։͢Δ • ࡒ຿σʔλΛԣ࣋ͪ • ҝସ΋ओཁ௨՟Λม׵ͨ͠΋ͷΛ࣋ͭ (ܭ໿40ԯ)
33. σʔλΛ࣋ͬͯΈͨ݁Ռ • 1υΩϡϝϯτ࠷େͰ40MB௒͑ (JSONϕʔε) • ໿11ສϑΟʔϧυ (=ΧϥϜ਺) • ͦΕͰ΋໰୊ͳ͘ಈ͘ʂʂ • צఆՊ໨਺ × ओཁ௨՟਺ + ͦͷଞͷاۀ৘ใ
34. Ϛοϐϯάͷҋ • ԆʑͱצఆՊ໨ͷ
 ϑΟʔϧυ͕ଓ͘
35. ࠷৽ͷຊ൪Πϯϑϥߏ੒ • 10୆ͷ෺ཧαʔό಺ͷ20୆ͷԾ૝ϚγϯͰ
 ΫϥελΛߏ੒ • ෺ཧϚγϯ1୆͋ͨΓCPU16ίΞɺ
 ϝϞϦ128GBɺSSD RAID • 30γϟʔυ • 2ϨϓϦΧ
36. ग़དྷΔΑ͏ʹͳͬͨ͜ͱ • ݩʑ࡞Γ͔ͨͬͨੈքΛ࡞Εͨ • اۀΛ༷ʑͳ৚݅Λݩʹݕࡧ͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹ
37. DEMO
39. ͞Βʹग़དྷΔΑ͏ʹͳͬͨ͜ͱ • λʔήοτϦετ • ͋Β͔͡ΊϓϦηοτ͞Εͨ৚݅Λݩʹ
 ͓٬༷ʹձࣾͷϦετΛಧ͚Δ • ͞Βʹ͔ͦ͜ΒߜΓࠐΊΔ • Ϣʔβ͸ࣗ෼Ͱෳࡶͳ৚݅Λࢦఆͯ͘͠Α͍
40. DEMO
42. ࠓճಘͨ஌ݟ(·ͱΊ) • Elasticsearch͸਺஋σʔλʹରͯ͠ͷݕࡧ΋े෼଎͍ • ϑΟʔϧυ਺͸͍͘Β૿͑ͯ΋ͨͿΜେৎ෉ • ιϑτ΢ΣΞ্ͷϦϛοτ͸ແ͍Β͍͠ • ஌ࣝͷ෯Λ޿͛ΔͨΊʹ͍ΖΜͳษڧձʹͰͯΈΔ
43. ΤϯδχΞืू