40億レコード以上のSPEEDA大規模データを超高速に表示するElasticsearch活用法

by Hideyuki Takeuchi

Slide 1

Slide 1 text

40ԯϨίʔυҎ্ͷ SPEEDAେن໛σʔλΛ ௒ߴ଎ʹදࣔ͢Δ Elasticsearch׆༻๏ גࣜձࣾϢʔβϕʔε ͚ͨ͏ͪɹͻͰΏ͖

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

ࣗݾ঺հ ͚ͨ͏ͪͻͰΏ͖ @chimerast גࣜձࣾϢʔβϕʔε  νʔϑςΫϊϩδετ  / Πϊϕʔγϣϯ୲౰ࣥߦ໾һ

Slide 4

Slide 4 text

ձࣾ঺հ

Slide 5

Slide 5 text

ܦࡁ৘ใͰɺੈքதͷҙࢥܾఆΛࢧ͑Δ

Slide 6

Slide 6 text

ࣄۀྖҬ:  ϏδωεͷҙࢥܾఆΛࢧ͑Δ৘ใΠϯϑϥͷఏڙ ઃཱ೥݄೔: 2008೥4݄1೔ ౦ژɺγϯΨϙʔϧɺ߳ߓɺ্ւɺεϦϥϯΧ ैۀһ਺: ໿200໊(ΞϧόΠτɺΠϯλʔϯؚΉ)

Slide 7

Slide 7 text

B2BαʔϏε SPEEDA͸اۀɾۀքͷϑΝϯμϝϯλϧ ෼ੳʹඞཁͱͳΔ͋ΒΏΔ৘ใ͕໢ཏతɾ ମܥతʹ੔ཧ͞ΕͨΦϯϥΠϯ৘ใαʔϏ εʢSaaSܕσʔλϕʔεʣͰ͢ɻ B2CαʔϏε NewsPicks͸ܦࡁ৘ใʹಛԽͨ͠χϡʔε ڞ༗αʔϏεͰ͢ɻ༑ਓ΍ؾʹͳΔۀքͷ ઐ໳ՈΛϑΥϩʔͯ͠ɺ͋ͳ͚ͨͩͷܦࡁ ࢽΛ࡞Δࣄ͕Ͱ͖·͢ɻ·ͨɺࣗ෼ͷҙݟ Λڞ༗͢Δݴ࿦ϓϥοτϑΥʔϜͰ΋͋Γ ·͢ɻ ఏڙ͢Δ̎ͭͷαʔϏε

Slide 8

Slide 8 text

ΑΓ޿͍ൣғͷ Ϗδωεύʔιϯ ۚ༥ɾܦࡁͷ εϖγϟϦετ

Slide 9

Slide 9 text

No content

Slide 10

Slide 10 text

اۀɾۀք෼ੳͷ৘ใϓϥοτϑΥʔϜ શੈք330ສࣾ௒ / 550ۀքͷσʔλ ੈք࠷େڃͷM&Aσʔλ 2009೥6݄ϩʔϯν 600ࣾ௒ʹಋೖࡁΈ(ࠃ֎ؚΉ)

Slide 11

Slide 11 text

DEMO

Slide 12

Slide 12 text

No content

Slide 13

Slide 13 text

ΤϯδχΞ ΞφϦετ ίϯαϧ αϙʔτ

Slide 14

Slide 14 text

ຊ୊

Slide 15

Slide 15 text

SPEEDAͰͷElasticsearch׆༻ࣄྫ

Slide 16

Slide 16 text

SPEEDA͕อ༗͢Δσʔλ (ൈਮ) • اۀσʔλ • جຊ৘ใ • ۀքॴଐ৘ใ • ࡒ຿σʔλ • גՁσʔλ • ηάϝϯτ৘ใ • גओ৘ใ • ؔ܎ձࣾ৘ใ • ༗Ձূ݊ใࠂॻ • IRσʔλ • ۀքσʔλ • ۀքϨϙʔτ • ڝ߹ϓϨΠϠʔ৘ใ • ౷ܭɾIRσʔλ • χϡʔε • M&Aσʔλ • ࡒ຿σʔλ • σΟʔϧσʔλ

Slide 17

Slide 17 text

SPEEDAͷ೰·͍͠ͱ͜Ζ • ୭͕͍ͭͲͷσʔλʹΞΫηε͢Δ͔෼͔Βͳ͍ • ڊେͳσʔλϕʔεʹ΋͔͔ΘΒͣ  Ωϟογϡ͕Ͱ͖ͳ͍ • ͨͩ͠Ϣʔβ਺͸গͳ͍ • ͍͔ʹσʔλͷ۱ʑ·Ͱߴ଎ʹ  ΞΫηεग़དྷΔΑ͏ʹ͢Δ͔͕՝୊

Slide 18

Slide 18 text

اۀΛ୳͢

Slide 19

Slide 19 text

ࠓճͷ͓࿩͠Ͱѻ͏σʔλͷൣғ • اۀσʔλ • جຊ৘ใ • ۀքॴଐ৘ใ • ࡒ຿σʔλ • גՁσʔλ • ηάϝϯτ৘ใ • גओ৘ใ • ؔ܎ձࣾ৘ใ • ༗Ձূ݊ใࠂॻ • IRσʔλ • ۀքσʔλ • ۀքϨϙʔτ • ڝ߹ϓϨΠϠʔ৘ใ • ౷ܭɾIRσʔλ • χϡʔε • M&Aσʔλ • ࡒ຿σʔλ • σΟʔϧσʔλ

Slide 20

Slide 20 text

࣮ݱ͠ͳ͚Ε͹ͳΒͳ͔ͬͨੈք • اۀΛ༷ʑͳ৚݅ͰߜΓࠐΜͰ୳͍ͨ͠ • ྫ͑͹ΞδΞͷاۀͷத͔Β  ೔ຊϕʔεͰ  1000ԯԁҎ্ͷ࣌Ձ૯ֹ͔ͭ  1000ԯԁҎ্ͷച্ߴͰ  اۀಛ৭ʹmotorͱ͍͏จࣈྻ͕ೖ͍ͬͯΔاۀΛ  ୳͍ͨ͠

Slide 21

Slide 21 text

௒ڊେͳࡒ຿σʔλ in MySQL • اۀID × צఆՊ໨ID × ظؒID → ࡒ຿਺஋σʔλ • 330ສاۀ × 2ສՊ໨ × 60೥෼ (௨ظɺ൒ظɺ࢛൒ظ) • ໿6ԯϨίʔυ • ݱ஍௨՟ϕʔεͰ • ओཁ6௨՟ʹม׵ͯ࣋͠ͱ͏ͱ͢Δͱ໿40ԯϨίʔυ

Slide 22

Slide 22 text

ੈքͷࠔ೉͞ in MySQL • ΠϯσοΫεʁҰମ͍ͭ͘Ͳ͏షΕ͹͍͍ͷʁ • LIKEݕࡧʁ௒஗͍ʂ • ௨՟ม׵ʁͳʹͦΕʁݩσʔλ͸ݱ஍௨՟

Slide 23

Slide 23 text

ੈքͷ่յ • ͦΕͰ΋10ສࣾ × 100Պ໨͙Β͍·Ͱ͸஗͍ͳ͕Β΋  MySQL+ΞϓϦଆͷॲཧͰؤு͍ͬͯͨ • ऩ࿥اۀ͕10ສࣾΛ௒͑ͨลΓ͔Β  ݕࡧ&μ΢ϯϩʔυ͕5෼Λ௒͑ͯ  Ͳ͏͠Α͏΋ͳ͍ײ͡ʹ

Slide 24

Slide 24 text

ੈքΛ࣮ݱ͢Δࢼߦࡨޡͷதͷޫ໌ • σʔλ΢ΣΞϋ΢εɺKVSΫϥελͳͲ৭ʑࢼ͍ͯͨ͠

Slide 25

Slide 25 text

ੈքΛ࣮ݱ͢Δࢼߦࡨޡͷதͷޫ໌ • σʔλ΢ΣΞϋ΢εɺKVSΫϥελͳͲ৭ʑࢼ͍ͯͨ͠ • ͦΜͳதɺؾ·͙ΕʹElasticsearchษڧձʹग़ͯΈͨ

Slide 26

Slide 26 text

ੈքΛ࣮ݱ͢Δࢼߦࡨޡͷதͷޫ໌ • σʔλ΢ΣΞϋ΢εɺKVSΫϥελͳͲ৭ʑࢼ͍ͯͨ͠ • ͦΜͳதɺؾ·͙ΕʹElasticsearchษڧձʹग़ͯΈͨ • ෆಈ࢈ݕࡧαΠτ͕Elasticsearch࢖ͬͯΔΑʂ

Slide 27

Slide 27 text

ੈքΛ࣮ݱ͢Δࢼߦࡨޡͷதͷޫ໌ • σʔλ΢ΣΞϋ΢εɺKVSΫϥελͳͲ৭ʑࢼ͍ͯͨ͠ • ͦΜͳதɺؾ·͙ΕʹElasticsearchษڧձʹग़ͯΈͨ • ෆಈ࢈ݕࡧαΠτ͕Elasticsearch࢖ͬͯΔΑʂ • اۀΛ୳͢ػೳͬͯෆಈ࢈Λ୳͢ͷͱಉ͡ͳͷͰ͸ʂʁ • ͩ͜ΘΓ৚݅ࢦఆͱ͔ฏถ਺ࢦఆͱ͔

Slide 28

Slide 28 text

Elasticsearch

Slide 29

Slide 29 text

ElasticsearchͬͯԿʁ • શจݕࡧΤϯδϯ • ͱ͍͍ͭͭूܭ΋ಘҙͰϩάղੳͰ΋Α͘࢖ΘΕΔ • ϕʔεʹLuceneΛ࢖༻ • Ϋϥελߏ੒Λͱͯ΋؆୯ʹ૊Ή͜ͱ͕Ͱ͖Δ • ϊʔυͷ௥Ճ࡟আ͕ΦϯϥΠϯͰ؆୯ʹ

Slide 30

Slide 30 text

ElasticsearchΛͲ͏ͱΒ͑Δ͔ʁ • SPEEDAͰ͸ɺ • ߴ଎ͰڊେͳBitSetԋࢉ૷ஔͱͯ͠ͱΒ͍͑ͯΔ • ݴ͍׵͑ΔͱBitmap Indexͷѻ͍͕௒ಘҙͳγεςϜ

Slide 31

Slide 31 text

Bitmap Index (Scan) • จࣈྻσʔλͷ৔߹͸  Term୯ҐͰBitSetΛ  ͋Β͔͡Ίܭࢉ • ਺஋σʔλͷ৔߹͸౎౓  ৚݅ͷBitSet͕ੜ੒ ৚ ݅ A ৚ ݅ B ৚ ݅ C ৚ ݅ D ݁ Ռ Doc1 0 1 1 1 0 Doc2 1 1 1 1 1 Doc3 0 1 0 0 0 Doc4 0 0 0 0 0 Doc5 1 0 0 0 0 Doc6 1 1 1 1 1 Doc7 0 0 0 1 0 Doc8 0 1 1 0 0 Doc9 0 0 0 0 0 Doc10 0 0 1 1 0 : : : : : : Doc2ͱ Doc6͕ ώοτ

Slide 32

Slide 32 text

σʔλͷ࣋ͪํ in Elasticsearch • 1اۀ=1υΩϡϝϯτͱͯ࣋ͭ͠ (=330ສυΩϡϝϯτ) • 1υΩϡϝϯτͷதʹશͯͷඞཁͳاۀ৘ใΛ࣋ͭ • ࡒ຿σʔλ΋શͯల։͢Δ • ࡒ຿σʔλΛԣ࣋ͪ • ҝସ΋ओཁ௨՟Λม׵ͨ͠΋ͷΛ࣋ͭ (ܭ໿40ԯ)

Slide 33

Slide 33 text

σʔλΛ࣋ͬͯΈͨ݁Ռ • 1υΩϡϝϯτ࠷େͰ40MB௒͑ (JSONϕʔε) • ໿11ສϑΟʔϧυ (=ΧϥϜ਺) • ͦΕͰ΋໰୊ͳ͘ಈ͘ʂʂ • צఆՊ໨਺ × ओཁ௨՟਺ + ͦͷଞͷاۀ৘ใ

Slide 34

Slide 34 text

Ϛοϐϯάͷҋ • ԆʑͱצఆՊ໨ͷ  ϑΟʔϧυ͕ଓ͘

Slide 35

Slide 35 text

࠷৽ͷຊ൪Πϯϑϥߏ੒ • 10୆ͷ෺ཧαʔό಺ͷ20୆ͷԾ૝ϚγϯͰ  ΫϥελΛߏ੒ • ෺ཧϚγϯ1୆͋ͨΓCPU16ίΞɺ  ϝϞϦ128GBɺSSD RAID • 30γϟʔυ • 2ϨϓϦΧ

Slide 36

Slide 36 text

ग़དྷΔΑ͏ʹͳͬͨ͜ͱ • ݩʑ࡞Γ͔ͨͬͨੈքΛ࡞Εͨ • اۀΛ༷ʑͳ৚݅Λݩʹݕࡧ͢Δ͜ͱ͕Ͱ͖ΔΑ͏ʹ

Slide 37

Slide 37 text

DEMO

Slide 38

Slide 38 text

No content

Slide 39

Slide 39 text

͞Βʹग़དྷΔΑ͏ʹͳͬͨ͜ͱ • λʔήοτϦετ • ͋Β͔͡ΊϓϦηοτ͞Εͨ৚݅Λݩʹ  ͓٬༷ʹձࣾͷϦετΛಧ͚Δ • ͞Βʹ͔ͦ͜ΒߜΓࠐΊΔ • Ϣʔβ͸ࣗ෼Ͱෳࡶͳ৚݅Λࢦఆͯ͘͠Α͍

Slide 40

Slide 40 text

DEMO

Slide 41

Slide 41 text

No content

Slide 42

Slide 42 text

ࠓճಘͨ஌ݟ(·ͱΊ) • Elasticsearch͸਺஋σʔλʹରͯ͠ͷݕࡧ΋े෼଎͍ • ϑΟʔϧυ਺͸͍͘Β૿͑ͯ΋ͨͿΜେৎ෉ • ιϑτ΢ΣΞ্ͷϦϛοτ͸ແ͍Β͍͠ • ஌ࣝͷ෯Λ޿͛ΔͨΊʹ͍ΖΜͳษڧձʹͰͯΈΔ