LevelDB入門

InfluxDB勉強会用資料

Transcript

1. LevelDBೖ໳ @yosuke_furukawa
2. @yosuke_furukawa Node.jsϢʔβʔάϧʔϓ୅ද / DeNAॴଐ
5. LevelDBೖ໳هࣄॻ͖·ͨ͠
6. ࠓ೔͸ͦΕͷ͓͞Β͍ + InfluxDB x LevelDBͷ࿩
7. LevelDBͱ͸?
8. GoogleͷBigTableΛϕʔεʹ͠ ͯ։ൃ͞ΕͨܰྔͷKey-Valueܕ σʔλετΞ
9. ༻్ΉͬͪΌ޿͍
10. LevelDBಛ௃
11. LevelDBಛ௃ • σʔλ͸keyͰιʔτ͞Εͯ֨ೲ͞ΕΔ • جຊతͳૢ࡞͸ Put(key, value), Get(key), Delete(key)Ͱ ͋Γɺγϯϓϧɻ • ෳ਺ͷมߋΛatomicͳॲཧʹ͢Δ͜ͱ͕Ͱ͖Δ • consistentͳσʔλͷviewΛಘΔͨΊ(ॻ͖ࠐΈதͰ΋ readͰ͖ΔΑ͏ʹ͢ΔͨΊ)ʹtransient ͳ snapshotΛ࡞ Δ͜ͱ͕Ͱ͖Δ
12. Architecture
14. 8SJUF࣌ʹ͸-PH
    4PSUFE
    5BCMF
    'JMFTʹॻ͘ 3FBE࣌ʹ͸$BDIF
    -PH
    4PSUFE
    5BCMF
    'JMF͔ ΒಡΈࠐΉ
15. 4PSUFE
    5BCMF
16. LevelDBཧղͷҰ൪ͷ؊ Sorted String Table
17. Sorted String Table LFZ
    P⒎TFU BBB  CCC  DDD  JOEFY 445 BBB  CCC IPHFGVHBʜ DDD ʜ
18. Sorted String Table LFZ
    P⒎TFU BBB  CCC  DDD  JOEFY 445 BBB  CCC IPHFGVHBʜ DDD ʜ LFZͰTPSU͞Ε͓ͯΓɺ
    JOEFYʹ͸ϑΝΠϧͷͲ͔͜ΒಡΈࠐ Ή͔ P⒎TFU ͕ॻ͍ͯ͋Δ LFZWBMVFͷॱংͰҰଓ͖Ͱ
    ϑΝΠϧʹॻ͔ΕΔ
    
19. -FWFM -FWFM -FWFM Sorted String Table 445 445 445 445 445 445 445 445 445 445 445 445 445 445
20. -FWFM -FWFM -FWFM Sorted String Table 445 445 445 445 445 445 445 445 445 445 445 445 445 445 -FWFM%#Ͱ͸͜ͷ445Λ
    ֊૚Խ ͕͜͜-FWFM%#ͷ༝དྷ ͯ͠؅ཧ͍ͯ͠Δɻ -FWFM͕ਂ͘ͳΕ͹ͳΔ΄Ͳ
    ؅ཧ͢Δ༰ྔ͕૿͑Δ
    -FWFMͰ.#
    -FWFMͰ.#
    -FWFMͰ(#
    ͱେମഒִؒͰ૿͑ͯ͘
21. -FWFM -FWFM -FWFM Sorted String Table 445 445 445 445 445 445 445 445 445 445 445 445 445 445 ͜͏͢Δ͜ͱͰԿ͕خ͍͔͠ ֊૚͕ए͍-FWFM͸༰ྔ΋গ ͳ͘ɺJOEFYͷ࠶࡞੒ίετ͕ ௿͍ɻ JOTFSU͕සग़͢ΔΑ͏ͳ৔໘Ͱ ΋XSJUFͷੑೳΛޮ཰ԽͰ͖Δ
22. String Sorted Table ઌ΄Ͳͷུ֓ਤΛ445ͷͱ͜ Ζ͚ͩৄࡉʹ͢Δͱ
    ͜Μͳײ͡ʹͳΔɻ
23. Put/Get/Deleteͷࡉ͔͍ಈ͖
24. Put -FWFM NFNUBCMF NFNUBCMF
    TOBQ
    TIPU 1VU DPQZ MPH EVNQ
    UP
    EJTL 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ
25. Put -FWFM NFNUBCMF NFNUBCMF
    TOBQ
    TIPU 1VU DPQZ MPH EVNQ
    UP
    EJTL 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ શͯͷߋ৽ॲཧ͸Ұ୴ .FNUBCMFͱ-PHʹॻ͘
26. Put -FWFM NFNUBCMF NFNUBCMF
    TOBQ
    TIPU 1VU DPQZ MPH EVNQ
    UP
    EJTL 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ Ұఆྔஷ·Δͱ
    4OBQTIPUΛ࡞ͬͯɺ
    445ʹEVNQ͢Δ
27. Put -FWFM NFNUBCMF NFNUBCMF
    TOBQ
    TIPU 1VU DPQZ MPH EVNQ
    UP
    EJTL 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ -FWFM͕ҰഋʹͳͬͨΒ
    -FWFMʹҠಈͤ͞Δ
28. Get -FWFM NFNUBCMF (FU MPH 4FBSDI 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ #MPPN
    'JMUFS -FWFMʹ͋ΔՄೳ ੑ͕͋Δ 4LJQ 4FBSDI 4LJQ
29. Get -FWFM NFNUBCMF (FU MPH 4FBSDI 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ #MPPN
    'JMUFS -FWFMʹ͋ΔՄೳ ੑ͕͋Δ 4LJQ 4FBSDI 4LJQ NFNUBCMF
    -FWFM
    -FWFM 
    -FWFMͱݟ͍ͯͬͯώοτ ͨ͠Βฦ͢ɻ
30. Get -FWFM NFNUBCMF (FU MPH 4FBSDI 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ #MPPN
    'JMUFS -FWFMʹ͋ΔՄೳ ੑ͕͋Δ 4LJQ 4FBSDI 4LJQ ແବͳ୳ࡧͷࢬמΓΛ͢Δͨ Ίʹ#MPPN
    'JMUFSʹΑͬͯଘࡏ ͢Δ͔Ͳ͏͔Λ֬ೝ͢Δ
31. Delete -FWFM %FMFUF NFSHF MPH 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ EFMFUF
    qBH LFZ WBMVF EFMFUFE BCD  EFG  HIJ  EFMFUF
    qBH LFZ WBMVF EFG  HIJ 
32. Delete -FWFM %FMFUF NFSHF MPH 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ EFMFUF
    qBH LFZ WBMVF EFMFUFE BCD  EFG  HIJ  EFMFUF
    qBH LFZ WBMVF EFG  HIJ  جຊతʹEFMFUF
    qBHΛ෇͚Δ ͚ͩͷ࿦ཧ࡟আ
33. Delete -FWFM %FMFUF NFSHF MPH 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ EFMFUF
    qBH LFZ WBMVF EFMFUFE BCD  EFG  HIJ  EFMFUF
    qBH LFZ WBMVF EFG  HIJ  -FWFMΛ·͙ͨຖʹ࣮ࡍʹ EFMFUF͢Δ
34. Delete -FWFM %FMFUF NFSHF MPH 445 -FWFM
    .# 445 445 445 ʜ -FWFM
    .# 445 445 445 ʜ EFMFUF
    qBH LFZ WBMVF EFMFUFE BCD  EFG  HIJ  EFMFUF
    qBH LFZ WBMVF EFG  HIJ  ͜͏͢Δ͜ͱͰEFMFUF࣌ͷ JOEFY࠶࡞੒ίετΛݮΒͯ͠ ͍Δ
35. LevelDB Performance
36. IUUQMFWFMECHPPHMFDPEFDPNHJUIJTUPSZNBTUFSEPDCFODINBSLIUNM
37. IUUQMFWFMECHPPHMFDPEFDPNHJUIJTUPSZNBTUFSEPDCFODINBSLIUNM 3BOEPN
    3FBET͸େࠩͳ͍
38. IUUQMFWFMECHPPHMFDPEFDPNHJUIJTUPSZNBTUFSEPDCFODINBSLIUNM 4FRVFOUJBM
    3FBET
    8SJUFॲ ཧ͸-FWFM%#͕ߴ଎
39. LevelDB x InfluxDB
40. LevelDB x InfluxDB ಺෦తʹLFZʹUJNFTUBNQ͕෇ͨ͘Ί-FWFM%#಺෦Ͱ͸࣌ܥྻॱ ͱͳΓɺ ࠷ద͔͸ͱ΋͔͘ 4FRVFOUJBM
    3FBE͔ͭ8SJUF͕සൃ͢ Δ*OqVY%#޲͖ͩͱݸਓతʹ͸ࢥ͏ɻ
41. InfluxDB x **DB
42. InfluxDB x **DB %#ϨΠϠʔΛந৅Խɺ-FWFM%#Ҏ֎΋
    σʔλετΞͱͯ͠࢖͑ΔΑ͏ʹͳͬͨɻ IUUQJOqVYECDPNCMPHMFWFMEC@WT@SPDLTEC@WT@IZQFSMFWFMEC@WT@MNEC@QFSGPSNBODFIUNM
43. InfluxDB x **DB ͪͳΈʹ͜ͷද͔Β͸3PDLT%#͕ྑͦ͞͏ʹݟ͑Δ͕ɺɺɺ
44. InfluxDB x **DB 5IF
    3PDLT%#
    QFSGPSNBODF
    JT
    BNB[JOHMZ
    QPPS IUUQTHJTUHJUIVCDPNIZDFBBCFGC -.%#ͷ࡞ऀ͕ଌఆ͠ͳ͓ͨ͠Β-.%#࠷ڧʹͳͬͨΓͱ
    ؀ڥʹΑͬͯҟͳΔ༷ࢠɻ
45. InfluxDB x **DB -.%#΋࡞ऀ͕ܭଌ͠ͳ͓ͨ͠Βܶతʹվળ͞ΕͯͨΓɺ
    IBSEXBSFʹΑͬͯ΋มΘΔͷͰɺ਺ࣈ͸౰ͯʹ͠ͳ͍΄͏͕͍͍͔΋ʜ
46. ·ͱΊ • LevelDBͱ͸ • Architecture • Performance • LevelDB x InfluxDB • InfluxDB x **DB
47. ࢀߟ • https://www.igvita.com/2012/02/06/ sstable-and-log-structured-storage- leveldb/ • http://yosuke-furukawa.hatenablog.com/ entry/2014/05/05/095207 • https://speakerdeck.com/smly/influxdb- and-leveldb-inside-out