分散システムにおける 無兆候データ破損の影響について

第14期サイボウズ・ラボユース成果発表会
https://cybozu.connpass.com/event/347931/

木田碧

Transcript

1. ෼ࢄγεςϜʹ͓͚Δ
   ແஹީσʔλഁଛͷӨڹʹ͍ͭͯ 
   ୈظαΠϘ΢ζɾϥϘϢʔε੒Ռൃදձ ໦ా
   ป
   ܚጯٛक़େֶ
   ੓ࡦɾϝσΟΞݚڀՊ
   म࢜೥
   γεςϜιϑτ΢ΣΞݚڀ։ൃ
   ୲౰
   ੕໺͞Μ
2. ࣗݾ঺հ  • ࢯ໊: ໦ా ป • ॴଐ: ܚጯٛक़େֶ ੓ࡦɾϝσΟΞݚڀՊ म࢜Ұ೥ • ݚڀ෼໺: ෼ࢄσʔλϕʔεɺ෼ࢄ߹ҙΞϧΰϦζϜ
3. ແஹީσʔλഁଛͱ͸ʁ  σʔλ͕ഁଛ͍ͯ͠Δʹ΋͔͔ΘΒͣɺγεςϜ͕ͦͷഁଛΛݕग़Ͱ͖ͳ͍ݱ৅ IUUQTHSPVQOUUKQOFXTSFMFBTFBIUNM
   • ιϑτ΢ΣΞͰ͸ͳ͘ɺϋʔυ΢ΣΞʹൃ ੜ͢ΔσʔλഁଛͰɺϋʔυ΢ΣΞͷΤϥʔ ݕग़ػߏ (ྫ ECCϝϞϦ, RAID౳)Λ͢Γൈ ͚ͨ΋ͷ • ओͳݪҼ • ෺ཧతཁҼ (ӈਤࢀߟ) • ϋʔυ΢ΣΞཁҼ (ॳظෆྑɺܦ೥ྼԽ౳)
4. ແஹީσʔλഁଛʹ͓͚ΔӨڹ ແஹީσʔλഁଛ͸େن໛෼ࢄγεςϜͰಛʹ໰୊ͱͳΔ • Amazon S3Ͱ͸2008೥7݄20೔ʢถࠃ࣌ؒʣʹɺαʔϏε ͕9࣌ؒʹΘͨͬͯར༻Ͱ͖ͳ͘ͳΔͱ͍͏ো֐͕ൃੜͨ͠ [1] • Intel ͸σʔληϯλʔͷΑ͏ͳେྔͷϓϩηοαΛ࢖༻͢ Δ؀ڥͰ͸ɺແஹީσʔλഁଛͷΑ͏ͳඇৗʹكͳࣄ৅Ͱ ΋ɺରࡦ͕ෆՄܽͳ΄Ͳසൟʹൃੜ͢ΔՄೳੑ͕͋Δͱड़ ΂Δ [2] <>
   IUUQTXFCBSDIJWFPSHXFCIUUQTTUBUVTBXTBNB[PODPNTIUNM
   
   <>
   IUUQTXXXJOUFMDPKQDPOUFOUXXXKQKBDPOUFOUEFUBJMTEBUBDFOUFSTJMFOUEBUBFSSPSTUFDIOJDBMQBQFSIUNM
   
5. ෼ࢄγεςϜ  ෳ਺ͷίϯϐϡʔλ͕ωοτϫʔΫΛհͯ͠઀ଓ͞Εɺڠௐಈ࡞͢ΔγεςϜ
6. ଱ো֐ੑ (ϑΥʔϧττϨϥϯε)  ߏ੒ཁૉͷҰ෦ʹো֐͕ൃੜͯ͠΋ɺγεςϜ͕ػೳ͠ଓ͚Δೳྗ ❓ 😄
7. ଱ো֐ੑͷ෼ྨ  ଱Ϋϥογϡো֐ੑ (Crash Fault Tolerance, CFT) ো֐଱ੑ ੑೳɾίετ ଱Ϗβϯνϯো֐ੑ (Byzantine Fault Tolerance, BFT)
8. ଱ো֐ੑͷ෼ྨ  ଱Ϋϥογϡো֐ੑ (Crash Fault Tolerance, CFT) ো֐଱ੑ ੑೳɾίετ ଱Ϗβϯνϯো֐ੑ (Byzantine Fault Tolerance, BFT) ݱࡏͷγεςϜͷओྲྀ
9. ଱ো֐ੑͷ෼ྨ  ଱Ϋϥογϡো֐ੑ (Crash Fault Tolerance, CFT) ো֐଱ੑ ੑೳɾίετ ଱Ϗβϯνϯো֐ੑ (Byzantine Fault Tolerance, BFT) ແஹީσʔλഁଛ͸Ϗβϯνϯ ো֐ʹ෼ྨ͞ΕΔ
10. ࣮෼ࢄγεςϜʹແஹީσʔλഁଛ஫ೖ  • Braft (https://github.com/baidu/braft) • Baiduͷߴ৴པੑ͕ٻΊΒΕΔ༷ʑͳγεςϜΛ ࢧ͍͑ͯΔ෼ࢄ߹ҙΞϧΰϦζϜRaft࣮૷ 3BGU
    ΞʔΩςΫνϟ -FBEFS 'PMMPXFS 'PMMPXFS
11. Intel PinʹΑΔແஹީσʔλഁଛͷ࠶ݱ  • ແஹީσʔλഁଛͷ࠶ݱʹɺDBI (Dynamic Binary Instrument)πʔϧͷ Intel PinΛ࢖༻ • Just-In-Time (JIT) ίϯύΠϥΛ࢖༻͠ ͯϓϩάϥϜΛ࣮ߦதʹมߋ • ࠨͷਤͷApplication͕BraftͰɺPintool ͕ແஹީσʔλഁଛΛҾ͖ى͜͢ιʔ είʔυ [2] ʹ౰ͨΔ <>
    $IJ,FVOH
    -VL
    3PCFSU
    $PIO
    3PCFSU
    .VUI
    )BSJTI
    1BUJM
    "SUVS
    ,MBVTFS
    (FP ff
    -PXOFZ
    4UFWFO
    8BMMBDF
    7JKBZ
    +BOBQB
    3FEEJ
    BOE
    ,JN
    )B[FMXPPE
    
    1JO
    CVJMEJOH
    DVTUPNJ[FE
    QSPHSBN
    BOBMZTJT
    UPPMT
    XJUI
    EZOBNJD
    JOTUSVNFOUBUJPO
    4*(1-"/
    /PU
    
    
    +VOF
    
    r
    IUUQTEPJPSH
    <>
    IUUQTCJUCVDLFUPSHECC f
    <>
12. Braftͷ௨ৗͷڍಈ  • ΫϥΠΞϯτϦΫΤετͷछྨ • Write: valueʹ1Λ௥Ճ͢Δ • Read: valueͷ஋ΛಡΉ <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
     ࣮ߦϩά
13. ແஹީσʔλഁଛ͕ൃੜ͢Δͱɺɺ • Write࣌ͷॲཧᶅͰແஹީσʔλഁଛ͕ ൃੜ͠ɺ1Ͱ͸ͳ͘ɺ ͕ε ςʔτϚγϯ্ͷvalueʹ௥Ճ͞ΕΔɻ −(264 − 1) <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
    
    <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
     <83*5&>
    "EE
    
    <3&"%>
    7BMVF
    
     ࣮ߦϩά 
14. ແஹީσʔλഁଛ΁ͷφΠʔϒͳରࡦ๏ 😃
    ਖ਼͍͠஋ 😱
    ޡ͍ͬͯΔ஋ طଘख๏ φΠʔϒͳରࡦ๏ -FBEFS 'PMMPXFS 'PMMPXFS ❓ 😱 -FBEFS 'PMMPXFS 'PMMPXFS ❓ ❓ ❓ 😱 😃 😃 
15. ແஹީσʔλഁଛ΁ͷφΠʔϒͳରࡦ๏ 😃
    ਖ਼͍͠஋ 😱
    ޡ͍ͬͯΔ஋ طଘख๏ φΠʔϒͳରࡦ๏ -FBEFS 'PMMPXFS 'PMMPXFS ❓ 😱 -FBEFS 'PMMPXFS 'PMMPXFS ❓ ❓ ❓ 😱 😃 😃  ଟ਺ܾͰਖ਼͍͠஋Λಋ͚Δ
16. ࣮ࡍͷ࣮ߦϩά 
17. ͔͠͠ແஹީσʔλഁଛ͸ͦΜͳʹ؆୯Ͱ͸ͳ͍ 8SJUFૢ࡞ 3FBEૢ࡞ -FBEFS 'PMMPXFS 'PMMPXFS 😃 😱 😱 -FBEFS 'PMMPXFS 'PMMPXFS 😱 😱 😱 
18. ࠓޙͷ՝୊  • Braftʹແஹީσʔλഁଛ΁ͷ ໢ཏతͳ଱ੑΛ෇༩͢Δ (HardPaxos [1]Λࢀߟ) • ූ߸Խͱ৑௕࣮ߦΛ૊Έ߹Θ ͤΔ͜ͱͰɺແஹީσʔλഁ ଛΛݕग़͠ɺσʔλഁଛΛΫ ϥογϡো֐΁ม׵͢Δ ׬੒Πϝʔδਤ <>
    %
    #FISFOT
    %
    ,VWBJTLJJ
    BOE
    $
    'FU[FS
    )BSE1BYPT
    3FQMJDBUJPO
    )BSEFOFE
    BHBJOTU
    )BSEXBSF
    &SSPST 
    
    *&&&
    SE
    *OUFSOBUJPOBM
    4ZNQPTJVN
    PO
    3FMJBCMF
    %JTUSJCVUFE
    4ZTUFNT
    /BSB
    +BQBO
    
    QQ
    
    EPJ43%4
    
19. ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂʂ