はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena

Transcript

1. 1.

   ͸ͯͳʹ͓͚Δ
   -JOVYωοτϫʔΫελοΫ
   ύϑΥʔϚϯεվળ JEZ@VVLJ ͸ͯͳɾϖύϘٕज़େձ
   ʙΠϯϑϥٕज़ج൫ʙ!ژ౎

2. 2.

   !Z@VVL JEZ@VVLJ ΢ΣϒΦϖϨʔγϣϯΤϯδχΞ
   !͸ͯͳ
   ೖࣾ೥໨

3. 3.

   ৽ଔ೥໨ͷ࢓ࣄ
   Λ঺հ

4. 4.

   1 ΢ΣϒγεςϜͷ
   ύϑΥʔϚϯε

5. 5.

   ΢ΣϒγεςϜͷయܕߏ੒ LB Proxy Application Database

6. 6.

   ϘτϧωοΫ͸
   Ͳ͔͜ʹ͋Δ

7. 7.

   LB Proxy Web App Database ϘτϧωοΫʢϩʔϧʣ

8. 8.

   LB Proxy Web App Database ϘτϧωοΫʢϦιʔεʣ $16 .FN %JTL /8

   $16 .FN %JTL $16 .FN %JTL /8 /8 $16 .FN %JTL /8
9. 9.

   ϘτϧωοΫʢϦιʔεৄࡉʣ $16 .FN %JTL /8 )PTU VTFS TZT JPXBJU ʜ

   VTFE DBDIFE CVGGFS ʜ XSJUF
   *014 SFBE
   *014 SFBE
   MBUFODZ ʜ UY
   
   CQT SY
   CQT UY
   QQT ʜ
10. 10.

    $16
    
    
    
    VTS
    
    
    OJDF
    
    
    
    TZT
    JPXBJU
    
    
    
    JSR
    
    
    TPGU
    
    TUFBM
    
    HVFTU
    
    
    JEMF
    
    
    BMM
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
     ιϑτׂΓࠐΈʢύέοτड৴ʣ ෛՙ͕ߴ͍

11. 11.

    CPU %irq %softirq

12. 12.

    େྔύέοτ ͱͷઓ͍

13. 13.

    2 ωοτϫʔΫ
    ελοΫ

14. 14.

    ωοτϫʔΫελοΫ w ωοτϫʔΫ*0Λ࣮ݱ͢ΔͨΊʹඞཁ ͳཁૉ܈
    w /*$ɺΧʔωϧͷ/*$υϥΠόɺΧʔ ωϧͷ5$1*1ελοΫɺιέοτͳͲ
    w ύέοτૹड৴ɺύέοτόοϑΝ؅ཧɺ ϓϩτίϧॲཧͳͲΛؚΉ
    

    w ड৴ଆͷෛՙ͕ߴ͍͜ͱ͕ଟ͍
15. 15.

    ωοτϫʔΫ*0ߴ଎Խ w (C&ͳͲʹΑΔωοτϫʔΫଳҬ෯޲্ʹ ΑΓɺҰఆ࣌ؒʹॲཧ͢Δύέοτ਺͕૿େ
    w (CQT
    
    .QQT
    #ZUFTQBDLFU
    w ωοτϫʔΫελοΫॲཧͷ$16ෛՙ͕ߴ͘

    ͳΔ
    w $16ΫϩοΫ͸্͕ΒͣϚϧνίΞ࣌୅ʹ ಥೖ
    w ͞·͟·ͳߴ଎Խख๏͕࣮૷͞Ε͍ͯΔ
16. 16.

    NIC Kernel Process ύέοτड৴ϑϩʔ ؆қ

17. 17.

    NIC Kernel Process ύέοτड৴ ύέοτసૹ ϓϩτίϧॲཧ σʔλίϐʔ SFBE 
    SFDW

     ύέοτड৴ϑϩʔ ؆қ 5$1*1ͷύέοτϔομղੳɺνΣοΫαϜܭࢉͳͲ ΞϓϦέʔγϣϯϓϩηε͸γεςϜίʔϧͰ଴ͪड͚
18. 18.

    NIC Process ύέοτड৴ϑϩʔ ৄղ ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ

    ,FSOFM 3JOH
    #VGGFS 4PDLFU
    #VGGFS ΧʔωϧͷॲཧΛ෼ղ
19. 19.

    NIC Process ύέοτड৴ϑϩʔ ৄղ ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ

    ,FSOFM 3JOH
    #VGGFS 4PDLFU
    #VGGFS ϋʔυ
    ׂΓࠐΈ ιϑτ
    ׂΓࠐΈ ࢒Γͷॲཧ͸ιϑτׂΓࠐΈͰඇಉظॲཧ ஗Ԇॲཧ ϋʔυׂΓࠐΈͰ͸ϦϯάόοϑΝʹύέοτΛੵΉ·Ͱ
20. 20.

    ͳͥछྨͷׂΓࠐΈʁ w ड৴ύέοτ૿
    
    ׂΓࠐΈ૿
    
    ίϯςΩ ετεΠον૿
    ߴ$16ෛՙ
    w ϋʔυׂΓࠐΈ͚ͩͩͱύέοτड৴ͷͨͼ ʹϓϩτίϧॲཧ·Ͱଈ࣮ߦ͞ΕΔ
    w ϋʔυׂΓࠐΈͰ͸ύέοτΛόοϑΝʹੵ Ή͚ͩʹͯ͠ɺճͷׂΓࠐΈॲཧͷ$16ෛ

    ՙΛԼ͛Δ
    w ιϑτׂΓࠐΈʹΑΓɺϝΠϯͷϓϩτίϧ ॲཧΛඇಉظॲཧ
21. 21.

    /"1*
    /FX
    "1* w ޙճ͠ʹͯ͠΋ड৴ύέοτ͕૿͑Ε͹ιϑτׂΓࠐΈ ͷ਺͸૿͑Δ
    w ෳ਺ͷύέοτΛ·ͱΊͯͭͷιϑτׂΓࠐΈͰॲཧ ͍ͨ͠
    w ϋʔυׂΓࠐΈΛҰ୴ͱΊͯɺϙʔϦϯάʹΑΓϦϯά

    όοϑΝ͔Βಉ࣌ʹύέοτΛऔΓग़͢
    w ͨͩ͠ύέοτ਺͕গͳ͍৔߹ʹಛʹϨΠςϯγ͕େ͖ ͘ͳͬͯ͠·͏ͷͰɺड৴ύέοτ͕ଟ͍ͱ͖ͷΈ༗ޮ
22. 22.

    NIC Process /"1* ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ ,FSOFM

    3JOH
    #VGGFS 4PDLFU
    #VGGFS ϋʔυׂΓࠐΈΛͱΊͯɺϙʔϦϯά QPMMJOH
23. 23.

    ͜͜·Ͱ͸
    -JOVYωοτϫʔΫ ελοΫͷجຊతͳ࿩

24. 24.

    3 ͸ͯͳͰͷࣄྫ

25. 25.

    )"1SPYZͷ୆਺૿໰୊ w )"1SPYZΛ&$Ͱͷϩʔυόϥϯαͱͯ͠࢖༻
    w ιϑτׂΓࠐΈෛՙʹΑΓίΞͰ཯଎
    w $16ίΞ͸༨͍ͬͯΔͷʹɺ)"1SPYZͷεέʔϧ Ξ΢τ͕ඞཁ
    w %/4ϥ΢ϯυϩϏϯʹΑΓɺෳ਺ͷ)"1SPYZ΁

    ࢀরΛৼΓ෼͚
    w ϩʔυόϥϯαΛϩʔυόϥϯε͠ͳ͍ͱ͍͚ͳ ͍ࣄଶ
26. 26.

    )"1SPYZ ʜʜ EC ʜʜ BQQ ʜʜ    TVHPJIBQSPYZQSJWBUF

27. 27.

    ʜʜ EC ʜʜ BQQ ʜʜ   )"1SPYZ

28. 28.

    ׂΓࠐΈ͕ଟ͍ͳΒ
    ׂΓࠐΈࣗମΛݮΒ͢

29. 29.

    NIC Process *OUFSSVQU
    $PBMFTDJOH ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ ,FSOFM

    3JOH
    #VGGFS 4PDLFU
    #VGGFS /*$͕ͭͷϋʔυׂΓࠐΈͰෳ਺ͷύέοτΛ·ͱΊͯసૹ ϋʔυ
    ׂΓࠐΈ ෳ਺ύέοτἧ͏·Ͱ౸ணΛ଴ͭͨΊϨΠςϯγ͸্͕Δ
30. 30.

    /*$υϥΠόͷύϥϝʔλݕূ w ࢖༻/*$͸*OUFMͷJYHCF
    *OUFSSVQU5ISPUUMF3BUFΦ ϓγϣϯ
    w DYMBSHF
    ୆͔Β
    DYMBSHF
    ୆ʹ5$1઀ଓ
    w σϑΥϧτͰ͸΢ΣϒαʔϏεͷΑ͏ͳγϣʔτύ έοτ͕ࢧ഑తͳঢ়گͰ͸ɺׂΓࠐΈ਺͕ߴ͘ͳΔ
    w

    ΢ΣϒαʔϏεͰ͸ͦ͜·ͰϨΠςϯγʹγϏΞͰ ͸ͳ͍
    w ݕূͷ݁ՌɺιϑτׂΓࠐΈͷ$16ར༻཰ TPGU ͕࠷େ
    
    
    
    ·Ͱվળ l&$Ͱ43*07Λ࢖͏ͱ͖ͷ/*$υϥΠόύϥϝʔλݕূz
    IUUQCMPHZVVLJPFOUSZ
31. 31.

    ׂΓࠐΈॲཧΛෳ਺ͷ ίΞʹ෼ࢄͤ͞Δ

32. 32.

    NIC Process ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ ͳͥෳ਺ͷίΞΛ࢖͑ͳ͍ͷ͔ $16

    ϋʔυׂΓࠐΈ͕͔͔ͬͨ$16ίΞͱಉ͡$16ίΞ͕
    ιϑτׂΓࠐΈΛ࣮ߦ͢ΔͨΊ ϋʔυ
    ׂΓࠐΈ ιϑτ
    ׂΓࠐΈ
33. 33.

    NIC Process ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ $16 314
    

    3FDFJWF
    1BDLFU
    4UFFSJOH NIC Process ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ $16 NIC Process ύέοτ ड৴ ϓϩτίϧ ॲཧ σʔλड৴ ॲཧ $16 ίΞׂؒΓࠐΈ
34. 34.

    314
    3FDFJWF
    1BDLFU
    4UFFSJOH w ௨ৗ͸ϋʔυׂΓࠐΈ͕͔ͬͨ$16ͱಉ͡$16Ͱ ιϑτׂΓࠐΈΛ࣮ߦ
    w 314͸ɺଞͷ$16ʹίΞׂؒΓࠐΈͯ͠ɺϓϩτ ίϧॲཧΛଞͷ$16ʹ೚ͤΔ
    w 5$1ϔομͷ

    TBEES
    TQPSU
    EBEES
    EQPSU ͷ૊ʹ ର͠$POTJTUFOU
    )BTIJOHʹΑΔ෼ࢄ
    w ݪଇಉ͡5$1ϑϩʔͳΒ͹ಉ͡$16ʹ෼ࢄ͞Ε ΔΑ͏ʹ
    w $16Ωϟογϡώοτ཰ΛߴΊͨ3'4
    3FDFJWF
    'MPX
    4UFFSJOH
    ͱ͍͏ͷ΋͋Δ l-JOVYͰϩʔυόϥϯα΍ΩϟογϡαʔόΛϚϧνίΞεέʔϧͤ͞ΔͨΊͷΧʔωϧνϡʔχϯάz
    IUUQ CMPHZVVLJPFOUSZMJOVYOFUXPSLTUBDLUVOJOHSGT
35. 35.

    ࣾ಺ͷ࠷ۙͷ
    ωοτϫʔΫαʔόʹ
    ޿͘ద༻ࡁ

36. 36.

    314Ͱ3FEJTνϡʔχϯά w 3FEJT͸εϨουಈ࡞͢ΔͨΊɺϚϧν ίΞεέʔϧ͠ͳ͍
    w ΧʔωϧͷωοτϫʔΫ*0ॲཧ͢ΔεϨο υͱɺ3FEJTεϨουͷ෼ࢄ͸Ͱ͖Δ
    w 314͸෼ࢄઌ$16൪߸ΛࢦఆͰ͖Δ
    w

    $16
    ʹ෼ࢄͤ͞Δ
    w UBTLTFUͰ$16ΞϑΟχςΟΛઃఆ͠ɺ 3FEJTεϨουΛ$16 Ҏ֎ʹݻఆ IUUQSFEJTJPUPQJDTCFODINBSLT
37. 37.

    $16ˋ
    ݮ

38. 38.

    ଞʹ΋਺ଟ͘ͷ
    ߴ଎Խख๏͕͋Δ νΣοΫαϜΦϑϩʔυ
    540 5$1
    4FHNFOUBUJPO
    0⒐PBE
    -30 -BSHF
    3FDFJWF
    0⒐PBE
    50&

    5$1
    0⒐PBE
    &OHJOF
    344 3FDFJWF
    4JEF
    4DBMJOH
    "DDFMFSBUFE
    3'4
    914
    1$*
    QBTTUISPVHI
    43*07
    *OUFM
    %BUB
    %JSFDU
    *0
39. 39.

    4 ωοτϫʔΫελο Ϋͷઌ୺ٕज़

40. 40.

    ͦ΋ͦ΋Χʔωϧʹ
    ॲཧͤ͞ͳ͍ protocol process NIC process hardirq packet receive consistent

    hashing forward
41. 41.

    Ϣʔβϥϯυ΁θϩίϐʔ w ύέοτΛ/*$͔ΒϢʔβϥϯυ΁όΠύε
    w ࣮૷
    w OFUNBQ
    w *OUFM
    %1%,
    w

    ϢʔβϥϯυͰ5$1*1࣮૷
    w ஌ΔݶΓͰ͸࣮༻ஈ֊ͷωοτϫʔΫαʔό͸ ·ͩͳ͍
42. 42.

    ιέοτ"1*ͷݶք w େ఍ͷωοτϫʔΫαʔόͷ࣮૷͸104*9ͷι έοτ"1*ϕʔε
    w ιέοτ"1*Ͱ͸θϩίϐʔʹͰ͖ͳ͍
    w ΧʔωϧͷιέοτόοϑΝʹੵΉඞཁ͕͋Δ
    w طଘͷωοτϫʔΫαʔόͷιέοτ"1*Λஔ͖

    ׵͑Δͷ͸େม
    w Χʔωϧ͕ϋʔυͷਐԽʹ௥͍͔ͭͳ͘ͳΕ͹ɺ ීٴ͢Δ͔΋͠Εͳ͍
43. 43.

    5 ·ͱΊ

44. 44.

    ·ͱΊ w ΢ΣϒγεςϜʹ͓͚ΔωοτϫʔΫ*0ෛՙͷҐஔ͚ͮ
    w -JOVYͷωοτϫʔΫελοΫͷ࢓૊ΈΛ঺հ
    w ͸ͯͳͰ࣮ફͨ͠ωοτϫʔΫελοΫͷߴ଎Խख๏
    w ׂΓࠐΈΛ·ͱΊΔ*OUFSSVQU
    $PBMFTDJOH
    w

    ϓϩτίϧॲཧΛϚϧνίΞεέʔϧͤ͞ΔͨΊͷ 3143'4
    w )"1SPYZɺ3FEJTͷྫ
    w ઌ୺ٕज़ͱͯ͠ɺ/*$͔ΒϢʔβϥϯυ΁όΠύε͢Δ ٕज़͕͋Δ
45. 45.

    04͸
    ΞΠσΞͷๅݿ

46. 46.

    04಺෦ͷٕज़ͷ֎ग़͠ w ιϑτׂΓࠐΈʹΑΔ஗Ԇॲཧ
    w δϣϒΩϡʔͷΑ͏ͳඇಉظॲཧ
    w ׂΓࠐΈͱϙʔϦϯά
    w ϑϩϯτΤϯυʹ͓͚ΔϩϯάϙʔϦϯά΍ 4FSWFS
    4FOU
    &WFOUT
    

    w ϓϩηεεέδϡʔϥ
    w
    ྲྀߦΓͷ7.΍ίϯςφͷΦʔέετϨʔγϣ ϯ
47. 47.

    04ͷٕज़Λ
    ࣗ෼ͷιϑτ΢ΣΞʹ
    ͱΓ͍Ε͍ͨ

48. 48.

    04΍γεςϜιϑτ΢ΣΞ
    ͕޷͖ͳਓ΁ IUUQIBUFOBDPSQKQSFDSVJUGSFTIPQFSBUJPOFOHJOFFS