大規模Webサービス入門 14回目 / Introduction to large scale web service 14

Slide 1

Slide 1 text

େن໛αʔϏεٕज़ೖ໳ ୈ14ճ ISUCONରࡦษڧձ 2017/8/31

Slide 2

Slide 2 text

ୈ14ճ ޮ཰޲্࡞ઓ - ϋʔυ΢ΣΞͷϦιʔεͷ࢖༻཰Λ্͛Δ -

Slide 3

Slide 3 text

Ծ૝Խٕज़ɾࣗ࡞αʔό • Ұൠతʹ, ৑௕ԽΛਐΊΔͱϦιʔεͷ࢖༻཰͸௿ Լ͢Δ. ‣ ن໛͕খ͚͞Ε͹খ͍͞΄ͲݦஶʹͳΔ ‣ αʔό͕2, 3୆ͷγεςϜʹ1, 2୆ͷ༨༟Λ΋ͨ ͤΑ͏ͱ͢Δͱ, Ϧιʔε࢖༻཰͸େ͖͘མͪΔ

Slide 4

Slide 4 text

Ծ૝Խٕज़ɾࣗ࡞αʔό • ໰୊Λղܾ͢ΔͨΊʹ, ҎԼͷ2ͭΛߦͳ͏. 1. Ծ૝Խٕज़ ‣ ϗετͷूੵ౓Λ্ঢͤ͞Δ. 2. ࣗ࡞αʔό ‣ ࠷దͳߏ੒ͰͷαʔόΛߏ੒͢Δ.

Slide 5

Slide 5 text

Lesson 36 Ծ૝Խٕज़

Slide 6

Slide 6 text

Ծ૝Խٕज़ͷಋೖ

Slide 7

Slide 7 text

Ծ૝Խٕज़ͷಋೖͷ໨త • εέʔϥϏϦςΟ  ˠ Φʔόʔϔουͷ࠷খԽ • ίετύϑΥʔϚϯε  ˠ Ϧιʔε࢖༻཰ͷ޲্ɾӡ༻ͷ୯७Խ • ߴՄ༻ੑ  ˠ ؀ڥͷִ཭

Slide 8

Slide 8 text

Ծ૝Խٕज़ͷಋೖͷ໨త • εέʔϥϏϦςΟ  ˠ Φʔόʔϔουͷ࠷খԽ • ίετύϑΥʔϚϯε  ˠ Ϧιʔε࢖༻཰ͷ޲্ɾӡ༻ͷ୯७Խ • ߴՄ༻ੑ  ˠ ؀ڥͷִ཭

Slide 9

Slide 9 text

Ծ૝Խٕज़ͷಋೖ • ࢢ৔ʹ͸༷ʑͳԾ૝Խͷ੡඼͕͋Δ. • Xen • VMWare • Parallels • etc..

Slide 10

Slide 10 text

Ծ૝Խٕज़ͷޮ༻

Slide 11

Slide 11 text

Ծ૝Խٕज़ͷޮ༻ 1. IPMIͷ୅ସͱͯ͠ͷϋΠύʔόΠβ 2. ϋʔυࠩ෼ͷٵऩ 3. ४Ծ૝ԽΛ࢖༻ 4. Ϧιʔεফඅͷ੍ޚ

Slide 12

Slide 12 text

IPMIͷ୅ସͱͯ͠ͷϋΠύʔόΠβ • ϕϯμ੡ͷαʔόʹ͸, IPMI(Intelligent Platform Management Interface)͕උΘ͍ͬͯΔ. ‣ ϦϞʔτͰγεςϜΛ؅ཧ(ON, OFFͱ͔)͢Δͨ Ίͷඪ४ΠϯλϑΣʔεͰ͋Δ. ‣ ϕϯμ΍OSؒʹґଘ͢Δ͜ͱͳ͘ૢ࡞͢ΔͨΊ ͷΠϯλϑΣʔε

Slide 13

Slide 13 text

IPMIͷ୅ସͱͯ͠ͷϋΠύʔόΠβ • ϋΠύʔόΠβʔ͸͍ΘΏΔϗετOS ‣ ϗετOS  αʔό্Ͱ࠷ॳʹىಈ͢ΔOS ‣ ήετOS  ϗετOS্Ͱىಈ͢ΔOS

Slide 14

Slide 14 text

IPMIͷ୅ସͱͯ͠ͷϋΠύʔόΠβ • ڱٛͷϋΠύʔόΠβʔ(Xen)  ϋʔυ΢ΣΞ্ͰϓϩάϥϜΛ௚઀Քಇ͢Δํ ࣜ • ޿ٛͷϋΠύʔόΠβʔ(VMWare)  OS্ͰΞϓϦέʔγϣϯιϑτͱͯ͠Քಇ͠ɺ ͦͷ্Ͱ༷ʑͳOSΛಈ࡞Ͱ͖ΔΑ͏ʹ͢Δ΋ͷ Ҿ༻ɿhttps://www.idcf.jp/words/hypervisor.html

Slide 15

Slide 15 text

IPMIͷ୅ସͱͯ͠ͷϋΠύʔόΠβ • IPMIͷ୅ΘΓʹϋΠύʔόΠβΛར༻͢Δ. ‣ IPMI͕౥ࡌ͞Ε͍ͯͳ͍҆Ձͳϋʔυ΢Σ ΞΛ࢖ͬͯαʔόΛߏங͢Δࣄ͕Ͱ͖Δ.

Slide 16

Slide 16 text

ϋʔυࠩ෼ͷٵऩ • ؀ڥΛந৅Խ͍ͯ͠Δ. ‣ ৽͍͠ϋʔυ΍ݹ͍ϋʔυͰ΋ࠩ෼Λؾʹ ͤͣʹ࢖༻͢Δ͜ͱ͕ग़དྷΔ.

Slide 17

Slide 17 text

४Ծ૝Խͷ࢖༻ • XenʹಛԽͨ͠࿩ • ४Ծ૝Խͱ׬શԾ૝Խͱݴ͏΋ͷ͕ଘࡏͯ͠ ͍Δ. • ࠓճ͸४Ծ૝Խ

Slide 18

Slide 18 text

४Ծ૝Խͷ࢖༻ • ׬શԾ૝Խ͸ιϑτ΢ΣΞͰϋʔυ΢ΣΞΛ׬ શʹγϛϡϨʔτ͢Δ. ‣ Φʔόʔϔου͕͋ΔͨΊಈ࡞͸͍·͍ͪ • ४Ծ૝Խ͸, ޮ཰ͷྑ͍Ծ૝ϋʔυΛ࠶ఆٛ͢Δ. ‣ OSϨϕϧͰमਖ਼Λߦ͏ඞཁ͕͋Δ.

Slide 19

Slide 19 text

४Ծ૝Խͷ࢖༻ • ಋೖίετ  ׬શԾ૝Խʼ४Ծ૝Խ • ύϑΥʔϚϯε  ׬શԾ૝Խʻ४Ծ૝Խ

Slide 20

Slide 20 text

Ϧιʔεফඅͷ੍ޚ • ϦιʔεফඅΛιϑτ΢ΣΞϨϕϧͰڧྗʹ ੍ޚ͢Δࣄ͕Մೳ. ‣ monitͱ͍͏Ϧιʔε؅ཧπʔϧΛ࢖͏ ‣ ʮաෛՙͷΞϥʔτʯͱʮෛՙͷௐ੔ʯΛ ߦͳ͏

Slide 21

Slide 21 text

Ϧιʔεফඅͷ੍ޚ • πʔϧͰҎԼͷΑ͏ͳ͜ͱΛࣗಈԽ ‣ աෛՙ࣌ʹ࠶ىಈΛߦͳ͏. ‣ ϩʔυΞϕϨʔδ, ίωΫγϣϯ, ϝϞϦফඅ ྔͷ؂ࢹ. ‣ ᮢ஋Λ௒͑ͨΒApacheͷ࠶ىಈ

Slide 22

Slide 22 text

Ϧιʔεফඅͷ੍ޚ • πʔϧͰҎԼͷΑ͏ͳ͜ͱΛࣗಈԽ ‣ աෛՙ࣌ʹ࠶ىಈΛߦͳ͏. ‣ ϩʔυΞϕϨʔδ, ίωΫγϣϯ, ϝϞϦফඅ ྔͷ؂ࢹ. ‣ ᮢ஋Λ௒͑ͨΒApacheͷ࠶ىಈ

Slide 23

Slide 23 text

Ծ૝ԽαʔόͷߏஙϙϦγʔ

Slide 24

Slide 24 text

Ծ૝ԽαʔόͷߏஙϙϦγʔ • Ծ૝Խٕज़ͷ1൪ͷ໨త  ˠ ϋʔυ΢ΣΞϦιʔεͷར༻ޮ཰޲্ • ۭ͍͍ͯΔϦιʔεΛ࢖͏ήετOSΛೖΕΔ • ͲͷΑ͏ͳαʔόΛಋೖ͢Δ͔

Slide 25

Slide 25 text

Ծ૝ԽαʔόͷߏஙϙϦγʔ • CPUϦιʔε͕ۭ͍͍ͯΔ  ˠ Webαʔό • I/OϦιʔε͕ۭ͍͍ͯΔ  ˠ DBαʔό • ϝϞϦϦιʔε͕ۭ͍͍ͯΔ  ˠ Ωϟογϡαʔό Ϧιʔεͷফඅ܏޲͕ࣅ͍ͯΔ΋ͷಉ࢜͸ڞଘͤ͞ͳ͍΄͏͕ྑ͍.

Slide 26

Slide 26 text

Ծ૝Խαʔό(Webαʔό)ͷྫ • 4GBͷϝϞϦΛ౥ࡌ͍ͯ͠Δαʔό͕͋ͬͨ ͱ͖, 3.5GBΛWebαʔό༻ͷήετOSʹׂ Γ౰͍ͯͯΔͱ͢Δ. • ࠷ۙ͸جຊ8GBͰߏ੒͢ΔͷͰ, ήετ OS(Webαʔό)Λ5.5GB, ήετ OS(memcached༻)ʹ2GBׂΓ౰ͯΔ.

Slide 27

Slide 27 text

Ծ૝Խαʔό(Webαʔό)ͷྫ 8FCαʔό ϝϞϦɿ4GB Dom0ɿ0.5GB WebSVɿ3.5GB Webαʔό͸ओʹCPUΛফඅ 8FCαʔό Ωϟογϡαʔό ϝϞϦɿ8GB Dom0ɿ0.5GB WebSVɿ5.5GB Cashɿ2GB Ωϟογϡαʔό͸ओʹϝϞϦΛফඅ

Slide 28

Slide 28 text

Ծ૝Խαʔό(DBαʔό)ͷྫ • DBαʔόͷಛ௃ ‣ ϝϞϦ͸ফඅ͢Δ. ‣ CPUϦιʔεͱI/OϦιʔε͸ͦΕ΄Ͳফඅ͠ͳ͍. → Webαʔό༻ͷήετOSΛಉډͤͯ͞, I/Oͱ CPUϦιʔεΛ࢖͏͜ͱͰϦιʔε࢖༻ޮ཰Λ্ ͛Δ.

Slide 29

Slide 29 text

Ծ૝Խαʔό(DBαʔό)ͷྫ %#αʔό ϝϞϦɿ4GB Dom0ɿ0.5GB WebSVɿ3.5GB DBαʔό͸I/Oෛՙ͕ߴ͍ %#αʔό 8FCαʔό ϝϞϦɿ8GB Dom0ɿ0.5GB WebSVɿ5.5GB Cashɿ2GB Webαʔό͸CPUϦιʔεΛফඅ

Slide 30

Slide 30 text

Ծ૝ԽʹΑͬͯಘΒΕͨ ϝϦοτͷখ·ͱΊ

Slide 31

Slide 31 text

Ծ૝ԽͷϝϦοτখ·ͱΊ • ෺ཧతͳϦιʔε੍໿͔Βͷ։์ ‣ Ϧιʔεͷಈతͳมߋ  VMͷϚΠάϨʔγϣϯ΍ෳ੡ → ༰қͳαʔό૿ઃ  ͞ΒͳΔεέʔϥϏϦςΟ΁ → ϋʔυ΢ΣΞɾӡ༻ίετͷ௿Լ  ҟৗಈ࡞࣌ͷہॴԽɾϗετͷ੍ޚ͕༰қ → ίεύͷ޲্ɺߴՄ༻ੑ΁

Slide 32

Slide 32 text

Ծ૝Խͷ஫ҙ఺

Slide 33

Slide 33 text

Ծ૝ԽͷσϝϦοτ • ύϑΥʔϚϯε্ͷΦʔόʔϔου͕͋Δ. • CPUͰ2ʙ3% • ϝϞϦੑೳͷ10% • ωοτϫʔΫੑೳͷ50% • I/Oੑೳ͕5%͘Β͍མͪΔ • ಈ࡞͕ෆ҆ఆʢωοτϫʔΫͳͲʣ

Slide 34

Slide 34 text

Lesson 37 ϋʔυ΢ΣΞͱޮ཰޲্ - ௿ίετΛ࣮ݱ͢Δཁૉٕज़ -

Slide 35

Slide 35 text

ϓϩηοαͷੑೳ޲্

Slide 36

Slide 36 text

ϓϩηοαͷੑೳ޲্ • ʮूੵճ࿏্ͷτϥϯδελ਺͸18ϲ݄͝ͱ ʹഒʹͳΔʢϜʔΞͷ๏ଇʣ Ҿ༻ɿhttps://www.semiconportal.com/archive/blog/insiders/oowada/post-205.html

Slide 37

Slide 37 text

ϓϩηοαͷੑೳ޲্ • ϜʔΞͷ๏ଇ͸τϥϯδελूੵ౓ͷ࿩Ͱ͋Γ, ٕज़తʹ·ͩ·ͩ৳ͼ͍ͯΔ෼໺ • ίΞ୯ମͰͷੑೳ͸ݶք͕དྷ͍ͯΔͱߟ͑ΒΕ ͍ͯΔ͕, ϝχʔίΞ͕౰ͨΓલͱͳ͓ͬͯΓ, ͜Ε͔Β΋૿͑ΔΜͩΖ͏. • ࠷ۙAMD͕Ξπ͍

Slide 38

Slide 38 text

ϝϞϦɾHDDͷίετ௿Լ

Slide 39

Slide 39 text

ϝϞϦɾHDDͷίετ௿Լ • ϝϞϦɾHDD΋҆͘ͳ͍ͬͯΔʢେӕʣ ‣ 2007೥  2GBͰ3ສԁ ‣ 2010೥  2GB*2Ͱ5ઍԁఔ౓ ‣ 2017೥  4GB1ຕͰ4100ԁ͙Β͍͔Β…

Slide 40

Slide 40 text

ϝϞϦɾHDDՁ֨ͷਪҠ http://www2s.biglobe.ne.jp/~sakharov/research/graph.html

Slide 41

Slide 41 text

ϝϞϦɾHDDՁ֨ͷਪҠ • ϝϞϦ͸஋্͕Γ͍ͯ͠Δ. • http://akiba-pc.watch.impress.co.jp/docs/ price/monthly_repo/1072428.html • NANDͷڙڅෆ଍ͬΆ͍ʁ • HDD͸Ձ͕֨Լ͕͍ͬͯΔ.

Slide 42

Slide 42 text

҆Ձͳϋʔυͷ༗ޮར༻

Slide 43

Slide 43 text

҆Ձͳϋʔυͷ༗ޮར༻ • ؅ཧػೳΛ࠷খݶʹ • ίΞ͸Ͱ͖Δ͚ͩଟ͘ͷ΋ͷΛ • ϝϞϦ͸͍҆(ཁग़య)ͷͰΨϯΨϯੵΉ • I/O͸ٻΊΒΕΔཁ݅ʹΑͬͯม͑Δ • σΟεΫϨεαʔό • RAID10(RAID1+RAID0), SSDͰRAID0(ετϥΠϐϯά)

Slide 44

Slide 44 text

҆Ձͳϋʔυͷ༗ޮར༻ • IPMIΛ౥ࡌ͢Δͱ, 1ʙ2ສԁ΄Ͳߴ͘ͳΔ. ‣ Intel AMTͰ୅ସ ‣ Ծ૝Խ(ϋΠύʔόΠβʔ)Ͱ؅ཧ͢Δ

Slide 45

Slide 45 text

SSDͷ׆༻Օॴ • ͸ͯͳͰ͸, DBͷεϨʔϒαʔόͰ࢖ΘΕΔ͜ͱ ͕ଟ͍. ‣ ϝϞϦ32GB+HDDͷͱ͖ͱ, ϝϞϦ8GB+SSDͱ ͍͏ߏ੒ͩͱಉ༷ͷύϑΥʔϚϯεʹͳͬͨΓ ͢Δ… ‣ ϝϞϦ > SSD > HDD RAID-0/10 > HDD RAID-1