大規模サービス技術入門 特別編

Transcript

1. େن໛αʔϏεٕज़ೖ໳
   ಛผฤ
2. ಛผฤ
   ͍·Ͳ͖ͷ
   8FCαʔϏεߏ ஙʹٻΊΒΕΔ࣮ફٕज़
   େن໛αʔϏεʹରԠ͢ΔͨΊʹ
3. ੒௕͢ΔαʔϏεɺ૿͑ଓ͚Δσʔλ • δϣϒΩϡʔγεςϜ • ૿͑ଓ͚ΔσʔλΛͲ͏௥Ճ/ߋ৽͢Δ͔ • ετϨʔδͷબ୒ • RDBMSɺ෼ࢄkey-valueετΞɺ෼ࢄϑΝΠϧγεςϜ • ΩϟογϡγεςϜ • ෛՙ͕૿େ͖ͯͨ͠ͱ͖ͷରࡦ • ܭࢉΫϥελ • MapReduceɺHadoopͳͲͷܭࢉΫϥελͷ֓ཁ
4. -FTTPO
   
   δϣϒΩϡʔγεςϜ
5. WebαʔϏεͱϦΫΤετ • WebαʔϏεͰ͸ɺϦΫΤετ͸جຊతʹಉ ظతʹ࣮ߦ͞ΕΔ • ͭ·ΓɺϦΫΤετͷॲཧ͕શͯऴΘ͔ͬͯ ΒϨεϙϯε͕ฦ͞ΕΔ • Αͬͯɺ੒௕Λଓ͚ΔWebαʔϏεͰ͸ɺ σʔλ͕஝ੵ͞Εɺσʔλͷ௥Ճॲཧɺߋ৽ ॲཧ͕ॏ͘ͳͬͯ͘Δ
6. WebαʔϏεͱϦΫΤετ • ྑ޷ͩͬͨύϑΥʔϚϯε΋͕࣌ؒܦͭͱѱ Խ͠ɺϢʔβମݧʹӨڹ͢ΔΑ͏ʹͳΔ • ͦΜͳͱ͖ɺδϣϒΩϡʔγεςϜΛ࢖༻͢ Δ͜ͱͰɺޙճ͠ʹͰ͖ΔॲཧΛඇಉظʹ࣮ ߦ͢ΔΑ͏ʹ͢Ε͹ɺϢʔβମݧΛվળͰ͖ Δ
7. δϣϒΩϡʔγεςϜೖ໳ • ඇಉظԽ͍ͨ͠ॲཧΛಠཱͨ͠εΫϦϓτʹ ͠ɺΞϓϦέʔγϣϯͷ಺෦͔Βݺͼग़͢ • ͨͩ͠ɺεΫϦϓτىಈͱॳظԽͷΦʔόʔ ϔου͕େ͖͍ͨΊɺύϑΥʔϚϯε͕ྑ͘ ͳ͍ • େྔͷඇಉظॲཧΛ࣮ߦͤ͞Α͏ͱ͢Δͱɺ ͦͷ਺͚ͩϓϩηε͕ىಈ͢ΔͷͰσϝϦο τʹͳΔ
8. δϣϒΩϡʔγεςϜೖ໳ • δϣϒΩϡʔͱϫʔΧʔ͕ηοτʹͳͬͨδϣϒΩϡʔγ εςϜΛ࢖༻͢Δ • δϣϒΩϡʔ δϣϒΛ஝͑Δ • ϫʔΧʔ δϣϒΩϡʔΛࢀর͠ɺະ࣮ߦͷδϣϒΛऔΓग़ͯ͠δϣ ϒΛ࣮ߦ͢Δ • ΫϥΠΞϯτ δϣϒΛ౤ೖ͠ɺͦͷޙ͸ॲཧΛଓߦͰ͖Δ
9. ͸ͯͳͷδϣϒΩϡʔγεςϜ ΫϥΠΞϯτ ΫϥΠΞϯτ ΫϥΠΞϯτ δϣϒΩϡʔ δϣϒΛ౤ೖ ϫʔΧʔ ϫʔΧʔ Ωϡʔ͔ΒδϣϒΛऔಘ͠ॲཧ
10. TheSchwartz • ͸ͯͳͰ͸ɺδϣϒΩϡʔγεςϜͱͯ͠ɺPerlͰ࣮ ૷͞ΕͨTheSchwartzͱGearmanΛ࢖༻͍ͯ͠Δ • TheSchwartz • δϣϒΩϡʔʹMySQLͷΑ͏ͳRDBMSΛ࢖༻ ͢ΔδϣϒΩϡʔγεςϜɻ • MySQLͰδϣϒΩϡʔΛ؅ཧ͢ΔͨΊɺߴ͍৴ པੑͱ҆ఆੑΛ֬อɻ • ଟগ଎౓Λ٘ਜ਼ʹ͍ͯ͠ΔͨΊɺδϣϒͷཻ౓ Λେ͖ͨ͘͠΄͏͕ྑ͍
11. Gearman • Gearman • TheSchwartzΑΓܰྔͳδϣϒΩϡʔγε ςϜ • δϣϒΩϡʔΛRDBMSͰ͸ͳ͘ಠࣗσʔ ϞϯΛ࢖༻͠ɺδϣϒͷ৘ใΛΦϯϝϞϦ Ͱ֨ೲͯ͠ੑೳΛ֬อ • ৴པੑΛ٘ਜ਼ʹ͍ͯ͠ΔͨΊɺ࣮֬ͳॲཧ ͕ඞཁͳ༻్ʹ͸ෆ޲͖
12. Gearman • GearmanͷΫϥΠΞϯτ͔ΒδϣϒΛ౤ೖ͢ Δࡍͷύλʔϯ • ಉظతʹॱ൪ʹॲཧ • ಉظతʹฒྻʹॲཧ • ඇಉظతʹόοΫάϥ΢ϯυͰॲཧ • TheSchwartz͸ඇಉظʹ͔͠࢖͑ͳ͍ͨΊɺ ॊೈʹॲཧ͕Ͱ͖ΔΑ͏ʹͳΔ
13. WorkerManagerʹΑΔϫʔΧʔͷ؅ཧ • TheSchwartz΍Gearman୯ମͰɺγϯϓϧͳ δϣϒΩϡʔγεςϜͱͯ͠͸े෼໊ػೳΛඋ ͍͑ͯΔ • ϫʔΧʔϓϩηεΛࡉ੍͔͘ޚ͠Α͏ͱ͢Δ ͱɺ୯ମͰ͸αϙʔτͯ͠ͳ͍ • ͳͷͰɺ͸ͯͳͰ͸ࣗલͰWorkerManagerΛ ։ൃ͠ϫʔΧʔϓϩηεͷ؅ཧʹ࢖༻͍ͯ͠ Δ
14. WorkerManagerͷػೳ • TheSchwartz΍GearmanΛϥοϐϯά͠ɺͰ ͖Δ͚ͩগͳ͍มߋͰ྆ํʹରԠͤ͞Δ • ઃఆϑΝΠϧʹΑΔϫʔΧʔΫϥεͷఆٛ • ϫʔΧʔϓϩηεͷϥΠϑαΠΫϧ؅ཧ • ϫʔΧʔϓϩηεͷϓϩηε਺ͷ؅ཧ • ϩάΛग़ྗ͢Δ http://blog.stanaka.org/entry/20091023/1256252946
15. ϩά͔Βͷ෼ੳ • ϫʔΧʔ͕δϣϒΛॲཧͨ͠ࡍͷλΠϜελ ϯϓΛه࿥͍ͯ͠Δ • TheSchwartzͷ৔߹ɺδϣϒͷॲཧ࣌ؒ (process)ͱɺδϣϒ͕౤ೖ͞Ε͔ͯΒ࣮ࡍʹ ॲཧ͕ߦΘΕΔ·Ͱͷ஗Ԇ࣌ؒ(delay)Λه࿥ ͢Δ • ౤ೖ͞ΕΔδϣϒͷछྨͱྔʹରͯ͠ϫʔΧʔ ͷॲཧೳྗ͕े෼͔Ͳ͏͔Λ֬ೝͰ͖Δ
16. -FTTPO
    
    ετϨʔδͷબ୒
17. ૿େ͢ΔσʔλΛͲ͏อଘ͢Δ͔ • WebΞϓϦέʔγϣϯʹ͓͍ͯɺ૿େ͢Δ σʔλΛͲͷΑ͏ʹอଘ͢Δ͔ɺͱ͍͏໰୊ ͸Ӭԕͷ՝୊ • ਺ඦGBɺTBΛ௒͑ΔσʔλΛѻ͏ετϨʔδ ͸ɺߏ੒มߋ΍ΞΫηεύλʔϯͷมԽͰɺ Ԡ౴଎౓ͷྼԽ͕ى͜Δ • σʔλྔ΍εΩʔϚɺΞΫηεύλʔϯʹ߹Θ ͤͨετϨʔδ࣮૷͕ॏཁ
18. WebΞϓϦέʔγϣϯͱετϨʔδ • ετϨʔδ͸ɺʮΞϓϦέʔγϣϯͷσʔλ ΛӬଓతʹɺ΋͘͠͸ɺҰ࣌తʹอଘ͢Δͨ Ίͷػೳʯ • ΞϓϦέʔγϣϯͰѻ͏σʔλͱݴͬͯ΋͞ ·͟·ͳಛੑͷ΋ͷ͕͋Δ ඞཁͳ৴པ ੑ αΠζ ߋ৽ස౓ छྨ ϒϩάຊจ ߴ খ ௿ ΦϦδφϧσʔλ σδΧϝͷࣸਅ ߴ େ ௿ ΦϦδφϧσʔλ ݕࡧ༻ΠϯσοΫε த த ߴ Ճ޻σʔλ )5.-੔ܗޙͷຊจ ௿ খ ௿ Ωϟογϡ
19. ద੾ͳετϨʔδબ୒ͷ೉͠͞ • ετϨʔδͷઃܭͱ࣮૷͸ଟ਺ଘࡏͯ͠Δ • ίετͱύϑΥʔϚϯεͱ҆ఆੑͷόϥϯε Λߴ͍࣍ݩͰୡ੒͢ΔͨΊʹ͸ɺ֨ೲ͍ͨ͠ σʔλͷಛੑʹ߹ͬͨετϨʔδΛબ୒͢Δ ඞཁ͕͋Δ • αʔϏε։࢝ޙͷετϨʔδͷมߋ͸೉͍͠ • Ͱ͖Δ͚ͩಛੑʹ͋ͬͨετϨʔδΛબͼͨ ͍
20. ετϨʔδબ୒ͷલఏͱͳΔ৚݅ • ΞϓϦέʔγϣϯ͔ΒͷΞΫηεύλʔϯͷࢦඪ • ฏۉαΠζ • ࠷େαΠζ • ৽ن௥Ճස౓ • ߋ৽ස౓ • ࡟আස౓ • ࢀরස౓ • ৴པੑɺো֐Ϩϕϧɺϋʔυ΢ΣΞɺ༧ࢉͳͲ
21. ετϨʔδͷछྨ • RDBMS : MySQLɺPostgreSQL • ෼ࢄkey-valueετΞ : memcachedɺ TokyoTyrant • ෼ࢄϑΝΠϧγεςϜ : MogileFSɺ GlusterFSɺLustre • ͦͷଞ : NFSܥ෼ࢄϑΝΠϧγεςϜɺ DRBDɺHDFS
22. 3%#.4
23. RDBMS • දܗࣜͰσʔλΛอଘ͠ɺଟ͘͸SQLݴޠʹ ΑΓσʔλૢ࡞Λߦ͏γεςϜ • ͸ͯͳͰ͸ɺMySQLΛ൚༻ετϨʔδͱͯ͠ ࢖༻ • RDBMSͷ࣮૷͸ɺ֤ʑบ͸͋Δ͕ɺػೳతɾ ੑೳతʹ͸፰߅͍ͯ͠Δ
24. MySQL • SQLΛղऍ࣮͠ߦ͢ΔػೳϒϩοΫ • ࣮ࡍʹσʔλΛอ؅͢ΔػೳϒϩοΫ • ޙऀͷػೳϒϩοΫ͸ετϨʔδΤϯδϯ • ओཁͳ΋ͷʹMyISAMͱInnoDB SQLͷղऍɾ࣮ߦ ύʔα ΦϓςΟ ϚΠβ Ωϟογϡ όοϑΝ ؅ཧ ػೳ ετϨʔδΤϯδϯ MyISAM InnoDB Maria ŋŋŋ
25. MySQL • ετϨʔδΤϯδϯ͸σʔλͷಡΈॻ͖୲౰
26. MyISAM • MySQL5.1ͷඪ४ετϨʔδΤϯδϯ • 5.5Ҏ্Ͱ͸InnoDB͕ඪ४ • 1ςʔϒϧ͕࣮ࡍͷϑΝΠϧγεςϜ্Ͱ3ͭ ͷϑΝΠϧ(ఆٛɾΠϯσοΫεɾσʔλ)ͱ͠ ͯදݱ
27. MyISAM • ϝϦοτ • աڈupdate΋delete΋ͨ͜͠ͱ͕ͳ͍ ςʔϒϧʹର͢Δinsert͕ߴ଎ • ىಈɾఀࢭ΋ߴ଎ • ςʔϒϧͷҠಈ΍໊લมߋ͕ϑΝΠϧγε ςϜૢ࡞Ͱ௚઀Ͱ͖Δ • DBͷӡ༻͸༰қ
28. MyISAM • σϝϦοτ • DBϓϩηε͕ҟৗऴྃ͢Δͱɺςʔϒϧ ͕ഁଛ͢ΔՄೳੑ͕ߴ͍ • τϥϯβΫγϣϯػೳ͕ͳ͍ • updateɺdeleteɺinsert͕ςʔϒϧϩοΫ ͱͳ͍ͬͯΔͨΊɺߋ৽͕ଟ͍༻్ʹ͸ෆ ར
29. InnoDB • MySQL5.5Ҏ্ͷඪ४ετϨʔδΤϯδϯ • ϝϦοτ • ετϨʔδΤϯδϯશମͰࣄલʹఆٛͨ͠ গ਺ͷϑΝΠϧʹσʔλΛอଘ͢Δ • τϥϯβΫγϣϯʹରԠ͍ͯ͠Δ • ҟৗऴྃ࣌ͷϦΧόϦػೳ͕͋Δ • σʔλߋ৽͕ϨίʔυϩοΫ
30. InnoDB • σϝϦοτ • ىಈɾఀࢭ͕σʔλྔʹΑͬͯ͸਺෼୯Ґ Ͱ͔͔Δ • ςʔϒϧૢ࡞͸શͯDBܦ༝ͰߦΘͳ͍ͱ ͍͚ͳ͍
31. MyISAMͱInnoDBͷϩοΫͷཻ౓ • ϩοΫͱ͸ɺෳ਺ͷΫϥΠΞϯτ͔Βಉ࣌ʹϨ ίʔυߋ৽ͷϦΫΤετ͕དྷͨ࣌ʹɺετϨʔ δΤϯδϯ͸ߋ৽ର৅ͷςʔϒϧ΍Ϩίʔυʹର ͯ͠ॻ͖ࠐΈ΍ಡΈࠐΈΛҰ࣌తʹࢭΊΔΑ͏ʹ ໋ྩΛग़͢͜ͱ • InnoDB͸ର৅ͷϨίʔυʹରͯ͠ϩοΫ • MyISAM͸ର৅ͷςʔϒϧʹରͯ͠ϩοΫ • InnoDBͩͱಉ͡ςʔϒϧͰ΋ҟͳΔϨίʔυͳ Βಉ࣌ʹϦΫΤετΛॲཧͰ͖Δ
32. MariaͳͲ • Maria͸MyISAMͷޙܧετϨʔδΤϯδϯ • τϥϯβΫγϣϯػೳͱҟৗऴྃ࣌ͷϦΧό ϦػೳΛ͍࣋ͬͯΔ • ଞʹ͸ɺFalconɺNDBɺHeapͳͲ
33. MyISAM vs InnoDB • MyISAMͱInnoDBͷൺֱ • έʔεόΠέʔε • 1ͭͷαʔόͷ্Ͱ͸ࠞࡏ͢΂͖Ͱ͸ͳ͍ ΞΫηεύλʔϯ దͨ͠ετϨʔδΤϯδϯ ௥ه͔͠͠ͳ͍ .Z*4". ߋ৽ස౓͕ߴ͍ *OOP%# τϥϯβΫγϣϯ͕ඞཁ *OOP%# 4&-&$5
    $06/5 Λ࢖༻ .Z*4".
34. MariaͳͲ • Maria͸MyISAMͷޙܧετϨʔδΤϯδϯ • τϥϯβΫγϣϯػೳͱҟৗऴྃ࣌ͷϦΧό ϦػೳΛ͍࣋ͬͯΔ • ଞʹ͸ɺFalconɺNDBɺHeapͳͲ
35. ෼ࢄLFZWBMVFετΞ
36. ෼ࢄkey-valueετΞ • key-valueετΞΛωοτϫʔΫରԠͤͯ͞ɺଟ਺ͷ αʔόʹεέʔϧͤ͞ΔػೳΛ࣋ͬͨ΋ͷ • RDBMSʹൺ΂ͯػೳ͸ྼΔ͕ɺύϑΥʔϚϯε͸1ܻ ~2্ܻ • ༗໊ͳ࣮૷͕memcached • ΦϯϝϞϦͰಈ࡞͢ΔͨΊۃΊͯߴ଎ • ࠷ۙਓؾͳͷ͕TokyoTyrant • σΟεΫ্ʹDBϑΝΠϧΛ࣋ͭKVSͰɺ࠶ىಈͯ͠΋ σʔλ͕อଘ͞Ε͍ͯΔ
37. memcached • ෼ࢄΞϧΰϦζϜΛΫϥΠΞϯτϥΠϒϥϦ ʹ࣮૷͍ͯ͠Δ ΞϓϦέʔγϣϯ ΫϥΠΞϯτϥΠϒϥϦ memcached αʔό memcached αʔό memcached αʔό
38. memcached • ΦϯϝϞϦ͔ͩΒߴ଎ɺ͚ͩͲϓϩηε࠶ى ಈͰσʔλ͕ফ͑Δ • ΦϦδφϧσʔλͷอଘ͸ͩΊ • ࠷ੜ੒ʹ͕͔͔࣌ؒΔՃ޻σʔλͷ֨ೲʹ΋ ద͞ͳ͍͜ͱ͕͋Δ • ࠷΋ద͍ͯ͠Δͷ͕Ωϟογϡσʔλ
39. memcached • Ωϟογϡʹݶఆ͢Δͱαʔόʹ͸ϝϞϦΛ ୔ࢁࡌ͓͚ͤͯ͹͍͍ • ͦ͜·ͰCPU΍IOੑೳ͕͍Βͳ͍ • ҆Ձͳϋʔυ΢ΣΞΛฒ΂ͯɺߴՁͳϋʔυ ΢ΣΞΛཁٻ͢ΔRDBMSͷ୆਺ΛݮΒ͢͜ͱ ͕Ͱ͖Δ
40. TokyoTyrant • ϩʔΧϧͰಈ࡞͢ΔKVSͰ͋ΔTokyoCabinet ΛωοτϫʔΫରԠ࣮ͤͨ͞૷ • σΟεΫʹσʔλΛॻ͖ग़͢͜ͱͰσʔλΛ ӬଓԽ • σʔλͷ৑௕ੑΛߴΊΔͨΊͷϨϓϦέʔγϣ ϯػೳΛ࣮૷ • σΟεΫΞΫηε͕ൃੜ͢Δ෼ɺmemcached ΑΓྼԽ͢Δ͕ɺRDBMSΑΓ͸ߴ଎
41. ෼ࢄϑΝΠϧγεςϜ
42. ෼ࢄϑΝΠϧγεςϜ • ϑΝΠϧγεςϜͷಛੑ্ɺ௨ৗ͸͋Δఔ౓ Ҏ্ͷαΠζͷσʔλΛอଘ͢Δͷʹదͯ͠ Δ • ࡉ͔͍σʔλ͕େྔʹ͋Δ༻్ʹ͸޲͔ͳ͍ ͜ͱ͕ଟ͍
43. MogileFS • ൺֱతখ͍͞େྔͷϑΝΠϧΛѻ͏ͷ͕໨త τϥοΧʔ DB ΞϓϦέʔγϣϯ ഑৴αʔό ετϨʔδ
44. MogileFS • େྔͷ਺KBʙ਺ेMBఔ౓ͷը૾ϑΝΠϧΛ ޮ཰తʹ֨ೲ͠ɺऔಘ͢Δ͜ͱ͕໨త • جຊతʹσʔλ͸௥Ճ͞Εͨޙ͸ߋ৽͞Εͣɺ ࢀর͞ΕΔͷΈ • ը૾ͷΞοϓϩʔυΛड͚෇͚ΔΑ͏ͳWeb ΞϓϦέʔγϣϯʹ޲͍͍ͯΔ
45. NFSܥ෼ࢄϑΝΠϧγεςϜ • ੲ͔Β͋Δ • ͋ΔαʔόͷϑΝΠϧγεςϜΛଞͷαʔό͔ ΒϚ΢ϯτͯ͠ɺͦͷαʔόͷϩʔΧϧϑΝΠ ϧγεςϜͱಉ༷ʹૢ࡞Ͱ͖ΔΑ͏ʹ͢Δٕ ज़ • ؆୯ • վྑ൛΋͋Γ·͢
46. WebDAVαʔό • ෆ҆ఆ͔͞Βͷো֐Λආ͚͍ͨ࣌ʹ࢖͑Δ • HTTPϕʔεͷϓϩτίϧ • ΞϓϦέʔγϣϯϨΠϠͰ࣮૷ • ΑΓ҆ఆͯ͠Δ • Ұ࣌తʹ͔͠ඞཁ͕ͳ͍σʔλͷஔ͖৔ʹద ͍ͯ͠Δ
47. DRBD • Distributed Replicated Block Device • ωοτϫʔΫϨΠϠͰͷRAID • ϒϩοΫσόΠεϨϕϧͰ෼ࢄɾ৑௕Խ • RAID1ΛωοτϫʔΫ্Ͱ࣮ݱ
48. HDFS • Hadoop Distributed File System • Hadoop༻ʹઃܭ͞Εͨ෼ࢄϑΝΠϧγεςϜ • ϑΝΠϧΛ64MB͝ͱʹ෼ׂ֨ೲ͠ɺ਺ඦ MBʙ਺ेGBͷڊେͳσʔλΛ֨ೲ͢Δ • Ϩεϙϯε͕஗͍ͨΊɺϦΞϧλΠϜੑ͸௿͍ • ڊେͳϑΝΠϧΛҰؾʹॲཧ͢Δͷʹ޲͍ͯ Δ
49. ετϨʔδͷબ୒ઓུ
50. ετϨʔδͷબ୒ઓུ • ετϨʔδ͸ଟछଟ༷ • ΞϓϦέʔγϣϯͷಛੑʹ߹Θͤͯద੾ͳ΋ ͷΛબͿͷ͸ࠔ೉ • બ୒ͨ͠ޙ΋ઃఆɾνϡʔχϯάͳͲ΍Δ͜ ͱ͕୔ࢁ • ৗʹύϑΥʔϚϯεΛ؂ࢹ͠ଓ͚Δ͜ͱ͕େ ࣄ
51. ετϨʔδͷબ୒ϑϩʔνϟʔτ σʔλ͕ڊେ Yes No ͱΓ͋͑ͣ MySQL MyISAM ݕࡧ͢Δ࣌ ͷΩʔ͸1ͭ ϝσΟΞ? MogileFS ͰΨν ॻ͖ࠐΈ͸ ଟ͍ʁ ফ͑ͯ΋ ͍͍ʁ memcached TokyoTyrant MySQL MyISAM MySQL InnoDB
52. -FTTPO
    
    ΩϟογϡγεςϜ
53. 8FCΞϓϦέʔγϣϯͷෛՙͱ ϓϩΩγΩϟογϡγεςϜ
54. WebΞϓϦέʔγϣϯͷෛՙͱϓϩΩγ/ΩϟογϡγεςϜ • WebΞϓϦέʔγϣϯͷෛՙ͕૿େ͠ɺγε ςϜ༰ྔ͕ෆ଍͖ͯͨ࣌͠͸ɺAPαʔό΍DB αʔόΛ૿ઃ͢Δ͜ͱͰ΋ରԠͰ͖Δ • HTTPϨϕϧͷΩϟογϡΛߦ͏HTTPΞΫη ϥϨʔλΛ࢖༻͢Δ͜ͱͰɺ௿ίετͰޮՌ ͷߴ͍ରࡦ͕Ͱ͖Δ
55. HTTPΞΫηϥϨʔλ • ϑΥϫʔυϓϩΩγ • ΫϥΠΞϯτ͕֎෦ͷαʔόʹΞΫηε͢ ΔࡍʹڬΉϓϩΩγ ֎෦ωοτϫʔΫ ϑΥϫʔυϓϩΩγ ΫϥΠΞϯτ
56. HTTPΞΫηϥϨʔλ • ϦόʔεϓϩΩγ • ֎෦ͷΫϥΠΞϯτ͕಺෦ͷαʔόʹΞΫ ηε͢Δࡍʹڬ·ΕΔϓϩΩγ αʔό ϦόʔεϓϩΩγ ΫϥΠΞϯτ
57. HTTPΞΫηϥϨʔλ • ϦΫΤετʹର͢ΔϨεϙϯεΛΩϟογϡ ͓͖ͯ͠ɺಉ͡ϦΫΤετ͕ಧ͍ͨ࣌ʹΩϟο γϡ͓͍ͯͨ͠ϨεϙϯεΛฦ٫Ͱ͖Δ • ଳҬ΍αʔόϦιʔεΛফඅͤͣʹߴ଎ʹϦ ΫΤετॲཧ͕Ͱ͖Δ • ϦόʔεϓϩΩγͰͷΩϟογϡαʔόΛޮՌ తʹར༻͢Δ͜ͱͰɺϦιʔεͷফඅΛ཈͑ ͭͭɺେྔͷϦΫΤετΛॲཧͰ͖Δ • ߋ৽ස౓ͷ௿͍ಈతϖʔδ͕ଟ͍࣌༗ޮ
58. ϦόʔεϓϩΩγΩϟογϡαʔό • ࣮૷ͱͯ͠࠷΋༗໊ͳͷ͸Squid • ઃܭ͕ݹ͘ͳ͖͔ͬͯͨΒ࠷ۙͷϚϧνίΞΞʔ ΩςΫνϟͰ͸ͪΐͬͱͭΒ͍ • HTTPɺHTTPSɺFTP༻ͷଟػೳϓϩΩγ • ڧྗͳΩϟογϡػೳ • Varnish͸SquidΑΓߴ଎
59. 4RVJE
    جຊతͳߏ੒
60. Squid • ϦόʔεϓϩΩγ͔ΒAPαʔό΁సૹ͞Εͯ ͍ͨϦΫΤετͷҰ෦ΛΩϟογϡαʔόͰ ॲཧͰ͖ͯɺγεςϜͷੑೳ্͕͕Δ ϦΫΤετ APαʔό Squid Ωϟογϡαʔό ϦόʔεϓϩΩγ
61. Squid ϝϦοτ • ฏৗ࣌͸ɺҰఆׂ߹ͷϦΫΤετΛΩϟογϡ Ͱฦ٫͢Δ͜ͱͰAPαʔό΁ૹΒΕΔϦΫΤ ετ਺ΛݮΒͤΔɻ • APαʔόͷ୆਺૿ՃΛ཈͑ͨΓɺ࡟ݮͨ͠Γ Ͱ͖Δ • Ωϟογϡαʔόͷ΄͏͕1ϦΫΤετ͋ͨΓ ͷαʔόϦιʔε͕গͳ͍ͷͰɺγεςϜશମ Ͱফඅ͞ΕΔϦιʔεΛઅ໿Ͱ͖Δ
62. Squid ϝϦοτ • ΞΫηεूத࣌͸ɺ๲େͳϦΫΤετʹΑͬ ͯγεςϜશମͷΩϟύγςΟΛ௒͑ͯ͠·͏ ͜ͱΛ๷ࢭ͢Δ • ͦͷͨΊʹΩϟογϡαʔόʹ͓͍ͯΞΫη ε͕ूதͨ͠ίϯςϯπΛΩϟογϡ͢Δ • ΞΫηε͕ಛఆͷίϯςϯπʹूத͢Δ࣌͸ ޮՌతʹΩϟογϡ͕Մೳ
63. ෳ਺୆Ͱ෼ࢄ͢Δ • SquidαʔόΛ2୆ฒ΂Δ͜ͱͰ৑௕ੑΛ࣋ͨ ͤΔ • 2୆ͷαʔόΛ࿈ܞͯ͠ಈ࡞ͤ͞Δ͜ͱͰ࠷΋ ޮ཰Α͘ಈ࡞ͤ͞ΒΕΔ • ICP(Inter-Cache-Protocol)Λ࢖͏ͱɺ2୆ͷ αʔόؒͰίϯςϯπΛอ࣋ͯ͠ͳ͍͔໰͍ ߹Θ͕ͤͰ͖Δ
64. ೋஈߏ੒ͷΩϟογϡαʔό • ্ஈͷSquidϓϩΩγͰϦΫΤετड͚෇͚ • ԼஈͷSquidΩϟογϡαʔόʹϦΫΤετΛ సૹ SquidϓϩΩγ SquidϓϩΩγ Squid Squid Squid
65. COSSͬͯͳʹ • Cyclic Object storage system • SquidͷΩϟογϡετϨʔδI/Oͷ͘͠Έͷ Ұͭ • ύϑΥʔϚϯε͕ߴ͍
66. COSSαΠζͷܾఆํ๏ • Ωϟογϡͷώοτ཰ΛߴΊΔʹ͸ɺे෼ͳ Ωϟογϡ༰ྔ͕ඞཁ • Ωϟογϡ༰ྔ͸େ͖͗ͯ͢΋σϝϦοτ͕ • ॳظىಈͳͲͷCOSSϑΝΠϧͷ࡞੒ʹ࣌ؒ ͕͔͔Δ • αʔό࠶ىಈʹΑΓϝϞϦ͕ΫϦΞ͞ΕΔ ͱɺύϑΥʔϚϯε͕҆ఆ͢Δ·Ͱ͕࣌ؒ ͔͔Δ • σΟεΫ༰ྔΛѹഭ͢Δ
67. COSSαΠζͷܾఆํ๏ • খ͗ͯ͢͞΋ώοτ཰͸௿Լ͢Δ • ࠷దͳ༰ྔ͸ɺ[1ඵ͋ͨΓʹอଘ͞ΕΔΦϒ δΣΫτ਺]×[ΦϒδΣΫτͷฏۉαΠζ]×[Φ ϒδΣΫτͷฏۉ༗ޮ࣌ؒ(ඵ)] • ͸ͯͳͰ͸ɺςΩετओମͷ৔߹ɺ਺GBఔ౓ • ϝσΟΞओମͷ৔߹ɺ਺ेʙ਺ඦेGB
68. ౤ೖ࣌ͷ஫ҙ • ແ଄࡞ʹϩʔυόϥϯαʹ৽͍͠αʔόΛՃ ͑ͯ͸͍͚ͳ͍ • ࣄલʹ΢ΥʔϜΞοϓ͓ͤͯ͘͞ඞཁ͕͋Δ • ͦ͜·Ͱೖ೦ͳ४උΛ͢Δ༨༟͕ແ͍৔߹Ͱ ΋τϥϑΟοΫͷൺ཰Λগͳ͓ͯ͘͘͠΄͏ ͕ྑ͍
69. 7BSOJTI
70. Varnish • ϦόʔεϓϩΩγͱͯ͠ͷΩϟογϡαʔόʹ ಛԽ࣮ͨ͠૷ varnished (ຊମ) varnishadm / telnet ؅ཧ ΠϯλʔϑΣʔε Ϩεϙϯε ϦΫΤετ ڞ༗ϝϞϦ ϩάॻ͖ग़͠ σΟεΫ varnishnsca / varnishlog
71. VarnishͰؾΛ͚ͭΔϙΠϯτ • ΦϒδΣΫτ͸mmapʹΑΔσΟεΫ্ͷϑΝ Πϧʹอଘ͞ΕΔɻ·ͨɺϓϩηεͷ࠶ىಈ ͰΩϟογϡ͸શࣦͯΘΕΔ • جຊతͳઃఆ͸ίϚϯυϥΠϯΦϓγϣϯͰ ༩͑ɺϓϩΩγͱͯ͠ͷϧʔϧ͸ઃఆϑΝΠ ϧʹهड़ • ୯ମͰ͸ϩά͕ॻ͖ग़ͤͳ͍ͷͰɺڞ༗ϝϞ Ϧ্ʹॻ͖ग़͢
72. VarnishͰؾΛ͚ͭΔϙΠϯτ • ࠶ىಈͰΩϟογϡ͕શࣦͯΘΕΔɺͱ͍͏ ͜ͱ͸ಛʹؾΛ͚ͭΔϙΠϯτ • ࠶ىಈ௚ޙ͸Ωϟογϡώοτ཰͸0ʹͳΓɺ શͯͷϦΫΤετ͕APαʔόʹసૹ͞ΕΔ • SquidҎ্ʹ஫ҙਂ͘࠶ىಈɾ౤ೖ͢Δ͜ͱ͕ ඞཁ • Varnish͸࠷௿3୆Ҏ্Ͱӡ༻͠Α͏
73. -FTTPO
    
    ܭࢉΫϥελ
74. େྔϩάσʔλͷฒྻॲཧ • େن໛WebαʔϏεΛӡӦ͍ͯ͠Δͱϩά σʔλ΋େྔ͗ͯ͢΍͹͍ʂ • ͦͷϩάσʔλΛಡΈࠐΉ͚ͩͰ΋େมʂ • ͔ͦ͜Β౷ܭॲཧ΍ղੳΛ͢Δͷ͸ۃΊͯେ ྔͷܭࢉϦιʔε͕ඞཁʂ • ͔ͩΒฒྻॲཧ͠Α͏ʂ
75. .BQ3FEVDF
76. MapReduceͷܭࢉϞσϧ • ͸ͯͳͰ͸ɺHadoopͱ͍͏MapReduceͷ Φʔϓϯιʔε࣮૷Λ࢖༻ • MapReduce͸ɺڊେͳσʔλΛߴ଎ʹฒྻ͠ ͯॲཧ͢Δ͜ͱ͕໨త • ଟ਺ͷܭࢉϊʔυ͔Βߏ੒͞ΕͨΫϥελͱ େྔͷσʔλΛ෼ࢄͯ֨͠ೲ͢ΔͨΊͷ෼ࢄ ϑΝΠϧγεςϜ͔Βߏ੒͞Ε͍ͯΔ
77. MapReduceͷܭࢉϞσϧ • MapεςοϓͱReduceεςοϓ ೖྗ σʔλ ग़ྗ σʔλ தؒ σʔλ ϊʔυ ϊʔυ ϊʔυ ϊʔυ Ϛελ ॲཧͷࢦࣔ σʔλͷྲྀΕ Reduce εςοϓ Map εςοϓ ෼ࢄ ϑΝΠϧ γεςϜ ෼ࢄ ϑΝΠϧ γεςϜ
78. MapReduceͷܭࢉϞσϧ • େྔͷೖྗσʔλͷಡΈग़͕͠ϘτϧωοΫ ͱͳΔ • MapReduce͸ɺ෼ࢄϑΝΠϧγεςϜͱซ༻ ͢Δ͜ͱ͕ॏཁ • ڊେͳϑΝΠϧΛ਺ेMBʹ෼ׂ͠ɺϊʔυʹ σʔλΛ෼ࢄ഑ஔ͓ͯ͘͠ • ॲཧ͢Δࡍʹ͸ɺϩʔΧϧʹσʔλ͕͋Δϊʔ υͰॲཧ͢Δ
79. )BEPPQ
80. Hadoop • ਤA.11Ͱ͸ɺ47GBͷσʔλ͕4,303ݸͷMap λεΫʹ෼ׂ͞Ε࣮ͯߦ͞Εɺ1ͭͷReduce λεΫʹू໿͞Εͯॲཧ͞ΕΔ • MapReduceͱରʹͳΔ෼ࢄϑΝΠϧγεςϜ ͸GFS • HadoopͰ͸ɺͦͷΦʔϓϯιʔε൛ͷHDFS