第2回HPC OPS 研究会 https://bit.riken.jp/2018/06/2nd-hpc-ops-mtg/
)BDPOJXB'BTU$POUBJOFSΫϥυωΠςΟϒʁۙ౻Ӊஐ࿕(.01FQBCP *ODୈճ)1$014ݚڀձίϯςφϥϯλΠϜͱ ΞʔΩςΫνϟΛ৽نʹ։ൃͨ݁͠Ռ ݟ͖͑ͯͨੈքʹ͍ͭͯ
View Slide
γχΞɾϓϦϯγύϧΤϯδχΞۙ౻ Ӊஐ࿕ / @udzurahttps://blog.udzura.jp/Uchio Kondoٕज़෦ ٕज़ج൫νʔϜ
भେֶใج൫ݚڀ։ൃηϯλʔͱڞಉݚڀத
ܰྔίϯςφʹجͮ͘ ॊೈͳϗεςΟϯάɾΫϥυ ج൫ͷݚڀ։ൃͱ େنɾߴෛՙςετڥͷߏஙIUUQTSBOEQFQBCPDPNTMJEFTJPUQSPDFFEJOHLBTBIBSBQEG
8FCϗεςΟϯά
-JOVYίϯςφͷΈʹ͍ͭͯ
-JOVYίϯςφϓϩηεͰ͋Δw-JOVYͷίϯςφػೳΛ༗ޮʹͨ͠ϓϩηεͱͰݴ͏͖͔ϓϩηεࢠϓϩηε৽͍͠ϓϩάϥϜGPSL FYFDWF XBJU GPSL ͱFYFDͷ࣮ߦͷؒʹɺϓϩηεͷଐੑΛมߋ͢Δ͜ͱ͕Ͱ͖Δ
-JOVYͷίϯςφؔ࿈ػೳ[email protected]w-JOVYOBNFTQBDFw$(SPVQw,FSOFM$BQBCJMJUZwTFDDPNQw."$BQQBSNPS04Ϧιʔεͷݖݶɾػೳͷ੍ݶΞΫηείϯτϩʔϧ04Ϧιʔεͷར༻੍ݶ
Ұ෦Λհ
ྫ-JOVY/BNFTQBDFwΧʔωϧͷ෦ʹ໊લۭؒΛ࡞ΓɺຊདྷάϩʔόϧͳϦιʔεΛผʑʹ࡞Δwϗετ໊ɺϢʔβ໊ɺ1*%ɺ *1$ϦιʔεɺωοτϫʔΫɺ ϚϯτϙΠϯτใɺ DHSPVQ
1*%/BNFTQBDFͷྫw%PDLFSͰ͋Δίϯςφͷʮதʯʹ
1*%/BNFTQBDFͷྫwίϯςφͷʮ֎͔ΒʯͷϓϩηεπϦʔͱൺΔ
ྫDHSPVQwϓϩηεΛάϧʔϐϯά͠ɺͦͷ୯ҐͰ$16ɺϝϞϦɺͦͷଞϦιʔεͷར༻ͷ੍ݶΛͨ͠Γɺ౷ܭใΛऔಘ͢Δwϓϩηε੍ݶͷྫwGPSLCPNCΛൃੜͤͯ͞ϗετΛམͱ͞ͳ͍
ྫ,FSOFM$BQBCJMJUZwεʔύʔϢʔβͷݖݶΛׂ͠ɺҰ෦ͷΈΛୣ͏༩͢Δwݸ΄Ͳଘࡏ͢Δ
ྫTFDDPNQwγεςϜίʔϧݺͼग़͠ΛϑΟϧλϦϯά͢Δɻݺͼग़͠ͷېࢭτϥοϓϩάͳͲwH7JTPSͷྫTFDDPNQͰϓϩηεͷγεςϜίʔϧΛΩϟον͠ɺ҆શͳͷʹϢʔβϥϯυͰஔ͖͑ΔɻϋΠύʔόΠβతͳΈΛ࣮ݱw$3*6ͱΈ߹ΘͤΔྫΛޙड़
ηΫγϣϯ·ͱΊwίϯςφɺҰൠͷ-JOVYͷϓϩηεʹಛघͳૢ࡞Λͯ͠ίϯςφԽͨ͠ͷͱଊ͑Δ͜ͱ͕Ͱ͖Δw-JOVYΧʔωϧͷίϯςφԽͷͨΊͷػೳෳଘࡏ͢Δɺجຊతʹɺ୯ମͰར༻Ͱ͖ɺ࣮ݧ͢Δ͜ͱ͕Մೳw%PDLFSͷΑ͏ͳίϯςφϥϯλΠϜΛ؍͢Δͱɺͦͷػೳ͕ཧղͰ͖Δ
)BDPOJXBΛ։ൃͨ͠ܦҢ
ॴଐձࣾͷ1BB4ͷӡ༻wٕज़ج൫νʔϜͱͯ͠ࢧԉΛߦ͍ӡ༻Λఆతʹר͖औͬͨwӡ༻্ͷwઃఆϑΝΠϧͷݟ௨͠ͷѱ͞JOJϑΝΠϧʹɺDIFG&3#ͰύϥϝʔλೖwಈతͳϦιʔεͷมߋઃఆΛॻ͖͑ͯ࠶ىಈwຊɺϗεταʔόͷঢ়گʹԠͯ͡Λม͍͑ͨ
ॴଐձࣾͷ1BB4ͷӡ༻wٕज़ج൫νʔϜͱͯ͠ࢧԉΛߦ͍ӡ༻Λఆతʹר͖औͬͨwӡ༻্ͷwઃఆϑΝΠϧͷݟ௨͠ͷѱ͞JOJϑΝΠϧʹɺDIFG&3#ͰύϥϝʔλೖwಈతͳϦιʔεͷมߋઃఆΛॻ͖͑ͯ࠶ىಈwຊɺϗεταʔόͷঢ়گʹԠͯ͡Λม͍͑ͨෳࡶͳ͕݅བྷΈ߹͏ίϯςφͷઃఆΛΘ͔Γ͍ͨ͘͢͠ίϯςφ͕ࣗɺঢ়گʹରԠͯ͠ಈతʹࣗͷઃఆΛมߋ͢Δ
)BDPOJXBͷൃ
)BDPOJXBͷಛwNSVCZʹΑΔ%4-ͰɺઃఆΛهड़͢Δ͜ͱ͕Ͱ͖ΔwલͷষͰઆ໌༷ͨ͠ʑͳ-JOVYίϯςφػೳΛར༻ऀ͕ίʔσΟϯάͰΈ߹ΘͤΔ͜ͱ͕Ͱ͖Δw༷ʑͳΠϕϯτʢىಈɺఀࢭɺྫ֎ɺىಈޙ9NTFDܦաޙɺγάφϧͳͲʣʹԠͨ͡ϑοΫϙΠϯτΛ͓࣋ͬͯΓɺॲཧΛϓϩάϥϛϯάͰ͖Δ
NSVCZͱ͍͏ݴޠwΈࠐΈ͚ɺͱ͍͏ಛͷ෭࢈ͱͯ͠ɺ$ݴޠͷ"1*͕ચ࿅͞Εɺ αʔόͷΈࠐΈόΠϯσΟϯάͷ࡞͕༰қʹͳ͍ͬͯΔwݴޠͷಛʢ෦ઃܭʁʣͱͯ͠-VBʹඇৗʹ͍ۙw͔͠͠ɺ3VCZΒ͍͠ϝλϓϩάϥϛϯά͕ՄೳͰ͋ͬͨΓɺNSVCZHFNʹΑΔΤίγεςϜ͕ଘࡏ͢ΔͳͲͷڧΈ͕͋Δ
3VCZ,BJHJ
ηΫγϣϯ·ͱΊw͍ΘΏΔ1BB4αʔϏεͷӡӦʹ͓͍ͯɺ࣌ͷίϯςφʹෆຬ͕͋ͬͨ͜ͱ͕େ͖ͳ͖͔͚ͬʢ͋ͱɺڵຯͱ3VCZ,BJHJग़ͨ͞ʣ
ϚωʔδυΫϥυʹ)BDPOJXBΛ࠾༻ͨ͠ܦҢ
ʮϗεςΟϯάʯwϖύϘͷಉ྅দຊʹΑΔطଘͷ8FCϗεςΟϯάͷઌΛߦ͘ߏwߴػೳ͔ͭेՁ֨ͰͷఏڙɺίϯςφΛ༻͍ͯࣗ༝Λߴ͘ɺ
)BDPOJXBͷొwۃΊͯಈతͳੑ࣭Λ࣋ͬͨίϯςφ͕࡞Ͱ͖Δɻ·ͨɺίϯςφͷ෦ʹؔ͢ΔϊϋࣗͨͪͷͷʹͰ͖Δw͜ͷίϯςφΛར༻͢Ε৽͍͠ϗεςΟϯάͷߏ͕࣮ݱͰ͖ΔͷͰͳ͍͔ɺͱͳΓɺϓϩδΣΫτ͕࢝ΊΒΕͨ
ҰํͰwϗεςΟϯάαʔϏεͱͯ͠ͷ՝·ͩ·ͩଘࡏͨ͠ ϗεςΟϯάαʔϏεͱͯ͠ݱ࣮తͳՁ֨Ͱఏڙ͢ΔͨΊʹɺϗετ্ʹίϯςφΛ͋Δఔߴूੵʹ͢Δඞཁ͕͋Δ ϢʔβͷΘΓʹӡ༻Ͱৗʹ࠷৽Ͱ҆શͳঢ়ଶΛΩʔϓ͠ଓ͚Δඞཁ͕͋Γɺӡ༻ࣗମͷίετ͕ίϯςφͰଘࡏ͢Δwˠίϯςφ͚ͩͰͳ͘ɺͦͷΞʔΩςΫνϟΦʔέετϨʔγϣϯʹ͓͍ͯ৽͍͠ൃ͕ඞཁͱࢥΘΕͨ
'BTU$POUBJOFSWebProxyWebRequestDispatcherFastContainerRuntimeCMDB❌FastContainerKilled1. Check2. Boot3. Forward4. Terminate
'BTU$POUBJOFSͷಛwίϯςφɺඞཁʹͳΔ·ͰʢFHॳճͷϦΫΤετʣىಈ͠ͳ͍wىಈͨ͠ޙɺҰఆ͕࣌ؒܦաͨ͠Βఀࢭͤ͞Δwఆظతͳ࠶ىಈΛڧ੍͢Δ͜ͱͰɺίϯςφͷঢ়ଶΛৗʹ৽͘͠อͪɺ·ͨෆཁͳͱ͖ϦιʔεΛΘͤͳ͍͜ͱ͕Ͱ͖Δ
՝ͷ࠶ܝ ϗεςΟϯάαʔϏεͱͯ͠ݱ࣮తͳՁ֨Ͱఏڙ͢ΔͨΊʹɺϗετ্ʹίϯςφΛ͋Δఔߴूੵʹ͢Δඞཁ͕͋Δw ˠʮඞཁͳ͍ͱ͖ىಈ͠ͳ͍ʯ͜ͱͰɺཧ্ߴूੵʹɻ ϗεςΟϯάͷϢʔβϩϯάςʔϧతͰ͋Δ ϢʔβͷΘΓʹӡ༻Ͱৗʹ࠷৽Ͱ҆શͳঢ়ଶΛΩʔϓ͠ଓ͚Δඞཁ͕͋Γɺӡ༻ࣗମͷίετ͕ίϯςφͰଘࡏ͢Δw ˠঢ়ଶ͕ͳ͍͜ͱΛڧ੍Ͱ͖ΔͷͰɺߋ৽ίετ
)BDPOJXBͱͷؔw)BDPOJXBͷ๛ͳϑοΫػߏͷଘࡏwʮىಈޙɺҰఆ࣌ؒܦաޙʹඇಉظͰΔॲཧʯͷͨΊͷϑοΫ͕͋Γɺʮىಈ࣌ؒΛ੍ݶ͢Δʯॲཧ༰қʹॻ͚Δwίϯςφͷ࣮ػೳࣗମΛࣗͰίϯτϩʔϧͰ͖ΔwϗεςΟϯάతʹඞཁͳػೳΛ༏ઌͯ͠σόοάɾ࣮Ͱ͖ͨw·ͨɺΦʔέετϨʔγϣϯͱͷ࿈ܞίϯςφͱͯ͠ αϙʔτՄೳͳΑ͏ʹઃܭͰ͖ͨ
'BTU$POUBJOFSΛਅΜதʹSVOD ,VCFSOFUFT'MBOOFM$BMJDP$POUBJOFSE,FSOFMTZTDBMM$MVTUFSFE/PEF1PPM)BDPOJXB[email protected] CBTFE TFSWJDFNFTI[email protected] )551"1* +BSEJO#SJEHFWFUI$.%#FUDEwΦʔέετϨʔγϣϯͷ࣮ʢLTͱͷൺֱʣ'BTU$PO
ηΫγϣϯ·ͱΊw৽͍͠ϗεςΟϯάαʔϏεΛߟ͑Δʹ͋ͨΓɺ৽͍͠ΞʔΩςΫνϟ͕ඞཁʹͳͬͨwඞཁͳ͚࣌ͩίϯςφΛىಈ͠ɺϥΠϑλΠϜΛ۠ͬͯίϯςφΛ॥ͤ͞Δʮ'BTU$POUBJOFSʯΛߟҊɻ͜ΕɺϗεςΟϯάͰͷඞཁͳཁ݅Λຬͨ͢w'BTU$POUBJOFSͷ࣮ݱʹ)BDPOJXBେ͖͘ߩݙͨ͠ͱߟ͑Δ
ࣗ࡞ίϯςφΞʔΩςΫνϟͷ՝ʹ͍ͭͯ
՝·ͱΊw'BTU$POUBJOFSʹ͓͚ΔՄ༻ੑίϯςφىಈ࣌ؒͷwίϯςφͷߴूੵੑͷݕূwηΩϡϦςΟత؍Ͱͷݖݶͷ՝
ίϯςφىಈ࣌ؒͷ
'BTU$POUBJOFSͷʮՄ༻ੑʯwΞʔΩςΫνϟͷੑ্࣭ɺىಈ࣌ؒͷΦʔόʔϔουΛແࢹͰ͖ͳ͍wͦΕΛͲ͏ѻ͑ɺϢʔβମݧΛଛͶͳ͍ͰࡁΉ͔ʁ
ઓུىಈܧଓ࣌ؒΛ͘͢Δwىಈʹඵɺىಈܧଓ͕ඵʹՔಇwىಈʹඵɺىಈ͕࣌ؒඵʹwىಈ͕࣌ؒ͘ͳΔ΄ͲɺϦιʔε੍ޚཻ͕େ͖͘ͳΔͷܽ͋ΔىಈதϦΫΤετՄೳ
ઓུىಈΛߴԽ͢ΔىಈதϦΫΤετՄೳ
ىಈߴԽͷݚڀwਖ਼֬ʹɺࣄલʹىಈ్தͷαʔόͷঢ়ଶͷνΣοΫϙΠϯτΛ࡞͠ɺͦͷνΣοΫϙΠϯτΠϝʔδ͔ΒىಈΛϦελʔτ͢Δ͜ͱͰɺθϩ͔Βར༻ՄೳʹͳΔঢ়ଶ·Ͱͷ࣌ؒΛେ͖͘ॖ͢Δ͜ͱ͕Ͱ͖ΔwνΣοΫϙΠϯτϦελʔτͷٕज़ʹ
$3*6w $IFDLQPJOU3FTUPSF*O6TFSTQBDF wMJCDSJVΛNSVCZ͔Βݺͼग़͠ɺTFDDPNQͱΈ߹ΘͤΔwҙͷγεςϜίʔϧͷ࠷ॳͷݺͼग़͠ʹϑοΫͯ͠ΠϝʔδΛ࡞͢Δ͜ͱ͕Ͱ͖ɺ͔ͦ͜Β࠶։Ͱ͖Δɻw8FCαʔόͷ߹ɺDPOOFDU TPDLFU ͳͲͷιέοτૢ࡞ΛϑοΫʹ͢Δͱ্ख͍͖ͦ͘͢͏ͳ͜ͱΛ֬ೝ͍ͯ͠Δ[email protected]
ίϯςφͷߴूੵੑ
ίϯςφͷߴूੵੑw'BTU$POUBJOFSʹΑΓɺཧతͳϗετ͝ͱͷϢʔβେ͖͘૿͢͜ͱ͕ՄೳʹͳΔɻwҰํͰɺγεςϜͷݶքੑೳతͳҙຯͰͷίϯςφͷ࠷େಉ࣌ىಈʹ͍ͭͯݕূΛ͠ɺՄೳͳݶΓେ͖͘͢Δ͜ͱඞཁ
ϙΠϯτϒϦοδw-JOVYͷϒϦοδʹ/*$Λ ݸ·Ͱ͔͠ඥ͚Ͱ͖ͳ͍wϒϦοδWFUIͷΑ͏ͳ҆ఆ͢Δ͕ݶք͋ΔߏΛมߋ͢Δ͜ͱݕ౼
ϙΠϯτ໊લۭؒͷ࡞ίετw໊લۭؒΛ৽͘͠࡞͢Δૢ࡞ʹɺવ͕ͩγεςϜ$16࣌ؒΛ͏ɻVOTIBSF ͳͲͷ࣮ߦ͕࣌ؒ૬͢Δwಛఆͷ݅Ͱɺ͜ͷVOTIBSF ͷݺͼग़͠ʹେ͖͕͔͔࣌ؒ͘Γɺىಈ࣌ؒͷ૿େʹͭͳ͕Δέʔε͕͋ͬͨ
εϥϒ૿େ࣌ͷ/BNFTQBDF࡞wOFUOTͷՃ࣌ͷVOTIBSFपลͷQFSGͷ݁ՌͷൈਮwJQUBCMFͷΤϯτϦΛॳظԽ͢ΔࡍͷεϥϒྖҬͷ֬อ͕ۃʹ͍ɻ ঢ়گΛ֬ೝ͢ΔͱεϥϒΩϟογϡΛ(#ఔফඅɻwΩϟογϡΫϦΞͰ͕Δ
ϙΠϯτϝϞϦΦʔόʔϔουw༷ʑͳνϡʔχϯάͷ݁ՌɺϝϞϦ(#Ͱ͓͓Αͦ ίϯςφͷىಈ͕ՄೳͰ͋Δ͜ͱ͕ݕূͰ͖ͨɻwϝϞϦ͕࠷ऴతʹϘτϧωοΫʹͳΔͷͰɺίϯςφ͝ͱͷϝϞϦར༻ྔΛݮ͍ͨ͠w)BDPOJXBͷϑοΫػߏͰQUISFBEΛϦϯΫ͢ΔͷΛΊɺNSVCZͷ'JCFSͰΠϕϯτۦಈϕʔεʹ͢ΔͷมߋΛ͍ͯ͠Δ
'JCFSԽɺ($ͷ࠶༗ޮԽwNSVCZUISFBEར༻࣌ʹ($ʹΑΓ4&(7Λى͜͢߹͕͋Γɺӡ༻ʹΑͬͯ($ΛࢭΊΔ͜ͱΛਪ͍ͯͨ͠ɹˠNSVCZUISFBEIUUQTHJUIVCDPNIBDPOJXBIBDPOJXBQVMM
ηΩϡϦςΟతͳݒ೦
ηΩϡϦςΟతͳݒ೦w'BTU$POUBJOFSͷݱࡏͷ۩ମతͳ࣮ʹ[email protected]ʹΑΔҰछͷαʔϏεϝογϡwϦΫΤετΛड͚औͬͨࡍʹNSVCZͷίʔυΛ࣮ߦ͠ɺॳΊͯίϯςφΛىಈ͢ΔΈwҰൠͷαʔόϛυϧΣΞͱൺͯಈతͰɺ੬ऑੑͳͲͷ৺͕ͳ͘ͳ͍ͷ͕ͩɺίϯςφΛىಈ͢Δඞཁ͕͋Γಛݖ͕ཁΔ
ݹయతͳTV&9&$ͱͷൺֱΛ͢Δ"QBDIFVTFSBQBDIF $(*QSPDFTTVTFSVTFS$(*QSPDFTTVTFSVTFSTVFYFDίϚϯυIPTUGPPFYBNQMFKQIPTUCBSFYBNQMFKQTFUVJE ͳͲΛ࣮ߦ͢ΔͨΊɺTVFYFDίϚϯυTFUVTFSJESPPU͞ΕͨόΠφϦͱͳ͍ͬͯΔɻ ಛݖΛߜΓ͜ΉରԠ͕ඞཁͱͳΔ "QBDIFͷઃఆ
'BTU$POUBJOFS࣮ͱͷൺֱ[email protected]VTFSOHJOYίϯςφVTFSVTFSίϯςφVTFSVTFSIBDPOJXBίϚϯυIPTUGPPFYBNQMFKQIPTUCBSFYBNQMFKQίϯςφϛυϧઃఆ)PTUϔομͳͲ͔ΒίϯςφͷใΛ࡞TFUVJESPPU͍ͨ͠ͷͰରԠ͕ඞཁ6TFS/BNFTQBDFʹΑΓίϯςφͰSPPU
TV&9&$͔ΒֶΔ͜ͱwϛυϧΣΞଆʹಛݖΛ༩͑ͣɺίϯςφϥϯλΠϜͷόΠφϦʹTFUVJEϏοτΛཱͯΕίϯςφΛཱͯΒΕΔwҰํͰɺ)BDPOJXBಈతͰ͋ΔͷͰɺͦͬͪʹಛݖ͕͋Δͱ͍͏ͷͦΕͦΕͰ৺wҙͷ$(*Λىಈ͢ΔTVFYFDͱಉ༷ͷ৺ࣄͰ͋ΔͷͰɺಉ༷ͷηΩϡϦςΟػߏΛద༻͢Δͱ༗ޮͰͳ͍͔ʁ
TV&9&$ͷϞσϧˠίϯςφʹมTV&9&$ͷ༻ޠ ίϯςφͰͷରԠXSBQQFS ίϯςφϥϯλΠϜXSBQQFSͷ࣮ߦϢʔβ ίϯςφϥϯλΠϜͷલஈαʔϏεରͷ$(*ίϯςφͷ1*%ϓϩηεʢJOJUͱݺͿʣରͱͳΔϢʔβ*% ίϯςφͷJOJU࣮ߦϢʔβυΩϡϝϯτσΟϨΫτϦ SPPUT
۩ମతਐḿw͘͝Ұ෦Λ)BDPOJXBʹ࣮தw84"ݚڀձʹͯߏΛใࠂɺٞΛͨ͠IUUQTVE[VSBIBUFOBCMPHKQFOUSZ
·ͱΊ
ίϯςφͷपΓΛਂ۷Γ͠ ݟ͖͑ͯͨ͜ͱ
՝ʹ͖߹͏ͷେࣄw)BDPOJXBΛ࡞ͬͨ࠷ॳͷ࠷ॳࣗͷڵຯ͔ΒͰ͋ͬͨw͔ͦ͠͠ͷޙɺϗεςΟϯάαʔϏεʹͭͳ͛࢝ΊΔͱ ͦͷ՝͕ଘࡏ͢Δ͜ͱ͕Θ͔ΓɺͦΕʹର͢Δղܾࡦ͕ग़ͯ ݁Ռతʹ)BDPOJXB͕վળ͍͍ͯͬͯ͠ΔɻwίϯςφΞʔΩςΫνϟͷࣗ࡞͕తͱ͍͏Θ͚Ͱͳ͘ ՝͕ઌͰɺ՝Λಥ͖٧ΊΔͱɺΓ࣮͕ग़ͯ͘Δ
ίϯςφϓϩηεͱͲ͏͍͏͜ͱ͔wίϯςφͷߟ͑ํͬͱॊೈͰ͍͍ͷͰͳ͍͔ʁwʮܰྔͳԾԽʯ%PDLFS,VCFSOFUFTͳͲ͕࡞Ζ͏ͱ͍ͯ͠ΔੈքɻϋʔυΣΞ͝ͱԾԽ͍ͯͨ͠ಠཱͨ͠ڥͷԆઢ্ͷɺಠཱͯ͠ͳ͓͔ͭͰ͖Δ͚ͩܰྔͳ7.ͷੈքwʮҰ҆શʹͳͬͨϓϩηεʯྫ͑ɺ"QBDIFͷ7JSUVBM)PTUΛ͞Βʹศརʹ҆શʹ͢ΔʹͲ͏͢Ε͍͍͔ʁ )BDPOJXBɺ'BTU$POUBJOFSͪ͜ΒΧόʔ͢Δ
ࠓ͋ΔͷΛͪΌΜͱ͏wԿ͔͕৽͍͜͠ͱΛ͍ͯ͠Δͱ͍͏ؾ࣋ͪͳ͍ɻwݹయతͳηΩϡϦςΟϞσϧΛࢀরͨ͠Γɺ046/*9ͷߟ͑ํӡ༻ͷྺ࢙ʹ͍ࠜͯͨ͟͠Γ͢Δʢैલʣw࣮՝ͷຊ࣭ʹ͖߹্ͬͨͰɺʮࠓ͋ΔͷΛͪΌΜͱ͍ͬͯΔʯͱ͍͏͜ͱͩͱߟ͍͑ͯΔ
·ͩ·ͩݟ͕Γͳ͍ଟ͍͔ͱࢥ͍·͢
ࠓͨ͘͞Μҙݟަ͕Ͱ͖Δͱخ͍͠Ͱ͢
udzura
yoshikieguchi
payanotty
tsukubachallenge
daikisuyama
puku0x
bcantrill
oracle4engineer
bnasslahsen
bun913
honma12345
.png){kind=avatar}
jisungbin
victorrentea
addyosmani
samanthasiow
csswizardry
sachag
sugarenia
ddemaree
lara
morganepeng
rocio
tmm1
chriscoyier