Infra Study 2nd #2「クラウドネイティブを支えるインフラ技術」の講演資料です。 参考となる情報にはPDF中からリンクをしていますが、資料中のリンクは Speaker Deck 上ではクリックできないので PDF をダウンロードしてご覧ください。
ぢアふべ〣ྺ࢙ぇ⿶〟⿿〾⿶〳⿶〖〞ぢアふべ〠〙⿶〛⿼《〾⿶「〛〴Infra Study 2nd #2ʮぜげへぼぐふくゅぇࢧ⿺ぐアやٕज़ʯՃ౻ହจ2021-06-111/24
View Slide
ࣗݾհ
ࣗݾհʢ1ʣʙࢲ〠〙⿶〛ɹՃ౻ହจʢ͔ͱ͏͢;Έʣ• @ten_forward• https://github.com/tenforward/• ॳ〶〛৮ぁ〔ぢアふべ〤 Virtuozzoʢ2007 〉あʣ• 〟てとふわぢが゚〤 setns()2/24
ࣗݾհʢ2ʣʙࣄॴଐגࣜձࣾ IDC ϑϩϯςΟΞ• ゛アの゚つがみ։ൃʢ15 〰〞ʣ• ぢアふべつがもと։ൃʢ1 ʣ• ใなずゔ゙ふくؔʢ2021-04ʙʣ3/24
4/24
5/24
6/24
7/24
ࣗݾհʢ3ʣʙOSS ׆ಈʢLXC 〣 Contributors らがでʣɹɹझຯ〜ぢアふべ〹〘〛〳『ɻぢアふべ〣ओ〠じがぼ゚पล〣࣮〠ڵຯ⿿⿴〿〳『ɻ• LXC 〜ֶ〫ぢアふべೖ ʵܰྔԾԽڥぇ࣮ݱ『ٕज़ (gihyo.jp, 2014 ʙ)• Plamo Linux ゐアふべそ゚がゆ• 20 ੈل⿾〾ଓ。ࠃ࢈ぶくとぷ゙もゔがてゖア• lxc-jp ゆ゜でこぜぷ• LXC/LXD ํ໘〣༁׆ಈ• ぢアふべܕԾԽ〣ใަձʢ2013 ʙʣ• ぢアふべٕज़〠ؔ『ษڧձ• ࣍ճɺ〠։࠵༧ఆ8/24
ຊ〣༰ぜげへぼぐふくゅ〟〴〟《え〤 kubernetes ぇ௨「〛ぢアふべぇ〘〛⿶ํ〷ଟ⿶〜「〼⿸ɻ〜〷ぎゆ゙たがてゖア〣 Deployment 〹 Pod 〣ىಈ〤ҙࣝ「〛〷ɺPod 〣த〣ぢアふべ〣ىಈ〹ɺ〒〣ぢアふべ⿿〞〣〽⿸〟ػೳぇ〘〛࣮ߦ《ぁ〛⿶〣⿾ʁ 〳〜ҙࣝ『ਓ〤〟⿾〟⿾⿶〟⿶〣〜〤〟⿶〜「〼⿸⿾ʁ〒〈〜ɺ〈〣なひてゖア〜〤ʮぢアふべʯ⿿⿶⿾〠ଟ。〣ػೳぇ༻「〛ىಈ「〛。〣⿾ぇ؆୯〠հ「〔⿶〝ࢥ⿶〳『ɻ• શ෦ྺ࢙ぇ〘〛հ「〛⿶〝࣌ؒ⿿⿴〿〳【え〣〜ɺదٓࢀߟ〠〟へずゔゐアぷ〟〞〭〣゙アぜぇష〿〳『• ࠓ〤આ໌〤「〟⿶〷〣〣ɺॏཁ〟ٕज़〠ؔ「〛〤આ໌〣とぐへ〕々ೖぁ〛⿴〿〳『• 〷⿸গ「ৄ「⿶ぢアふべ〣ྺ࢙〤 CloudNative Days Tokyo 2019/KOF 2019 〣ൃදࢿྉ〠⿴〿〳『• ࢲ〣 asciinema 〠ɺぢろアへぇ〘〛ぢアふべぇ࡞ぶゑ⿿〔。《え⿴〿〳『〣〜ɺ〷「〉ڵຯ⿿⿴ぁ〥】〧〉ཡ。〕《⿶ˠ https://asciinema.org/ tenforward9/24
Ծろてア〝ぢアふべ
Ծろてア〣⿼⿼》〘〦『、ྺ࢙Ծろてア:• ゐぐアや゛がわ〣ੈք〜〤 1970 ং൫⿾〾⿴ٕज़• PC 〣ੈք〜〤 1999 〠 VMware ⿿ొ「〛Ҏདྷ〣ൃలҰํ〜ܰྔ〟ʮԾڥʯ〝「〛〣ぢアふべ〷ݹ。⿾〾ଘࡏ「〛⿶• chroot: ゆ゜なと〠ର「〛ҙ〣ぶく゛ぜぷ゙ぇ゚がぷ〝「〛ࢦఆ『• 1979 UNIX Version 7 〜ɺ1982 BSD 〭ಋೖ• 2000 ॳظ〠 FreeBSD jail, VirtuozzoʢLinux 々༻ぢアふべぬやぷʣɺLinux VServer• りとふくアそۀऀ〟〞〜ܰྔ〟ʮԾろてアʯ〝「〛ར༻ʢ゙ぬがとফඅ⿿গ〟。ूੵぇ্〆〾ぁ〝⿶⿸ࢹʣ• てとふわ〝「〛ぢアふべぇಈ⿾『⿶い〻ʮてとふわぢアふべʯ10/24
ぢアふべぢアふべ〝〤ʁ• ゆ゜なと• ଞ〣ゆ゜なと⿾〾ִ《ぁ〔Ծత〟ۭؒ〜ゆ゜なと⿿ಈ。Linux 〜〤じがぼ゚〣ػೳ• Namespaceʢִػೳʣ• cgroupʢ゙ぬがと੍ݶʣ• 〒〣ଞଟ〣ػೳ〜ʮぢアふべʯぇ࡞〿〳『ɻʮίϯςφʯͱ͍͏୯Ұͷػೳ͋Γ·ͤΜˠゆ゜なと〟〣〜ී௨〠 OS ্〜ゆ゜なとぇىಈ『〣〝ಉ〣とゃがへ〜ڥ⿿ىಈ「〛。ˠඞཁ〟ػೳ〝ઃఆぇ〴߹い【〛ʮぢアふべʯぇ࡞〜 11/24
Linux Kernel 〭〣ぢアふべؔ࿈ٕज़〣࣮〝 LXC
やきぐ゚てとふわܥ〣ػೳ〣࣮ظ⿾〟〿ݹ。⿾〾ぢアふべؔ࿈〣ػೳ〣࣮〤࢝〳〿〳『ʢpivot_root 〤ぢアふべ༻〣ػೳ〜〤〟⿶〜『⿿ɺࠓ〤ぢアふべ〠いぁ〛⿶〳『ʣɻ〳』〤やきぐ゚てとふわํ໘〣ػೳ⿾〾ɻ• pivot_rootʢ2.3.41/2000 ʣˠぢアふべઐ༻〣ಠཱ「〔やきぐ゚てとふわ• bind mountʢ2.4.0/2001 ʣˠҙ〣ぶく゛ぜぷ゙ぇ゚がぷ〠 pivot_root 『〣〠ඞཁ• mount namespaceʢ2.4.19/2002 ʣˠぢアふべؒ〜ろげアぷૢ࡞ぇ〜 ͜ͷ̏ͭͷػೳͰϚϯτૢ࡞Λಠཱͤͨ͞ίϯςφઐ༻ͷϑΝΠϧγεςϜ͕࡞Ε·͢ɻ〈〣ػೳ〕々ぇ〘〛やきぐ゚てとふわ〝ろげアぷぇִ「〔ぢアふべぇ࡞ぶゑ:https://asciinema.org/a/258206ろげアぷपล〣ৄ「⿶ࢿྉろげアぷゆ゜むだがてゖア12/24
pivot_root ぇ〘〔ಠཱ「〔やきぐ゚てとふわび゙が• root ϑΝΠϧγεςϜࣗମΛऔΓସ͑Δʢൈ々〝⿶⿸֓೦⿿〟⿶ʣ• chroot 〠ൺ〮〛 pivot_root 〜 ݅〤ݫ「⿶pivot_root લ pivot_root ޙ• ʮ৽「⿶ root やきぐ゚てとふわʯ⿾〾〤ൈ々ग़【〟⿶• Docker 〹 LXC/LXD 〟〞〤 pivot_root ぇ༻「〛⿶13/24
ぢアふべ〣࡞ྫʢ〔〕「ろげアぷؔ࿈〣〴ִ「〔ぢアふべɺઆ໌〟「ʣ # cat /proc/self/mounts ʢりとぷ〣ろげアぷใぇ֬ೝɺ〔。《え〣やきぐ゚てとふわ⿿ろげアぷ《ぁ〛⿶ʣ: (snip)udev /dev devtmpfs rw,nosuid,noexec,relatime,size=974296k,nr_inodes=243574,mode=755 0 0devpts /dev/pts devpts rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000 0 0: (snip)# touch /HOST_ROOT ʢりとぷ〣゚がぷ/〠 HOST_ROOT 〝⿶⿸やきぐ゚ぇஔ。ʣ# touch /var/container/CONTAINER_ROOT ʢぢアふべぐゐがで〣゚がぷ/var/container 〠 CONTAINER_ROOT 〝⿶⿸やきぐ゚ぇஔ。ɻ〈〣Լ〠〤ぢアふべぐゐがで⿿ల։《ぁ〛⿶〝「〳『ʣ# unshare --mount --fork -- /bin/bash ʢmount namespace ぇ࡞ʣ# mount --make-rprivate / ʢろげアぷૢ࡞⿿ namespace ぇ〳〔⿶〜ө《ぁ〟⿶〽⿸〠『⿼〳」〟⿶ʣ# mkdir /var/newroot ʢ৽〔〠ぢアふべぇ࡞『ぶく゛ぜぷ゙〣࡞ʣ# mount --bind /var/container /var/newroot ʢぢアふべぐゐがでぇ/var/newroot 〠 bind mountʣ# cd /var/newroot# ls ʢ/var/newroot 〠ぢアふべぐゐがで⿿ bind mount 《ぁ〛⿶ʣbin dev home media opt root sbin sys usrCONTAINER_ROOT etc lib mnt proc run srv tmp var# mount -t proc -o rw,nosuid,nodev,noexec,relatime proc proc ʢ/var/newroot/proc 〠 proc やきぐ゚てとふわぇろげアぷʣ# mkdir old ʢpivot_root 〜Ҏલ〣゚がぷぇろげアぷ『ぶく゛ぜぷ゙ぇ࡞ʣ# pivot_root . old ʢݱࡏ〣ぶく゛ぜぷ゙ (/var/newroot) ぇ゚がぷ〠ɺҎલ〣゚がぷぇ/old 〠ろげアぷ「〛 pivot_rootʣ# ls / ʢݱࡏ〣ぶく゛ぜ゙⿿゚がぷ〠〟〘〛⿶ʣCONTAINER_ROOT lib proc sys: (snip)# ls /old ʢ/old 〠〤Ҏલ〣゚がぷʢ〙〳〿りとぷ〣゚がぷʣ⿿ろげアぷ《ぁ〛⿶ʣHOST_ROOT initrd.img.old proc tmp# umount -l /old ʢ/old 〤ෆཁ〟〣〜ぎアろげアぷʣ# ls /old ʢ/old ҎԼ〤ۭ〠ʣ# cat /proc/self/mounts ʢろげアぷใぇݟ〝ぢアふべ〣゚がぷ〝 proc 〕々⿿ろげアぷ《ぁ〛⿶ʣ/dev/sda1 / ext4 rw,relatime,errors=remount-ro 0 0proc /proc proc rw,nosuid,nodev,noexec,relatime 0 0 14/24
Linux ぢアふべظୈҰظ2006ʙ2008 〠⿾々〛⿾〟〿〣ػೳ⿿Ճ《ぁɺNamespace 〤ओཁ〟〷〣⿿ଗ〘〔:• ぢアふべ〉〝〠:• ಠࣗ〣りとぷ໊⿿々〾ぁ〽⿸〠〟〘〔ˠ UTS Namespaceʢ2.6.19/2006 ʣ• ゆ゜なとؒ௨৴ぇִ〜 〽⿸〠〟〘〔ˠ IPC Namespaceʢ2.6.19/2006 ʣ• ಠཱ「〔 PID ⿿々〾ぁ〽⿸〠〟〘〔ˠ PID Namespaceʢ2.6.24/2008 ʣ• ಠཱ「〔ぼひぷゞがぜ I/Fɺぎへ゛とɺれがぷɺ゚がふくアそɺやく゚の゙アそ⿿࣋〛〽⿸〠〟〘〔ˠNetwork Namespaceʢ2.6.24/2008 ʣ• ぢアふべ༻〣Ծぐアのがやこがと⿿࣋〛〽⿸〠〟〘〔ˠ vethʢ2.6.24/2008 ʣɺmacvlanʢ2.6.23/2007 ʣ• CPU 〣゙ぬがと੍ݶ⿿⿾々〾ぁ〽⿸〠〟〘〔ˠ cgroup cpu, cpuacct, cpuset ぢアぷ゜ががʢ2.6.24/2008 ʣ• LXC 〣ੜʢ2008 ʣ• じがぼ゚〠ػೳ⿿ॆ࣮「〛 〔〷〣〣〒ぁぇ։ൃऀ⿿ࢼ『ڥ⿿〟⿶〣〜ੜ• 0.8 。〾⿶〳〜〤 Cɺてこ゚ɺPython ゆ゜そわ〣د【ू〶ʢぐろぐば⿶〚〾⿶ʣ15/24
PID Namespace 〠〽ಠཱ「〔ゆ゜なとۭؒ• ぢアふべ〜〞え〟ゆ゜なとぇ࣮ߦ「〛⿶⿾ɺଞ〣ぢアふべ⿾〾ݟ⿺〔〾ぐん• ぢアふべ〉〝〠ಠཱ「〛 PID ぇ࣋〖〔⿶• 〔〕「ɺりとぷ ( Namespace) ⿾〾ぢアふべ (ࢠ〣 Namespace) 〣ゆ゜なと〤ݟ⿺〳『16/24
veth ぐアのがやこがとʢઆ໌〟「ʣ• Virtuozzo/OpenVZ ༝དྷ• ࡞『〝ର〝〟ぐアのがやこがと⿿ੜ《ぁɻ〒〣ର〝〟ぐアのがやこがとؒ〜௨৴ぇߦ⿸ʹ L2〣ぷアぼ゚• ର〣ยํぇりとぷɺยํぇぢアふべ〣 Namespace〠ॴଐ《【ʢҟ〟 Namespace ؒ〜〟⿶〝௨৴ෆՄʣ17/24
ぢアふべ〣సظ
ぢアふべ〣సظ2010 〉あ⿾〾〣ྲྀぁ• ぐアや〣ぢがへԽ〣ྲྀぁ• DevOpsɺCI/CD 〣〽⿸〟։ൃɺぶゆ゜ぐɺӡ༻〣とゃがへぎひゆ• PaaS, SaaS 〣಄ˠとゃがへʴԾろてアత〟れがのも゙ふくʴなずゔぎʢろ゚ばふべアぷʣ〟ಠཱڥ⿿ॏཁ• とゃがへ໘〠ண「〔ぢアふべ〣࠾༻ʢैདྷ〣゙ぬがとফඅ〠ண「〔ར༻⿾〾〣సʣ• ゆ゜なとぇىಈ『〕々〟〣〜⿶• ⿾〟〾』「〷Ծろてア〣〽⿸〠てとふわ〝「〛ىಈ「〟。〛〷ྑ⿶〝⿶⿸ゐ゙ひぷˠぎゆ゙たがてゖアぢアふべ• ಠཱ「〔やきぐ゚てとふわぇ〘〛れがのも゙ふくぇ֬อ「〟⿿〾ىಈ〜 • ಠཱ「〔ִۭؒ〝⿶⿸ゐ゙ひぷぇ׆⿾「〟⿿〾ぢアふべぇ׆༻『ྲྀぁ⿿ੜ〳ぁ18/24
ぢアふべػೳ〣ॆ࣮〣 Docker 〣ొ2009ʙ2013 〉あ• ぢアふべ〉〝〠:• ゐゑ゙が੍ݶ⿿⿾々〾ぁ〽⿸〠〟〘〔ʢ2.6.29/2009 ʣ• I/O ੍ݶ⿿⿾々〾ぁ〽⿸〠〟〘〔ʢ2.6.33/2010 ʣ• ҙ〣てとふわぢが゚〣やく゚の゙アそ⿿〜 〽⿸〠〟〘〔ʢ3.5/2012 ɺseccompɺޙड़ʣ• ぢアふべ֎⿾〾ぢアふべ〠ೖ〘〛ぢろアへ࣮ߦ〜 〽⿸〠〟〘〔ˠ setns てとふわぢが゚ʢ2011ʙ2013 ʣぢアふべ〜てとふわ〹ぎゆ゙たがてゖアぇಈ⿾『ओཁ〟ػೳ⿿Ұ௨〿〒あ〘〔• LXC ぇ࠾༻「〔 PaaSɺSaaS 〣ొɻ「⿾「⿶〳⿶〖ぐた〛〟⿶ LXC• ʢ࣌〣ʣLXC 〣ぐた〛〟⿶〝〈あぇひゆ『 Docker 〣ొʢॳظ Docker 〤ཪଆ〜 LXC ぇ༻ʣ• ぐろぐば⿶〚〾⿶ CLI ぇ docker ぢろアへ〜ひゆ• ぐゐがでよがとʴゕぺざアやきぐ゚てとふわ༻〜ぢアふべぐゐがで࡞ˠىಈ〣とゃがへぎひゆ• ぼひぷゞがぜܦ༝〣ぢアふべཧ• Docker ొޙ〤ʮぢアふべʯ˺ʮぎゆ゙たがてゖアぢアふべʯҰ༂ʮίϯςφʯ͕ͷٕज़ʹ!!19/24
ぢアふべػೳ〣ॆ࣮ظ
cgroup v2Docker 〣ొ〠〽ʮぢアふべʯ〣〿্⿿〿〜ɺじがぼ゚〠ぢアふべؔ࿈ػೳ⿿ೖ〿〹『⿶ڥ〠〟〘〔• cgroup v1• ぢアふべ⿿ゐでをが〜〟⿶࣌ظ〠ಋೖ⿿ਐえ〕〣〜ɺ߇⿺〶〠ԕྀ⿿〖〠ػೳ⿿࣮《ぁ• ˠぢアふべར༻〣֦େ〝〝〷〠⿿໌〾⿾〠• ৄ「。〤 LXC 〜ֶ〫ぢアふべೖ ୈ 37 ճぇ〉ཡ。〕《⿶• cgroup v2ʢ4.5/2016 ʣ• v1 〝〣ぐアのがやこがと〣ޓੑぇ⿴ఔอ〘〛ɺcgroup ぇ⿴〮 ࢟〠࣮「〟⿼「〔• ぐアのがやこがと⿿શ。มい〘〛⿶ػೳ〷⿴ʢeBPF ぇ〘〛੍ݶぇ⿾々ぢアぷ゜がが〝⿾ʣ• ݱ࣮త〟゙ぬがと੍ݶ⿿⿾⿾〽⿸〠〟〘〔• PSIʢ4.20/2018 ʣ• CPU, Memory, IO 〣ෛՙ⿿૿େ「゙ぬがと⿿ෆ「〛⿶ঢ়گぇ؍ଌՄೳ20/24
なずゔ゙ふくػೳ୯〟りとぷ্〜ىಈ『ゆ゜なと〜⿴ぢアふべぇ҆શ〠⿸〠〤༷ʑ〟なずゔ゙ふくػೳ〣ॿ々⿿ඞཁ• seccomp• てとふわぢが゚⿿やく゚の゙アそ〜 ػೳɻࠓ〣ぢアふべ〜〤〔〿લ〠いぁ〛⿶ػೳʢࠓ⿼〷〠いぁ〛⿶ػೳ〤 3.5 〜ಋೖ〣 mode 2ʣ• Introduction to Seccomp ʢ@mrtc0 《えʣˡجૅ⿾〾ਂ〳〜࣌ؒ〜ֶ〮ඇৗ〠『〉⿶ࢿྉʢಈը〷ݟぁ〳『ʣ• seccomp notifyʢ5.0/2019 ʣˠてとふわぢが゚〣࣮ߦՄ൱ぇゕがづがۭؒ〣ゆ゜そわଆ〜அ〜 • seccomp 〕々ぇふがろ〠ษڧձぇ「〳「〔ʢಈըࢹௌՄʣ• capability• ࠓ〣ぢアふべ〜〤〔〿લ〠いぁ〛⿶• root ⿿࣋〙ಛݖぇࡉԽ「〛ඞཁ〠Ԡ」〛ゆ゜なと〠ݖݶぇ༩〜 • ぢアふべ〉〝〠ݖݶぇࡉ⿾。༩⿺〔〿ണୣ「〔〿〜 • ࿈ࡌୈ 42 ճɺୈ 43 ճɺୈ 44 ճ〣ʮLinux じがぼ゚〣たがむも゙ふくʯ• User Namespaceʢ3.8/2013 ʣ• ぢアふべ֎〣 UID/GID ぇろひゃアそ『ɻぢアふべ〜〤 rootɺりとぷ্〜〤Ұൠゕがづが〝⿶⿸〈〝⿿Մೳˠぢアふべ〜 root ݖݶ⿿ඞཁ〜⿴〘〛〷҆શ〠ぢアふべぇ࣮ߦՄೳ• Docker 〣 rootless ゑがへɺuserns-remap ػೳ• LXD 〜〤〈〣ػೳぇ⿸〣⿿ぶやさ゚ぷ• LSMʢSELinux, AppArmor,...ʣ21/24
〒〣ޙ〣৽ػೳɺվྑぢアふべ〝〤ؔ〟《〒⿸〟ػೳ〷ぢアふべ〠〝〘〛〤ॏཁ⿾〷ʢぢアふべؔ〣։ൃऀ⿿ख⿿々〛⿶〔〿『ʣ• OverlayFSʢ3.18/2014 ʣ• ゕぺざアやきぐ゚てとふわʢ〒ぁ〳〜〣むひばద༻〣 aufs 〠औ〘〛いඪ४ػೳʣ• cgroup 〣 pids ぢアぷ゜ががʢ4.3/2015 ʣ• ぢアふべ〣ゆ゜なと〣੍ݶ• pidfdʢ5.3/2019 ʣ• PID 〣॥〣ղܾʢత〝ҧ⿸ゆ゜なと〠てそべ゚ૹ〘〛「〳⿸ةݥੑʣ• Time Namespaceʢ5.6/2020 ʣ• ಠཱ「〔 uptimeʢCLOCK_MONOTONIC/CLOCK_BOOTTIMEʣ• clone3 てとふわぢが゚ぇ〘〔ぢアふべゆ゜なとੜ〣ぢとぷݮʢ5.7/2020 ʣ• ゆ゜なと〝ҟ〟 cgroup 〠ゆ゜なとぇੜ〜 ʢ〈ぁ〳〜〤ゆ゜なと〝ಉҰ cgroup 〠ੜ《ぁ〣〜Ҡಈ⿿ඞཁ〕〘〔ʣ• ID mapped Mountʢ5.12/2021 ʣ• ぢアふべぐゐがでぇろげアぷ『ࡍɺぢアふべぐゐがで〣やきぐ゚〣ॴ༗ݖぇҙ〠มߋ〜 ʢUserNamespace ぇ〘〔ぢアふべ〣߹〠ぢアふべぐゐがでぇ࠶ؼత〠 chown 『ඞཁ⿿〟⿶ʣ22/24
〳〝〶
〳〝〶• ぢアふべ〤ଟ。〣ػೳぇ〴߹い【〛࡞〾ぁ〛⿶ʢࠓճհ「〔〣〤Ұ෦〜『ʣ• ඞཁ〟ػೳ〕々ぇ〘〛ぢアふべぇ࡞ぁ• 〔〳〠〤〒え〟ぢアふべ⿿ىಈ「〛。࣌〠⿸ػೳ〠ࢥ⿶ぇ【〝ྑ⿶てとふわぇ࡞〠ཱ〙⿾〷「ぁ〳【え〽ʢશ。〠ཱ〔〟⿶⿾〷「ぁ〳【え〽ʣίϯςφʹؔ͢Δ Linux Χʔωϧͷ৽ػೳΛ͍͔͚Δͷָ͍͚͠Ͳɺ࠷ۙͱ͍͔͚ͯΔͷ͕͍͠ͷͰɺΈͳ͞ΜͥͻΧʔωϧͷ৽ػೳΛҰॹʹ͍͔͚·͠ΐ͏ʢ·ͱΊʹͳͬͯ·ͤΜ͕ʜʣ23/24
Ҏ্͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠24/24
tenforward
ianozsvald
bobfromjapan
ssii
ishiijunpei
lcolladotor
aronwalsh
kamakiri1225
kfujikawa
nkmr_rl
nobushimi
ae14watanabe
asymptotic_minato
shlominoach
kneath
eileencodes
akmur
62gerente
samanthasiow
scottboms
michaelherold
jakevdp
addyosmani
bryan
mthomps