Share
Embed
Go で Network Programming するためのよもやま話 / Network Programming with Go
GDG DevFest Tokyo 2018 の発表に使ったスライドです。
Goについて以下の話をしました。
- netパッケージの基本的なインタフェース
- netpoll による I/O 多重化の仕組み
- ブロッキング I/O をアンブロックする方法
- TLS対応について
- Public Key Pinning のやり方など
Tomohiro Takezawa
September 01, 2018
Transcript
90 slides
-
ࣗݾհ • ᖒ ༑ത • Github: ttakezawa • Twitter: @takezawa
• גࣜձࣾKyashॴଐ • όοΫΤϯυશൠ • ಛʹ VISA QUICPay (Google Pay) ͷϓϩηγϯάγεςϜͳͲ -
͢͜ͱͱɺ͞ͳ͍͜ͱ • ͢͜ͱ • ιέοτϓϩάϥϛϯάશൠ • Go ʹ͓͚Δ I/O ͷΈ
• ͞ͳ͍͜ͱ • HTTP • νϟωϧ -
ࠓͷΞδΣϯμ • ωοτϫʔΫϓϩάϥϛϯάͷجຊతͳΠϯ λϑΣʔε • netpoll ʹΑΔ I/OଟॏԽͷΈ • ϒϩοΩϯά
I/O ΛΩϟϯηϧ͢Δํ๏ • TLSରԠʹ͍ͭͯ -
ίωΫγϣϯཱ֬·ͰͷϓϦϛςΟϒ $POO -JTUFO %JBM netύοέʔδʹϓϩτίϧ͝ͱʹͦΕͧΕͷ࣮͕͋Δ net.DialIP(…) net.DialTCP(…) net.DialUDP(…) net.DialUnix(…) net.IPConn
net.TCPConn net.UDPConn net.UnixConn net.ListenIP(…) net.ListenTCP(…) net.ListenUDP(…) net.ListenUnix(…) net.ListenUnixgram(…) -
ίωΫγϣϯཱ֬·ͰͷϓϦϛςΟϒ $POO -JTUFO %JBM netύοέʔδʹϓϩτίϧ͝ͱʹͦΕͧΕͷ࣮͕͋Δ net.DialIP(…) net.DialTCP(…) net.DialUDP(…) net.DialUnix(…) net.IPConn
net.TCPConn net.UDPConn net.UnixConn net.ListenIP(…) net.ListenTCP(…) net.ListenUDP(…) net.ListenUnix(…) net.ListenUnixgram(…) -
ίωΫγϣϯཱ֬·ͰͷϓϦϛςΟϒ $POO -JTUFO %JBM netύοέʔδʹϓϩτίϧ͝ͱʹͦΕͧΕͷ࣮͕͋Δ net.DialIP(…) net.DialTCP(…) net.DialUDP(…) net.DialUnix(…) net.IPConn
net.TCPConn net.UDPConn net.UnixConn net.ListenIP(…) net.ListenTCP(…) net.ListenUDP(…) net.ListenUnix(…) net.ListenUnixgram(…) -
ίωΫγϣϯཱ֬·ͰͷϓϦϛςΟϒ $POO -JTUFO %JBM netύοέʔδʹϓϩτίϧ͝ͱʹͦΕͧΕͷ࣮͕͋Δ net.ListenIP(…) net.ListenTCP(…) net.ListenUDP(…) net.ListenUnix(…) net.ListenUnixgram(…)
net.DialIP(…) net.DialTCP(…) net.DialUDP(…) net.DialUnix(…) net.IPConn net.TCPConn net.UDPConn net.UnixConn -
ΠϯλϑΣʔεΛ͓͏ ΠϯλʔϑΣʔεͰѻ͏߹ʹɺେ͖͘2छྨʹ͔ΕΔ • ετϦʔϜܕϓϩτίϧ • TCP • ετϦʔϜܕͷUnixυϝΠϯιέοτ • σʔλάϥϜܕϓϩτίϧ
• UDP • IP • σʔλάϥϜܕͷUnixυϝΠϯιέοτ -
ΠϯλϑΣʔεΛ͏ͱ $POO -JTUFO %JBM net.Listen(…) net.ListenPacket(…) net.Dial(…) net.Conn net.PacketConn •
Listen • ετϦʔϜܕͷ߹: net.Listen() → net.Listener → net.Conn • σʔλάϥϜܕͷ߹: net.ListenPacket() → net.PacketConn • Dial͍ͣΕͷϓϩτίϧͰڞ௨ • net.Dial() → net.Conn -
ΠϯλϑΣʔεΛ͏ͱ $POO -JTUFO %JBM net.Listen(…) net.ListenPacket(…) net.Dial(…) net.Conn net.PacketConn •
Listen • ετϦʔϜܕͷ߹: net.Listen() → net.Listener → net.Conn • σʔλάϥϜܕͷ߹: net.ListenPacket() → net.PacketConn • Dial͍ͣΕͷϓϩτίϧͰڞ௨ • net.Dial() → net.Conn -
ΠϯλϑΣʔεΛ͏ͱ $POO -JTUFO %JBM net.Listen(…) net.ListenPacket(…) net.Dial(…) net.Conn net.PacketConn •
Listen • ετϦʔϜܕͷ߹: net.Listen() → net.Listener → net.Conn • σʔλάϥϜܕͷ߹: net.ListenPacket() → net.PacketConn • Dial͍ͣΕͷϓϩτίϧͰڞ௨ • net.Dial() → net.Conn -
ΠϯλϑΣʔεΛ͏ͱ $POO -JTUFO %JBM net.Listen(…) net.ListenPacket(…) net.Dial(…) net.Conn net.PacketConn •
Listen • ετϦʔϜܕͷ߹: net.Listen() → net.Listener → net.Conn • σʔλάϥϜܕͷ߹: net.ListenPacket() → net.PacketConn • Dial͍ͣΕͷϓϩτίϧͰڞ௨ • net.Dial() → net.Conn -
ΠϯλϑΣʔεΛ͏ͱ $POO -JTUFO %JBM net.Listen(…) net.ListenPacket(…) net.Dial(…) net.Conn net.PacketConn •
Listen • ετϦʔϜܕͷ߹: net.Listen() → net.Listener → net.Conn • σʔλάϥϜܕͷ߹: net.ListenPacket() → net.PacketConn • Dial • ͲͪΒͷ߹: net.Dial() → net.Conn -
ετϦʔϜܕϓϩτίϧͷ߹ • αʔό/ΫϥΠΞϯτڞʹ net.Conn ΠϯλϑΣʔε ͱͯ͠ίωΫγϣϯΛѻ͏ • αʔόଆ • net.Listen()
Ͱͪड͚Λ࢝Ίɺฦ͖ͬͯͨListener ΠϯλϑΣʔεͷ Accept() ͰίωΫγϣϯͷΛಘ Δ • ΫϥΠΞϯτଆ • net.Dial() Ͱଓ͢Δ -
ετϦʔϜܕϓϩτίϧͷ߹ • αʔό/ΫϥΠΞϯτͱʹ net.Conn ΠϯλʔϑΣʔεͰίωΫ γϣϯΛѻ͏ • networkͱͯ͠ "tcp"ɺ"unix"ɺ"unixpacket" ͳͲ͕ࢦఆՄೳ
OFU-JTUFO αʔόଆ net.Listen("tcp", "127.0.0.1:8080") net.Listen("unix", "socketfile") ΫϥΠΞϯτଆ net.Dial("tcp", "127.0.0.1:8080") net.Dial("unix", "socketfile") OFU-JTUFOFS "DDFQU OFU$POO OFU%JBM OFU$POO -
σʔλάϥϜܕϓϩτίϧͷ߹ • αʔόଆ • net.PacketConn ΠϯλϑΣʔεͷΛฦ͢ • net.PacketConn ௨৴૬ख͕ݶఆ͞Ε͍ͯͳ͍߹ʹ ༻͞ΕΔίωΫγϣϯͷΠϯλϑΣʔεͰ͋Γɺ
net.PacketConn Λͬͯૹ৴͢Δͱ͖ɺૹ৴ઌΛࢦ ఆ͢Δඞཁ͕͋Δ • ΫϥΠΞϯτଆ • ௨৴૬ख͕ݶఆ͞ΕΔͷͰɺ net.Conn ΠϯλϑΣʔεͷ ͕͑Δ -
σʔλάϥϜܕϓϩτίϧͷ߹ • UDPͰૹड৴Λ͢Δίʔυͷྫ αʔόଆ ΫϥΠΞϯτଆ • ΫϥΠΞϯτଆɺΠϯλϑΣʔε্ετϦʔϜܕͱมΘΒͳ͍ • αʔόଆ௨৴૬ख͕ఆ·Βͳ͍ͷͰɺ net.PacketConn
ΠϯλϑΣʔεͷΦϒδΣΫτͰ ௨৴͢Δ͜ͱʹͳΔ • PacketConn.ReadFrom ͕௨৴૬खͷΞυϨεฦͯ͘͠ΕΔ • PacketConn.WriteTo Ͱ૬खઌͷΞυϨεΛࢦఆ͢Δඞཁ͕͋Δ -
σʔλάϥϜܕϓϩτίϧͷ߹ • UDPͰૹड৴Λ͢Δίʔυͷྫ αʔόଆ ΫϥΠΞϯτଆ • ΫϥΠΞϯτଆɺΠϯλϑΣʔε্ετϦʔϜܕͱมΘΒͳ͍ • αʔόଆ௨৴૬ख͕ఆ·Βͳ͍ͷͰɺ net.PacketConn
ΠϯλϑΣʔεͷΦϒδΣΫτͰ ௨৴͢Δ͜ͱʹͳΔ • PacketConn.ReadFrom ͕௨৴૬खͷΞυϨεฦͯ͘͠ΕΔ • PacketConn.WriteTo Ͱ૬खઌͷΞυϨεΛࢦఆ͢Δඞཁ͕͋Δ -
σʔλάϥϜܕϓϩτίϧͷ߹ • UDPͰૹड৴Λ͢Δίʔυͷྫ αʔόଆ ΫϥΠΞϯτଆ • ΫϥΠΞϯτଆɺΠϯλϑΣʔε্ετϦʔϜܕͱมΘΒͳ͍ • αʔόଆ௨৴૬ख͕ఆ·Βͳ͍ͷͰɺ net.PacketConn
ΠϯλϑΣʔεͷΦϒδΣΫτͰ ௨৴͢Δ͜ͱʹͳΔ • PacketConn.ReadFrom ͕௨৴૬खͷΞυϨεฦͯ͘͠ΕΔ • PacketConn.WriteTo Ͱ૬खઌͷΞυϨεΛࢦఆ͢Δඞཁ͕͋Δ -
σʔλάϥϜܕϓϩτίϧͷ߹ • UDPͰૹड৴Λ͢Δίʔυͷྫ αʔόଆ ΫϥΠΞϯτଆ • ΫϥΠΞϯτଆɺΠϯλϑΣʔε্ετϦʔϜܕͱมΘΒͳ͍ • αʔόଆ௨৴૬ख͕ఆ·Βͳ͍ͷͰɺ net.PacketConn
ΠϯλϑΣʔεͷΦϒδΣΫτͰ ௨৴͢Δ͜ͱʹͳΔ • PacketConn.ReadFrom ͕௨৴૬खͷΞυϨεฦͯ͘͠ΕΔ • PacketConn.WriteTo Ͱ૬खઌͷΞυϨεΛࢦఆ͢Δඞཁ͕͋Δ -
σʔλάϥϜܕϓϩτίϧͷ߹ • UDPͰૹड৴Λ͢Δίʔυͷྫ αʔόଆ ΫϥΠΞϯτଆ • ΫϥΠΞϯτଆɺΠϯλϑΣʔε্ετϦʔϜܕͱมΘΒͳ͍ • αʔόଆ௨৴૬ख͕ఆ·Βͳ͍ͷͰɺ net.PacketConn
ΠϯλϑΣʔεͷΦϒδΣΫτͰ ௨৴͢Δ͜ͱʹͳΔ • PacketConn.ReadFrom ͕௨৴૬खͷΞυϨεฦͯ͘͠ΕΔ • PacketConn.WriteTo Ͱ૬खઌͷΞυϨεΛࢦఆ͢Δඞཁ͕͋Δ -
σʔλάϥϜܕϓϩτίϧͷ߹ • UDPͰૹड৴Λ͢Δίʔυͷྫ αʔόଆ ΫϥΠΞϯτଆ • ΫϥΠΞϯτଆɺΠϯλϑΣʔε্ετϦʔϜܕͱมΘΒͳ͍ • αʔόଆ௨৴૬ख͕ఆ·Βͳ͍ͷͰɺ net.PacketConn
ΠϯλϑΣʔεͷΦϒδΣΫτͰ ௨৴͢Δ͜ͱʹͳΔ • PacketConn.ReadFrom ͕௨৴૬खͷΞυϨεฦͯ͘͠ΕΔ • PacketConn.WriteTo Ͱ૬खઌͷΞυϨεΛࢦఆ͢Δඞཁ͕͋Δ -
σʔλάϥϜܕϓϩτίϧͷ߹ • UDPͰૹड৴Λ͢Δίʔυͷྫ αʔόଆ ΫϥΠΞϯτଆ • ΫϥΠΞϯτଆɺΠϯλϑΣʔε্ετϦʔϜܕͱมΘΒͳ͍ • αʔόଆ௨৴૬ख͕ఆ·Βͳ͍ͷͰɺ net.PacketConn
ΠϯλϑΣʔεͷΦϒδΣΫτͰ ௨৴͢Δ͜ͱʹͳΔ • PacketConn.ReadFrom ͕௨৴૬खͷΞυϨεฦͯ͘͠ΕΔ • PacketConn.WriteTo Ͱ૬खઌͷΞυϨεΛࢦఆ͢Δඞཁ͕͋Δ -
σʔλάϥϜܕϓϩτίϧͷ߹ • σʔλάϥϜܕϓϩτίϧͷ߹ • αʔόଆ net.ListenPacket() Λͬͯͪड͚Λ։࢝ • αʔόଆ net.PacketConnɺΫϥΠΞϯτଆ
net.Conn ͰίωΫγϣϯΛѻ͏ • networkͱͯ͠ "udp"ɺ"unixgram"ɺ"ip" ͳͲ͕ࢦఆՄೳ OFU-JTUFO1BDLFU αʔόଆ net.ListenPacket("udp", "127.0.0.1:8080") net.ListenPacket("unixgram", "socketfile") ΫϥΠΞϯτଆ net.Dial("tcp", "127.0.0.1:8080") net.Dial("unix", "socketfile") OFU1BDLFU$POO OFU$POO OFU%JBM ΫϥΠΞϯτͱ௨৴Λ։࢝͢Δલ ʹ࡞ΒΕΔίωΫγϣϯͷΠϯλʔ ϑΣʔε ௨৴૬ख͕1ͭʹఆ·͍ͬͯͳ͍ ͱ͖ʹΘΕΔ ΫϥΠΞϯτ(Dial)ଆɺ௨৴૬ ख͕ఆ·͓ͬͯΓɺ net.Conn Π ϯλʔϑΣʔεʹ౷Ұ͞Ε͍ͯΔ -
I/O ͷॲཧΛฒྻԽ I/O ඇৗʹ͍ • ฒྻԽ • I/O Λ͍ͬͯΔؒʹผͷॲཧΛߦ͍͍ͨ •
I/O ͷػΛίετͰ • ΫϥΠΞϯτ1ສ(C10K) -
I/O ʹؔ͢Δ༻ޠͷઆ໌ • ϒϩοΩϯά I/O • I/O ॲཧ͕ྃɺΤϥʔɺλΠϜΞτʹͳΔ͔ɺͳͲ௨͕͘Δ·Ͱ ࣮ߦΛઌʹਐ·ͳ͍ॲཧ •
ϊϯϒϩοΩϯά I/O ͷ߹ɺ I/O ͕ॲཧதͰ࣮ߦΛ͙͢ʹਐΊΔ • I/O ͷଟॏԽ • ෳͷ I/O ͷ௨ΛҰʹͯΔΑ͏ʹ͢Δ͜ͱ • ଟॏԽ͍ͯ͠ͳ͍߹ʹͪड͚ର͝ͱʹγεςϜίʔϧ͕ඞཁ ʹͳΔ • OSʹΑΓɺ selectɺpollɺepoll(Linux)ɺkqueue(BSDܥ) ͳͲͷγες ϜίʔϧͰ࣮ݱ͞ΕΔ • ΠϕϯτۦಈϞσϧͷ࣮ʹ΄΅ඞਢͳΈ -
ϚϧνεϨουϞσϧ • Α͋͘ΔҰൠతͳϓϩάϥϛϯάϞσϧ ͦͷ1 • ϑϩʔۦಈϞσϧ • ฒྻʹॲཧ͍ͨ͠୯ҐͰεϨουΛ࡞ͬͯɺεϨου͝ ͱʹ I/O
Λߦ͏ • ྫ͑ίωΫγϣϯ͝ͱʹεϨου͘͠ϓϩηε Λੜ͠ɺͦΕͧΕͷεϨουͰ I/O Λߦ͏ɺͱ͍͏ Α͏ͳΞϓϩʔνʹͳΔ • ฒྻ͕ߴ͍ͱ͖(ίωΫγϣϯ͕ଟ͍ͱ͖)ʹɺͦͷ εϨουΛͨ͘͞Μ͏͜ͱʹͳΔͷͰɺίετ͕େ͖ ͍ -
ΠϕϯτۦಈϞσϧ • Α͋͘ΔҰൠతͳϓϩάϥϛϯάϞσϧ ͦͷ2 • ΠϕϯτΛػ͠ɺىͬͨ͜Πϕϯτʹ͍ͭͯΠϕϯτϋϯυϥΛ࣮ߦ͠ଓ͚ Δɺͱ͍͏Ϟσϧ • Node.jsɺRubyͷEventMachineɺPythonͷTwisted ͳͲ
• I/O ΛଟॏԽͯ͠γϯάϧεϨουͰͨ͘͞Μͷ I/O Λѻ͑Δ • ͍͠ɺͱݴΘΕ͍͢Ϟσϧ • ओʹγϯάϧεϨουͰಈ࡞͢ΔͷͰɺ • ͕͔͔࣌ؒΔॲཧΛ࣮ߦͯ͠͠·͏ͱଞͷॲཧ͕શ࣮͘ߦ͞Εͳ͘ͳΔ • ෳίΞͷCPUΛੜ͔ͤͳ͍ • ॲཧͷ࣮ߦ͞ΕΔॱং͕Θ͔Βͳ͍ɺͳͲ -
GoͰͷΓํ ϚϧνεϨουͱΠϕϯτۦಈͷϋΠϒϦουͷΑ͏ͳΈ • GoεϨουΑΓܰྔͳgoroutineΛɺεϨου্ʹׂΓ ͯͳ͕Β࣮ߦ͢Δ • goroutine্Ͱ I/O Λ࣮ߦ͢ΔͱgoroutineϒϩοΫ͞ΕΔ •
ϒϩοΫ͍͚ͨͩ͠goroutine͕ඞཁ • GoͷϥϯλΠϜ I/O ΛଟॏԽͯͪ͠ड͚͢Δ • ͪड͚ͷͨΊʹେྔͷεϨουΛඞཁͱ͠ͳ͍ • I/O ͪͷͱ͖goroutineεϨουʹׂΓͯ͞Εͳ͍ -
ϢʔβͷGoίʔυࢹͰ͍͏ͱ • GoͷϓϩάϥϛϯάΠϯλϑΣʔεͱͯ͠ I/O ϒ ϩοΩϯά • ྫ͑ conn.Read(buffer) ͱ͢ΔͱΠϕϯτ͕͋Δ·
Ͱɺͦͷgoroutineεέδϡʔϥ͔Β֎͞Εͯͪঢ় ଶ(ϒϩοΩϯά)ʹͳΔ • ͜ͷ I/O ʹ͍ͭͯ௨͕͘Δͱɺ conn.Read(buffer) ͕ ฦͬͯ͘Δ -
GoͷϥϯλΠϜ͕ͬͯ͘Ε͍ͯΔ • Ϣʔβͷίʔυ্ͰϒϩοΩϯάૢ࡞ʹ ͳ͍ͬͯΔͷΛɺ෦తʹଟॏԽͯ͠औ Γѻͬͯ͘Ε͍ͯΔ • ϒϩοΩϯά I/O Λ ଟॏԽ
I/O ʹ͍ͯ͠Δ netpoll ͱ͍͏Έ͕͋Δ -
netpollͱʁ • goroutine ͷϒϩοΩϯάI/O ΛଟॏԽͯ͠ࢹ͢ΔΈ • ଟॏԽʹ͍ͭͯͷ࣮ͰɺҎԼͷγεςϜίʔϧΛ༻͍ͯ͠Δ • epoll(Linux) •
kqueue(BSDܥ) • event ports(Solaris) • IOCP(Windows) -
netpollʹΑΔଟॏԽͷྲྀΕ ҎԼͷྲྀΕΛ Linux (epoll) ͷྫͰऔΓ্͛ͯઆ໌͢Δ 1. ιέοτΛ࡞Δͱ͖ʹ४උ͢Δ 2. I/O ॲཧ
(ReadͳͲ) Λ։࢝͢Δ 3. I/O ϒϩοΩϯά͢Δ goroutine Λεέδϡʔϥ͔Β֎͢ 4. ௨Λड͚औͬͨΒɺgoroutineΛ࣮ߦΩϡʔʹ͢ 5. εέδϡʔϥ࣮ߦͪͷΩϡʔ͔ΒgoroutineΛऔΓग़ ͠ɺOSεϨουʹׂΓ࣮ͯͯߦ͢Δ -
1. ιέοτΛ࡞Δͱ͖ͷ४උ ιέοτΛ࡞ΔλΠϛϯάͰڞ௨ͷinitؔΛ࣮ߦ͍ͯ͠Δ ҎԼɺGoͷιʔείʔυ͔Βൈਮ go1.11/src/net/sock_posix.go go1.11/src/os/file_unix.go • DialɺListenɺListenPacketɺAcceptɺϑΝΠϧΛ։͘ɺͦΕͧΕͷͱ͖ʹڞ௨ͷॳظԽॲཧ͕ߦΘΕΔ • Go
1.9 ͔ΒωοτϫʔΫ I/O͚ͩͰͳ͘ϑΝΠϧ I/Oʹ͍ͭͯ netpoll ͰଟॏԽ͢Δ࣮͕ೖͬͨ • ͱ͍͑ɺৗʹ͋ΒΏΔ I/O Λ netpoll ͰଟॏԽ͍ͯ͠Δͱ͍͏Θ͚Ͱͳ͘ɺos.Open() os.Pipe() ͳͲݶఆ͞ΕͨϑΝΠϧσΟεΫϦϓλʹ͍ͭͯ netpoll ͰଟॏԽ͞ΕΔ go1.11/src/net/fd_unix.go -
1. ιέοτΛ࡞Δͱ͖ͷ४උ • ڞ௨initؔ : pollDesc.init • ιέοτϑΝΠϧͷσΟεΫϦϓλॳظԽʹݺͼग़͞ΕΔɻ • epoll
͕ॳظԽ͞Ε͍ͯͳ͍߹ʹ epoll ͷॳظԽ epoll_create Λ͢Δ • epoll ͷ ࢹͪʹొ EPOLL_CTL_ADD ͢Δ go1.11/src/internal/poll/fd_poll_runtime.go • runtime_pollServerInit ʹͯ epoll_create ͕1͚ͩ (sync.Once Ͱอূ) ͞ΕΔ • runtime_pollOpen Ͱࢹͪʹొ (EPOLL_CTL_ADD)͢Δ -
1. ιέοτΛ࡞Δͱ͖ͷ४උ go1.11/src/internal/poll/fd_poll_runtime.go • runtime_pollServerInit ʹͯ epoll_create ͕1͚ͩ (sync.Once Ͱอূ)
͞ΕΔ • runtime_pollOpen Ͱࢹͪʹొ (EPOLL_CTL_ADD)͢Δ • ڞ௨initؔ : pollDesc.init • ιέοτϑΝΠϧͷσΟεΫϦϓλॳظԽʹݺͼग़͞ΕΔɻ • epoll ͕ॳظԽ͞Ε͍ͯͳ͍߹ʹ epoll ͷॳظԽ epoll_create Λ͢Δ • epoll ͷ ࢹͪʹొ EPOLL_CTL_ADD ͢Δ -
2. I/O ॲཧΛ։࢝͢Δ I/O ॲཧ͕ϒϩοΫ͢Δ߹ʹɺ pollDesc.wait() Λݺͼग़͢ go1.11/src/internal/poll/fd_unix.go go1.11/src/internal/poll/fd_poll_runtime.go ReadFrom
WriteTo ͳͲʹͭ ͍ͯɺଟॏԽͷඞཁ͕͋Δ ߹ಉ༷ʹ pollDesc.wait() ͢ ΔΑ͏ʹͳ͍ͬͯΔ -
3. I/OϒϩοΩϯά͢ΔgoroutineΛεέδϡʔϥ͔Β֎͢ go1.11/src/internal/poll/fd_poll_runtime.go runtime.gopark ʹΑΓ goroutine͕εέδϡʔϥͷ ࣮ߦΩϡʔ͔ΒऔΓআ͔ΕΔ go1.11/src/runtime/netpoll.go runtime_pollWait͔Β netpollblockΛݺͼग़͍ͯ͠Δ
ϢʔβͷGoίʔυ͔ΒݟΔͱɺ I/O ॲཧͷλΠϛ ϯάͰ goroutine ͕ϒϩοΫ͞ΕΔ -
go1.11/src/internal/poll/fd_poll_runtime.go runtime.gopark ʹΑΓ goroutine͕εέδϡʔϥͷ ࣮ߦΩϡʔ͔ΒऔΓআ͔ΕΔ go1.11/src/runtime/netpoll.go runtime_pollWait͔Β netpollblockΛݺͼग़͍ͯ͠Δ ϢʔβͷGoίʔυ͔ΒݟΔͱɺ I/O
ॲཧͷλΠϛ ϯάͰ goroutine ͕ϒϩοΫ͞ΕΔ 3. I/OϒϩοΩϯά͢ΔgoroutineΛεέδϡʔϥ͔Β֎͢ -
go1.11/src/internal/poll/fd_poll_runtime.go runtime.gopark ʹΑΓ goroutine͕εέδϡʔϥͷ ࣮ߦΩϡʔ͔ΒऔΓআ͔ΕΔ go1.11/src/runtime/netpoll.go runtime_pollWait͔Β netpollblockΛݺͼग़͍ͯ͠Δ ϢʔβͷGoίʔυ͔ΒݟΔͱɺ I/O
ॲཧͷλΠϛ ϯάͰ goroutine ͕ϒϩοΫ͞ΕΔ 3. I/OϒϩοΩϯά͢ΔgoroutineΛεέδϡʔϥ͔Β֎͢ -
4. ௨Λड͚औͬͨΒgoroutineΛ࣮ߦΩϡʔʹ͢ go1.11/src/runtime/proc.go ιέοτΛࢹͯ͠௨Λड͚औͬͨ߹ʹɺ֘͢ΔgoroutineΛ࣮ ߦΩϡʔʹೖΕΔ • εέδϡʔϦϯάͰ͙͢ʹ࣮ ߦͰ͖Δgoroutine͕ݟ͔ͭ Βͳ͍߹ʹɺnetpoll() ʹΑΓ
epoll_pwait Λ࣮ߦ͠ ͯɺI/O ͷ௨Λͭ • netpoll() ௨͕͋ͬͨ goroutine Λࢦ͢gpΛฦ ͢ͷͰɺ injectglist(gp) ʹΑ Γ࣮ߦΩϡʔʹೖΕΔ ͜ͷޙɺεέδϡʔϥ࣮ߦͪͷΩϡʔ͔ΒgoroutineΛऔΓग़͠ɺ࠶OS εϨουʹׂΓ࣮ͯͯߦ͢Δ -
4. ௨Λड͚औͬͨΒgoroutineΛ࣮ߦΩϡʔʹ͢ go1.11/src/runtime/proc.go • εέδϡʔϦϯάͰ͙͢ʹ࣮ ߦͰ͖Δgoroutine͕ݟ͔ͭ Βͳ͍߹ʹɺnetpoll() ʹΑΓ epoll_pwait Λ࣮ߦ͠
ͯɺI/O ͷ௨Λͭ • netpoll() ௨͕͋ͬͨ goroutine Λࢦ͢gpΛฦ ͢ͷͰɺ injectglist(gp) ʹΑ Γ࣮ߦΩϡʔʹೖΕΔ ιέοτΛࢹͯ͠௨Λड͚औͬͨ߹ʹɺ֘͢ΔgoroutineΛ࣮ ߦΩϡʔʹೖΕΔ ͜ͷޙɺεέδϡʔϥ࣮ߦͪͷΩϡʔ͔ΒgoroutineΛऔΓग़͠ɺ࠶OS εϨουʹׂΓ࣮ͯͯߦ͢Δ -
4. ௨Λड͚औͬͨΒgoroutineΛ࣮ߦΩϡʔʹ͢ go1.11/src/runtime/proc.go • εέδϡʔϦϯάͰ͙͢ʹ࣮ ߦͰ͖Δgoroutine͕ݟ͔ͭ Βͳ͍߹ʹɺnetpoll() ʹΑΓ epoll_pwait Λ࣮ߦ͠
ͯɺI/O ͷ௨Λͭ • netpoll() ௨͕͋ͬͨ goroutine Λࢦ͢gpΛฦ ͢ͷͰɺ injectglist(gp) ʹΑ Γ࣮ߦΩϡʔʹೖΕΔ ͜ͷޙɺεέδϡʔϥ࣮ߦͪͷΩϡʔ͔ΒgoroutineΛऔΓग़͠ɺ࠶OS εϨουʹׂΓ࣮ͯͯߦ͢Δ ιέοτΛࢹͯ͠௨Λड͚औͬͨ߹ʹɺ֘͢ΔgoroutineΛ࣮ ߦΩϡʔʹೖΕΔ -
ϒϩοΩϯά I/O ΛҙͷλΠϛϯάͰऴ͍ྃͤͨ͞߹ ҙͷλΠϛϯάͰ I/O Λதஅ͍ͤͨ͜͞ͱ͕͋Δ • ΞϓϦέʔγϣϯΛऴྃ࣌ͷॲཧΛ࡞ΓࠐΉ߹ • SetDeadline
ͰରԠͰ͖ͳ͍தஅॲཧΛೖΕ͍ͨ߹ ͳͲ • ϒϩοΩϯάૢ࡞ (Read) ͷલʹϑϥάνΣοΫ ΛՃ͢Δ͚ͩͰɺϒϩοΩϯάૢ࡞͕ղআ ͞ΕΔΘ͚Ͱͳ͍ • ͜ͷΑ͏ͳ࣮Λͯ͠͠·͏ͱɺ goroutine ͷऴྃʹ࠷େͰ1Ҏ্ͬͯ͠·͏ • SetDeadline Λ͘͢Δͱɺͭ࣌ؒ͘ ͳΔ͕ɺγεςϜίʔϧΛݺͼग़͠·͘Δ͜ ͱʹͳΔͷͰɺίετ͕ߴ͍ ͨ͞Εͯ͠·͏ྫ -
ϒϩοΩϯά I/O ΛҙͷλΠϛϯάͰऴ͍ྃͤͨ͞߹ ओʹ2ͭͷΞϯϒϩοΫํ๏͕͋Δ 1. context.Context ΠϯλϑΣʔεͰΩϟϯηϧ͢Δ • DialͳͲɺ৽͘͠ιέοτΛ࡞͢Δ߹ͳͲ ɺCloseରʹͳΔΦϒδΣΫτ͕ଘࡏ͍ͯ͠ͳ
͍ͷͰ context ΛͬͨΓํʹͳΔ 2. Read WriteΛ͍ͯ͠ΔΦϒδΣΫτΛ Close() ͢Δ -
contextΛͬͯΞϯϒϩοΫͤ͞Δ߹ context.Context ʹରԠ͍ͯ͠ΔΠϯλϑΣʔε͕͋ΕɺͦΕΛ͏ • Dial() Ͱ͋Ε net.Dialer ͷ DialContext() ͕͑Δ
• Listen() net.ListenConfig Ͱ ΩϟϯηϧରԠ • net.ListenConfig Go 1.11 ͰՃ͞ΕͨΈ • ͱ͍͑ɺListen()ͰϒϩοΫ͢Δͷ DNS Ͱ໊લղܾ͢Δͱ͜ΖͷΈ -
context.Context ʹରԠ͍ͯ͠ΔΠϯλϑΣʔε͕͋ΕɺͦΕΛ͏ • Dial() Ͱ͋Ε net.Dialer ͷ DialContext() ͕͑Δ •
Listen() net.ListenConfig Ͱ ΩϟϯηϧରԠ • net.ListenConfig Go 1.11 ͰՃ͞ΕͨΈ • ͱ͍͑ɺListen()ͰϒϩοΫ͢Δͷ DNS Ͱ໊લղܾ͢Δͱ͜ΖͷΈ contextΛͬͯΞϯϒϩοΫͤ͞Δ߹ -
Close() ΛͬͯΞϯϒϩοΫͤ͞Δ߹ contextରԠ͕ͳ͍߹ʹɺClose() ͢Δ • ྫ͑ net.Listener ͷ Accept()
context ΛҾʹऔΒͳ͍ • Listener ʹ SetDeadline() Λ͏͜ͱͰλΠϜΞτͷઃఆͳΒՄೳ • Listener Λ Close() ͨ͠λΠϛϯάͰAccpet()͕ΞϯϒϩοΫ͞ΕΔ • Close() ͰΞϯϒϩοΫͨ͠ͱ͍͏͜ͱΛ͑ΔͨΊʹɺdoneνϟωϧͰ͍͑ͯΔ -
contextରԠ͕ͳ͍߹ʹɺClose() ͢Δ • net.Listener ͷ Accept() ʹ context ରԠ͕ͳ͍ •
Listener ʹ SetDeadline() Λ͏͜ͱͰλΠϜΞτͷઃఆͳΒՄೳ • Listener Λ Close() ͨ͠λΠϛϯάͰAccept()͕ΞϯϒϩοΫ͞ΕΔ • Close() ͰΞϯϒϩοΫͨ͠ͱ͍͏͜ͱΛ͑ΔͨΊʹɺdoneνϟωϧͰ͍͑ͯΔ Close() ΛͬͯΞϯϒϩοΫͤ͞Δ߹ -
ϒϩοΩϯά I/O ΛҙͷλΠϛϯάͰऴ͍ྃͤͨ͞߹ net.Conn ͱ os.File ͷΦϒδΣΫτʹ͍ͭͯ • net.Conn ͷ
Read Write ʹ context ͷ͑Δ ݺͼग़͠ͳ͍ • Accept() ͱಉ༷ʹ net.Conn ͷΛ Close() ͢Δ ͜ͱʹΑΓҙͷλΠϛϯάͰΞϯϒϩοΫ • os.File ͷ Read Write ಉ༷ • os.File Λ Close() ͢ΕΞϯϒϩοΫ͞ΕΔ -
TLSରԠ: ΫϥΠΞϯτଆ • net.Dial ͷΘΓʹ tls.Dial Λ͏ • ࣗݾೝূہΛ͏߹ʹɺূ໌ॻΛࢦ ఆ͢Δඞཁ͕͋Δ
• αʔόূ໌ॻͷݕূΛεΩοϓ͢ΔΦ ϓγϣϯ͋Δ͕ɺӡ༻ͰࣄނΔϦε ΫΛߴΊΔͷͰɺݸਓతʹ։ൃڥ ͩͱͯ͠εΩοϓΦεεϝ͠ͳ͍ ΫϥΠΞϯτଆ -
TLSରԠ: ΫϥΠΞϯτଆ • net.Dial ͷΘΓʹ tls.Dial Λ͏ • ࣗݾೝূہΛ͏߹ʹɺূ໌ॻΛࢦ ఆ͢Δඞཁ͕͋Δ
• αʔόূ໌ॻͷݕূΛεΩοϓ͢ΔΦ ϓγϣϯ͋Δ͕ɺӡ༻ͰࣄނΔϦε ΫΛߴΊΔͷͰɺݸਓతʹ։ൃڥ ͩͱͯ͠εΩοϓΦεεϝ͠ͳ͍ ΫϥΠΞϯτଆ -
TLSରԠ: ΫϥΠΞϯτଆ • net.Dial ͷΘΓʹ tls.Dial Λ͏ • ࣗݾೝূہΛ͏߹ʹɺূ໌ॻΛࢦ ఆ͢Δඞཁ͕͋Δ
• αʔόূ໌ॻͷݕূΛεΩοϓ͢ΔΦ ϓγϣϯ͋Δ͕ɺӡ༻ͰࣄނΔϦε ΫΛߴΊΔͷͰɺݸਓతʹ։ൃڥ ͩͱͯ͠εΩοϓΦεεϝ͠ͳ͍ ΫϥΠΞϯτଆ -
TLSͰΑΓηΩϡΞʹ • TLSΛ͏ͱͦΕ͚ͩͰ؆୯ʹ௨৴ͷ҉߸Խ͕Ͱ͖Δ͕ɺߟྀ͓͖ͯͨ͠ ͍͋Δ • ௨৴ઌͷαʔόຊʁ ͳΓ͢·͠͞Ε͍ͯͳ͍ʁ • SymantecύʔτφʔاۀʹΑΔূ໌ॻͷޡൃߦͳͲ •
WebϒϥβͳΒ CT (Certificate Transparency) HPKP (HTTP Public Key Pinning) ͱ͍͏Έ͕͋Δ͕ɺࣗલͷTLSΞϓϦέʔγϣ ϯͰͲ͏͢Δʁ • ࣗͰಉ͡Α͏ͳΈΛೖΕΑ͏ʂ -
TLSରԠͯ͠ΈΑ͏ • ূ໌ॻΛࢦఆΛ͢Δ͙Β͍Ͱɺ͋ͱετϦʔ ϜܕͱΠϯλϑΣʔε͕ಉ͡ͳͷͰɺ͓खܰʂ • TLSΛͬͯηΩϡϦςΟ͕֬อ͞ΕΔΘ͚ Ͱͳ͍ • Web ͡Όͳͯ͘
Public Key Pinning ؆ ୯ʹ࣮ࢪͰ͖Δ