GoでTCP Proxyを実装してみよう

社内勉強会でLTした時の資料です

Transcript

1. GoでTCP Proxyを実装してみよう 株式会社サイバーエージェント AI事業本部 黒崎 優太 (@kuro_m 88 ) CA.go LT会
2. ࠇ࡚ ༏ଠ גࣜձࣾαΠόʔΤʔδΣϯτ AIࣄۀຊ෦ @kurochan @kuro_m88 αΠόʔΤʔδΣϯτ CTO౷ׅࣨ
3. TCP Proxyを作った背景
4. TCP Proxyを作ったきっかけ https://speakerdeck.com/kurochan/securing-development-environments-using-cloud fl a 7
5. WireGuardとOpenID Connectの連携 https://speakerdeck.com/kurochan/wireguardtoopenid-connectfalselian-xi-wogoteshi-zhuang-sitemita
6. WireGuardとOpenID Connectの連携 • 実装してみて、 一 応動いたが… • 便利だったようで 一 気に数 十人 使うようになった • 実装に必要な前提知識が意外と多くてメンテを誰かに引き継げる気がしなかった • WireGuard、OIDC CIBA Flow、nftables、netlink、Go 言 語でのこれらの動的操作 • 固定IPだけに頼るのはイケてない • せっかく社内に内製IdPがあるので柔軟な認可の制御もしたい • VPC内アクセスとかもしたい
7. 脱WireGuard • WireGuardの導 入 によって開発プロジェクト 用 のVPNの需要は把握 • もっとやりたいことが増えてきた • 通信先によってアクセス元IPアドレスを変えたい • 人 や役割によってアクセス可否を変えたい(認可をちゃんとやりたい) • 通信先によってVPNを切り替えるのが 面 倒 • ちょうどいい製品を探し始めた
8. Cloud fl are Zero Trust • いろんな機能があって充実している • アイデア次第で 色 々できそう • その分最初は使い 方 を迷うかも…？ • スマホ対応は必須だった • スマホアプリの開発で開発環境のAPIのアクセス制御もしたいのでブラウザ対応だけではダメ • APIで操作するためのクライアントライブラリが公式で 用 意されている • https://github.com/cloud fl are/cloud fl are-go • 安い！！！！！！ • $ 8 /user • 現在90ユーザ使っているので、 $8 x 9 0 = $ 720 /month • 通信量課 金 なし！！！！！！
9. Cloud fl are Zero Trustの導 入 • 構成の概要
10. cloud fl aredに中継する • cloud fl aredで100.64.0.1をlistenする • Cloud fl are Zero Trustの設定で100.64.0.1/24をcloud fl aredに転送する • nginxで本来の宛先にTCP Proxy
11. cloud fl aredに中継する • cloud fl aredで100.64.0.1をlistenする • Cloud fl are Zero Trustの設定で100.64.0.1/24をcloud fl aredに転送する • nginxで本来の宛先にTCP Proxy ↑↑今回の本題！↑↑
12. TCP Proxyを実装してみよう
13. TCP Proxyとは • 中継するもの、 土 管(パイプ)みたいなイメージ
14. もうちょっと掘り下げる • Proxy 自身 もサーバとクライアントから構成されていることがわかる
15. TCP Server
16. TCPの3-Way Handshake • Wikipediaより • 基本的にはOS側で処理してくれるので、アプリを実装する 人 は コネクションを"accept()"すればいい
17. もうちょっと掘り下げる • OS側でACK状態になっている通信をアプリでAcceptすることを繰り返す
18. もうちょっと掘り下げる • サーバは複数コネクション 生 成すれば複数クライアントと同時に通信可能
19. TCP Serverの実装 • みていきましょう
20. Listen 終了処理 Acceptするループ
21. Listen • 特定のポートをTCPで待ち受ける(acceptできる状態にする) • contextをとらないので終了処理を実装する必要アリ
22. Acceptするループ • "accept()"するループはgoroutineで独 立 させる • 後述する終了処理のため • 無限ループしてコネクションを待ち受ける • コネクションが貼れたら別のgoroutine(p.handleConn())に処理させる • Acceptのループでコネクションを処理すると新規のコネクションが受けつけられない！
23. 終了処理 • contextがキャンセルされたら新規にacceptできないようにする • 新規にacceptできないだけで既に確 立 したコネクションはそのまま • Acceptするループはこれによりaccept()不能になるため、 • エラーになってループを抜ける
24. TCP Client
25. TCP Clientの実装 • サーバ側に 比 べると仕事が少ない • コネクションは最 大 でも10分に限定 • コネクションのリーク防 止 • 10分で切られて困る場合はもう少し丁寧に実装する
26. Proxyする
27. Proxyの実装(ServerとClientをつなぐ) • みていきましょう
28. 終了処理 Server → Clientのプロキシ Client → Serverのプロキシ
29. TCPは双 方 向ストリーミング TCP 送信 受信 送信 受信
30. 双 方 向の通信をつなぐ • コネクションが続く限りデータをコピーする • 何かしらの理由でコピーできなかった場合はプロキシ不能なので サーバ側もクライアント側もコネクションを閉じる
31. データのコピー • 読んだデータをそのまま書き込むのをループでひたすら繰り返す • これがProxy
32. 終了処理 • contextが終了したらコネクションを切断する • コネクションをハンドリングしているgoroutineがエラーで終了する
33. 全体像
34. 全体像 • contextの流れ • cancelが伝搬する
35. おわり • 思ったより簡単なことが伝わるはず(?) • goroutineがあるおかげで難しいことを考えずある程度のパフォーマンスが出る • OSのネイティブスレッドで同じような処理をするとオーバーヘッドがきついかも • 何かしら並 行 処理っぽい実装をすることになるはず • errgroupを使うことでgoroutine leakしにくい実装に • errgroup経由で作成したgoroutineが全て終了しないとシャットダウンできないように実装するため