goにおける コネクションプールの仕組み を軽く掘って見た

タイトルの通り

Transcript

1. goにおける コネクションプールの仕組み を軽く掘って見た aroon
2. 前提 • MySQLとLinuxOSが前提です
3. 問い Q、goではコネクションプールの仕組みをどう実現してい るのでしょうか？
4. コネクションプールとは？ • データベースへに対して一度確立したコネクションを 保持しておく仕組み。 • 確立したコネクションをプールしておくのでコネクショ ンプール。
5. 何のこっちゃ？？？？？ →　（つまり）どう実装するのだろうか。
6. もう少し疑問を分解する • 確立したコネクションを保持するプール ◦ コネクションが確立されたとは？ ◦ 確立したコネクションを保持するとは？ ◦ 確立したコネクションをたくさん保持できるの？
7. コネクションが確立されたとは？ • MySQLへの接続は ◦ TCPプロトコル ◦ （デフォルトで）ポート3306 ◦ ホスト ◦ ユーザー ◦ パスワード • を使う
8. コネクションが確立されたとは？ 言い換えると、 「MySQLサーバーとtcpプロトコルで通信した際に何を 持って通信できるようになったというのか？」
9. コネクションが確立されたとは？ MySQL SourceCode DocumentationのConnection Phaseより引用 https://dev.mysql.com/doc/dev/mysql-server/9.1.0/page_protocol_connection_phase.html
10. 確立したコネクションを保持するとは？ • TCP3ウェイハンドシェイク（の間にMySQLとの認証 を挟む）が完了した後、 • クライアントかサーバーからFINを送らない限り、接続 は保持される • （と理解した）
11. 確立したコネクションをたくさん保持できるの？ その前に・・・ • では、TCPコネクションはどんな手段で（HOW）確立 するのか？ ◦ 答えは「POSIXソケットAPIを使う」
12. 確立したコネクションをたくさん保持できるの？ socket() creates an endpoint for communication and returns a file descriptor that refers to that endpoint. (linux man pageより引用） →　ソケットAPIを利用するとファイルディスクリプタが生 成される
13. 確立したコネクションをたくさん保持できるの？ つまり、確立したTCPコネクションを大量に保持する = socketAPI由来のファイルディスクリプタを大量に保持 する に等しい（と言えるはず）
14. 確立したコネクションをたくさん保持できるの？ TCPコネクションを保持したsocketAPI由来のファイル ディスクリプタが増えるとどうなる？ →　メモリを食うし、CPUも当然動く
15. 確立したコネクションをたくさん保持できるの？ コネクションを保持しすぎる（＝開きっぱなしのソケットを 大量においておくと）計算資源が枯渇する可能性がある
16. ここまでのまとめ
17. コネクションプールは（MySQL,Linuxを前提とすると） MySQLとのTCPコネクションを SocketAPIを用いて確立したあと閉じずにおいてるため 残り続けている ファイルディスクリプタ
18. 実際はどう実現しているか？ • sql.OpenでMySQLとの間に接続を確立 ◦ その際にfreeConn（[]*driverConn）に接続した際 の接続情報（ファイルディスクリプタ）などを入れる ◦ もしくはreqというチャネルにconnRequestとして 入れておく
19. 実際はどう実現しているか？ キーとなるデータ • freeConn []*driverConn • connRequests map[uint64]chan connRequest
20. 実際はどう実現しているか？ • connメソッド ◦ PingやQueryメソッドを掘ると必ず利用されてる ◦ freeConnから優先的にコネクションを取得してくる
21. 実際はどう実現しているか？ • connメソッド ◦ 最大接続数に達している場合、取得できなければ connRequestに入れて待つ ▪ タイムアウトが来たらBadConnErrを返す ▪ 取得できたらコネクションがデータを受信してないかなど チェックしてOKだったら返す
22. 実際はどう実現しているか？ • releaseConnメソッド ◦ Queryメソッドを掘っていくと出てくる ◦ 詰まるところプールにコネクションを戻している
23. 挙動ざっくりまとめ • OpenメソッドでMySQLとコネクションを確立し、基本はfreeConn に入れる • PingやQueryで呼ばれるconnメソッドが、基本はfreeConnから 取り出すが、最大接続数をオーバーすると取得できるまで待つ • releaseConnメソッドでプールにコネクションを戻す
24. ちょい雑めな認識 • Openメソッドでコネクション確立時点でgoroutineを使っている • 作成されるDB構造体内部でfreeConn,connRequestsを初期化 している • （他にも保護している変数はあるが）これらをsync.Mutexを用い て保護しつつ、チャネルを使って解放されるコネクションがくるの を待たせてる
25. ちょっと待て・・・！ Q、socketAPI由来のファイルディスクリプタをたくさん開く状態だと言って たが、数自体の管理はしないのか？ A、開ける最大の接続数、アイドル状態にできる接続数はこちらでよしなに コントロールする設計です。下記を参考にご設定ください。 https://go.dev/doc/database/manage-connections
26. ご清聴ありがとうございましたmm
27. 参考文献 - mita2db. “MySQL Connection Pooling と Persistent Connections はチョット違うという話 ” .はてなブロ グ. 2020-08-02. https://mita2db.hateblo.jp/entry/2020/08/02/162024. 2025-03-12 - 不明. “Managing connections”. go doc. 不明. https://go.dev/doc/database/manage-connections. 2025-03-12 - Michael Kerrisk. “socket(2) — Linux manual page”. man7.org. 2024-07-23. https://man7.org/linux/man-pages/man2/socket.2.html 2025-03-16 - 不明. “MySQL 9.1.0 Source Code Documentation Connection Phase”. “MySQL 9.1.0 Source Code Documentation”. 不明. https://dev.mysql.com/doc/dev/mysql-server/9.1.0/page_protocol_connection_phase.html 2025-03-19 - Kosei Moriyama.”Go の sql.DB がコネクションプールを管理する仕組み ”. “Please Sleep”. 2020-06-30. https://please-sleep.cou929.nu/go-sql-db-connection-pool.html 2025-03-20
28. cloneして読んだコード • go-sql-driver/mysql https://github.com/go-sql-driver/mysql • database/go go version go1.22.5 darwin/arm64