KessokuのDIにおけるgoroutineスケジューリング / golang.tokyo #41

google/wire がアーカイブされました。そこで、本発表では google/wire の代替として開発したコード生成型並行処理 DIツール Kessoku を紹介します。そして、その中での goroutine のスケジューリングアルゴリズムを紹介します。
https://github.com/mazrean/kessoku

Transcript

1. KessokuのDIにおけるgoroutineスケジューリング @mazrean golang.tokyo #41
2. mazrean ▪ Goでツール等を作っている • SQL Builder GenORM • DIツールKessoku ▪ SRE @DeNA @mazrean22 マズリーン 2
3. mazrean ▪ Goでツール等を作っている • SQL Builder GenORM • DIツールKessoku ▪ SRE @DeNA @mazrean22 マズリーン 今日はこの話 3
4. 目次 1 GoのDIとgoogle/wire 2 並行DIツールKessoku 3 goroutineのスケジューリング 4 まとめ
5. 目次 1 GoのDIとgoogle/wire 2 並行DIツールKessoku 3 goroutineのスケジューリング 4 まとめ
6. Dependency Injection(DI) ▪ 依存を外部から注入する設計パターン ▪ ツール・ライブラリで自動化可能 • uber-go/dig • google/wire 6
7. google/wire DIコードを生成するツール ▪ 実行時のオーバーヘッドがない ▪ コンパイル前 にミスがわかる 7
8. google/wireがアーカイブされた リポジトリがアーカイブ ▪ 8月7日 ▪ かなり前から開発は停止していた • 最後の機能追加は2021年1月 8
9. google/wireは完成した？ 9
10. 本当に？
11. google/wireの課題 11 The Power of PowerPoint - thepopp.com ▪ buildタグが必要 → 補完が効かない ▪ go toolが使えない 開発体験の悪さ 割と初期化では通信が多い (例:DBコネクション) → goroutine使いたい goroutineが使えない 11
12. 目次 1 GoのDIとgoogle/wire 2 並行DIツールKessoku 3 goroutineのスケジューリング 4 まとめ
13. mazrean/kessoku 次世代のgoogle/wire ▪ buildタグ不要 ▪ 並行処理が可能 13
14. 設定記述 ▪ wireとほぼ同じ ▪ buildタグは不要 14
15. コード生成 並行処理でDIするコードを生成 Cache DB App 15
16. 並行処理の効果 起動時の処理の高速化に繋がる → コールドスタートの高速化 起動時間短縮！ 16
17. 目次 1 GoのDIとgoogle/wire 2 並行DIツールKessoku 3 goroutineのスケジューリング 4 まとめ
18. DIの仕組み(従来) ▪ 依存関係をグラフ化 • 有向非巡回グラフ（DAG） ▪ トポロジカルソート 18
19. Kessokuの要件 ▪ 依存のないAsyncは別goroutine ▪ 最小限のgoroutine数 • 必須ではない ▪ Asyncなしならwireと同一挙動 → 難易度が段違い！ 19
20. Kessokuのスケジューリング 20 goroutine G2 DB G1 ①goroutine数導出 ②実行goroutine決定
21. goroutine数導出 21 最大の非同期数を導出する ▪ Asyncは考慮しない • 緩い制約で十分 ▪ グラフ理論的には最小パス被覆数 • 最大マッチング問題に帰着可能
22. Async・非Asyncそれぞれ優先度で決定 ▪ Async a. 直前で依存が揃ったgoroutine b. 空のgoroutine c. 依存が最も揃ったgoroutine ▪ 非Async a. 依存が最も揃ったgoroutine 実行goroutine決定 22 b a c
23. 目次 1 GoのDIとgoogle/wire 2 並行DIツールKessoku 3 goroutineのスケジューリング 4 まとめ
24. まとめ ▪ google/wireはアーカイブされた ▪ mazrean/kessokuを作った • google/wireと使い方は類似 • 並行初期化が可能 24
25. mazrean/kessoku 使ってみてください！ ▪ starよろしくお願いします 25 https://github.com/mazrean/kessoku