LINEマンガを支えるCoroutine / Coroutine in LINE Manga

『Kotlinで挑む3社3様の技術課題 〜DDDによるリプレイス、モバイル基盤、大規模トラフィック〜』登壇資料
https://asken.connpass.com/event/384559/

Transcript

1. LINEマンガを支える Coroutine Kotlinで挑む3社3様の技術課題 @株式会社コドモン 東京オフィス
2. 自己紹介
3. ▼ 名前 本田 雄亮 ▼ 所属企業 LINE Digital Frontier株式会社 ▼ Xアカウント @yyh_gl 3
4. 今日話すこと LINEマンガは5500万DLを突破し 多くのユーザーにご利用いただいているサービスです。 そんなLINEマンガでは、パフォーマンスやリソース効率の観点から 非同期処理が有効に作用する場面が多々あります。 今日は、非同期処理においてLINEマンガで行っている工夫を紹介します。 4
5. LINEマンガ内でのルール
6. 非同期処理に関する決まりごと LINEマンガの非同期処理に関するADRから一部抜粋。 • MUST: Coroutine（kotlinx.coroutines）を使用 • SHOULD : MangaScopeを使用 KotlinでCoroutineを使うことは（基本的には）当たり前。 今日はMangaScopeに焦点を当てて紹介します。 6
7. 本発表の主役『MangaScope』
8. MangaScopeとは？ LINEマンガで使用が推奨されている共通CoroutineScope。 ▼ MangaScopeに関する4つのポイント 1. Dispatchers.IO : DB操作といったブロッキングI/Oを安全に実行 2. SupervisorJob : 1つの子ジョブの失敗が他の子ジョブに影響を与えない 3. Graceful Shutdown : 安全なシャットダウン 4. Observability : メトリクスやログ出力, トレーシングシステムをサポート 8
9. 1. Dispatchers.IO
10. Dispatchers.IOベースのScope ブロッキングI/Oに最適化されたスレッドプール 内でコルーチンを実行。 LINEマンガの処理には多くのブロッキングI/Oが存在する。 例えば、DB操作や外部APIへのリクエスト、ファイル操作など。 Dispatchers.IOは、Dispatchers.Defaultとスレッドを共有しており、 不要なコンテキストスイッチやスレッド生成が行われにくい というメリットがある。 （論理的にはDispatchers.Defaultと分離されている） 10
11. 2. SupervisorJob
12. SupervisorJobの基本 通常のJobでは、子ジョブが1つ失敗すると他の全子ジョブもキャンセル される。 SupervisorJobは子の失敗が他の子ジョブに影響を与えない 。 12
13. SupervisorJobを使う理由 例えば、 重い処理を複数実行するバッチがあるとする。 ひとつの処理（ジョブ）が失敗しても、 他の処理は継続したいときがある。 13 たまにあるよね
14. え、じゃあエラーが起きても 無視するの？
15. 無視しないこともできる 1つのジョブでエラーが起きたら、他のジョブをキャンセルしたいときもある。 そんなときは親ジョブをキャンセルしてあげればよい。 15
16. 無視しないこともできる 最終的にキャンセルはするけど 今実行している処理が終わるまで待ちたいときもある。 ↑ Graceful Shutdownじゃない…？ 16
17. 3. Graceful Shutdown
18. CoroutineをGraceful Shutdown MangaScopeはCoroutineのGraceful Shutdownに対応 している。 つまり、実行中のCoroutineについては 処理が終わるまで （できる限り）待機したうえでcloseできる。 18
19. 処理終了までの3ステップ 1. 新規ジョブの起動を拒否 2. 実行中の子ジョブを1つずつjoin → 完了待ち 3. supervisorJob.cancel()により残存ジョブをキャンセル ※ 2の処理以降、deadlineを超過した時点ですべての処理を強制終了 19
20. 処理終了までの3ステップ 1. 新規ジョブの起動を拒否 2. 実行中の子ジョブを1つずつ join → 完了待ち 3. supervisorJob.cancel()により残存ジョブをキャンセル ※ 2の処理以降、deadlineを超過した時点ですべての処理を強制終了 20
21. ステップ2の実装イメージ > 実行中の子ジョブを1つずつjoin → 完了待ち selectで「子ジョブの完了」と「タイムアウト」を非同期に競争 させる。 21
22. AutoCloseableとSpring連携 MangaScopeは、AutoCloseableを実装しておりclose関数を提供。 close関数にてGracefulなShutdownを提供。 Spring Beanとして登録すれば サーバーシャットダウン時に自動で close関数が呼ばれる 。 つまり、CoroutineのGraceful ShutdownをSpringが自動実行してくれる 。 22
23. 4. Observability
24. MangaScopeがObservabilityを提供 MangaScopeは各種メトリクス収集の仕組みを提供。 加えて、分散トレーシングもサポート。 launchWithMetricsおよびasyncWithMetricsという2つの関数により実現。 24
25. xxxWithMetricsがやること launchWithMetricsおよびasyncWithMetricsは それぞれCoroutineScope.launchとCoroutineScope.asyncの実行に加え 下記処理のためのセットアップを行う。 • メトリクス収集 ◦ コルーチンの開始回数 ◦ コルーチンの終了回数 ◦ 現在実行中のコルーチン数 ◦ コルーチンの実行時間 • 分散トレーシング 25
26. 収集したメトリクスを可視化 非同期処理が絡む不具合は、即座にエラーにならず静かに蓄積 する。 そして、ある日突然、CPU負荷上昇やメモリ枯渇として顕在化。 メトリクスの可視化によりこうした問題を早期発見できる。 26
27. Coroutineに潜む課題
28. ThreadLocal消失問題 Coroutineの実行は複数のスレッドをまたぐ可能性がある。 したがって、基本的にはThreadLocalが使えない 。 MangaScopeは3つの情報をThreadLocalで共有したい。 ＝ Coroutineではスレッドを超えて扱いたい。 • SLF4J MDC • 分散トレーシング情報（Zipkin） • LINEマンガ独自情報 28
29. MangaScopeでは CoroutineContextを使って スレッドをまたいだ情報共有を実現 。 例えば、SLF4JのMDCはMDCContextという コンテキスト（ThreadContextElement）を提供している。 MDCContextをMangaScopeのCoroutineContextにセットすれば MDC情報をスレッドを超えて参照できる。 情報のスレッド超え 29
30. 情報のスレッド超え 　 30
31. まとめます
32. まとめ ▼ MangaScopeを提供: 共通CoroutineScopeの使用を推奨 • Dispatchers.IO : ブロッキングI/Oに最適化されたスレッドプールで 　 効率的に非同期処理 • SupervisorJob : 開発者が細かく制御できる余地を残す • Graceful Shutdown : GracefulなCoroutine closeを実現 • Observability : メトリクス/トレースを自動化 Coroutine使用時に起きがちな問題を防止。 不具合が混入しても早期発見できるようにしている。 32
33. ご清聴ありがとうございました！