pgetにみる並行処理でのエラーハンドリング / Concurrent error handling in pget

Gopher道場#4での発表資料です。

Transcript

1. pgetに見る 並行処理でのエラーハンドリング #Gopherdojo4
2. 自己紹介 • どもも(@Udomomo) • サーバサイドエンジニア @ beBit ◦ 業務は主にJava • 今年の夏にGolangを雰囲気でやったきり • 並行処理がわかるようになりたいと思い参加
3. Context type Context interface { // Done returns a channel that is closed when this Context is canceled // or times out. Done() <-chan struct{} // Err indicates why this context was canceled, after the Done channel // is closed. Err() error // Deadline returns the time when this Context will be canceled, if any. Deadline() (deadline time.Time, ok bool) // Value returns the value associated with key or nil if none. Value(key interface{}) interface{} }
4. むずかしい
5. もっと実例を見たい
6. pget
7. Qiitaより かなり頑張ったのが error 処理です。分割ダウンロードの際、 goroutine は非 同期での処理になるので、もし一つの goroutine でエラーが起こった場合全て の goroutine を終了させなければいけません。そしてそのエラーの原因を取得 しなければいけないのですが、これが難しかった... これらはcontextを利用することで解決できました。 (https://qiita.com/codehex/items/d0a500ac387d39a34401)
8. ここを見てみる
9. 前提 • URLとしてファイルのミラーURLを複数渡せる • ダウンロード実行前に各URLにHEADリクエストを飛ば し、Range Accessの可否とファイルサイズを 取得する
10. (https://github.com/Code-Hex/pget/blob/master/requests.go)
11. (https://github.com/Code-Hex/pget/blob/master/requests.go)
12. 重要なこと • 1つのgoroutineでエラーが起きたら、全ての goroutineを終了させる • エラーの原因を取得する
15. (https://github.com/Code-Hex/pget/blob/master/ch.go)
16. ←全体でタイムアウトした場合 ←goroutineでのエラーの場合 ←正常時
17. ポイント • すべてのgoroutineを監視するcheckListenを用意 • contextを使い回すことで、複数のgoroutineで キャンセルを一度に検知できる • ctxhttpによって、キャンセル時にエラーを自動で 発生させ、それをcheckListenに送る
18. まとめ • 並行処理のお作法がわかってきた • Contextをうまく使いたい • 自分でも書いてみる ◦ まずは課題をやるところから
19. ありがとうございました