slogパッケージの深掘り

by やーびー

Slide 1

Slide 1 text

slogパッケージの深掘り DMM.go #10 屋比久怜央

Slide 2

Slide 2 text

自己紹介 2 屋比久怜央　やびくれお名前開発統括本部マーケティングテクノロジー部所属ビリヤード・リアル脱出ゲーム趣味

Slide 3

Slide 3 text

今回のテーマ 3 slog

Slide 4

Slide 4 text

slogとは 4 logに続いて、go 1.21で追加された標準ライブラリ誕生の経緯 structured logging（構造化ログ）の略 timestamp, severity, key-valueなどの小さなデータの集合名称の由来

Slide 5

Slide 5 text

皆さんに覚えて帰って欲しいこと 5 1. slogには3種類のHandlerが用意されている 2. slogはgoroutineセーフ 3. バッファ管理にsync.Poolが利用されている

Slide 6

Slide 6 text

6 slogには3種類のHandlerが利用されている

Slide 7

Slide 7 text

Handlerとは 7 Handlerを付け替えて、出力形式を変える Handlerの役割 ● DefaultHandler ● TextHandler ● JSONHander Handlerの種類

Slide 8

Slide 8 text

DefaultHandler 8 2025/05/06 18:46:02 ERROR error 実装例出力例

Slide 9

Slide 9 text

TextHandler 9 time=2025-05-06T18:49:30.543+09:00 level=ERROR msg=error 実装例出力例

Slide 10

Slide 10 text

JSONHandler 10 {"time":"2025-05-06T18:31:28.471417+09:00","level":"ERROR"," msg":"error"} 実装例出力例

Slide 11

Slide 11 text

Handlerによる出力の比較 11 2025/05/06 18:46:02 ERROR error time=2025-05-06T18:49:30.543+09:00 level=ERROR msg=error {"time":"2025-05-06T18:31:28.471417+09:00", "level":"ERROR","msg":"error"} DefaultHandler TextHandler JSONHandler

Slide 12

Slide 12 text

皆さんに覚えて帰って欲しいこと 12 1. slogには3種類のHandlerが用意されている 2. slogはgoroutineセーフ 3. バッファ管理にsync.Poolが利用されている再掲

Slide 13

Slide 13 text

13 slogはgoroutineセーフ

Slide 14

Slide 14 text

goroutineとは 14 複数のgoroutineを発行すると、並行処理を行うことができる複数の処理を並行して実行できる概要実行イメージ API呼び出し API呼び出し 2つのレスポンスを利用した処理

Slide 15

Slide 15 text

goroutineとは 15 実装例 count! count! count!

Slide 16

Slide 16 text

goroutineセーフとは 16 複数のgoroutineから呼び出した時に、処理が競合しないこと概要 ● 変数の値を更新する時 ● 文字列を出力する時考慮すべきタイミング slogの性能に関わる

Slide 17

Slide 17 text

goroutineセーフじゃない例 17 どのような不都合が発生するのかを確認する目的で、異なるgoroutineから呼ばれうることを考慮せずに実装した雑logを自作してみる受け取った文字列を、既定のio.Writerに書き込むだけのLogger 5個のgoroutineから並行にログ出力を呼び出す方針

Slide 18

Slide 18 text

goroutineセーフじゃない例 18 実装 HellHello HeHeollWorlld Woor Wo! ldrl! d!Hlo elWo rldlo! World! 出力

Slide 19

Slide 19 text

slogなら大丈夫 19 実装 time=2025-05-07T11:41:10.632+09:00 level=INFO msg="Hello World!" time=2025-05-07T11:41:10.632+09:00 level=INFO msg="Hello World!" time=2025-05-07T11:41:10.632+09:00 level=INFO msg="Hello World!" time=2025-05-07T11:41:10.632+09:00 level=INFO msg="Hello World!" time=2025-05-07T11:41:10.632+09:00 level=INFO msg="Hello World!" 出力

Slide 20

Slide 20 text

slogはgoroutineセーフ - 内部実装 20 異なるgoroutineからほぼ同時に呼び出されることが想定されている具体的には、ログの書き込み処理にロックがかけられているなぜslogでは問題が発生しないのか h.mu.Lock() defer h.mu.Unlock() _, err := h.w.Write(*state.buf) slogのソースコードより抜粋 1 3 2 他のgoroutineからの書き込みを制限ログを書き込む他のgoroutineに、書き込みを解放

Slide 21

Slide 21 text

slogはgoroutineセーフ 21 Goでは、goroutineによって並行処理を実現することができるまとめただ文字列を出力するだけだと、異なるgoroutine間でほぼ同時にログを出力した時に、出力が重なり合う場合があるしかし、slogはロックの機構を適切に実装しているのでgoroutineを意識せずに利用することができる

Slide 22

Slide 22 text

皆さんに覚えて帰って欲しいこと 22 1. slogには3種類のHandlerが用意されている 2. slogはgoroutineセーフ 3. バッファ管理にsync.Poolが利用されている再掲

Slide 23

Slide 23 text

23 バッファ管理にsync.Poolが利用されている

Slide 24

Slide 24 text

バッファ管理に sync.Poolが利用されている 24 ● バッファとは ● sync.Poolとは ● slogにsync.Poolを用いる目的この章で話すこと

Slide 25

Slide 25 text

バッファ管理に sync.Poolが利用されている 25 ● バッファとは ● sync.Poolとは ● slogにsync.Poolを用いる目的この章で話すこと

Slide 26

Slide 26 text

バッファとは 26 I/O（読み取り・書き込み）処理がボトルネックになるのを防ぐ広い意味でのバッファの用途 1. 小さいデータをいくつか出力する時に、まとめてI/O 2. 大きいデータを出力する時に、分割してI/O バッファの種類

Slide 27

Slide 27 text

小さいデータをまとめて I/O 27 バッファを利用しない場合バッファを利用した場合 aaa bbb ccc 書き込み書き込み書き込み標準出力 aaa bbb ccc 一時保存一時保存一時保存標準出力バッファ書き込み時間のかかるI/O処理を何度も実行するため効率が悪い

Slide 28

Slide 28 text

大きいデータを分割して I/O 28 バッファを利用しない場合バッファを利用した場合書き込み一時保存標準出力バッファ一度のI/O処理に時間がかかるため効率が悪い長い文章 hogehoge hogehoge 標準出力書き込み書き込み書き込み長い文章 hogehoge hogehoge

Slide 29

Slide 29 text

slogにおけるバッファとは 29 slogにおいては、前者を指しているつまり、小さいデータをいくつか出力する時に、まとめてI/Oすること slogにおけるバッファの役割 timestamp, severity, key-valueなどの小さなデータの集合がログであるつまり、小さなデータをまとめて出力することになる structured loggingとの相性が良い

Slide 30

Slide 30 text

バッファ管理に sync.Poolが利用されている 30 ● バッファとは ● sync.Poolとは ● slogにsync.Poolを用いる目的この章で話すこと

Slide 31

Slide 31 text

sync.Poolとは 31 再利用されるオブジェクトを効率的に使い回す仕組みオブジェクトの初期化処理が重い時に効果を発揮する概要利用方法のイメージ sync.Pool オブジェクトオブジェクトオブジェクトオブジェクトオブジェクトオブジェクトを利用関数A オブジェクトを利用関数B

Slide 32

Slide 32 text

バッファ管理に sync.Poolが利用されている 32 ● バッファとは ● sync.Poolとは ● slogにsync.Poolを用いる目的この章で話すこと

Slide 33

Slide 33 text

slogにおけるsync.Pool 33 標準パッケージのbytesなどを使うことなく、 sync.Poolを利用した独自のバッファを実装している slog独自のバッファログ出力の度にバッファを用意するのは非効率バッファを使い回すことで、大量のログ出力を捌けるようになる sync.Poolによる効率化

Slide 34

Slide 34 text

バッファ管理に sync.Poolが利用されている - まとめ 34 小さいデータをいくつか出力する時に、まとめてI/Oする仕組みバッファとは再利用されるオブジェクトを使い回す仕組み sync.Poolとは出力用のバッファを頻繁に使い回す効率を上げるため slogにsync.Poolを用いる目的

Slide 35

Slide 35 text

皆さんに覚えて帰って欲しいこと 35 1. slogには3種類のHandlerが用意されている 2. slogはgoroutineセーフ 3. バッファ管理にsync.Poolが利用されている再掲

Slide 36

Slide 36 text

ご清聴ありがとうございました！ 36