Bashスクリプトにおけるバッチ処理の同時実行制御について #ツナギメオフライン.4

ツナギメオフライン ベンキョウカイ #4で発表したスライドです。

Transcript

1. Bashスクリプトにおける バッチ処理の同時実行制御について ツナギメオフライン ベンキョウカイ #4 January 21, 2026.
2. @akase244 <?php var_dump( (new Me()) ->WebApplicationEngineer() ->InfrastructureEngineer() ); January 21, 2026. ツナギメオフライン ベンキョウカイ #4
3. @tsunagimefm https://tsunagi.me/ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
4. みなさんバッチ処理書いてますか？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
5. そのバッチ処理は同時に動いても問題ないですか？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
6. 同時実行をあまり考えず こんな処理を書いてました January 21, 2026. ツナギメオフライン ベンキョウカイ #4
7. LOCKFILE=/tmp/mybatch.lock if [ ! -f "$LOCKFILE" ]; then touch "$LOCKFILE" # 処理 fi trap 'rm -f "$LOCKFILE"' EXIT January 21, 2026. ツナギメオフライン ベンキョウカイ #4
8. パッと見は良さそう January 21, 2026. ツナギメオフライン ベンキョウカイ #4
9. 何が問題か January 21, 2026. ツナギメオフライン ベンキョウカイ #4
10. 色々と問題が January 21, 2026. ツナギメオフライン ベンキョウカイ #4
11. • 厳密には同時実行を防げない。 • 強制終了（「ctrl-c」、「kill -9」）した場合にロックファイルが残る。 • 処理実行中にサーバーが再起動した場合はロックファイルが残る。 • スクリプトに不具合があると途中で終了しロックファイルが残る。 • ロックファイルが存在している場合に「処理中の状態」なのか「処理に失敗 して残っている状態」なのかを判別できない。 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
12. • 厳密には同時実行を防げない。 • 強制終了（「ctrl-c」、「kill -9」）した場合にロックファイルが残る。 • 処理実行中にサーバーが再起動した場合はロックファイルが残る。 • スクリプトに不具合があると途中で終了しロックファイルが残る。 • ロックファイルが存在している場合に「処理中の状態」なのか「処理に失敗 して残っている状態」なのかを判別できない。 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
13. TOCTOU(Time-of-check to time-of-use) January 21, 2026. ツナギメオフライン ベンキョウカイ #4
14. January 21, 2026. ツナギメオフライン ベンキョウカイ #4 https://ja.wikipedia.org/wiki/Time-of-check_to_time-of-use
15. トックトゥー？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
16. なんかちょっと発音するのが恥ずかしい January 21, 2026. ツナギメオフライン ベンキョウカイ #4
17. 状態を確認した時点と実際にそれを利用する時点の 間に割り込まれる余地があるという問題 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
18. LOCKFILE=/tmp/mybatch.lock if [ ! -f "$LOCKFILE" ]; then # 状態を確認した時点 # ここで別の処理に割り込まれる余地がある touch "$LOCKFILE" # 利用する時点 # 処理 fi trap 'rm -f "$LOCKFILE"' EXIT January 21, 2026. ツナギメオフライン ベンキョウカイ #4
19. ではどのように対応するか？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
20. アプリケーションの仕組みで解決するのではなく カーネルの仕組みで解決する January 21, 2026. ツナギメオフライン ベンキョウカイ #4
21. LOCKFILE=/tmp/mybatch.lock exec 200>"$LOCKFILE" flock -n 200 # 以降、シェルが生きている限りロックを保持 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
22. 「exec 200>"$LOCKFILE"」？？？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
23. 「command > /dev/null 2>&1」の 仲間だと思ってください January 21, 2026. ツナギメオフライン ベンキョウカイ #4
24. • 「200」はファイルディスクリプタ番号。 • 数字は何でもよいが0〜2は予約されている。 ◦ 0: stdin（標準入力） ◦ 1: stdout（標準出力） ◦ 2: stderr（標準エラー出力） • 「3」以降であれば利用してよい。 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
25. ファイルディスクリプタ番号の上限値は？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
26. • ulimit • sysctl • fs.nr_open • /etc/security/limits.conf January 21, 2026. ツナギメオフライン ベンキョウカイ #4 あまり詳しくないのでこのあたりを キーワードにしてAIに聞いてください
27. 「flock -n 200」？？？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
28. • Linuxカーネルのロック機構（排他制御）。 ◦ 「-n」はノンブロッキングを意味する。 ▪ ロックが取れなければすぐに処理を終了する。 ◦ プロセスが終了するとロックが解放されることが保証されている。 ▪ 正常終了（「exit 0」） ▪ 異常終了（「exit 0」以外） ▪ 強制終了（「ctrl-c」(SIGINT)、「kill -9」(SIGKILL)） ▪ 予期せぬ再起動・電源断 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
29. crontabで排他制御を行いたい場合は？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
30. # crontabの場合はこのように簡潔な書き方でOK * * * * * /usr/bin/flock -n lockfile command January 21, 2026. ツナギメオフライン ベンキョウカイ #4
31. flockとか難しいんですけど？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
32. LOCKDIR=/tmp/mybatch.lock if ! mkdir "$LOCKDIR" 2>/dev/null; then echo "すでに実行中" exit 1 fi ・ ・ trap 'rmdir "$LOCKDIR"' EXIT January 21, 2026. ツナギメオフライン ベンキョウカイ #4
33. mkdirはアトミックな処理 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
34. • アトミックとは途中で割り込まれず成功か失敗かのどちらかしか起きない操 作。 • mkdirは後から実行した方が必ず失敗する。 • ただし、trapだけではロックディレクトリが残る可能性あり。 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
35. Bashスクリプトではなく プログラミング言語の場合は？ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
36. • PHP ◦ https://www.php.net/manual/ja/function.flock.php • Python ◦ https://docs.python.org/3/library/fcntl.html#fcntl.flock • Ruby ◦ https://docs.ruby-lang.org/ja/latest/method/File/i/flock.html • Java ◦ https://docs.oracle.com/en/java/javase/25/docs/api/java.base/java /nio/channels/FileChannel.html#lock() • Go ◦ https://pkg.go.dev/syscall#Flock January 21, 2026. ツナギメオフライン ベンキョウカイ #4
37. まとめ January 21, 2026. ツナギメオフライン ベンキョウカイ #4
38. • 同実行制御はアプリケーション側で対応するのではなく、カーネルの仕組 み(flock)を利用するか、アトミックな処理(mkdir)で対応する。 • 各プログラミング言語毎にflockの実装が準備されている。 • TOCTOUを発音するとなんだか恥ずかしい。 January 21, 2026. ツナギメオフライン ベンキョウカイ #4
39. Thanks! Have a good programming!! January 21, 2026. ツナギメオフライン ベンキョウカイ #4