フレームワークの「恩恵」と「制約」を見極めたバッチ処理の高速化

Transcript

1. 45min → 20sec フレームワークの「恩恵」と「制約」を 見極めたバッチ処理の高速化 梅木和弥 PHP Conference Odawara 2026 2026/4/11(土) / おだわら市民交流センター UMECO
2. Today’s goal. フレームワークの「恩恵」と「制約」を見極めた線引きが大事
3. Agenda 1 概要 2 既存実装の課題点 3 課題解決への作戦検討 4 改善フェーズ 5 結果サマリー
4. 概要 どんなシステム？どんなプロジェクト？ システム 4,000~5,000人規模の企業向けイントラネット（社内ポータル） 技術スタック Drupal: ECS, Aurora, S3 プロジェクト概要 クライアント案件 / 新規開発 / 初期リリースまで約 2 年半 / 10年運用を見据えている Company Name
5. 概要 バッチ処理について 社員をグループに所属登録させるバッチ処理 日次データ同期バッチ CSV → DB CSVのレコード数: 約40,000件 社員数: 4,000~5,000人、グループ数: 1000未満 実行時間: 約45分間 バッチ処理の速度改善と品質、保守性が求められていた CSV data “group_id”,”employee_no” “42”,”EMP_NO_001” “42,”EMP_NO_002” “105”,”EMP_NO_001” “105”,”EMP004” ... （約4万行）
6. 概要 既存のバッチ処理のロジックについて ①. S3から取得したCSVファイルを1行ずつ読み込む ②. グループと社員がDB上に存在するか？ No Yes 監査用ログ出力 グループに社員を所属登録 るとプルがかかた CSV data “group_id”,”emp_no” “42”,”EMP_NO_001” “42,”EMP_NO_002” “105”,”EMP_NO_001” “105”,”EMP004” ... （約4万行）
7. 課題点 何故45分かかる？ Before N+1問題 + 洗い替え方式 $this→deleteAll(); // DELETE foreach ($records as $r) { $group = $groupRepo->load($r[‘g_id’]); // SELECT $emp = $userRepo→loadByEmpNo($r[‘emp_no’]); // SELECT if (!$group->getMember($emp)) { $group->addMember($emp); $group->save(); // INSERT / UPDATE } 4万行 × 毎行3回のDBアクセス ＝ 約12万クエリ }
8. 作戦 時短 x 保守性 x 工数 Option A Option B FWのAPIで書く 素のPHP+SQLで書く 遅い（45分） 保守性がネック Option C 計算は言語レイヤ 永続化はFW ✓ SELECTED
9. リファクタリング Phase 1 メモ化とデータの正規化 Phase 2 差分更新の実装
10. Phase 1 メモ化とデータの正規化 After foreach // 1. ($records as メモ化 $rows $gCache[$gID] ??= = $r) { [ $gRepo->load($r[‘gID’]); // 未ロードの場合のみDBへアクセス 42 ??= => [ 101 => true, 102 => true $empCache[$empNo] $empRepo→loadByEmpNo($r[‘empNo’]); 105 // 2. if ($gCache[$gID] => [ 103 => true ], 軽量ハッシュマップの構築 $empNo ] = && $empCache[$empNo]) { $emp_cache[$empNo]; グループ42 → ユーザー101, 102 を所属させたい $rows[$gID][$empNO] = TRUE; // スカラー値(TRUE)で } ], O(1) 探索用の構造を作る グループ105 → ユーザー103 を所属させたい } return [$rows, $gCache, $empCache]; // キャッシュデータ生成のみを行う関数
11. Phase 2 差分更新を導入、不要なDELETEとINSERTを行わない。 After private function diff($currentIDs, $seletetedIDs): array { $add = $remove = []; // 所属登録処理を行う対象、脱退処理を行う対象を計算する(差分) foreach ($seletetedIDs as $id => $value) { // isset() のハッシュキー探索で O(1) で処理 if (!isset($currentIDs[$id])) { $add[] = $id; } } } foreach ($currentIDs as $id => $value) { if (!isset($seletetedIDs[$id])) { $remove[] = $id; } } return [$add, $remove];
12. 結果サマリー インフラ変更なし。コードだけで達成。 Before After ※ 通常営業日想定 After ※ 大規模組織改変想定 45 min 20 sec 2 min 30 sec
13. まとめ 恩恵と制約を見極めることが大事。その上で線引きを行いましょう FWは「使う・使わない」の二元論ではありません。 アルゴリズムやデザインパターンを積極採用 FW外の箇所ではアルゴリズムやデザインパターンを積極採用 Company Name
14. ご清聴ありがとうございました。 梅木和弥