Bedrockによるエラー通知のフィルタリング

OpsJAWS Meetup33 AIOps

Transcript

1. Bedrockによるエラー通知の フィルタリング
2. はじめに 今回話す内容は企業での活用事例ではなく、思いついたものを試したものになります。 ちゃんと検証したものではないので話半分で聞いてもらえればとおもいます。
3. エラーログ通知での困りごと 例えばCloudWatch Logsのサブスクリプションフィルターを「 ?ERROR ?Error ?error」にした場合 • 警告レベルのログメッセージに errorが含まれていて通知されてしまう • 警告レベルで十分なログがエラーレベルで出力されていて通知しまう
4. 改善しようとすると • アプリケーションログ自体の改修 ◦ サービスの稼働には影響がないので優先度が低くなりがち • サブスクリプションフィルターの改修 ◦ 特定のログを除外しようとするとフィルターパターンどんどん複雑になってしまう • 変更内容のリリース ◦ 週一回、月一回などリリースが定期的にしか行えない場合、タイミングによってはすぐに反映できない
5. 構成
6. Bedrockに判定してもらう際のルール • ステップバイステップで考える • フィードバックの内容から十分な推測ができる場合のみ判定を行い、判定できない場合は常に `true` を 返す • フィードバックと判定するログのメッセージが 80%以上一致しているものを類似したフィードバックとして扱 う • フィードバックに理由がある場合は、その内容を考慮する • 類似したフィードバックが矛盾する場合は、最新のフィードバックの内容を優先する
7. デモ
8. 各モデルでの検証① 似たようなログのフィードバックを参照して通知を抑制することができるか エラーメッセージ • ERROR: Failed to parse a fuga : invalid type: string "test", expected f32 at line 1 column 22 フィードバック • メッセージ：ERROR: Failed to parse a hoge : invalid type: string "test", expected f32 at line 1 column 22 • 通知が必要かどうか：不要 • 理由：なし
9. 検証①の結果 • Amazon Nova Lite ◦ たまに通知を行ってしまうときがある • Amazon Nova Pro ◦ ためした限りではすべての通知を抑制できた • Claude 3.5 Haiku ◦ ためした限りではすべての通知を抑制できた • Claude 3.7 Sonnet ◦ ためした限りではすべての通知を抑制できた
10. 各モデルでの検証② フィードバックが矛盾しているとき、最新のフィードバックを優先できるか エラーメッセージ • ERROR: Failed to parse a piyo : invalid type: string "test", expected f32 at line 1 column 22 フィードバック • 古いフィードバック ◦ メッセージ：ERROR: Failed to parse a hoge : invalid type: string "test", expected f32 at line 1 column 22 ◦ 通知が必要かどうか：不要 ◦ 理由：なし • 新しいフィードバック ◦ メッセージ：ERROR: Failed to parse a fuga : invalid type: string "test", expected f32 at line 1 column 22 ◦ 通知が必要かどうか：必要 ◦ 理由：なし
11. 検証②の結果 • Amazon Nova Lite ◦ ためした限りではすべて通知された • Amazon Nova Pro ◦ ためした限りではすべて通知された • Claude 3.5 Haiku ◦ ためした限りではすべて通知された • Claude 3.7 Sonnet ◦ ためした限りではすべて通知された
12. 各モデルでの検証③ フィードバックを参照して特定のエラーのみ通知できるか エラーメッセージ • ERROR: Failed to parse a fuga : invalid type: string "test", expected f32 at line 1 column 22 • ERROR: Failed to parse a piyo : invalid type: string "test", expected f32 at line 1 column 22 フィードバック • メッセージ：ERROR: Failed to parse a hoge : invalid type: string "test", expected f32 at line 1 column 22 • 通知が必要かどうか：不要 • 理由：piyo以外のパースエラーは通知不要
13. 検証③の結果 • Amazon Nova Lite ◦ fugaのパースエラーはたまに通知を抑止できず、 piyoのパースエラーを半分ぐらい通知できない • Amazon Nova Pro ◦ fugaのパースエラーは通知をすべて抑止することができたが、 piyoのパースエラーをたまに通知できない • Claude 3.5 Haiku ◦ ためした限りでは fugaのパースエラーは通知を抑止、 piyoのパースエラーの通知ができた • Claude 3.7 Sonnet ◦ ためした限りでは fugaのパースエラーは通知を抑止、 piyoのパースエラーの通知ができた
14. さいごに • 今回作成したものは下記になります ◦ https://github.com/takenoko-gohan/llm-alert-filter-sample
15. ご清聴ありがとうございました