Human-in-the-LoopなAIAgentを支えるガードレール設計 / Designing HITL AI Guardrails

めぐろLT #35　「AIのサービス組み込み事例紹介」@日本橋 で発表したスライドです。
イベントページ: https://meguro-lt.connpass.com/event/379340/

Transcript

1. © 2026 Wantedly, Inc. Human-in-the-Loopな AI Agentを支えるガードレール設計 めぐろLT #35 Feb.24 2026 - Mitsuhiro Komuro (@nekorush14) 1
2. © 2026 Wantedly, Inc. ⾃⼰紹介 2 　 人生初の社外LT登壇です Mitsuhiro Komuro (@nekorush14) Wantedly, inc. / Visit AI Squad / Backend Enginer 技術調査 / 天体観測 / Games and more. / @nekorush14
3. © 2026 Wantedly, Inc. 今⽇話すプロダクト 3 「候補者探しの⼀部を AI で⾃動化する」ことができる  スカウトの新機能 この機能に組み込まれているガードレールの設計について話します AIエージェントモード AIが候補者リストを作成提案する「AIエージェントモード」提供開始 https://www.wantedly.com/companies/wantedly/post_articles/1025286
4. © 2026 Wantedly, Inc. 01 ガードレールをLLMにする 02 採用した設計 03 まとめ CONTENTS 4
5. © 2026 Wantedly, Inc. ガードレールをLLMにする 01 5
6. © 2026 Wantedly, Inc. 課題 構成した仕組み ガードレールをLLMにする 「文脈」を理解するガードレール 6 ユーザー LLM ガードレール LLM プロンプト 形式に従った回答 チェックNG チェックOK 採⽤⽂脈のニュアンスを 考慮して判定させたい プロンプトインジェクション等 攻撃を防ぎたい APIのレートリミットに なるべく到達させないようにしたい
7. © 2026 Wantedly, Inc. 採用した設計 02 7
8. © 2026 Wantedly, Inc. 同一ガードレールプロンプトで複数回判定する 単一のLLMによる回答よりも推論精度が大幅に向 上することが知られている *1 プロンプトで採⽤⽂脈のニュアンスを考慮可能 ユーザープロンプト解釈の揺らぎを吸収する n回繰り返す 採用した設計 Self-consistency 8 *1 Wang, Xuezhi, et al., "Self-consistency improves chain of thought reasoning in language models.", arXiv preprint arXiv:2203.11171, 2022.   https://arxiv.org/abs/2203.11171 ガードレール プロンプト ガードレール LLM ユーザー プロンプト 脅威度レベル   平均して閾値を超えたらunsafeとする
9. © 2026 Wantedly, Inc. 採用した設計 Exponential backoff + Full Jitter 9 LLMコール リトライ LLMコール LLM API リトライ LLMコール LLM API LLM API 429: Throttling Exception 429: Throttling Exception 200: OK 2s sleep 3.4s sleep Exponential backoff リトライ時間を指数関数的に伸ばす手法 Full Jitter 伸ばした時間の中でランダムな揺らぎを加える APIの⼀⻫リトライを防⽌してレートリミットの 張り付きを回避する
10. © 2026 Wantedly, Inc. まとめ 03 10
11. © 2026 Wantedly, Inc. まとめ 推論と通信を安定させて信頼できるガードレールを実現する 11 Backoff + Jitterで APIコールの 安定性を確保する Self-consistencyで プロンプト解釈の 揺らぎを吸収する 安定したシステムで 安全なAI機能を提供する 1 2 3
12. © 2026 Wantedly, Inc. 12 もっと詳しく知りたい⽅はこちら Human-in-the-Loop な AI エージェントを⽀えるガードレール設計 | Wantedly Engineer Blog https://www.wantedly.com/companies/wantedly/post_articles/1038437
13. © 2026 Wantedly, Inc. Wang, Xuezhi, et al. "Self-consistency improves chain of thought reasoning in language models." arXiv preprint arXiv:2203.11171 (2022). https://arxiv.org/abs/2203.11171 Exponential Backoff And Jitter | AWS Architecture Blog https://aws.amazon.com/jp/blogs/architecture/exponential-backoff-and-jitter/ Human-in-the-Loop な AI エージェントを支えるガードレール設計 | Wantedly Engineer Blog https://www.wantedly.com/companies/wantedly/post_articles/1038437 AIが候補者リストを作成提案する「 AIエージェントモード」提供開始 | Wantedly, Inc. https://www.wantedly.com/companies/wantedly/post_articles/1025286 Human-in-the-Loop な AI エージェントを作るためのソフトウェア設計 | Wantedly Engineer Blog https://www.wantedly.com/companies/wantedly/post_articles/1026657 参考文献 13