Share
Embed
Amazon CloudFrontにおけるAIボットアクセス制御のポイント
2026/5/26開催
Network JAWS #21
~ 改めて振り返るCloudFrontとELB(LV200) ~
t.kizawa
May 26, 2026
Transcript
21 slides
-
Amazon CloudFrontにおける AIボットアクセス制御のポイント 【 NW-JAWS #21 ~ 改めて振り返るCloudFrontとELB(LV200) ~ 】
2026年5月26日 Tomotaka Kizawa ( kizawa2020 ) -
▪ 名前 : 木澤 朋隆 (きざわ ともたか) 所属 : 某システムインテグレーター
主な表彰: AWS Ambassador (2021~) Japan AWS Top Engineer (2022~) Japan All AWS Certifications Engineer (2022~) AWS Community Builder (2023~) 自己紹介 Page.2 第4740号 Network & Content Delivery カテゴリ -
▪ Web管理者においては、以前からボットによるアクセス急増が悩みの種 特に最近はAIボットのアクセスが急増している Webサイト管理者を悩ませるボットアクセス Page.6 なかには「お行儀の悪い」ボットもあり、 WAFが一般的でなかった頃は制御が困難でした。 The 2026 State
of AI Traffic & Cyberthreat Benchmark Report https://www.humansecurity.com/learn/resources/2026-state-of-ai-traffic-cyberthreat-benchmarks/ 【2025年 トラフィック分析】 AIカテゴリのボットトラフィック 3.6倍 ① トレーニング 67.5% +136% ② 要約型クローラー 31.9% +597% ③ エージェント ---- +7851% -
▪ AIボットの種類 Page.9 モデル学習型クローラー(AIモデルの教育用) AIに知識を仕込むため、Web上の膨大なテキストやデータを「事前の学習素材」として回収していくボット。 ここにデータを読ませると、将来のAIモデルの回答精度が上がりますが、サイトのアクセス数(トラフィック)には還元されにくい。 例) GPTBot (OpenAI)、ClaudeBot (Anthropic)など
リアルタイム検索・要約型クローラー(AI検索エンジン用) ユーザーがAIチャットやAI検索エンジンに「今のニュースは?」「おすすめの製品は?」と質問した際、その場で最新情報を Webから検索・要約してユーザーに提示するために動くボットです。ユーザーの質問(プロンプト)に応じてリアルタイムに動き、 回答内にサイトへのリンクが掲載されるため、新しい流入源(トラフィック)として注目されています。 例) OAI-SearchBot (OpenAI)、PerplexityBot (Perplexity)など エージェントAI 自動化を自ら実行するAIシステム。ページのナビゲート、フォーム入力や製品を比較などを行う。 エージェント型ブラウザ(ChatGPT AtlasやPerplexity Comet等)や、汎用AIエージェント(ChatGPT AgentやOpenClaw) の方式がある。 -
▪ 2-1. 制御する ~robots.txtによる制御~ Page.14 robots.txt に、ボット毎のアクセスポリシーを定義する。 と書けば遮断。 「お行儀の良い」ボットは制御できる。 User-agent:
* Allow: / User-agent: ClaudeBot Disallow: /page/ User-agent: Claude-SearchBot Disallow: /contents/ User-agent: Googlebot Disallow: /contents/ 例 Disallow: / -
▪ 2-2. 制御する ~AWS WAFでの制御~ Page.15 マネージドルールにて付与されるラベルを用いて、後続のカスタムルールでルール設定が可能 検証済ボットのアクセスには 「awswaf:managed:aws:bot-control:bot:verified」が付与される。 判定ロジックの例
検証済ラベルが付与されたボットアクセスのみ明示的に許可 未検証のボットをBlockもしくはChallenge 特定ボットに限り動作を変更することも可能 選択できるアクション Block : 直ちに遮断 Challenge : ブラウザ側に計算処理をさせてコスト増大させる CAPTCHA : パズルを解かせる AIトラフィック分析の画面からも設定可能 -
▪ 3-2. 緩和する ~クロールタイミングの制御~ Page.17 robots.txt で、Crawl-Delayパラメータを指定することで クローラーがアクセスする頻度を制御できる User-agent: *
Allow: / User-agent: ClaudeBot Crawl-delay: 10 User-agent: Claude-SearchBot Crawl-delay: 10 例 -
▪ まとめ Page.20 AIボットアクセスの 可視化 ・ 制御 ・ 緩和 という観点で実践内容をお話ししました。
皆様のお役に立てば幸いです。 ボットアクセスの制御は 「いたちごっこ」 どんどん新種のボットが登場します。 日頃の運用が大事です。 将来的には・・・ CloudFront/ALB(オリジン) のログから分析してWAF設定に反映する 自動化を検討したいなと・・・ -
▪ 【PR】 AWS Summit Japan 2026出展します Page.21 6/25(木)~26(金) AWS Summit
Japan 2026が幕張メッセで開催されます。 私は今年も自社ブースにいますので、見かけたらお気軽にお声がけください。 https://blog.usize-tech.com/aws-summit-2026/