北海道の地名をAIは読めるのか

Transcript

1. 北海道の地名をAIは読めるのか ローカルLLM × AgentCore Gateway × AgentCore Observability 2026/08/22 第49回 JAWS-UG札幌勉強会 in 旭川
2. 突然ですが... 2
3. 音威子府 3
4. 読めますか？ 4
5. AI には読めるかな？ 5
6. エージェントを作って試してみよう！ ついでに AgentCore Gateway に生えた検索ツールを使ってみよう 6
7. とはいえ無邪気に使えるほどのお金はなく... 7
8. CBクレジットが使えるモデルは使えず... 8
9. 最後の砦 ローカルLLM 9
10. ということで、作ったもの 10
11. 北海道難読地名エージェント 11
12. 構成について モデル：ローカル（llama.cpp + Qwen3.6-35B-A3B、M4 MacBook Air） – 推論代をかけない（マシンを動かしておく必要あり） Web検索： AgentCore Gateway の Web Search Tool – AWSマネージドの検索ツール – MCPサーバーとして利用できるのでローカルのエージェントからも呼べる ついでに AgentCore Observability でトレース – ADOTの計装で、OTLPトレースをSigV4署名して送る 12
13. Web Search Tool について AgentCore Gateway に組み込みconnectorとして用意されている検索ツール – Gatewayのtargetとして追加するだけで使うことが可能 エージェント側からはただのMCPサーバーとして見える – 認証はSigV4（IAM）なので、ローカルのエージェントからも呼べる – Strandsなら MCPClient で接続するだけで、モデルは問わない コストは検索1回あたり $0.007 13
14. トレースの送り方 エージェントのコードは修正不要、起動コマンドをADOTで包むだけ $ opentelemetry-instrument python chimei_agent.py search ADOT が以下を実施 – Strandsが出すOTLPトレースを拾って、CloudWatchのエンドポイントへ直送 – そのリクエストに SigV4署名 を自動で付ける 受け側（AgentCore Observability）の入り口はIAM認証 – IAMさえ通れば、Runtimeに乗せなくてもローカルから送れる 14
15. 検証：LLMの素の実力 vs 検索ツール 15
16. 検証のやり方 北海道の難読地名5問を、同じエージェントに3つの条件で解かせる – 素（Thinkingなし）：Qwen3.6の知識だけで即答 – 素（Thinkingあり）：じっくり考えてから答える – Web検索あり：Gatewayの検索ツールを渡して自分で調べさせる 16
17. 第1問：音威子府 17
18. 第1問：音威子府 条件 答え 結果 素（Thinkingなし） おといねっぷ 素（Thinkingあり） おいわけふ Web検索あり おといねっぷ 正解は「おといねっぷ」 18
19. 第2問：長万部 19
20. 第2問：長万部 条件 答え 結果 素（Thinkingなし） おしゃまんべ 素（Thinkingあり） ちょうかんべ Web検索あり おしゃまんべ 正解は「おしゃまんべ」 20
21. 第3問：留辺蘂 21
22. 第3問：留辺蘂 条件 答え 結果 素（Thinkingなし） とべし 素（Thinkingあり） るべしべ Web検索あり るべしべ 正解は「るべしべ」 22
23. 第4問：比布 23
24. 第4問：比布 条件 答え 結果 素（Thinkingなし） ひふ 素（Thinkingあり） ひろべ Web検索あり ぴっぷ 正解は「ぴっぷ」 24
25. 第5問：神居古潭 25
26. 第5問：神居古潭 条件 答え 結果 素（Thinkingなし） かんいこたん 素（Thinkingあり） かむいこたん Web検索あり かむいこたん 正解は「かむいこたん」 26
27. 結果まとめ 条件 正答 回答速度 素（Thinkingなし） 2/5 1秒未満/問 素（Thinkingあり） 2/5 13〜43秒/問 Web検索ツールあり 5/5 21〜35秒/問 検索ツールを渡すと全問正解 – 再現性も高い 素は実行ごとにブレる – Thinkingなし 1〜3/5 / Thinkingあり 0〜3/5（各4回実測） 27
28. おまけ：考えすぎ問題 クイズの通り、考えために誤った問題（音威子府・長万部）と 考えて当たる問題（留辺蘂・神居古潭）が両方あった – ちなみに、Thinkingありの初回テストでは、「音威子府」に対して 2,186字考え抜いた末の答えが 「ねむろ」 reasoningの時間とトークンはトレースで追えます 28
29. トレースを覗く 29
30. エージェントの挙動を追う 30
31. トレースした結果 言えること 条件 正答 トークン/問 時間/問 素（Thinkingなし） 2/5 81〜86 0.4〜0.8秒 素（Thinkingあり） 2/5 413〜1,195 13〜43秒 Web検索あり 5/5 6,145〜9,928 21〜35秒 2/5 → 5/5 の代わりに、トークンはざっくり100倍 – 検索結果がまるごとプロンプトに入る Thinkingは（今回に関しては）してもしなくても変わらない – 出力時間がかかるだけ 31
32. おまけ：Claudeにビジュアライズさせるの良さげ？ 32
33. おまけ：ちょっとしたバグを発見 StrandsのLlamaCppModelは使用トークン数が常に0になるバグあり – 初めて issue 投稿してみた（AIさまさま） 33
34. まとめ 34
35. まとめ AgentCore Gateway Web Search：簡単にでエージェントに検索能力を足せる – ローカルのエージェントからもMCPで呼べる AgentCore Observability：ローカルエージェントも観測できる – 正答率の改善もトークンの代償も、トレースが全部教えてくれる – ただし、AgentCore Runtime 出ないと集計できない部分もありそう 難読地名が読めなくても、調べる仕組みがあればなんとかなる – 人間もAIも同じ 35
36. ご清聴ありがとうございました 質問・フィードバックお待ちしています 36