Amazon Bedrockで実現する新たな学習体験

by Kazuki Maeda

Slide 1

Slide 1 text

Amazon Bedrockで実現する新たな学習体験 Kazu ki Ma eda / @atama p lu s 2025.6.26 2 か月で実装した教育スタートアップの挑戦

Slide 2

Slide 2 text

Slide 3

Slide 3 text

自己紹介 VPoE @ atama plus 教育をテクノロジーで進化する事業におけるテクノロジーの責任者を担っています AWS Startup Community Core Member / AWS Community Builder 3 K a z u k i M a e d a

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

教育に、人に、社会に、次の可能性を。 M i s s i o n

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

2022年12月 post 生成AI時代 2022年12月 post 生成AI時代

Slide 10

Slide 10 text

Slide 11

Slide 11 text

教育事業者として atama plusはどのような価値にフォーカスすべきか

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

2022年12月 post 生成AI時代 post 生成AI時代生成AIの活用による解決を着想

Slide 18

Slide 18 text

生成AIを用いた学習体験「AIステップ解説」

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

AIステップ解説 β版公開までの流れ

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

ⓒ atama plus Inc. AIステップ解説のアーキテクチャ外観 29 AIステップ解説公開までの流れ AIステップ解説学習アプリからコンテンツデータを API経由で渡す Amazon Bedrock経由で Anthropic Claudeに問い合わせ既存APIサーバとは別component として実装 Anthropic Claude Amazon Bedrock 価値検証を最速で行うため、スピーディに公開できる実装を志向

Slide 30

Slide 30 text

Slide 31

Slide 31 text

生成AIアプリケーションを 2ヶ月で本番(β)機能としてリリース

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

ⓒ atama plus Inc. prompt cachingによるコスト最適化 • 2025年4月、Amazon Bedrockでprompt cachingが利用できるように • モデルバージョンを更新して、system promptを再利用することでコスト構造を改善 • prompt cachingの制約としてTTLが5分と短いが、AIステップ解説では、 1つのセッション内で学習者の発言ごとにLLM呼び出しが発生するため、 cacheを効かせることで70%の費用削減 38 生成AIアプリケーション本番運用における実践知 -技術的な工夫-

Slide 39

Slide 39 text

ⓒ atama plus Inc. promptとコンテンツデータ 39 生成AIアプリケーション本番運用における実践知 -技術的な工夫- AIステップ解説 <問題> y = 2x <解説> xに4を代入 system prompt 公式の意味を詳しく教えてほしい user prompt コンテンツデータは system promptに含ませて渡す Amazon Bedrock Anthropic Claude 質問内容は user promptに格納

Slide 40

Slide 40 text

ⓒ atama plus Inc. prompt cachingによるコスト最適化 40 生成AIアプリケーション本番運用における実践知 -技術的な工夫- AIステップ解説 <問題> y = 2x <解説> xに4を代入 system prompt 公式の意味を詳しく教えてほしい user prompt 質問ごとに変動しないコンテンツデータをcache TTL 5分の間で費用が発生するのはuser prompt のみ Amazon Bedrock Anthropic Claude

Slide 41

Slide 41 text

ⓒ atama plus Inc. LLM as Judgeによるモデル変更時の評価 • サービス公開当初はClaude 3.5 Sonnetを利用 • その後、Amazon NovaやClaude Sonnet 4などの新しい基盤モデルも選定できるようになるが、モデル変更時の回答性能担保が課題になった • 人力でモデル比較を愚直にやるのは効率が悪いので、評価の手法として LLM as Judge を利用することを検討 41 生成AIアプリケーション本番運用における実践知 -技術的な工夫-

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

ⓒ atama plus Inc. モニタリングSaaSと連携したLLM実行監視 • 生成AIアプリケーションは、通常のWebアプリケーションに比べて振る舞いの安定性が低く、会話sessionごとの挙動モニタリングが重要 • Amazon Bedrockのinvocation logのみではsessionの特定が困難 • → モニタリングSaaSと連携してLLMアプリケーションの実行監視が必要 • モニタリングSaaSとしてはDatadog LLM Observabilityを選定 44 生成AIアプリケーション本番運用における実践知 -技術的な工夫-

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

教育サービスとしての責任

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

ⓒ atama plus Inc. AWS Generative AI Innovation Centerとの協業 • AWS Generative AI Innovation Center • 生成AIアプリケーションの本番稼働に向けて、生成AIの専門家の支援を受けることができるプログラム • 一般的なアドバイスだけでなく、実際のコード・プロンプト・データを参照した実践的な開発支援を受けることができる 58 AWSによる支援体制

Slide 59

Slide 59 text

ⓒ atama plus Inc. AWS Generative AI Innovation Centerの支援事例 • 回答品質の向上 • 特定のパターンにおいて、生成AIが不正確な回答を繰り返す事象 • 実際のプロンプトをAWSのスペシャリストにレビューしてもらい、改善案を提案してもらって実装 • コスト削減の支援 • 生成AIのコストは変動費構造なので、利用が伸びるほどにコストがかかる • アーキテクチャの変更により、変動費分を削減するアドバイス 59 AWSによる支援体制

Slide 60

Slide 60 text

Slide 61

Slide 61 text

2022年12月 post 生成AI時代 2022年12月 post 生成AI時代

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Slide 64

Slide 64 text

Slide 65

Slide 65 text

今後も、生成AIを活用した新しい学びの形を追求していきたい