JAWS DAYS 2026 ExaWizards_20260307

by ExaWizards

Slide 1

Slide 1 text

JAWS DAYS 2026 Mashup for the Future [B5]MLエンジニアだらけの組織が、 AWSアドバンスドティアになって変わったこと〜「理想の育成」と「運用の現実」の両輪で進む組織変革〜堺勇人、長谷川裕一 1

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

#jawsug #jawsdays2026 #jawsdays2026_x Mission A I を用いた社会課題解決を通じて、幸せな社会を実現する

Slide 4

Slide 4 text

#jawsug #jawsdays2026 #jawsdays2026_x 個社の経営課題解決とAIプロダクト/AIエージェントによる課題解決を両輪で回していくデータを蓄積 AIソリューションサービス個社の経営課題解決 AIプロダクト/AIエージェントによる生産性向上汎用課題を解決するプロダクト AIエージェント化個社の課題産業毎のユースケース AIエージェントを使いこなせる人材の育成業界全体の生産性向上各産業のデータ AIアルゴリズム/ AIエージェント 4

Slide 5

Slide 5 text

#jawsug #jawsdays2026 #jawsdays2026_x 経営課題・事業における重要課題に対して様々な領域でインパクトを創出経営課題・事業における重要課題金融/保険/通信×exaBase Studio ヘルスケア×R&D 電力×最適化業務提携/アライアンス 5

Slide 6

Slide 6 text

#jawsug #jawsdays2026 #jawsdays2026_x エンタープライズ領域/ソーシャル領域でサービスを広範に展開エンタープライズ領域ソーシャル領域業界問わず多様な課題に対応特定業務に対する効率化を実現 DX/AXを推進する人材育成を支援認知症診断支援AI AX人材育成ソリューション営業コーポレートコールセンター生成AI AI×RPA アセスメント人事戦略育成・伴走超高齢化社会における 2大課題を解決フレイル予防認知症予防 AIと仕組みで、多様性のある超高齢社会を実現汎用医療人材育成業務特化介護 6

Slide 7

Slide 7 text

#jawsug #jawsdays2026 #jawsdays2026_x AWSに関する取り組み 7 2024年に「AWS アドバンストティアサービスパートナー」に認定「AWS Partner Award – Rising Star of the Year Japan」を受賞

Slide 8

Slide 8 text

#jawsug #jawsdays2026 #jawsdays2026_x AWSに関する取り組み 8 2026年度： • AWS Community Builders に2名選出！ New! 2025年度： • AWS ALL Certifications Engineers に5名選出！ • AWS Jr. Champions に１名選出！

Slide 9

Slide 9 text

#jawsug #jawsdays2026 #jawsdays2026_x ◼ 前半 ⚫ 新卒育成担当：堺 ⚫ エクサウィザーズのML組織での新卒研修で行ったことやその成果について ◼ 後半 ⚫ 新卒エンジニア：長谷川 ⚫ 新卒研修に参加して得た経験をもとにインフラ部で活動していく中で感じた現実とのギャップを実例を通して紹介 9

Slide 10

Slide 10 text

AWS 研修を通じた若手エンジニアの成長のステップ 10

Slide 11

Slide 11 text

#jawsug #jawsdays2026 #jawsdays2026_x 株式会社エクサウィザーズ堺勇人（Hayato Sakai）部署： AIプラットフォーム事業本部担当業務：医療向けアプリケーションのアルゴリズム開発好きなAWSサービス：Lambda 取得済みAWS資格：自己紹介 11

Slide 12

Slide 12 text

#jawsug #jawsdays2026 #jawsdays2026_x 創業時はAIのPoC（検証）の開発が多かったが、機械学習サービスを開発・運用する場面が増えてきました。そこで近年はインフラ開発力向上に力を入れ、昨年AWSアドバンストティアに認定されました。そんな当社の新卒育成環境の紹介をします！ 12 PoC 実運用

Slide 13

Slide 13 text

#jawsug #jawsdays2026 #jawsdays2026_x 研修の対象者 AWS未経験の新卒エンジニアクラウド自体が初めて / インフラの知識も少ない伝えたいこと AWS実務使用経験ゼロの新卒が、研修でどこまで成長できたか話すこと研修の取り組み 13 研修内のAWSに関する取り組みについてご紹介します

Slide 14

Slide 14 text

#jawsug #jawsdays2026 #jawsdays2026_x 研修の概要と目的概要 AWS初学者向けの実践型研修新卒1年目を対象に、AWSの実務スキルを習得研修の目的 PoC（概念実証）だけでなく、運用フェーズまで考えられるエンジニアの育成インフラ構築クラウド基盤の設計・構築力可用性、冗長性障害に強いシステム設計コスト最適化コストを考えたシステム設計 14 運営体制 2〜3年目の若手が主体で運営発表者の堺も運営の中心メンバーの一人として参画

Slide 15

Slide 15 text

15 研修の取り組み研修の取り組み全体像 AWS未経験の新卒が、研修でどこまで成長できたか ① AWS 環境ハンズオン社内デモ環境で EC2・ALB・VPNを実際に触って学ぶ ② AWS JumpStart AWSの2日間研修で多様なサービスとアーキテクティングを学ぶ ③ AWSへデプロイ自分のアプリを AWSにデプロイ先輩レビューで改善 ④ 資格試験受験 AWS Cloud Practitioner 全員合格！

Slide 16

Slide 16 text

#jawsug #jawsdays2026 #jawsdays2026_x その過程で学ぶ ▼ この環境を使って ▼ 取り組み① AWS 環境ハンズオン研修の取り組み前提社内デモ環境 • 「試す」、「壊す」、「直す」という実践を行うことのできるAWS環境 • 社内ネットワークからVPN接続により、ALBにアクセス可能実行メインミッション：アプリを公開する STEP1 EC2立ち上げインスタンス作成アプリ配置 STEP2 ALB設定ターゲットグループ紐付け STEP3 動作確認 VPN経由でブラウザアクセス学びセキュリティ面の学び 01 SSM管理 SSHでポートに穴を開けずに安全に操作 02 最小権限 SG・IAMで権限の管理 16 作成した構成図

Slide 17

Slide 17 text

#jawsug #jawsdays2026 #jawsdays2026_x 取り組み① AWS 環境ハンズオン研修の取り組み Before 研修前の状態 AWSが何もわからない ✖EC2、ALB等が暗号に見える ✖クラウド＝誰かがやるもの ✖インフラは自分の領域外研修を通じて After 研修後の状態クラウドへの理解が深まる ALB、VPC、SG、IAMを説明できるクラウド上にサーバを立てて動かせる ✔EC2を立ててアプリを動かせる 17

Slide 18

Slide 18 text

#jawsug #jawsdays2026 #jawsdays2026_x ハンズオン後の壁研修の取り組み EC2でサーバーは立てられた...でも次にどうすれば？悩み ① 使ったサービスがEC2だけ ▸S3、RDS、Lambda…名前は聞くけど ▸何がどう便利なのか分からない悩み ② デプロイの設計が分からない ▸自分のアプリをAWSに載せるには？ ▸サービスの組み合わせ方が不明浮かんだ疑問「AWSのサービスって他にどんなものがあるんだろう？」「自分のアプリをデプロイするとき、どう考えればいい？」 18

Slide 19

Slide 19 text

#jawsug #jawsdays2026 #jawsdays2026_x 取り組み② AWS JumpStartへの参加研修の取り組み概要 AWS主催のAWS初学者向けの実践的な2日間の研修プログラム ▸「クラウドネイティブなテックリード人材」育成の第一歩 ▸全日程オンライン開催（参加費無料）カリキュラム事前学習オンライン教材でAWSの基礎を予習 1日目座学＋ハンズオンペアプロ形式で実践 2日目実践アーキテクティング構成図を自ら作成形式全日程オンライン（無料）対象 AWS初学者・新卒エンジニア https://aws.amazon.com/jp/blogs/news/aws-jumpstart-2026/ 学び 01 様々なサービスの理解座学・ハンズオンを通じて様々なAWSサービスを知れる 02 アーキテクチャ図の作成自力で実践的なアーキテクチャ図を設計できる 19

Slide 20

Slide 20 text

#jawsug #jawsdays2026 #jawsdays2026_x JumpStartで学んだことで、視野が一気に広がった！学び ① AWS の多様なサービスを知れた！ ▸S3、RDS、Lambdaなどの役割を理解 ▸EC2以外の選択肢が見えてきた学び ② デプロイの設計方法を知れた！ ▸サービスの組み合わせ方を学んだ ▸アーキテクチャ図を自分で描けた次にやりたいこと自分で作った実際の課題を解決するアプリを AWS にデプロイしてみたい！研修の取り組み AWS JumpStartを経て 20

Slide 21

Slide 21 text

#jawsug #jawsdays2026 #jawsdays2026_x 取り組み③ AWS へデプロイしてみよう研修の取り組みプロセス ▸新卒メンバーが構成図の作成 → 先輩社員がレビュー ▸社内デモ環境へのデプロイレビューの観点新卒の傾向「動くこと」（機能要件）に意識が向きがち先輩のフィードバックセキュリティ観点で指摘 ▸API GW前にWAFを導入 ▸シークレットキーは Secrets Managerで管理成果構成図をもとに、実際のデプロイまで完遂 21 入って3ヶ月の新卒が作成した構成図

Slide 22

Slide 22 text

#jawsug #jawsdays2026 #jawsdays2026_x 取り組み④ 資格試験受験研修の取り組みきっかけ自分のアプリをAWSにデプロイし、自信がついた ▸ハンズオン・JumpStart・実践デプロイを経てAWSの知識が定着資格受験自信がついたなら、資格試験を受けてみよう！対象：AWS Certified Cloud Practitioner 成果参加メンバー全員合格！ 22

Slide 23

Slide 23 text

#jawsug #jawsdays2026 #jawsdays2026_x まとめ • 本研修により、AWS実務未経験のエンジニアが、自分で考えたサービスの構成図を作成しデプロイできるようになりました！ • 構成図作成では、先輩社員など詳しい人からレビューをもらえることが良い経験になったとの意見がありました！ 23

Slide 24

Slide 24 text

#jawsug #jawsdays2026 #jawsdays2026_x 研修の取り組みこのあとは、インフラエンジニアとして入社し、新卒研修を経て AWSにより興味を持った長谷川さんからの発表です 24

Slide 25

Slide 25 text

Amazon Bedrock オンデマンド推論の使用量監視について 25

Slide 26

Slide 26 text

#jawsug #jawsdays2026 #jawsdays2026_x 株式会社エクサウィザーズ長谷川裕一（Yuichi Hasegawa）部署：インフラ部 Cloud Operations グループ担当業務：EKSプラットフォーム上のアプリケーションのインフラ構築・運用好きなAWSサービス：Amazon Bedrock 取得済みAWS資格：自己紹介 26

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

#jawsug #jawsdays2026 #jawsdays2026_x 29 研修が終わり、数ヶ月経った頃 Bedrockの業務を担当 Bedrockは全くの未経験からのスタート導入

Slide 30

Slide 30 text

#jawsug #jawsdays2026 #jawsdays2026_x 30 Amazon Bedrock is 何？導入

Slide 31

Slide 31 text

#jawsug #jawsdays2026 #jawsdays2026_x いろんなすごいモデルをサーバー管理なしでフルマネージドで使えるすごいやつ 31 導入

Slide 32

Slide 32 text

#jawsug #jawsdays2026 #jawsdays2026_x Amazon Bedrockのエコシステムを活用して、 LLMを使ったアプリケーションが簡単に作れる 32 導入

Slide 33

Slide 33 text

#jawsug #jawsdays2026 #jawsdays2026_x サーバーレスな一方、想定外にスケールする可能性がある。想定外の請求を避けるために監視をしよう！ 33 導入

Slide 34

Slide 34 text

#jawsug #jawsdays2026 #jawsdays2026_x 料金の監視 • コストの増加や予実管理 • Cost Explorer, CUR (Cost Usage Report) 使用量の監視 • リアルタイムな増加やクオータに到達しないかの監視ができる • CloudWatch Metrics 34 導入

Slide 35

Slide 35 text

#jawsug #jawsdays2026 #jawsdays2026_x ◼ 話すこと ⚫ Amazon Bedrockのオンデマンド推論の使用量分配について ⚫ 料金・使用量の監視 ◼ 話さないこと ⚫ レイテンシなどのその他のメトリクスの監視 ⚫ PTUなどオンデマンド以外の推論方法 ◼ 前提 ⚫ Model invocation logging 機能は利用しない 35 話すこと / 話さないこと / 前提

Slide 36

Slide 36 text

オンデマンド推論の使用量分配 36

Slide 37

Slide 37 text

#jawsug #jawsdays2026 #jawsdays2026_x 使用量の分配オンデマンド推論はアカウント×リージョン固有のエンドポイントを直接呼び出す形 37

Slide 38

Slide 38 text

#jawsug #jawsdays2026 #jawsdays2026_x 使用量の分配エンドポイントが１つしかないので、使用量が集約されてしまう 38

Slide 39

Slide 39 text

#jawsug #jawsdays2026 #jawsdays2026_x 使用量の分配 Application Inference Profile 基盤モデルや推論プロファイルを一つ紐づけて、新しい推論プロファイルを作成する。新しく作成した推論プロファイルはタグ付け可能 39

Slide 40

Slide 40 text

#jawsug #jawsdays2026 #jawsdays2026_x 使用量の分配 Application Inference Profile 既存のエンドポイントを一つ紐づけて、新しいエンドポイントを作成する新しく作成したエンドポイントはタグ付け可能 40 ARN: arn:aws:bedrock:ap-northeast-1:123456789012: application-inference-profile/7kbgmegmpwf

Slide 41

Slide 41 text

#jawsug #jawsdays2026 #jawsdays2026_x 使用量の分配 AWS コンソールでの管理ができないため、AWS SDK や AWS CLI で管理。以下はTerraformでの例 41

Slide 42

Slide 42 text

オンデマンド推論の使用量分配の結果 42

Slide 43

Slide 43 text

#jawsug #jawsdays2026 #jawsdays2026_x コストの監視 43 Cost Explorerにて Tagを用いてコストの分割ができるように No tag key: app_name • No tag key: app_name • app_1 • app_2 • …

Slide 44

Slide 44 text

#jawsug #jawsdays2026 #jawsdays2026_x 使用量の監視 44 CloudWatch Metricsでメトリクスがモデル ID ごとに監視できるように (InputTokenCount や OutputTokenCount など) 7kbgmegmpawfe niuzg37dorvq 7kbgmegmpawfe niuzg37dorvq Application Inference Profileの Model IDごとに確認できる

Slide 45

Slide 45 text

実際に構築・運用する上で直面した課題２選 45

Slide 46

Slide 46 text

#jawsug #jawsdays2026 #jawsdays2026_x 46 • 適切な IAM ポリシーの設定 • モデルごとの使用量を集計実際に構築・運用する上で直面した課題２選

Slide 47

Slide 47 text

①適切な IAM ポリシーの設定 47

Slide 48

Slide 48 text

#jawsug #jawsdays2026 #jawsdays2026_x アプリケーションが利用する許可ポリシーには元のモデルに対する権限も必要課題① 適切なIAMポリシーの設定 48

Slide 49

Slide 49 text

#jawsug #jawsdays2026 #jawsdays2026_x 課題① 適切なIAMポリシーの設定 49 許可ポリシーの Resource にApplication Inference Profile の ARN だけでなく、元のモデルの ARN も追加する

Slide 50

Slide 50 text

#jawsug #jawsdays2026 #jawsdays2026_x 先ほどのポリシーでは直接の推論も可能な状態に課題① 適切なIAMポリシーの設定 50

Slide 51

Slide 51 text

#jawsug #jawsdays2026 #jawsdays2026_x 対策：Application Inference Profileを経由する推論のみを許可する課題① 適切なIAMポリシーの設定 51

Slide 52

Slide 52 text

課題②モデルごとの使用量を集計 52

Slide 53

Slide 53 text

#jawsug #jawsdays2026 #jawsdays2026_x 課題②モデルごとの使用量を集計 53 呼び出し元のモデルの合計使用量が生成されず、クオータとの比較ができない

Slide 54

Slide 54 text

#jawsug #jawsdays2026 #jawsdays2026_x 対策 1 :CloudWatchのMetric Mathを利用してメトリクスを集計する 54 7kbgmegmpawfe niuzg37dorvq 課題②モデルごとの使用量を集計

Slide 55

Slide 55 text

#jawsug #jawsdays2026 #jawsdays2026_x 対策 2 : カスタムメトリクスを作成する → 外部モニタリングツールにデータを取り込む際に事前に処理しておきたいケースなど 2.1: API Gateway + Lambdaを利用して Bedrockの呼び出し前に処理する 2.2: CloudWatchのメトリクスを集計するLambda関数を定期実行する 55 課題②モデルごとの使用量を集計

Slide 56

Slide 56 text

#jawsug #jawsdays2026 #jawsdays2026_x 対策 2.1: API Gateway + Lambdaを利用して Bedrockの呼び出し前に処理する 56 https://aws.amazon.com/blogs/machine-learning/build-a-proactive-ai-cost-management-system-for-amazon-bedrock-part-2/ 課題②モデルごとの使用量を集計

Slide 57

Slide 57 text

#jawsug #jawsdays2026 #jawsdays2026_x 対策 2.2 : CloudWatch のメトリクスを集計する Lambda 関数を定期実行する 57 課題②モデルごとの使用量を集計

Slide 58

Slide 58 text

#jawsug #jawsdays2026 #jawsdays2026_x • 対策１ • システムの運用が不要 • 外部モニタリングツールとの連携には限界 • 対策2.1 • より詳細なメトリクスが収集できる • 呼び出しを拒否する処理が行える • 若干のレイテンシー増加 • 既存システムへの変更が必要 • 運用コスト増 58 • 対策2.2 • 比較的シンプル • 多少のラグがある課題②モデルごとの使用量を集計

Slide 59

Slide 59 text

#jawsug #jawsdays2026 #jawsdays2026_x まとめ Application Inference Profile • オンデマンド推論の使用量を分割し、アプリケーションごとに使用量の監視ができる • AWSコンソールでは管理できず、AWS SDKやAWS CLIで管理する • 元のモデルを直接呼び出しさせないよう、許可ポリシーには工夫が必要 • CloudWatch Metricsで元のモデルの使用量は提供されなくなるため、クオータに対する使用率を分析するためには追加の構築が必要 59

Slide 60

Slide 60 text

#jawsug #jawsdays2026 #jawsdays2026_x まとめ 60 監視ができるようになった！

Slide 61

Slide 61 text

#jawsug #jawsdays2026 #jawsdays2026_x まとめ参考文献 • https://docs.aws.amazon.com/ja_jp/bedrock/latest/userguide/inference -profiles-create.html • https://zenn.dev/winteryukky/articles/b51ba6d63cf15e • https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resou rces/bedrock_inference_profile • https://aws.amazon.com/blogs/machine-learning/build-a-proactive-ai- cost-management-system-for-amazon-bedrock-part-2/ 61

Slide 62

Slide 62 text

#jawsug #jawsdays2026 #jawsdays2026_x 全体まとめ新卒研修が活きた点 • 構成図を書いてアーキテクチャを整理する技術がついた • よくある構成のシステム構築を通して、エラーとの向き合い方などを習得でき、比較的情報が少ないサービスでも応用してスムーズに対応できた業務で直面した現実 • 想定している動きをするとは限らず、細かい仕様を整理することが重要 • アーキテクチャを決定する際に運用コストという軸を重要視するようになった。サーバレスであれば良いというわけではなく、要件に沿ってうまく活用することが重要 62

Slide 63

Slide 63 text

#jawsug #jawsdays2026 #jawsdays2026_x 63 Thank you! 一緒に働く仲間を募集しています！エクサウィザーズ Tech Blog 最近のおすすめ記事インフラ • SageMaker Unified Studioを本気で検証してみた ── MLエンジニアの標準環境にできるか？ • AWS Trainium/Inferentiaで言語モデルの訓練と推論 • AWS×Terraformでステートファイルにシークレットを残さないために AI・ML • SAM Audioでも話者分離がしたい！ • LLMは言語をどう扱うか: 言語間で矛盾した回答をするケースを例とした研究の紹介 • PostgreSQLで作る商用利用も安心なGraph RAG入門：前編・後編その他 • re:Invent 2025 にエクサウィザーズ社員3名で参加しました！(Tech編) • コーディングエージェントを自由に暴れさせるためのサンドボックス環境