Strands Decider 2BでAWSアップデートの目利きをしてみた

Transcript

1. Strands Decider 2B で AWSアップデートの目利きをしてみた 佐藤成珠 2026/10/30 JAWS-UG初心者支部 朝活!#4 コラボラジオLT会
2. 自己紹介 佐藤成珠 • 所属：SIer (AWSインフラ設計構築) • 2025-2026 Japan All AWS Certifications Engineer • 2026 AWS Community Builder - Data • 好きなAWSサービス：Quick、Transform、ALB 2
3. クラウドエンジニアの悩み ― AWSアップデートが多すぎる… 約2,700件/年 AWS What's New（2025年実績） 全部読むのは無理。でも重要なものは見逃したくない！ → 目利きの自動化にチャレンジ 3
4. 「意思決定モデル」とは？ LLM = 自由作文タイプ（テキストを生成する） 意思決定モデル（decision model / "system one" model）は選ぶ・採点するだけ choice noul score 選択肢から 1つ選ぶ Yes/Noの確率を返す 段階で採点する テキストは生成しない、その代わり → 応答が速い・モデルサイズが小さい・指定された型で答える ひとことで言えば「書くAI」ではなく「決めるAI」 なぜ "system one"？ ── 行動経済学の「 system one / system two」思考にちなんだ呼び名 System 1 System 2 速くて直感的な判断 → 意思決定モデル じっくり考える → 従来のLLM 4
5. 意思決定モデルの登場 2026/09/15 TypeSafe AI の Jev が登場（ system one モデルとして話題に） 2026/10/01 Strands Labs で Strands Decider 2B をオープンソースで公開 2026/10/01 Cloudflare が Clef / Clef-flash を公開 2026/10/06 OpenAI が Decisions API をベータ公開 2026/10/09 Microsoft が Microsoft-Decision-1 を公開 Strands Decider 2B の構造: LLM の本体から LMヘッドを外し、選択肢をスコアリングする「ポインターヘッド」に差し替え APIは Jev の公開API仕様に沿って設計（noul / score / choice） ※ Jev API との互換性は未検証と明記されている 「小さく速い判定専用モデル」という新しいカテゴリに各社が乗ってきている 5
6. 今回作ったもの ― AWS Update Judge AWS What's New の RSSフィードを取得 → 各アップデートを Strands Decider 2B で判定 → 注目度順に並べるWebア プリ 判定は、1記事につき次の3つの質問を1回のリクエストでまとめて投げる 質問 種類 答え 幅広いAWSユーザーにとって、注目に値するアップデート か？ Yes/No確率（noul） 0〜1の確率 本番ワークロードにとって、どれくらい重要か？ 点数（score） Low(0) / Medium(1) / High(2) の基 準で 0〜2 の値 主な影響カテゴリは何か？ 選択肢（choice） 6選から1つ security / cost / performance / newService / breaking / other 6
7. 今回作ったもの ― AWS Update Judge AWS What's New の RSSフィードを取得 → 各アップデートを Strands Decider 2B で判定 → 注目度順に並べるWebア プリ 7
8. Jev版 → Strands Decider 2B版への移植 • もともと Jev で動かしていたものを Strands Decider 2B に載せ替えた • コードの変更点は少ない Before After @typesafe-ai/sdk の client.systemOne({state, questions}) を呼ぶ 同じ形のJSONをセルフホストした サーバーにPOSTする • Jev SDK のままでも接続先を手元のサーバーに向けるだけで動いた • 質問定義（noul / score / choice）は文言ごとそのまま流用 8
9. 動かしてみた所感 • セットアップは pip install strands-decider → strands-decider serve で立ち上がる手軽さ • APIキー不要・従量課金なしでローカルで自由に試せる • Mac では MLX の方が MPS より速い（ウォーム時 1.7秒/件 vs 2.5秒/件、約1.4倍） • 出力が常に決まった型で返ってくる（パース失敗がない） 9
10. ぶつかった課題（セルフホストの現実） 速度: ウォーム時 1.7秒/件（MLX）。50件で約1.5分。 コスト: GPUインスタンスは高い（SageMaker ml.g6.xlarge で約$822/月） 小さいモデルでも「速く・常時」を求めるとコストが上がる コールドスタート : 起動直後や放置後に20〜63秒。「速いモデル」のはずが起動の遅さがネックに。 並列: 並列にしても速くならなかった（逐次と3並列でほぼ同じ） 10
11. サービス / セルフホストの使い分け ちょっと使うだけ / 試すだけ • 素直にサービスAPI（従量課金）が手軽。サーバー維持・固定費ゼロ • Jev のようなSaaSや、オープンな意思決定モデルをAPIで提供するサードパーティ ※ Strands Decider 2B にはAWS公式のマネージドAPIがないので、自分でホストするのが基本 セルフホストが活きるケース • 機密性の高いデータを自社から出したくない • 大量に処理する（従量課金だと高くつく規模） • レイテンシやレート制限を自分でコントロールしたい • カスタムの学習・チューニングをしたい セルフホストの価値は、コストよりも主権や自由度にある 11
12. まとめ • 意思決定モデルは「生成しない・選ぶ」新カテゴリのAI • LLMを使うときのような malformed な出力が起きない • LLMと比べて低コスト・低レイテンシ • Jev → Strands Decider 2B の載せ替えはスムーズだった • CPUでも動くが、速さを求めてGPUにするとコストが上がる • コールドスタートも重い • まずは pip install strands-decider でローカルから触ってみるのがおすすめ 12