Upgrade to Pro — share decks privately, control downloads, hide ads and more …

アウトプット・オブ・Strands Decider 2B

アウトプット・オブ・Strands Decider 2B

[大阪開催] AgentCoreハンズオン 〜マルチエージェントでフットボールー対決!〜
https://jawsugdei.connpass.com/event/406820/

LT発表したときの登壇資料です。

MAGI SYSTEM on Strands Decider 2B
https://github.com/hide-G/magi-system-on-strands-decider

方式選定:
SageMakerに素直に載らないため、公式サーバー strands-decider serve(/v1/systemone を話す)を EC2 に常駐させる方式を採用。Dockerが無いので、EC2 に直接 pip install。
インスタンス:東京リージョン。当初 c7i.xlarge(CPU/8GB) で起動したが メモリ不足でOOM → g5.xlarge(A10G GPU / 16GB)にタイプ変更して安定。
常駐化:strands-decider serve(localhost:8000)と magi backend(:8787)を systemd サービスとして常駐。フロントも同EC2で配信(http:///)。
公開:セキュリティグループで 80/8787 を公開、22(SSH)を制限。モデル重み(約4.5GB)は初回起動時にHugging FaceからDL。
検証:ブラウザ審議 → backend/strands-decider 両方のログで /v1/systemone 200 OK と判定値の一致を確認。実推論レイテンシは約7〜9秒(CPUフォールバック併用)。

かかった費用は、EC2本体(g5.xlarge)、EBS 60GBなど8時間で合計で約1,710円でした。

Avatar for Hideyuki Nagata

Hideyuki Nagata

October 12, 2026

More Decks by Hideyuki Nagata

Other Decks in Programming

Transcript

  1. 意思決定モデルのリリース 意思決定モデル: テキストを生成せず、与えられた選択肢の中から確信度つきで即座に 「選ぶ・採点する」ことに特化した、速くて小さいAIモデル 日付 ベンダー モデル 提供形態 9月15日 TypeSafe

    AI Jev(早期アクセス) API 9月20日 TypeSafe AI Jev(一般開放) API 10月1日 AWS(Strands Labs) Strands Decider 2B オープンソース 10月1日 Cloudflare Clef / Clef-flash オープンウェイト+ホスト型 10月9日 Cloudflare Clef-omni(+Clef高速化・flash値下げ) オープンウェイト+ホスト型 10月9日 Microsoft Microsoft-Decision-1 API
  2. 苦労した点 やりたかったこと: ローカルで動かせないので、Strands Decider 2B を AWS 上で API 化し、MAGIアプリから叩く。

    ハマりどころ モデルが特殊で素直に載らない テキスト生成しない「決定モデル」。 Bedrock提供なし・SageMakerも自作必須 → EC2に公式サーバー常駐で解決。 Docker が使えない コンテナ路線を諦め、EC2 に直接 pip install + systemd 常駐へ。 GPUクォータが 0 g5がすぐ起動できず → GPU申請+CPUで保険起動(並行作戦)。 CPUだとメモリ不足でOOM連発 8GBでは落ちる → g5.xlarge(16GB+GPU)にタイプ変更で解決。 自動構築スクリプトのバグ・SSHトラブル・鍵の権限/形式エラー 小さな罠が連鎖。 フロントが動かない真犯人=BOM 除去+EC2配信に統一して解決。 会場でIPが変わりSSH不通、鍵権限、など 設定ファイル保存時にBOM混入でJSが壊れていた。