240601 最近GAしたAI Gatewayってなんだ？

Slide 1

Slide 1 text

最近GAした AI Gatewayってなんだ？ 240601 Cloudﬂare Meet-up Fukuoka Vol.2 あべたく（@east_takumi）

Slide 2

Slide 2 text

Takumi Abe (X: @east_takumi)  { 　"普段" : { 　　"会社": "KDDI アジャイル開発センター株式会社 (24/02~)", 　　"職種": "Web バックエンドエンジニア ", 　　"Skill": [ "Ruby", "Vue.js", "Java", "AWS", "Cloudﬂare"], 　　"ニックネーム": "あべたく", 　}, 　"コミュニティ活動": [ 　　"AWS Samurai 2023" 　　"JAWS-UG おおいた", 　　"Cloudﬂare Meet-up Oita", 　　"AWS Comunity Builder(Serverless)", 　], } }

Slide 3

Slide 3 text

今回の始点

Slide 4

Slide 4 text

めちゃいい ...

Slide 5

Slide 5 text

自分もひな AIつくる！！ (親ばか発揮 )

Slide 6

Slide 6 text

終わらなかった ...

Slide 7

Slide 7 text

しっかり Gen AI系サービスを勉強しておこう 👀

Slide 8

Slide 8 text

AI Gateway

Slide 9

Slide 9 text

AI Gateway お客様のアプリケーションとリクエストを行う AI API（OpenAI など）との間に位置し、レスポンスのキャッシュ、リクエストの制限や再試行、使用状況の監視や追跡に役立つアナリティクスを提供するサービス

Slide 10

Slide 10 text

推論頼んだおう、任せろ

Slide 11

Slide 11 text

はーい（なんでAPIキー持ってやがる ...）はよ結果なげちぇ

Slide 12

Slide 12 text

ほい、結果やでありがとう実は監視してるで

Slide 13

Slide 13 text

なんやて！？！？！はい、これ結果〜ありがと〜〜

Slide 14

Slide 14 text

レスポンスきゃっしゅするで〜レート制限もできるよ〜〜

Slide 15

Slide 15 text

Universalモデル

Slide 16

Slide 16 text

Universalモデル ● 一つのエンドポイントで複数 Gen AI サービスのゲートウェイとして機能させることができる機能 ○ ただし設定できるのは現状 2つ？（要検証）

Slide 17

Slide 17 text

任せろ！はよ結果なげちぇ

Slide 18

Slide 18 text

トークン枯渇してるやないかい！なんだって！！！

Slide 19

Slide 19 text

全力をつくす！じゃあ、こっちにお願いしよっと

Slide 20

Slide 20 text

とりま作ってみる

Slide 21

Slide 21 text

まとめ ● AI Gateway は Gen AI サービスとコンピューティングの間に入り、 req/res 監視や分析を行うサービス ○ ほかにもキャッシュ機能やレート制限も行う ● サービスとの連携は基本 base URL を変更するだけで、既存の実装を活かしつつ利用することができる ● Universal モデルをうまく動作させたい（要検証）

Slide 22

Slide 22 text

Thanks