240601 最近GAしたAI Gatewayってなんだ？

2024/06/01 (土) Cloudflare Meet-up Fukuoka Vol.2にて発表したLTの登壇資料。
https://cfm-cts.connpass.com/event/313438/

Transcript

1. 最近GAした AI Gatewayって なんだ？ 240601 Cloudflare Meet-up Fukuoka Vol.2 あべたく（@east_takumi）
2. Takumi Abe (X: @east_takumi)
 { 　"普段" : { 　　"会社": "KDDI アジャイル開発センター株式会社 (24/02~)", 　　"職種": "Web バックエンドエンジニア ", 　　"Skill": [ "Ruby", "Vue.js", "Java", "AWS", "Cloudflare"], 　　"ニックネーム": "あべたく", 　}, 　"コミュニティ活動": [ 　　"AWS Samurai 2023" 　　"JAWS-UG おおいた", 　　"Cloudflare Meet-up Oita", 　　"AWS Comunity Builder(Serverless)", 　], } }
3. 今回の始点
4. めちゃいい ...
5. 自分もひな AIつくる！！ (親ばか発揮 )
6. 終わらなかった ...
7. しっかり Gen AI系サービスを 勉強しておこう 👀
8. AI Gateway
9. AI Gateway お客様のアプリケーションとリクエストを行う AI API（OpenAI など）との間に位置し、レスポンス のキャッシュ、リクエストの制限や再試行、使用 状況の監視や追跡に役立つアナリティクスを提 供するサービス
10. 推論頼んだ おう、任せろ
11. はーい （なんでAPIキー持ってやがる ...） はよ結果なげちぇ
12. ほい、結果やで ありがとう 実は監視してるで
13. なんやて！？！？！ はい、これ結果〜 ありがと〜〜
14. レスポンスきゃっしゅするで〜 レート制限もできるよ〜〜
15. Universalモデル
16. Universalモデル • 一つのエンドポイントで複数 Gen AI サービスのゲートウェイとして機能させることができる 機能 ◦ ただし設定できるのは現状 2つ？（要検証）
17. 任せろ！ はよ結果なげちぇ
18. トークン枯渇してる やないかい！ なんだって！！！
19. 全力をつくす！ じゃあ、こっちに お願いしよっと
20. とりま作ってみる
21. まとめ • AI Gateway は Gen AI サービスとコンピューティングの間に入り、 req/res 監視や分析を行うサービス ◦ ほかにもキャッシュ機能やレート制限も行う • サービスとの連携は基本 base URL を変更するだけで、既存の実装を活かしつつ利用 することができる • Universal モデルをうまく動作させたい（要検証）
22. Thanks