【DevelopersIO 2024】AI 半可通なのにエッジ AI 機能を全力で解説してみる〜Cloudflare の場合〜

by maroon1st

Slide 1

Slide 1 text

AI 半可通なのにエッジ AI 機能を全⼒で解説してみる〜Cloudﬂare の場合〜 2024.7.23 アライアンス事業部⼤栗宗

Slide 2

Slide 2 text

Xへの投稿の際は、ハッシュタグ #cm_odyssey でお願いいたします。 2 お願い

Slide 3

Slide 3 text

「半可通」とは？ 3

Slide 4

Slide 4 text

”いいかげんな知識しかないのに通⼈ぶること。また、その⼈や、そのさま。” デジタル⼤辞泉（⼩学館） 4

Slide 5

Slide 5 text

Disclaimer 本セッションはタイトル通り登壇者は「AI 半可通」です AI についていいかげんな知識しかないので⽣暖かい⽬で⾒守ってください 5

Slide 6

Slide 6 text

Who am I? ⼤栗宗（@maroon1st）⽇系 SIer → クラスメソッド → 某外資 → クラスメソッド (2 回⽬) Cloudﬂare のプリセールスでクラウド⼆⼑流エンジニア ● Cloudﬂare, Google Cloud, AWS, etc ● Google Cloud Partner Top Engineer 2023, 2024 ● 2022, 2023 Japan AWS Top Engineers (Database) 6

Slide 7

Slide 7 text

第四次 AI ブーム 7

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

ブームに乗ってクラスメソッドも 9

Slide 10

Slide 10 text

⽣成AI環境構築サービス「AI-Starter」で各種クラウドのモデルに対応 10

Slide 11

Slide 11 text

⽣成 AI 時代はメガクラウドと AI プロバイダーの併⽤が普通になってきている 11

Slide 12

Slide 12 text

OWASP Top 10 for LLMs LLM01: プロンプト‧インジェクション LLM02: 安全が確認されていない出⼒ハンドリング LLM03: 訓練データの汚染 LLM04: モデルのDoS LLM05: サプライチェーンの脆弱性 12 LLM06: 機微情報の漏えい LLM07: 安全が確認されていないプラグイン設計 LLM08: 過剰な代理⾏為 LLM09: 過度の信頼 LLM10: モデルの盗難

Slide 13

Slide 13 text

LLM アプリのリスクの所在箇所 13 https://owasp.org/www-project-top-10-for-large-language-model-applications/llm-top-10-governance-doc/LLM_AI_Security_and_Governance_Checklist-v1_1_JP.pdf

Slide 14

Slide 14 text

アプリケーションの実装側で考慮すべきリスクが多数！ 14

Slide 15

Slide 15 text

⽣成 AI アプリケーションの構成 15 Client ⼩規模/中規模モデルローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウドメガクラウド /サーバーホスティングオンプレミス /データセンター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデルエッジコンピューティング Vectorize Workers Edge/ Network Edge/ Network AI Gateway 可観測性信頼性スケーラビリティ Firewall for AI セキュリティ

Slide 16

Slide 16 text

Cloudﬂare の AI プロダクト攻めの AI 機能 ● Workers AI ● Vectorize 16 守りの AI 機能 ● AI Gateway ● Firewall for AI

Slide 17

Slide 17 text

⽣成 AI アプリケーションの構成 17 Client ⼩規模/中規模モデルローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウドメガクラウド /サーバーホスティングオンプレミス /データセンター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデルエッジコンピューティング Vectorize Workers Edge/ Network Edge/ Network AI Gateway 可観測性信頼性スケーラビリティ Firewall for AI セキュリティ

Slide 18

Slide 18 text

Workers AI Workers AI を使⽤して独⾃のコードから Cloudﬂare ネットワーク上でサーバレスに機械学習モデルを実⾏できます。 18

Slide 19

Slide 19 text

Workers AI 19 Leveling up Workers AI: general availability and more new capabilities https://blog.cloudflare.com/workers-ai-ga-huggingface-loras-python-support エッジコンピューティングから WebGPU を活⽤世界中のデータセンター（150以上の都市※1）で GPUを導⼊済み ※1：2024年4⽉時点

Slide 20

Slide 20 text

Workers AI 様々なオープンモデル（50以上）に対応しており Hugging Face とも連携 20

Slide 21

Slide 21 text

Workers AI Embedded Function calling Workers AI で Function calling をシンプルに 21 https://blog.cloudflare.com/embedded-function-calling/

Slide 22

Slide 22 text

⽣成 AI アプリケーションの構成 22 Client ⼩規模/中規模モデルローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウドメガクラウド /サーバーホスティングオンプレミス /データセンター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデルエッジコンピューティング Workers Edge/ Network Edge/ Network AI Gateway 可観測性信頼性スケーラビリティ Firewall for AI セキュリティ Vectorize

Slide 23

Slide 23 text

Vectorize Cloudﬂare 上で動作するベクトルデータベースエッジで RAG（検索拡張⽣成）を実装できる 23 Beta https://developers.cloudflare.com/reference-architecture/diagrams/ai/ai-rag/ https://js.langchain.com/v0.1/docs/integrations/vectorstores/cloudflare_vectorize/

Slide 24

Slide 24 text

⽣成 AI アプリケーションの構成 24 Client ⼩規模/中規模モデルローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウドメガクラウド /サーバーホスティングオンプレミス /データセンター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデルエッジコンピューティング Vectorize Workers Edge/ Network Edge/ Network AI Gateway 可観測性信頼性スケーラビリティ Firewall for AI セキュリティ

Slide 25

Slide 25 text

AI Gateway アプリケーションと AI API の間にプロキシとして配置します。 ● オブザーバビリティ ○ 複数の AI プロバイダーのメトリクスを収集‧分析 ○ リアルタイムにロギング ● キャッシングやレート制限 ● エンドポイントを統合するユニバーサルエンドポイントを提供し、エラー発⽣時にフォールバックして耐障害性を向上 25 https://blog.cloudflare.com/ai-gateway-is-generally-available

Slide 26

Slide 26 text

AI Gateway AI プロバイダーのオブザーバビリティを確保 26 https://blog.cloudflare.com/ai-gateway-is-generally-available

Slide 27

Slide 27 text

AI Gateway レスポンスのキャッシュやレート制限 27

Slide 28

Slide 28 text

AI Gateway AI API に対してユニバーサルエンドポイントを提供して、エラー発⽣時に別の API へフォールバック 28 https://blog.cloudflare.com/ai-gateway-is-generally-available

Slide 29

Slide 29 text

⽣成 AI アプリケーションの構成 29 Client ⼩規模/中規模モデルローカルデータ AI Apps AI Provider AI ベンダー/ メガクラウドメガクラウド /サーバーホスティングオンプレミス /データセンター Google Cloud Vertex AI Amazon Bedrock Workers AI ⼩規模モデルエッジコンピューティング Vectorize Workers Edge/ Network Edge/ Network AI Gateway 可観測性信頼性スケーラビリティ Firewall for AI セキュリティ

Slide 30

Slide 30 text

Firewall for AI OWASP Top 10 for LLMs に代表されるような攻撃から AI アプリケーションを守る 30 Developing https://blog.cloudflare.com/firewall-for-ai

Slide 31

Slide 31 text

OWASP Top 10 for LLMs LLM01: プロンプト‧インジェクション LLM02: 安全が確認されていない出⼒ハンドリング LLM03: 訓練データの汚染 LLM04: モデルのDoS LLM05: サプライチェーンの脆弱性 31 LLM06: 機微情報の漏えい LLM07: 安全が確認されていないプラグイン設計 LLM08: 過剰な代理⾏為 LLM09: 過度の信頼 LLM10: モデルの盗難

Slide 32

Slide 32 text

Cloudﬂare の AI ソリューション ● Cloudﬂare は AI を活⽤する様々な場⾯に対応でき、AI をエッジに拡張して簡単に利⽤できる ● AI にもオブザーバビリティの考え⽅が必要 ● AI だからこそセキュリティ対策が必要 32