Tweet
Tweet

Slide 1

Slide 1 text

KubeCon NA Recap: Balancing AI’s Productivity Boost with Ethical Considerations in Cloud Native 2023/12/08 Kubernetes Meetup Tokyo #62 KubeCon NA 2023 Recap

Slide 2

Slide 2 text

藤兼 由生（ふじを） 所属 ● 株式会社サイバーエージェント ● Developer Productivity室 ● PipeCDチーム KubeConでの思い出 ● 初渡米、到着直後にクレカ死す フジカネ ヨシキ @ffjlabo @ffjlabo

Slide 3

Slide 3 text

The One CD for All {applications, platforms, operations} ● GitOps style ● We can deploy application to multi platforms ○ Kubernetes ○ AWS Lambda ○ etc… ● support Progressive Delivery ● CNCF sandbox project

Slide 4

Slide 4 text

PipeCD@booth in KubeCon NA CNCFのプロジェクトパビリオンにて ブース出展 ● 来訪者の方とのディスカッション ● 別OSSコミュニティとの交流

Slide 5

Slide 5 text

本日のrecap TL;DR 生成AIをCloud Native系のツールに 組み込んだ事例について知る

Slide 6

Slide 6 text

アジェンダ ● 生成AIのトレンドとセッション選定のモチベーション ● セッション概要 ● まとめ

Slide 7

Slide 7 text

AI is trend in CNCF AI向けのWGが爆誕 slackチャンネル⇣ #wg-artificial-intelligence 生成AIを用いたツールが より増加していく

Slide 8

Slide 8 text

Developer Productivity室 About ● 開発者と事業がスケールし続けるための高い生産性と品質を生み出す ● 全社横断的な組織 Product

Slide 9

Slide 9 text

Developer Productivity室 About ● 開発者と事業がスケールし続けるための高い生産性と品質を生み出す ● 全社横断的な組織 Product with genAI?

Slide 10

Slide 10 text

Developer Productivityへの応用 https://developers.cyberagent.co.jp/blog/archives/43288/

Slide 11

Slide 11 text

Developer Productivityへの応用 https://site.developerproductivity.dev/create-helper-gpt-builder/

Slide 12

Slide 12 text

Developer Productivityへの応用 https://github.com/ca-dp/code-butler

Slide 13

Slide 13 text

モチベーション ● 生成AIをどのように活用していくか？ ● 生成AIをツールとして組み込みことの考慮事項は？

Slide 14

Slide 14 text

AI is also trend in CNCF AI向けのWGが爆誕 slackチャンネル⇣ #wg-artificial-intelligence 生成AIを用いたツールが より増加していく https://sched.co/1R2wM

Slide 15

Slide 15 text

Signal / Noise debugには必要ない情報

Slide 16

Slide 16 text

この部分をなるべく省略し たい

Slide 17

Slide 17 text

K8sGPT https://k8sgpt.ai/

Slide 18

Slide 18 text

K8sGPT ● 異常があるリソースを検知 ● 原因、解決するステップを AIを用いて分析

Slide 19

Slide 19 text

K8sGPT will be in CNCF sandbox https://github.com/k8sgpt-ai/k8sgpt

Slide 20

Slide 20 text

How it works

Slide 21

Slide 21 text

1. get some logs from Analyzer ● 各リソースごとに、異常状態を 検知するAnalyzerを実装 ● 異常状態のリソースの logやイベント情報を取得

Slide 22

Slide 22 text

Analyzer Pod PodDisruptionBudget 各リソースごとの異常状態を定義し、メッセージを抽出

Slide 23

Slide 23 text

2. call AI Provider with logs ● promptとテキスト情報を元にAI により結果を生成 ● AI Providerは選択肢あり

Slide 24

Slide 24 text

Prompt 最も考えられる解決策を 280 文字以内でステップバイステップ形式で提供してください。出力を次の形式で書 き込みます。 エラー: {ここでエラーを説明してください } 解決策: {ステップバイステップの解決策はこちら } 💬

Slide 25

Slide 25 text

全体のフロー 抽出したメッセージ 推論結果 プロンプト

Slide 26

Slide 26 text

全体のフロー 抽出したメッセージ 推論結果 プロンプト なぜ推論だけ？🤔

Slide 27

Slide 27 text

なぜ推論だけ？ 生成AIは… ● 文脈を理解することができる ● 不具合が起きた時の対処方法について知っている ● コマンドの実行方法を知っている

Slide 28

Slide 28 text

なぜ推論だけ？ 生成AIは… ● 文脈を理解することができる ● 不具合が起きた時の対処方法について知っている ● コマンドの実行方法を知っている すべてやってもらったほうが楽では？🤔

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

倫理的ジレンマ ● 安全性、セキュリティ、プライバシーの観点をどう担保するか ● モデル固有の知識の偏り（バイアス）にどう対処するか ● ツールが出力した修正について責任を誰が負うか

Slide 31

Slide 31 text

倫理的観点の担保 https://github.com/mudler/LocalAI

Slide 32

Slide 32 text

個人的見解 ● ツールはあくまでもモデルを利用するインターフェースとして提供する 方針が良さそう ● モデルを作る際のファインチューニングにより、利用者側が倫理的観点の問題を 担保

Slide 33

Slide 33 text

まとめ K8SGPTの開発事例から以下をrecap ● AIを用いたツールが今後台頭していく可能性 ● ツールを作る際には倫理的観点を考慮する必要性あり ● ツールはあくまでインターフェースとして存在し、生成結果とその影響は利用者側 が担保するよう作成するのが吉？（個人的見解）

Slide 34

Slide 34 text

pipe-cd/pipecd @pipecd_dev https://pipecd.dev/ Wanted! 📝 Adoption 📝 External maintainer 📝 Contributor ● A GitOps style CD platform ● support Multi application workload ○ k8s, ECS, Lambda…

Slide 35

Slide 35 text

ご清聴ありがとうございました󰢛