KubeCon NA 2023 Recap for Balancing AI’s Productivity Boost with Ethical Considerations in Cloud Native

2023/12/08 Kubernetes Meetup Tokyo #62 KubeCon NA 2023 Recap
https://k8sjp.connpass.com/event/303105/

Transcript

1. KubeCon NA Recap: Balancing AI’s Productivity Boost with Ethical Considerations in Cloud Native 2023/12/08 Kubernetes Meetup Tokyo #62 KubeCon NA 2023 Recap
2. 藤兼 由生（ふじを） 所属 • 株式会社サイバーエージェント • Developer Productivity室 • PipeCDチーム KubeConでの思い出 • 初渡米、到着直後にクレカ死す フジカネ ヨシキ @ffjlabo @ffjlabo
3. The One CD for All {applications, platforms, operations} • GitOps style • We can deploy application to multi platforms ◦ Kubernetes ◦ AWS Lambda ◦ etc… • support Progressive Delivery • CNCF sandbox project
4. PipeCD@booth in KubeCon NA CNCFのプロジェクトパビリオンにて ブース出展 • 来訪者の方とのディスカッション • 別OSSコミュニティとの交流
5. 本日のrecap TL;DR 生成AIをCloud Native系のツールに 組み込んだ事例について知る
6. アジェンダ • 生成AIのトレンドとセッション選定のモチベーション • セッション概要 • まとめ
7. AI is trend in CNCF AI向けのWGが爆誕 slackチャンネル⇣ #wg-artificial-intelligence 生成AIを用いたツールが より増加していく
8. Developer Productivity室 About • 開発者と事業がスケールし続けるための高い生産性と品質を生み出す • 全社横断的な組織 Product
9. Developer Productivity室 About • 開発者と事業がスケールし続けるための高い生産性と品質を生み出す • 全社横断的な組織 Product with genAI?
10. Developer Productivityへの応用 https://developers.cyberagent.co.jp/blog/archives/43288/
11. Developer Productivityへの応用 https://site.developerproductivity.dev/create-helper-gpt-builder/
12. Developer Productivityへの応用 https://github.com/ca-dp/code-butler
13. モチベーション • 生成AIをどのように活用していくか？ • 生成AIをツールとして組み込みことの考慮事項は？
14. AI is also trend in CNCF AI向けのWGが爆誕 slackチャンネル⇣ #wg-artificial-intelligence 生成AIを用いたツールが より増加していく https://sched.co/1R2wM
15. Signal / Noise debugには必要ない情報
16. この部分をなるべく省略し たい
17. K8sGPT https://k8sgpt.ai/
18. K8sGPT • 異常があるリソースを検知 • 原因、解決するステップを AIを用いて分析
19. K8sGPT will be in CNCF sandbox https://github.com/k8sgpt-ai/k8sgpt
20. How it works
21. 1. get some logs from Analyzer • 各リソースごとに、異常状態を 検知するAnalyzerを実装 • 異常状態のリソースの logやイベント情報を取得
22. Analyzer Pod PodDisruptionBudget 各リソースごとの異常状態を定義し、メッセージを抽出
23. 2. call AI Provider with logs • promptとテキスト情報を元にAI により結果を生成 • AI Providerは選択肢あり
24. Prompt 最も考えられる解決策を 280 文字以内でステップバイステップ形式で提供してください。出力を次の形式で書 き込みます。 エラー: {ここでエラーを説明してください } 解決策: {ステップバイステップの解決策はこちら } 💬
25. 全体のフロー 抽出したメッセージ 推論結果 プロンプト
26. 全体のフロー 抽出したメッセージ 推論結果 プロンプト なぜ推論だけ？🤔
27. なぜ推論だけ？ 生成AIは… • 文脈を理解することができる • 不具合が起きた時の対処方法について知っている • コマンドの実行方法を知っている
28. なぜ推論だけ？ 生成AIは… • 文脈を理解することができる • 不具合が起きた時の対処方法について知っている • コマンドの実行方法を知っている すべてやってもらったほうが楽では？🤔
30. 倫理的ジレンマ • 安全性、セキュリティ、プライバシーの観点をどう担保するか • モデル固有の知識の偏り（バイアス）にどう対処するか • ツールが出力した修正について責任を誰が負うか
31. 倫理的観点の担保 https://github.com/mudler/LocalAI
32. 個人的見解 • ツールはあくまでもモデルを利用するインターフェースとして提供する 方針が良さそう • モデルを作る際のファインチューニングにより、利用者側が倫理的観点の問題を 担保
33. まとめ K8SGPTの開発事例から以下をrecap • AIを用いたツールが今後台頭していく可能性 • ツールを作る際には倫理的観点を考慮する必要性あり • ツールはあくまでインターフェースとして存在し、生成結果とその影響は利用者側 が担保するよう作成するのが吉？（個人的見解）
34. pipe-cd/pipecd @pipecd_dev https://pipecd.dev/ Wanted! 📝 Adoption 📝 External maintainer 📝 Contributor • A GitOps style CD platform • support Multi application workload ◦ k8s, ECS, Lambda…
35. ご清聴ありがとうございました󰢛