AI駆動開発〜生成AIが導く未来の開発手法

Slide 1

Slide 1 text

AI駆動開発〜生成AIが導く未来の開発手法 Ikko Eltociear Ashimine GitHub: @eltociear X: @eltociear 2024/8/21 第11回 GenAI 勉強会

Slide 2

Slide 2 text

1. 自己紹介 2. AI駆動開発とは 3. 開発に於いて AIが担える範囲 4. AI駆動開発ツールの一例 5. GitHub Copilot Workspace 6. AI駆動開発勉強会について Agenda

Slide 3

Slide 3 text

Ikko Ashimine / 一功安次嶺 AI駆動開発勉強会 LLM-jp 勉強会株式会社I-Tecnology 取締役株式会社Oshibloom GitHub: @eltociear Facebook: IkkoEltociearAshimine LinkedIn: ikko-ashimine X: @eltociear

Slide 4

Slide 4 text

My business card

Slide 5

Slide 5 text

AI駆動開発とは

Slide 6

Slide 6 text

AI駆動開発とは AI-Driven Development(AI 駆動開発)は従来のソフトウェア開発を大きくかえる開発手法・開発思想です。プロダクト企画、要件定義、ソフトウェア設計、コーディング、テスト、リリースのすべてのフェーズにおいて、生成AI・LLMを主導的に利用することで、プロダクトの企画からリリースまでのサイクルを統合し、開発スピードの向上と、品質の統一、プロダクトのリリースタイムの高速化を行います。 refs: https://www.ai-driven.dev/

Slide 7

Slide 7 text

開発に於いて AIが担える範囲

Slide 8

Slide 8 text

開発に於いて AIが担える範囲（ 1）企画要件定義設計実装テストリリース保守運用 Claude ChatGPT

Slide 9

Slide 9 text

開発に於いて AIが担える範囲（ 2）企画要件定義設計実装テストリリース保守運用 CodeRabbit GitHub Copilot Autify Genesis Amazon Q Developer

Slide 10

Slide 10 text

開発に於いて AIが担える範囲（ 3）企画要件定義設計実装テストリリース保守運用 Devin Merlinn

Slide 11

Slide 11 text

開発に於いて AIが担える範囲（まとめ）企画要件定義設計実装テストリリース保守運用

Slide 12

Slide 12 text

AI駆動開発ツールの一例

Slide 13

Slide 13 text

SWE-bench （ベンチマーク）で新たな最先端技術を確立値は13.86% 世界初のAIソフトウェアエンジニア「 Devin 」 refs: https://www.cognition-labs.com/introducing-devin

Slide 14

Slide 14 text

世界初のAIソフトウェアエンジニア「 Devin 」 refs: https://www.cognition-labs.com/post/swe-bench-technical-report

Slide 15

Slide 15 text

SWE-bench とは refs: https://arxiv.org/abs/2310.06770 GitHub Issue をどれほど解決できるか見る評価指標

Slide 16

Slide 16 text

1. OpenHands （旧OpenDevin ） https://github.com/All-Hands-AI/OpenHand s ・2024/3/13 GitHub 公開・ベンチマークは未測定・GPT-4 、Claude 3 、Llama 等をサポート・商用利用可能・サンドボックス環境でコード実行・シェル、エディタ、ブラウザを統合したフロントエンドIF

Slide 17

Slide 17 text

2. Devika https://github.com/stitionai/devika ・2024/3/21 GitHub 公開・ベンチマークは未測定・Claude 3 、GPT-4 、GPT-3.5 、そして Ollama 経由のローカル LLMをサポート・シームレスなウェブ閲覧と情報収集・チャットインターフェイスを介した自然言語対話・プロジェクトベースの組織と管理

Slide 18

Slide 18 text

3. Devon https://github.com/entropy-research/Devon ・2024/3/15 GitHub 公開・ベンチマークは未測定・Claude 3.5 、GPT-4o そしてOllama 経由のローカルLLMをサポート・コードベースの調査、バグ修正、テストコード記述等が可能

Slide 19

Slide 19 text

4. SWE-agent https://github.com/princeton-nlp/SWE-agen t ・2024/4/2 GitHub 公開・ベンチマークが 12.29% でDevin に肉薄・G itHub リポジトリのバグや issue を修正するエンジニアリングエージェントに変更・GPT-4 、Claude3 、ローカル推論の Ollama 等をサポート・プルリクエストを自動作成

Slide 20

Slide 20 text

5. AutoCodeRover https://github.com/nus-apr/auto-code-rover ・2024/4/8 GitHub 公開・ベンチマークで約 15.95% ・実際にDjango(Python のWeb FW) のIssue を解決した実績あり・テストケースがある場合、それを読み込むことでさらに高精度に修正可能

Slide 21

Slide 21 text

世界初のAIソフトウェアエンジニア「 Devin 」 refs: https://www.cognition-labs.com/post/swe-bench-technical-report

Slide 22

Slide 22 text

8/21現在のSWE-bench リーダーボード refs: https://www.swebench.com/

Slide 23

Slide 23 text

AI駆動開発の OSSを集めています（ 62 projects ） refs: https://github.com/eltociear/awesome-AI-driven-development

Slide 24

Slide 24 text

GitHub Copilot Workspace

Slide 25

Slide 25 text

Copilot Workspace のTPが開始されてます refs: https://githubnext.com/projects/copilot-workspace

Slide 26

Slide 26 text

Copilot の機能の所感・GitHub Copilot 　→一緒にコーディングしてくれるペアプログラマー　　自分のコーディング量が 30-40% ぐらい減った感触・GitHub Copilot Chat 　→コードの解説 /修正をしてくれるメンター・Copilot Workspace 　→指示をもとに上流から下流工程までやってくれる SE 　　自分のコーディング量が 70-80% ぐらい減らせるかも？

Slide 27

Slide 27 text

一行のプロンプトでも簡単なものを作ってくれる refs: https://github.com/eltociear/copilot-workspace-web/issues/3

Slide 28

Slide 28 text

動かない場合は別途、 Session で修正依頼

Slide 29

Slide 29 text

出来上がっているものにも Session で改善依頼

Slide 30

Slide 30 text

枚数の多い資料作成にも使える

Slide 31

Slide 31 text

仕事にも・・・？

Slide 32

Slide 32 text

デモ

Slide 33

Slide 33 text

現在のモデルは GPT-4 Turbo refs: Copilot Workspace は GPT-4 Turbo を搭載しています。私たちは常に新しいモデルを評価して、ニーズに最適なものを使用していることを確認していますが、現時点では GPT-4 Turbo が使用されているモデルです。

Slide 34

Slide 34 text

ということは refs: https://x.com/tradernewsai/status/1793095855442129039 NOW THEN

Slide 35

Slide 35 text

refs: https://qiita.com/tags/copilotworkspace

Slide 36

Slide 36 text

AI駆動開発勉強会について

Slide 37

Slide 37 text

AI駆動開発とは refs: https://www.facebook.com/groups/700738895539654/

Slide 38

Slide 38 text

AI駆動開発勉強会とは refs: https://aid.connpass.com/ 第1回 2024/2/2 第2回 2024/5/29

Slide 39

Slide 39 text

AI駆動開発勉強会 #3は9/11（水）開催です refs: https://aid.connpass.com/event/327682/

Slide 40

Slide 40 text

Thank you for your attention 🐈