🧑‍🤝‍🧑→🤖と移りゆくアプリ開発 - 1.5

󰰁→🤖と移りゆくアプリ開発 - 1.5 Ikko Eltociear Ashimine GitHub: @eltociear X:
@eltociear 2024/4/16 【4/16(火)19:00~】春のクリエイター大交流会

Ikko Ashimine / 一功安次嶺株式会社I-Tecnology 取締役 #AI　#Web3.0 #OSS　#ネコ　#生物学　#ゲーム　#登山　#筋トレ　#散歩　 #海　#山　#外国料理　#カレー　#酒　#投資
GitHub: @eltociear Connpass: @eltociear X: @eltociear YouTube: @eltociear

IKKOです 

My business card

参考URL: https://speakerdeck.com/eltociear/toyi-riyukuapurikai-fa

「◦◦までに××作って」「はい！（まじかよ、、、）」「◦◦までに××作って」「オケマル」偉い人私偉くなった私かしこなAI（※イメージ）

直近のアプリ開発AI

SWE-bench（ベンチマーク）で新たな最先端技術を確立その値、驚愕の13.86% 世界初のAIソフトウェアエンジニア「Devin」参考URL: https://www.cognition-labs.com/introducing-devin

世界初のAIソフトウェアエンジニア「Devin」参考URL: https://www.cognition-labs.com/post/swe-bench-technical-report

SWE-benchって何？参考URL: https://arxiv.org/abs/2310.06770 GitHub Issueをどれだけ解決できるか見る評価指標

とは言えさ Devinはまだ非公開（WL申請のみ）

直近のアプリ開発AI （OSS）

1. OpenDevin https://github.com/OpenDevin/OpenDevin ・2024/3/13 (1ヶ月前) GitHub公開・ベンチマークは未測定（準備中と報告）・GPT-4、Claude 3、Llama等をサポート・商用利用可能
・サンドボックス環境でコード実行・シェル、エディタ、ブラウザを統合したフロントエンドIF

2. Devika https://github.com/stitionai/devika ・2024/3/21 (3週間前) GitHub公開・ベンチマークは未測定・Claude 3、GPT-4、GPT-3.5、そしてOllama 経由のローカルLLMをサポート
・シームレスなウェブ閲覧と情報収集・チャットインターフェイスを介した自然言語対話・プロジェクトベースの組織と管理

2. Devika 参考URL: https://github.com/stitionai/devika?tab=readme-ov-ﬁle#demos

3. SWE-agent https://github.com/princeton-nlp/SWE-agent ・2024/4/2 (2週間前) GitHub公開・ベンチマークが12.29%でDevinに肉薄・G itHubリポジトリのバグやissueを修正するエンジニアリングエージェントに変更
・GPT-4、Claude3、ローカル推論のOllama等をサポート・プルリクエストを自動作成

3. SWE-agent 参考URL: https://github.com/princeton-nlp/SWE-agent

4. AutoCodeRover https://github.com/nus-apr/auto-code-rover ・2024/4/8 (1週間前) GitHub公開・ベンチマークで約15.95% ・実際にDjango(PythonのFW)のIssueを解決した実績あり・テストケースがある場合、それを読み込むこと
でさらに高精度に修正可能

参考URL: https://github.com/nus-apr/auto-code-rover 4. AutoCodeRover

まとめ現状、解決率は十数% かなりの速さで人間に追いつきつつある

Thank you for your attention🐈

🧑‍🤝‍🧑→🤖と移りゆくアプリ開発 - 1.5

🧑‍🤝‍🧑→🤖と移りゆくアプリ開発 - 1.5

Ikko Eltociear Ashimine

More Decks by Ikko Eltociear Ashimine

Other Decks in Technology

Featured

Transcript