リスクが取りにくいシステム開発でのDevinとの付き合い方

Slide 1

Slide 1 text

Slide 2

Slide 2 text

好きなこと/趣味などなんでも主な担当領域 2022.04 新卒で株式会社MonotaRO入社 2022.07 SREグループに配属 2024.10 エンタープライズソリューショングループに異動（イマココ）エンタープライズ向けサイトのクライアントサイド/サーバーサイドの開発をしています MonotaRO社内への生成AIツールの導入もしました ● 構想半日、実装一日、全社活用される ChatGPTのSlackbotを作りました！ ● 生成AIのSlackbot導入から1年半。社内での活用が広がり、次のステップが見えてきた話モノタロウに入社するまで岐阜⇨名古屋⇨大阪 ● 大学院では人工知能（自然言語処理）の研究を頑張っていました佐藤拓実 (Takumi Sato)　乃木坂46/ハロプロ/中日ドラゴンズ/ RADWIMPS/ラランド/マユリカ/ 軽い登山/散歩

Slide 3

Slide 3 text

話したいこと 3 ● MonotaROではDevinやその他ツールを導入し活用しています cline,cursor... ● うまくいっているところもありましたが、私たちの部署は最初はうまく行きませんでした ● それはなぜか？どうしたか？今後？について

Slide 4

Slide 4 text

Devinとの出会い 4 ● openhands（DevinのOSS版）を試してみる ○ すごく良かった、が ■ UIが貧弱、遅い、成果物がなかなかできない... ○ ただコンセプトは面白い + もっと進化したものを使ってみたい！ ● ⇨ 2025年1月にDevinを試験的導入 ※ 個人の感想

Slide 5

Slide 5 text

Devinとの出会い 5 ● まずは少人数チームで効果検証 ○ 期間: 2025/1/6〜2025/1/10 ○ セッション数: 28 ○ PR作成数: 23本 ○ マージ済PR: 16本 ○ 利用クレジット: 215.14ACU ($430.28) ● 比較的大規模なエンタープライズ向けサイト開発にも持ち込んでみた。なんかスゴイ

Slide 6

Slide 6 text

やってみたこと 6 ● 本番に影響がほぼないページのモダナイズやUIUX向上に活用してみよう🔥 ● まあ、簡単なタスクならサクッといけるっしょ

Slide 7

Slide 7 text

そんなことなかった 7 ● 当初想定していたPRのリリースの計画からだんだん遅れ始めた 🤔 ● みんなDevinではなくClineを使うようになった ● ⇨ なぜ...？

Slide 8

Slide 8 text

振り返りを実施 8 ● Devin利用者、レビュワー ● 生の感想を聞く

Slide 9

Slide 9 text

振り返りでどんなことが出てきたか 9 ● コードの品質が安定しない ○ 動作はするが油断ならないコード（可読性の低いコードや余計な処理）が混在 ● レビュー対応 ○ 指摘への対応が分かりにくい ○ 返信がない ○ 対応で別のコードが生成される不安感 ● 実装時の課題 ○ 要件の言語化が不十分だと思わぬ方向に実装が進む Devinに関する課題 ● Clineとの比較 ○ 細かい制御はClineの方がしやすい ○ Devinの方がコンテキストの理解力は高そう? ● 共通の課題 ○ テスト・品質担保の重要性が増す ○ PRは量産できるが人手作業の負担が大きい他ツールとの比較・共通課題

Slide 10

Slide 10 text

Devinへの期待とのズレ 10 ● 自立性が高い故に、何をされるか分からない恐怖 ● エンタープライズ向けサイト = 安定性重視でリスクを取りにくい ⇨ レビューやQAの負荷が逆に高まってしまう

Slide 11

Slide 11 text

振り返りをもとに改善する 11 ● コードの品質 ○ ⇨ 今まで佐藤がやっていたセルフレビューの観点を言語化・Devinに渡し、セルフレビューまで任せる ● レビュー対応 ○ ⇨ 対応内容のサマリーを出力するよう教育

Slide 12

Slide 12 text

振り返りをもとに改善する 12 ● コードの品質 ○ ⇨ 今まで佐藤がやっていたセルフレビューの観点を言語化・Devinに渡し、セルフレビューまで任せる ● レビュー対応 ○ ⇨ 対応内容のサマリーを出力するよう教育レビューコメントの数が1/4 以下に 🥳 ⇨ 似たような案件はDevinでガンガンこなせるようになった

Slide 13

Slide 13 text

つまり 13 ● Devinは万能ツールではなく、あくまで開発ライフサイクルの一部 ● 人間の開発チーム同様、改善サイクルを回しましょう

Slide 14

Slide 14 text

これから 14 ● リスクが取りにくいシステム開発だと、どうしても活用が難しい ● ではどうするか？ ⇨ AIを活用するための環境を整備しよう

Slide 15

Slide 15 text

例えば... 15 x2 開発フローイメージ

Slide 16

Slide 16 text

AI活用目線でのつらみ 16 x2 結構大変😵 開発フローイメージ ● E2EテストはJenkinsから人間が実行するしかない ● E2Eテストの実行時間が長い ● 基本は手動テストも必須 ● 自動テストの信頼性が十分ではない ● レビュワー2人の承認が必須 ● 厳選されたレビュワー ● リリース日の調整 ● リリース情報の記入 ● リリース時の動作確認 ● …

Slide 17

Slide 17 text

どう改善できるか 17 x2 開発フローイメージ ● E2EテストをActionsから実行できないか ● インテグレーションテスト導入できないか ● テストポリシーの言語化やCUJの策定 ● ↑らによって手動テストは最低限に ● レビュワールールに融通を ● AIによる自動レビューによる負荷軽減 ● リリースフローの整備 ● リリース準備作業の自動化 ● リリース回数を増やす（リスク分散） ● QA（モニタリングや SLO含め）の優先度を上げる ● 不具合が露出した際に戻しやすい仕組み作り

Slide 18

Slide 18 text

つまり方針として 18 ● AIそのものだけに目を向けるのではなく、 AIを活用するための環境も大事 ○ 品質が自動で担保される仕組みの構築 ○ 開発ライフサイクルでの人間が関わる作業を減らす DevOps...

Slide 19

Slide 19 text

まとめ ● Devinは便利だがリスクが取れないシステムではまだ使い方が難しい ● 「Devin、使った、便利！不便！」ではなく人間同様改善サイクルを回しましょう ● AI-drivenな世界を見据えましょう ○ 開発環境が開発者のためだけではなくなる ○ モダナイゼーションの意味・方向性を考え直す 19