Slide 1

Slide 1 text

リスクが取りにくいシステム開発で のDevinとの付き合い方 株式会社MonotaRO エンタープライズビジネスエンジニアリング部門 佐藤拓実 1 2025.3.26 © 2025 MonotaRO Co., Ltd. All Rights Reserved.

Slide 2

Slide 2 text

好きなこと/趣味などなんでも 主な担当領域 2022.04 新卒で株式会社MonotaRO入社 2022.07 SREグループに配属 2024.10 エンタープライズソリューショングループに異動(イマココ) エンタープライズ向けサイトのクライアントサイド/サーバーサイドの開発をしています MonotaRO社内への生成AIツールの導入もしました ● 構想半日、実装一日、全社活用される ChatGPTのSlackbotを作りました! ● 生成AIのSlackbot導入から1年半。社内での活用が広がり、次のステップが見えてきた話 モノタロウに入社するまで 岐阜⇨名古屋⇨大阪 ● 大学院では人工知能(自然言語処理)の研究を頑張っていました 佐藤拓実 (Takumi Sato)  乃木坂46/ハロプロ/中日ドラゴンズ/ RADWIMPS/ラランド/マユリカ/ 軽い登山/散歩

Slide 3

Slide 3 text

話したいこと 3 ● MonotaROではDevinやその他ツールを導入 し活用しています cline,cursor... ● うまくいっているところもありましたが、私 たちの部署は最初はうまく行きませんでした ● それはなぜか?どうしたか?今後?について

Slide 4

Slide 4 text

Devinとの出会い 4 ● openhands(DevinのOSS版)を試してみる ○ すごく良かった、が ■ UIが貧弱、遅い、成果物がなかなかできない... ○ ただコンセプトは面白い + もっと進化したも のを使ってみたい! ● ⇨ 2025年1月にDevinを試験的導入 ※ 個人の感想

Slide 5

Slide 5 text

Devinとの出会い 5 ● まずは少人数チームで効果検証 ○ 期間: 2025/1/6〜2025/1/10 ○ セッション数: 28 ○ PR作成数: 23本 ○ マージ済PR: 16本 ○ 利用クレジット: 215.14ACU ($430.28) ● 比較的大規模なエンタープライズ向けサイト 開発にも持ち込んでみた。 なんかスゴイ

Slide 6

Slide 6 text

やってみたこと 6 ● 本番に影響がほぼないページのモダナイズ やUIUX向上に活用してみよう🔥 ● まあ、簡単なタスクならサクッといけるっ しょ

Slide 7

Slide 7 text

そんなことなかった 7 ● 当初想定していたPRのリリースの計画から だんだん遅れ始めた 🤔 ● みんなDevinではなくClineを使うように なった ● ⇨ なぜ...?

Slide 8

Slide 8 text

振り返りを実施 8 ● Devin利用者、レビュワー ● 生の感想を聞く

Slide 9

Slide 9 text

振り返りでどんなことが出てきたか 9 ● コードの品質が安定しない ○ 動作はするが油断ならないコー ド(可読性の低いコードや余計 な処理)が混在 ● レビュー対応 ○ 指摘への対応が分かりにくい ○ 返信がない ○ 対応で別のコードが生成される 不安感 ● 実装時の課題 ○ 要件の言語化が不十分だと思わ ぬ方向に実装が進む Devinに関する課題 ● Clineとの比較 ○ 細かい制御はClineの方がしやす い ○ Devinの方がコンテキストの理 解力は高そう? ● 共通の課題 ○ テスト・品質担保の重要性が増 す ○ PRは量産できるが人手作業の負 担が大きい 他ツールとの比較・共通課題

Slide 10

Slide 10 text

Devinへの期待とのズレ 10 ● 自立性が高い故に、何をされるか分からな い恐怖 ● エンタープライズ向けサイト = 安定性重視 でリスクを取りにくい ⇨ レビューやQAの負荷が逆に高まってしま う

Slide 11

Slide 11 text

振り返りをもとに改善する 11 ● コードの品質 ○ ⇨ 今まで佐藤がやっていたセルフレビュー の観点を言語化・Devinに渡し、セルフレ ビューまで任せる ● レビュー対応 ○ ⇨ 対応内容のサマリーを出力するよう教育

Slide 12

Slide 12 text

振り返りをもとに改善する 12 ● コードの品質 ○ ⇨ 今まで佐藤がやっていたセルフレビュー の観点を言語化・Devinに渡し、セルフレ ビューまで任せる ● レビュー対応 ○ ⇨ 対応内容のサマリーを出力するよう教育 レビューコメントの数が1/4 以下に 🥳 ⇨ 似たような案件はDevinで ガンガンこなせるようになっ た

Slide 13

Slide 13 text

つまり 13 ● Devinは万能ツールではなく、あくまで開発 ライフサイクルの一部 ● 人間の開発チーム同様、改善サイクルを回 しましょう

Slide 14

Slide 14 text

これから 14 ● リスクが取りにくいシステム開発だと、ど うしても活用が難しい ● ではどうするか? ⇨ AIを活用するための環境を整備しよう

Slide 15

Slide 15 text

例えば... 15 x2 開発フローイメージ

Slide 16

Slide 16 text

AI活用目線でのつらみ 16 x2 結構大変😵 開発フローイメージ ● E2EテストはJenkinsから人間が実行 するしかない ● E2Eテストの実行時間が長い ● 基本は手動テストも必須 ● 自動テストの信頼性が十分ではない ● レビュワー2人の承認が必須 ● 厳選されたレビュワー ● リリース日の調整 ● リリース情報の記入 ● リリース時の動作確認 ● …

Slide 17

Slide 17 text

どう改善できるか 17 x2 開発フローイメージ ● E2EテストをActionsから実行できないか ● インテグレーションテスト導入できないか ● テストポリシーの言語化やCUJの策定 ● ↑らによって手動テストは最低限に ● レビュワールールに融通を ● AIによる自動レビューによる 負荷軽減 ● リリースフローの整備 ● リリース準備作業の自動 化 ● リリース回数を増やす (リスク分散) ● QA(モニタリングや SLO含め)の優先度を 上げる ● 不具合が露出した際に 戻しやすい仕組み作り

Slide 18

Slide 18 text

つまり方針として 18 ● AIそのものだけに目を向けるのではなく、 AIを活用するための環境も大事 ○ 品質が自動で担保される仕組みの構築 ○ 開発ライフサイクルでの人間が関わる作業を減 らす DevOps...

Slide 19

Slide 19 text

まとめ ● Devinは便利だがリスクが取れないシステムではまだ使 い方が難しい ● 「Devin、使った、便利!不便!」ではなく人間同様改 善サイクルを回しましょう ● AI-drivenな世界を見据えましょう ○ 開発環境が開発者のためだけではなくなる ○ モダナイゼーションの意味・方向性を考え直す 19

Slide 20

Slide 20 text

20 © 2020 MonotaRO Co., Ltd. All Rights Reserved.