Slide 1

Slide 1 text

Cursor/Devin全社導入の 理想と現実 2025.04.24 Thu. SmartHR AI tech talk#2 ── コード生成×AI 現場のリアル 齋藤 諒一 SmartHR VP of Engineering

Slide 2

Slide 2 text

齋藤 諒一 @saitoryc SmartHR VP of Engineering SmartHRには2021年7月に入社。当初は新規事業の立ち上げエン ジニアとして、アプリストアの開発などを行う。 その後基盤開発関連のマネージャーとして、プロダクト基盤の拡充 や、IdP機能の開発などを牽引。2025年1月より現職。現在はプロ ダクトエンジニアとQAエンジニアをあわせて180名程度のメンバー を管掌している。 休日は家族でサッカー観戦へ行くか、ドライブへ行くことが多め。 自己紹介

Slide 3

Slide 3 text

● SmartHRにおけるAIツール導入状況 ● Cursor導入 ○ 導入までの経緯 ○ 運用面の課題 ● Devin導入 ○ 導入までの経緯 ○ 運用面の課題 本日のお品書き

Slide 4

Slide 4 text

早速ですが

Slide 5

Slide 5 text

Cursorを全社員に配布しました! って一度は言ってみたいですよね

Slide 6

Slide 6 text

Devin活用して 入社式の最中にPR出しました! みたいな事例出してみたいですよね

Slide 7

Slide 7 text

そう思っていた時期が 私にもありました

Slide 8

Slide 8 text

SmartHRの開発組織の現状 在籍エンジニアの人数 170名前後 業務委託含めると180名超 チーム数 約40 アクティブなリポジトリ数 30前後

Slide 9

Slide 9 text

SmartHRの開発組織の現状 在籍エンジニアの人数 170名前後 業務委託含めると180名超 チーム数 約40 アクティブなリポジトリ数 30前後 全員で使うぞ!と 宣言するにはなかなかハードルが高い

Slide 10

Slide 10 text

1 セキュリティ Vibe Codingツールに限ら ず、AI関連ツール全般に言え ること ● コードそのもの ● チャット入力内容 情報漏洩リスクをどこまで考 え、どこまでケアすべきか 2 コスト 人数が増えればそれだけイン パクトも大きなことに。 個人では迷わず導入できて も、組織に導入するのは会社 のお金。予算の確保などは考 えなければならない 3 ROI 投資をするからには、得られる リターンについての説明責任 を負うのは当然のこと。 どのような指標で費用対効果 を測るべきかから検討が必要 導入のハードル

Slide 11

Slide 11 text

● 希望者にCursorを配付 ○ プロダクトエンジニア以外も含む ○ PM / デザイナー / QAE / UX Writerなど ● 一部チームにてDevin導入 ● GitHub copilotは以前より継続して利用中 現時点での導入状況

Slide 12

Slide 12 text

Cursorを導入するまで

Slide 13

Slide 13 text

Cursor導入検討時の比較対象 VSCode + Cline系 GitHub copilot経由の Claude 3.5 sonnet利用 で最初に試した。 満足行く速度が出なかったこ とと、使いすぎるとBANされ る可能性を指摘され断念。 Claude API利用は従量課 金のボリュームが予測できず 避けることに Windsurf 検討時点ではCursorのほう が使われる事例が先行してい た。 ある程度世の中に「使用事例」 が流れていたほうが導入が進 みやすいだろう、と判断 Claude Code 検討のタイミングではまだ ローンチされていなかった。 今後選択肢に入ってくる可能 性も…?

Slide 14

Slide 14 text

Cursorのプラン検討 ● Businessプラン一択 ● 支払は流石に一括請求で管理したい ● SSOによるアカウント管理 ● 強制的にプライバシーモード適用ON ○ 「ちゃんと設定してください」は危険 ○ 3%ミスが起こるとしたら、170人中5名はミスをする

Slide 15

Slide 15 text

現時点でのCursor運用における課題 ROIを厳密に計測することは早々に断念。 プロダクトエンジニア以外にも活用が広まっていったため、開発生産性だけでは 測れなくなった。今後アンケートなどで定性的な情報の収集は考えている 01 02 Businessプラン、倍の金額になるほどの機能がない。 管理機能があまりにもMVPすぎるので、ここは今後の機能追加に期待した い。SSO切り替え後は使っていないが、招待機能はとてもチープ 03 チームによって活用度合いに大きな差がある。 全体で足並みをそろえようとすると、活用できてるチームの足かせになりかね ないため、活用できていないチームを支援する仕組みが必要

Slide 16

Slide 16 text

今後検討すべき課題 年間契約によるディスカウントを選択するかどうか。 AIエディタの進化が早すぎるので、下手にエディタを固定化しないほうが安全 か…?と考えて、今は月間契約のままとなっています 01 02 我々はRubyistを多く抱えてる会社なので、RubyMine愛好家が多いです。 JetBrains AIのクオリティは検証していかねば…!と考えています。 それ待ちでCursorには手を出しません、という人もいる 03 CursorのPremium Request 500回/month 上限に達する人も当然な がら出てきており、ここの管理をどうすべきかは要検討。 全然届かない人もいるので、従量課金許可が現実的か…?

Slide 17

Slide 17 text

Devinを導入するまで

Slide 18

Slide 18 text

Devin導入時の比較対象 ● ほぼ比較対象無し(当時は) ● 今この瞬間に検討するなら? ○ Cursor Agent ○ Github copilot Agent mode ○ ややDevinとはフィーリングが異なる ● いつどのように導入していくか?が主な焦点

Slide 19

Slide 19 text

Devinのプラン検討 ● Team or Enterpirse ● 「まずはちょっと試そう」でEnterpriseは重い ● Teamプランで検証しつつ、本格的な展開を考え るならEnterpriseへの切り替えを考える

Slide 20

Slide 20 text

Devinのプラン検討 ● Team or Enterpirse ● 「まずはちょっと試そう」でEnterpriseは重い ● Teamプランで検証しつつ、本格的な展開を考え るならEnterpriseへの切り替えを考える DevinのEnterpriseプランって どこか使ってるところあります…?

Slide 21

Slide 21 text

現時点でのDevin運用における課題 Teamプランを複数チーム、複数リポジトリで使うことは想定されてなさそう。 仮想マシンが共通になるため、セットアップが1つずつしかできなかったり、 .bashrcに設定を書くとすべてのプロジェクトに反映されてしまう 01 02 ACU(Agent Compute Unit)が全チームで共通になるため、チームごと に割り振ることが出来ない。どこかのチームが使いすぎて枯渇するといったこ とも発生してしまう可能性がある 03 作業対象リポジトリを明確にしないと、調査する際にworkspace全体を調べ てしまったり、全く別のリポジトリに向けて作業し始めたりするケースがある。 これは指示の出し方にも問題があるかもしれない

Slide 22

Slide 22 text

どのようにDevinを運用しているのか 運用チャンネル発足 初期セットアップ時は「セット アップしまーす!」と宣言する Slackチャンネルが爆誕。 同時編集できないファイルを 操作するときのような、温か みのある運用がスタート。 運用時の困りごとを相談する チャンネルとしても機能し始 めている 対象リポジトリ明確化 Knowledgeに「Slackで依 頼してきたチャンネル名を元 に、作業する対象のリポジトリ を決定してください」というプ ロンプトを入れてみた。 これである程度特定してくれ るようになっている。 安全に行くなら都度伝えるの がベスト 週次のAI活用定例 Devinだけに限った話ではな いが、どのようにAIツールを 活用しているか、事例共有を 行ったり、相談を持ち込むた めの場として定例MTGが誕 生。 今後活用の幅をもっと広げて いきたいと考えている

Slide 23

Slide 23 text

Devinの思わぬ挙動紹介 なかなか寝てくれない sleepと言っても一向に寝てく れない問題が発生。 専用スレが立ち、子の寝かしつ けに長けた方々が集い、なとか 寝かしつけに成功 勝手にPR作成 何も指示していないのに急に活 動を始めてPRを作成する。 指示するときはメンションつけ る設定をONにして回避。 PRにラベル付与 QA完了ラベルをつけたらマー ジOK、という運用をしている が、Devinが自分のPRに勝手 にラベルをつける事件が発生。 スクショの代わりにAA 動作確認した結果として、スク リーンショットを添付してほし い、と要望を出し続けた結果、ア スキーアートで表現してくるとい う、予想外のアクション 大量にPR作成 1つの指示に対して、なぜか大量 のPRを作り続ける。 一番最後のPRタイトルには「(最 終修正)」というsuffixがついて いた。昔のバージョン管理…? PRテンプレートは無視 テンプレートに沿ってやってね、 という指示を出さないといけな い。言われなきゃ分からないこ とを求めたこちらが悪かった

Slide 24

Slide 24 text

Devin導入による率直な感想 ● 思わぬ動きをすることは多々ある ● Slackから指示するだけでタスクを完了させられ るのは大きなメリット ○ ローカルエディタを介在するものとは違いがある ● 人間と仕事をするときに伝え方を考えるように、 Devinもその点は同じ ● 徐々に賢くなっていくので、継続利用が大事

Slide 25

Slide 25 text

Cursor/Devinの運用で 得た学び

Slide 26

Slide 26 text

Cursor/Devinの運用で得た学び ● 「成熟するまで様子を見よう」は超危険 ● 他人の使い方を真似てもすぐに活用できない ○ 仕事のスタイルも、向き合う課題やプロダクトも異なる ○ 知見共有によりショートカットできる部分はあるが ○ マネジメントも真似するだけではうまく行かないのと同じ ● Devinはナレッジが溜まるとレベルアップしていくの で、中長期で成果を見るべき

Slide 27

Slide 27 text

今後の懸念

Slide 28

Slide 28 text

全体的な今後の課題 ● Cursorが今後どうなるのか ○ MSがどう動くのか注視が必要 ● プランの最適化 ○ DevinのEnterpriseプランへいつ踏み切るか ○ 従量課金形態への踏み込み方 ● GitHub Copilotを今後どうするか ○ 徐々に使わなくなっていく可能性も?

Slide 29

Slide 29 text

最後に

Slide 30

Slide 30 text

30 AIインテグレーションユニットは様々な職種で絶賛採用中です! 募集中職種 ● MLエンジニア ● アプリケーションエンジニア(AI専任領域) ● MLOps / データ基盤エンジニア ● AIプロダクトマネージャー Yes, we are hiring!!!!!

Slide 31

Slide 31 text

● 本イベントは今後も定期的に行う予定です ● ぜひ登壇したい!という方いましたら是非お声掛けください! 31 AI tech talkは今後も定期開催します!