AIエージェント開発に求められるPdMの仕事を考える

by LayerX

Embed

Start on current slide

Slide 1

Slide 1 text

AIエージェント開発に求められるPdMの仕事を考える AIエージェント開発のパラダイムとPdM 2025-12-4 (木) pmconf2025 株式会社LayerX 渡辺謙太

Slide 2

Slide 2 text

© LayerX Inc.　 2 ⾃⼰紹介渡辺謙太 @k6nta 株式会社LayerX バクラク事業部 CEO室プロダクトマネージャー略歴 1. ⼿触り感のあるContext Engineering 2. Evaliteによるlocal nativeなLLM evals実⾏環境 3. AI Agentフレームワークを使うべきなのか？ 4. AIエージェントを開発するPdMがやることをプロンプトを書きながら考える 2025 発信 LayerX AI エージェントブログリレー東京⼤学⼯学部卒 / 松尾研究室株式会社Gunosyへエンジニアとして新卒⼊社 / メディアサービスの事業責任者等株式会社LayerX⼊社後、CEO室にてAIエージェントプロダクトのPdM + 開発機械学習エンジニアプロダクトマネージャーバックグラウンド

Slide 3

Slide 3 text

© LayerX Inc.　 3 すべての経済活動を、デジタル化する。をミッションに、 AI SaaS事業とAI DX事業を展開 LayerXの三つの事業バクラク企業活動のインフラとなる法⼈⽀出管理（BSM）SaaSを開発‧提供三井物産デジタル‧アセットマネジメントソフトウェアを駆使したアセットマネジメント‧証券事業を合弁会社にて展開 Ai Workforce ⽂書処理を中⼼とした、LLMの活⽤によるプロセスのリデザイン AI SaaS事業 AI DX事業

Slide 4

Slide 4 text

4 © LayerX Inc.　 4 バクラクとは「バクラク」シリーズは、稟議、経費精算、法⼈カード、請求書受取‧発⾏、勤怠管理などの業務を効率化する AIクラウドサービスです。最先端のAIエージェントを組み込むことで、⼿⼊⼒や紙の管理などの業務から解放し、従業員⼀⼈ひとりがコア業務に集中できる新しい働き⽅を創造します。中⼩企業から⼤企業まで、15,000社を超えるお客様の働きやすい環境づくりと事業の成⻑を⽀援しています。バックオフィスから全社の⽣産性を⾼める

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

AI活⽤進んでますか？

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

AIエージェントやLLMを活⽤した機能をプロダクトの開発は？ツールとしてのAI活用と比べると、まだ多くないのではないかと思う

Slide 10

Slide 10 text

No content

Slide 11

Slide 11 text

Slide 12

Slide 12 text

1. LLMの挙動を経験的に理解する

Slide 13

Slide 13 text

が、LLMが来る前の世界を思い出して

Slide 14

Slide 14 text

© LayerX Inc.　 14 コードに関してはたくさんのことを理解している ● コードで何ができるか ● どういう複雑性を持ち込むと実装コストが上がるか ‧ユーザの認知負荷が上がるか ● 「現状のプロダクトにSlackみたいにさくさく使えるチャット機能を2ヶ⽉で追加しよう」とはならない ● DB構造の複雑さ、⾮同期処理の複雑さ、UXの作り込み、.... ● これらの複雑性を理解しながら仕様を決めている PMとして「チャットアプリのデモ」と「Slack」の間を想像できる参照：slack.com

Slide 15

Slide 15 text

Slide 16

Slide 16 text

実際にAIエージェントを作る過程をたどりながら考える

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© LayerX Inc.　 18 GeminiのGemを作って動かしてみるあなたはGoogle Calendarの予定の調整を行うカレンダーエージェントです。ユーザの指示に従って予定の調整を行ってください。あなたはGoogle Calendarの予定の調整を行うカレンダーエージェントです。ユーザの指示に従って予定の調整を行ってください。目的とゴール: * ユーザーからの指示に基づき、正確かつ効率的にカレンダーの予定を調整・管理します。 * 予定の追加、変更、削除、および空き時間の検索など、カレンダー関連のタスクをサポートします。 * ユーザーの利便性を最優先し、スムーズなスケジュール管理を実現します。行動とルール: 1) 初期対応... Geminiがリライトしてくれる GeminiだとGoogleカレンダーにさくっと繋げるシステムプロンプト

Slide 19

Slide 19 text

デモは意外と簡単に作れる！いけそう！😀

Slide 20

Slide 20 text

開発を始めてみる

Slide 21

Slide 21 text

Slide 22

Slide 22 text

なぜうまくいかないのか？

Slide 23

Slide 23 text

© LayerX Inc.　 23 改めてカレンダーの例で⾊々な⼊⼒を試していく明日の17時からpmconfの資料作成の予定を1時間確保して 17:00 ~ 18:00 Pmconfの資料作成 8個中7個だけ移動 1分後風邪を引いたので今週の1on1は全て来週に移動して 10:00 ~ 10:30 Taro.yamadaとの1on1 参加者：自分 / taro.yamada 明日の10時からtaro.yamadaとの1on1を入れてお客様Aのtaro.yamadaさんがお客様Bとの商談に追加されるお客様Bとの商談にtaroさんを追加してお客様Aとの予定調整実際に開発や運⽤を始めてみるとたくさん問題が出てくる😨

Slide 24

Slide 24 text

なぜこうなるのか？

Slide 25

Slide 25 text

No content

Slide 26

Slide 26 text

どうしたらいい？

Slide 27

Slide 27 text

© LayerX Inc.　 27 対策１：LLMに解かせる問題の分解が必要次の予定にお客様が含まれるか判断して：「LayerX商談 / 参加者：AAA」 YES or NO 2値分類明日の戦略MTGに部長が参加できなくなったので、参加メンバーの予定を確認して都合の良い候補リストを理由を添えて出して戦略MTGの予定を確認しました... 複雑な思考・生成難易度低難易度高⼀度に解かせる問題を⼩さくしないと出⼒が安定しないめちゃくちゃ難しいことを⼀度にやろうとしている可能性がある

Slide 28

Slide 28 text

© LayerX Inc.　 28 対策２：分解した解きたい問題に対するLLMの挙動理解が必要 GPT-5.1 Gemini 3.0 リリース！ SWE-benchAA%！⽣成されるサイトのクオリティ！解きたい問題をどれくらいの精度‧レイテンシー‧ コストで解けるか？これまでよりControlしやすくなっているか？世の中の評価⾃分達の問題に対する評価最先端のLLMによって解ける問題の広がりのキャッチアップは⼤事だが⾃分が解きたい問題に対する精度や安定性を理解するのはもっと重要

Slide 29

Slide 29 text

© LayerX Inc.　 29 PMとしてやれること：決定的ではないLLMの挙動を経験的に養うあなたは Google Calendarの予定の調整を行うカレンダーエージェントです。ユーザの指示に従って予定の調整を行ってください。目的とゴール : * ユーザーからの指示に基づき、正確かつ効率的にカレンダーの予定を調整・管理します。 * 予定の追加、変更、削除、および空き時間の検索など、カレンダー関連のタスクをサポートします。 * ユーザーの利便性を最優先し、スムーズなスケジュール管理を実現します。行動とルール : 1) 初期対応 ... システムプロンプト明日の 17時から pmconfの資料作成の予定を 1時間確保して 17:00 ~ 18:00 Pmconfの資料作成 8個中 7個だけ移動 1分後風邪を引いたので今週の 1on1は全て来週に移動して 10:00 ~ 10:30 Taro.yamadaとの 1on1 参加者：自分 / taro.yamada 明日の 10時から taro.yamadaとの 1on1を入れてお客様 Aのtaro.yamadaさんがお客様 Bとの商談に追加されるお客様 Bとの商談に taroさんを追加してお客様 Aとの予定調整 ● ⽇々ChatGPTでその場限りのプロンプトを書くのではなく「継続的にプロダクトで使うプロンプト」を想定してプロンプトを書く ● 使っていく中で必要な指⽰を追加‧改善しながらあっちを解決すればこっちが壊れるという問題の境界‧感覚をつけていく ● デモではなく「本当に⾃分で使うツール」がベスト ● Gems / Dify / n8n

Slide 30

Slide 30 text

2. LLMの前に⼈を理解する

Slide 31

Slide 31 text

AIエージェントの⼤きな特徴: これまで難しかった⼈の動作まで⾃律性を持ってこなす

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© LayerX Inc.　 33 こういう予定の時どうするか？ 1on1の判断明示的に1on1と入っていないどのくらい先にリスケすると良い？体調不良の場合明日稼働できるのか？どの時間帯に入れると良いか？・細切れ時間を避けたい・普段は午前中をなるべく作業時間に取りたい・お昼はできれば11:30 ~ 13:30の間でランチの時間を確保したい・会社の業務時間は9:00 ~ 18:00だが普段大体8:00 ~ 18:30での稼働が多い予定の優先度をどうつけるか？・リスケ先の時間帯が埋まり切っている場合どうするか？・部長相手の1on1は部長の時間が取れないので空いている時間優先で他の予定を調整する会議室はどう確保するか？・相手がオフィスの場合確保必要。なるべくフォンブースをとって、とれなければ会議室をとる体調悪くなったので今日の午後の 1on1をリスケして⼈は予定調整するときたくさんの暗黙的なルールがある

Slide 34

Slide 34 text

© LayerX Inc.　 34 LLMは空気は読んでくれるが「⼀般的な」空気の読み⽅しかできないシステムプロンプト体調悪くなったので今日の午後の 1on1をリスケして LLMの賢さの問題ではなくコンテキストを理解‧与えられていない状態あなたはGoogle Calendarの予定の調整を⾏うカレンダーエージェントです。ユーザの指⽰に従って予定の調整を⾏ってください。 ~~~ 明確な1on1 # ⼀般的な会議の定義 ## 1on1 ⼀般的には上司と部下の1対1で「部下の」成⻑⽀援などを⽬的として設定されます。タイトルに明⽰的に1on1と記載されていない場合でも参加者が2名のみで具体的な議題がない場合1on1の可能性があります。実態は1on1 具体的な業務の議題が設定されている場合は1on1ではなく業務相談の可能性があります。 ## 全社会議 ~~~ 業務の相談

Slide 35

Slide 35 text

Slide 36

Slide 36 text

LLMに問題を解かせない

Slide 37

Slide 37 text

LLMだからなんでもできるわけではない

Slide 38

Slide 38 text

© LayerX Inc.　 38 LLMに”解かせない”選択肢を考える ✅対応できる⼊⼒の⾃由度は⾼い ❗確率的動作の検証⼯数が⼤きい ✅決定的に解ける問題はCodeに落とすことで不確実性をゼロにできる ❗ツール設計の複雑性は増す可能性あり来月の予定を全てコンテキストに入れて LLM に外部の人との予定を考えさせる LLMから予定検索ツールを「 @layerx.co.jp外のメールアドレスを持つ参加者がいる」という条件で呼ぶ LLMに寄せるコードに寄せる来月の外部の人との予定を全て教えてトレードオフがあるため適宜判断必要だが選択肢として考えられると良い

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

© LayerX Inc.　 41 チャット起点ではなく勝⼿に動いてもらうやり⽅もある予定の最適化 ✅チームの定例MTGは引き続き週3時間以内に保たれています開発チームのチーム定例MTGは全社平均2.5時間 👉来週⽉曜‧⽕曜の会議の隙間時間をなくして効率化する 30分以上の細切れ時間が4箇所存在します ❗チームメンバーのTaroさんが休暇に⼊るためパートナー定例のリスケが必要な可能性があります Taroさん以外の社内メンバーの参加者がいませんが予定が変更されていません承認する修正する修正内容を⼊⼒

Slide 42

Slide 42 text

© LayerX Inc.　 42 LLMであってもタスクの広さと開発⼯数はトレードオフになる問題が狭い問題が広い今週の外部との MTGを教えて予定の確認今日の午後の 1on1を全て来週にして予定のリスケ taroさんが異動になったのでチーム MTGの参加者から削除して予定の編集・部署ごとに定例に使っている月次の時間を出して・採用面談が集中してしまっているエンジニアのリスト教えて予定の分析社員が参加・登壇しているイベントのリストをイベントの URLと概要付きで抽出して Web検索 CEO室の開発メンバーで明日の午後、なるべく他のMTGと繋がる時間で30分のMTGを設定して。開発部に近い会議室を探して各種連携会議室情報あなたはGoogle Calendarの予定の調整を行うカレンダーエージェントです。ユーザの指示に従って予定の調整を行ってください。 ~~~ # 一般的な会議の種類 ## 1on1 一般的には上司と部下の 1対1で「部下の」成長支援などを目的として設定されます。タイトルに明示的に1on1と記載されていない場合でも参加者が2名のみで具体的な議題がない場合 1on1 の可能性があります具体的な業務の議題が設定されている場合は 1on1ではなく業務相談の可能性があります ## 全社会議: ~~~~ システムプロンプトなんでも良い感じにやれるやつは簡単に作れない => 適切なタスクに絞る

Slide 43

Slide 43 text

まとめ

Slide 44

Slide 44 text

Slide 45

Slide 45 text

© LayerX Inc.　 45 まだ何もわからんけど AGIがどうとか関係なく今既にある技術でかなりの部分が変わるたくさん壁はあるしとにかく経験知を速くためていくしかないが、3年前と⽐べると夢の世界！インターネット黎明期、スマホ黎明期に戻れるとしたら戻りたいと思っていたけど、もっと楽しいAI黎明期がきた！ 10年に1回しかない全てが新しくて機会しかない時期、やりたいことが多すぎて今の時代を10回くらい過ごしたい 2025年はまだこんなこと⼿でやってたん？という世界になるこの変化を作れるのは今だけ、この未来に挑めるのは今だけ他にもたくさん Context EngineeringやEvals… LLM開発に関する情報収集... AIシフトは進んでいく..! ぜひ懇親会で話しましょう！