Slide 1

Slide 1 text

© Findy Inc. 2025.03.21 PM室所属データサイエンティストの 業務改善取り組みについて 〜”Team+使い⽅Bot”のご紹介〜 1 Confidential Shota Sasano

Slide 2

Slide 2 text

© Findy Inc. ⾃⼰紹介 2

Slide 3

Slide 3 text

© Findy Inc. 3 ⾃⼰紹介 ● 笹野 翔太 (Sasano Shota) ● ファインディ株式会社 / データサイエンティスト ○ 企画‧要件定義 ○ 既存MLモデルのアップデート ○ 新規機能開発 ○ ⼀部機能の本番デプロイ ○ etc ● サッカー観戦⚽ ○ 推しチームは無いです、純粋に競技として🔥

Slide 4

Slide 4 text

© Findy Inc. 会社紹介 4

Slide 5

Slide 5 text

挑戦するエンジニアの プラットフォームをつくる。 テクノロジーによる社会変⾰の時代に最も必要なことは、エンジニアの可能性を拡げることです。 Findyは、アルゴリズムとヒューマニティの融合によって、 すべてのエンジニアが不安なく挑戦できる世界共通のプラットフォームをつくります。 個⼈のチャンスを⽣み出し、組織の⽣産性を向上させ、社会の⼈材資産を好循環させる。 エンジニアプラットフォームが、デジタル社会の発展を加速していきます。 ビジョン © Findy Inc. 5

Slide 6

Slide 6 text

© Findy Inc. ファインディが展開するエンジニアプラットフォーム サービス紹介 ToC / ToB 正社員エンジニアの採⽤ 約12万⼈のエンジニアと880社以上のテッ ク企業をマッチング。 マッチングサービス フリーランスエンジニアの採⽤ 5万⼈以上のフリーランスエンジニアの成 功報酬型の⼈材紹介サービス。 外国籍エンジニアの採⽤ インドを中⼼とした海外のハイスキルエン ジニアと⽇本企業をマッチング。 SaaS / ToB エンジニア組織の⾒える化 GitHubやJiraを解析し、エンジニア組織の ⾒える化と⽣産性向上をサポート。 組織分析SaaS ToC / ToB 開発ツールのレビューサイト 実際に利⽤している企業の声を元に、開発 ツールの導⼊や検討に必要な情報を集約。 企業の技術選定をサポート。 開発ツールメディア ※ 各種数値は、2024年6月時点のFindy転職、Findy Freelance、Findy Team+、Findy Globalの4サービスの累計での社数及び登録者数です。 
   なお、1社又は1名の方が複数のサービスに登録している場合は、そのサービスの数に応じて複数のカウントをしています。 β版 6

Slide 7

Slide 7 text

© Findy Inc. PM室所属データサイエンティストの 業務改善取り組みについて 〜”Team+使い⽅Bot”のご紹介〜 7

Slide 8

Slide 8 text

© Findy Inc. 8 PM室のデータサイエンティストって何するの?

Slide 9

Slide 9 text

© Findy Inc. 9 PM室のデータサイエンティストって何するの?(1/4) ● 新規施策の技術検証 ○ PdMの企画した施策に関係するもの ○ 主体的に作ってみた系の検証 ○ etc

Slide 10

Slide 10 text

© Findy Inc. 10 PM室のデータサイエンティストって何するの?(2/4) ● 新規施策の技術検証 ○ PdMの企画した施策に関係するもの ○ 主体的に作ってみた系の検証 ○ etc ● 技術検証した機能の実装

Slide 11

Slide 11 text

© Findy Inc. 11 PM室のデータサイエンティストって何するの?(3/4) ● 新規施策の技術検証 ○ PdMの企画した施策に関係するもの ○ 主体的に作ってみた系の検証 ○ etc ● 技術検証した機能の実装 ● 既存機能の保守運⽤

Slide 12

Slide 12 text

© Findy Inc. 12 PM室のデータサイエンティストって何するの?(4/6) ● 新規施策の技術検証 ○ PdMの企画した施策に関係するもの ○ 主体的に作ってみた系の検証 ○ etc ● 技術検証した機能の実装 ● 既存機能の保守運⽤ ● データ‧AIに関する企画のリード ○ 社内の事業部に所属するビジネスサイドの業務改善 ○ その他多様な業務改善系の企画

Slide 13

Slide 13 text

© Findy Inc. 13 PM室のデータサイエンティストって何するの?(5/6) ● 新規施策の技術検証 ○ PdMの企画した施策に関係するもの ○ 主体的に作ってみた系の検証 ○ etc ● 技術検証した機能の実装 ● 既存機能の保守運⽤ ● データ‧AIに関する企画のリード ○ 社内の事業部に所属するビジネスサイドの業務改善 ○ その他多様な業務改善系の企画

Slide 14

Slide 14 text

© Findy Inc. 14 PM室のデータサイエンティストって何するの?(6/6) ● 新規施策の技術検証 ○ PdMの企画した施策に関係するもの ○ 主体的に作ってみた系の検証 ○ etc ● 技術検証した機能の実装 ● 既存機能の保守運⽤ ● データ‧AIに関する企画のリード ○ 社内の事業部に所属するビジネスサイドの業務改善 ○ その他多様な業務改善系の企画 Team+使い⽅Botは ● PdMに対するプロダクトに纏わる 問い合わせ件数が2件/⽇ ○ 対応の為のコストが⾼い ● 主体的に作ってみた という背景で⽣まれた

Slide 15

Slide 15 text

© Findy Inc. 15 Team+使い⽅Botって?

Slide 16

Slide 16 text

© Findy Inc. 16 Team+使い⽅Botって?(1/2)

Slide 17

Slide 17 text

© Findy Inc. 17 Team+使い⽅Botって?(2/2) ●

Slide 18

Slide 18 text

© Findy Inc. 18 どうやって作った?

Slide 19

Slide 19 text

© Findy Inc. 19 どうやって作った?(1/3) ● Dify上でBotを作成

Slide 20

Slide 20 text

© Findy Inc. 20 どうやって作った?(2/3) ● Dify上でBotを作成 ● 簡単なプロンプトと、潤沢なコンテキストを付与してRAGを活⽤

Slide 21

Slide 21 text

© Findy Inc. 21 どうやって作った?(3/3) ● Dify上でBotを作成 ● 簡単なプロンプトと、潤沢なコンテキストを付与してRAGを活⽤ ● 付与したコンテキストについて ○ プロダクトのサポートページコンテンツ ■ およそ100ページ分 ○ 技術的な観点でのFAQや導⼊企業様との過去のFAQ ■ およそ100FAQ分

Slide 22

Slide 22 text

© Findy Inc. 22 ※参考1:RAGについて ● 関連情報を抽出する外部データベースと、検索結果を活⽤して回答 を⽣成する⽣成モデルで構成された技術

Slide 23

Slide 23 text

© Findy Inc. 23 ※参考1:RAGについて ● 関連情報を抽出する外部データベースと、検索結果を活⽤して回答 を⽣成する⽣成モデルで構成された技術 created by claude

Slide 24

Slide 24 text

© Findy Inc. 24 ※参考2:簡単なアーキテクチャイメージ

Slide 25

Slide 25 text

© Findy Inc. 25 結果どう?

Slide 26

Slide 26 text

© Findy Inc. 26 PdMへの問い合わせ件数が… ● Bot作成前 ○ 1~2件/⽇×PdMメンバー6名 = 6~12件/⽇ ● Bot作成後 ○ ほぼゼロ🎉

Slide 27

Slide 27 text

© Findy Inc. 27 めちゃめちゃ好評🎉

Slide 28

Slide 28 text

© Findy Inc. 28 社内の声たち

Slide 29

Slide 29 text

© Findy Inc. 29 定量の評価まできっちりできていないですが、 調査‧レポートの⼯数もかなり削減できていそう

Slide 30

Slide 30 text

© Findy Inc. 30 作ってみての学び

Slide 31

Slide 31 text

© Findy Inc. 31 作ってみての学び(1/3) ● データセントリックの重要性を再認識 ○ 今回作成したBotのプロンプトは4⾏ ○ ドキュメントやナレッジの蓄積ができていれば、LLMの進化も ⼿伝って⾼精度なBotは簡単に作成可能に

Slide 32

Slide 32 text

© Findy Inc. 32 作ってみての学び(2/3) ● データセントリックの重要性を再認識 ○ 今回作成したBotのプロンプトは4⾏ ○ ドキュメントやナレッジの蓄積ができていれば、LLMの進化も ⼿伝って⾼精度なBotは簡単に作成可能に ● ⾼精度‧⾼性能な機能やプロダクトは簡単にモメンタムを変え得る ○ ⼀撃で社内にデータを蓄積する事の重要性が浸透 ■ 特にビジネスサイドに起きたのはめちゃめちゃ⼤きい ○ PdMもDifyでBot作り始めた

Slide 33

Slide 33 text

© Findy Inc. 33 作ってみての学び(3/3) ● データセントリックの重要性を再認識 ○ 今回作成したBotのプロンプトは4⾏ ○ ドキュメントやナレッジの蓄積ができていれば、LLMの進化も ⼿伝って⾼精度なBotは簡単に作成可能に ● ⾼精度‧⾼性能な機能やプロダクトは簡単にモメンタムを変え得る ○ ⼀撃で社内にデータを蓄積する事の重要性が浸透 ■ 特にビジネスサイドに起きたのはめちゃめちゃ⼤きい ○ PdMもDifyでBot作り始めた ● ハルシネーション対策は必須 ○ BotのモデルはGPT o1を採⽤しており、リクエストに対して推 論を⾏う為、紹介したような⾃由度の⾼い回答ができるが故の 課題

Slide 34

Slide 34 text

© Findy Inc. 34 今後について

Slide 35

Slide 35 text

© Findy Inc. 35 今後について(1/5) ● 想定以上の社内評もあり、プロダクト実装化を進める

Slide 36

Slide 36 text

© Findy Inc. 36 今後について(2/5) ● 想定以上の社内評もあり、プロダクト実装化を進める ● ⼀⽅で、ハルシネーション対策であったり、⼀部不完全なナレッジ が存在している為、こうした所の対策も ○ ハルシネーションを起こして欲しくない観点はナレッジ化をす る、が⼀番効果的な対策?

Slide 37

Slide 37 text

© Findy Inc. 37 今後について(3/5) ● 想定以上の社内評もあり、プロダクト実装化を進める ● ⼀⽅で、ハルシネーション対策であったり、⼀部不完全なナレッジ が存在している為、こうした所の対策も ○ ハルシネーションを起こして欲しくない観点はナレッジ化をす る、が⼀番効果的な対策? ● プロダクトのアップデートにナレッジが遅れを取らないようにする 為の設計も

Slide 38

Slide 38 text

© Findy Inc. 38 今後について(4/5) ● 想定以上の社内評もあり、プロダクト実装化を進める ● ⼀⽅で、ハルシネーション対策であったり、⼀部不完全なナレッジ が存在している為、こうした所の対策も ○ ハルシネーションを起こして欲しくない観点はナレッジ化をす る、が⼀番効果的な対策? ● プロダクトのアップデートにナレッジが遅れを取らないようにする 為の設計も ● 他にもRAGを使うと良いBotが作れそうなアイディアがあるので、 そういったところに横展開

Slide 39

Slide 39 text

© Findy Inc. 39 今後について(5/5) ● 横展開先候補

Slide 40

Slide 40 text

© Findy Inc. 40 こうしたナレッジ群と、⽣成AI活⽤は とても相性が良い🫶

Slide 41

Slide 41 text

© Findy Inc. 41 RAGはいいぞ

Slide 42

Slide 42 text

© Findy Inc. 42 ご清聴ありがとうございました🙇