Slide 1

Slide 1 text

CONFIDENTIAL © 2024 Algomatic inc. 池⾕ 翔太(IKEYATSU SHOTA) 株式会社Algomatic ネオセールスカンパニーCPO 2025/4/22 LLMアプリケーション開発の極意 ドメイン知識を活かした設計と評価 @ikeyatsu 営業AIエージェント「アポドリ」の つくりかた

Slide 2

Slide 2 text

CONFIDENTIAL © 2024 Algomatic inc. ⾃⼰紹介 池⾕ 翔太 Ikeyatsu Shota 株式会社Algomatic ネオセールスカンパニーCPO Product Manager 早稲⽥⼤学を卒業後、リクルートに新卒⼊社。エンジニアを経 て、プロダクトマネージャーとして10年以上従事。Airレジ、エ アウォレットなど複数のtoB‧toCサービスの開発に携わり、特 に新規プロダクトの⽴ち上げフェーズを得意とする。プロダク トデザイン組織のマネジメントも担当し、組織設計から拡⼤ま で推進。2024年よりAlgomaticのネオセールスカンパニーに CPOとして参画。

Slide 3

Slide 3 text

CONFIDENTIAL © 2024 Algomatic inc. 2年弱、AIエージェントを 作ってきました

Slide 4

Slide 4 text

CONFIDENTIAL © 2024 Algomatic inc. 失敗と苦労の連続

Slide 5

Slide 5 text

CONFIDENTIAL © 2024 Algomatic inc. AIエージェントの開発 ショートカット してください!

Slide 6

Slide 6 text

CONFIDENTIAL © 2024 Algomatic inc. 2025/1/16 営業AIエージェントリリース

Slide 7

Slide 7 text

CONFIDENTIAL © 2024 Algomatic inc. ⼈の代わりに、営業活動を⾏うAIエージェント 従 来 ア ポ ド リ 営業! 営業! お願い!

Slide 8

Slide 8 text

CONFIDENTIAL © 2024 Algomatic inc. 「営業リスト」を渡すだけでアポが取れる お 客 様 ア ポ ド リ ①ターゲット 企業の選定 企業名、URLなど ②セットアップ/ アプローチ準備 公開情報からキーマン特 定と1to1⽂章⽣成など ③アプローチ実⾏/ 商談創出 メール/問い合わせ フォーム/SNS/⼿紙など ④商談実施 リストを 渡すだけで 待ってるだけ 商談の申込み

Slide 9

Slide 9 text

CONFIDENTIAL © 2024 Algomatic inc. たくさんのタスクをこなしながら、アポを取る リスト 提供 企業情報収集 企業名や住所、URL情報からWeb‧独⾃DBを探索し、収集 収集したデータの加⼯や評価 担当者収集 企業の役員‧従業員の情報をWeb‧独⾃DBを探索し、収集 収集したデータの加⼯や評価 1to1⽂章⽣成 企業情報、担当者情報を元に、ターゲットリストに最適なオリジナ ルの1to1メッセージを作成、評価 アプローチ実⾏ メール/問い合わせフォーム/SNS/⼿紙などのあらゆるチャネルから アプローチを実施 データ分析 どういった内容、業界、役職、部署へのアプローチが効果的であっ たか分析し提⽰ アプローチ先 情報収集 連絡先、問い合わせフォームをWeb‧独⾃DBを探索し、収集 収集したデータの加⼯や評価

Slide 10

Slide 10 text

CONFIDENTIAL © 2024 Algomatic inc. 実体験ベースの つくりかた解説

Slide 11

Slide 11 text

CONFIDENTIAL © 2024 Algomatic inc. アポドリできるまでの流れ 1. 営業代⾏初期 2. 顧客増え始め 3. リリース後 ● 営業活動のワークフローを⾔語化 ● ワークフローのツール化(AI化) ● ⼈間による⽬視確認→改善 ● 複数社対応(⼤量処理、安定化) ● プロンプトの外部化 ● あらゆる⾃動化 ● 継続的な精度改善 ● オペレーションの効率化 ● 完全なシステム化

Slide 12

Slide 12 text

CONFIDENTIAL © 2024 Algomatic inc. まず営業代⾏の⼈⼿でやりながら、タスク分解していく 1. 営業代⾏初期 新規顧客獲得 の営業 企業情報収集 担当者収集 アプローチ先 情報収集 1to1⽂章⽣成 アプローチ実⾏ データ分析

Slide 13

Slide 13 text

CONFIDENTIAL © 2024 Algomatic inc. ⼈⼿でやっていたものを徐々にAI化 1. 営業代⾏初期 Engineer 企業情報収集 担当者収集 アプローチ先 情報収集 1to1⽂章⽣成 アプローチ実⾏ データ分析 AI化 AI化 AI化 AI化

Slide 14

Slide 14 text

CONFIDENTIAL © 2024 Algomatic inc. AIの出⼒が「いい品質か」を⼀件ずつ⽬視 ⼈⼿で直す→AI直す→⽬視→⼈⼿で直す→AI直すを繰り返し、精度アップ 1. 営業代⾏初期 株式会社AAA https://aaa AAAの全国フランチャイズ展開を通じて学習塾事業を拡⼤しつつ、医学部専⾨予備校の「AAA」を渋 ⾕‧⼤阪‧福岡で展開し顧客基盤の強化に注⼒している状況 株式会社BBB https://bbb 150種類以上の通信教育講座を展開しつつ全額返⾦保証や2講座⽬無料サービスといった独⾃の制度 で受講者のキャリア形成を⽀援し、顧客基盤拡⼤に積極的に取り組んでいる状況 株式会社CCC https://ccc ccc株式会社との資本業務提携を通じて協⼒体制を強化しつつ、案件配信システム「ccc」で保険の 共同募集の効率化と成約率改善を⽬指している状況 株式会社DDD https://ddd dddを中⼼としたデジタル決済サービスを展開しつつ、キャンペーンや新規⾦融サービス提供を通じ て顧客基盤の拡⼤に取り組んでいる状況 株式会社EEE https://eee 業務粗利益が前年同期⽐190億円増加しつつ、中⼩企業向け貸出しやキャッシュレス化を推進して顧 客基盤拡⼤に取り組んでいる状況

Slide 15

Slide 15 text

CONFIDENTIAL © 2024 Algomatic inc. AIの出⼒が「いい品質か」を⼀件ずつ⽬視 ⼈⼿で直す→AI直す→⽬視→⼈⼿で直す→AI直すを繰り返し、精度アップ 1. 営業代⾏初期 株式会社AAA https://aaa AAAの全国フランチャイズ展開を通じて学習塾事業を拡⼤しつつ、医学部専⾨予備校の「AAA」を渋 ⾕‧⼤阪‧福岡で展開し顧客基盤の強化に注⼒している状況 株式会社BBB https://bbb 150種類以上の通信教育講座を展開しつつ全額返⾦保証や2講座⽬無料サービスといった独⾃の制度 で受講者のキャリア形成を⽀援し、顧客基盤拡⼤に積極的に取り組んでいる状況 株式会社CCC https://ccc ccc株式会社との資本業務提携を通じて協⼒体制を強化しつつ、案件配信システム「ccc」で保険の 共同募集の効率化と成約率改善を⽬指している状況 株式会社DDD https://ddd dddを中⼼としたデジタル決済サービスを展開しつつ、キャンペーンや新規⾦融サービス提供を通じ て顧客基盤の拡⼤に取り組んでいる状況 株式会社EEE https://eee 業務粗利益が前年同期⽐190億円増加しつつ、中⼩企業向け貸出しやキャッシュレス化を推進して顧 客基盤拡⼤に取り組んでいる状況 あらゆるタスクでこれをやった ものすっっっごく⼤変だった

Slide 16

Slide 16 text

CONFIDENTIAL © 2024 Algomatic inc. AIの出⼒が「いい品質か」を⼀件ずつ⽬視 ⼈⼿で直す→AI直す→⽬視→⼈⼿で直す→AI直すを繰り返し、精度アップ 1. 営業代⾏初期 株式会社AAA https://aaa AAAの全国フランチャイズ展開を通じて学習塾事業を拡⼤しつつ、医学部専⾨予備校の「AAA」を渋 ⾕‧⼤阪‧福岡で展開し顧客基盤の強化に注⼒している状況 株式会社BBB https://bbb 150種類以上の通信教育講座を展開しつつ全額返⾦保証や2講座⽬無料サービスといった独⾃の制度 で受講者のキャリア形成を⽀援し、顧客基盤拡⼤に積極的に取り組んでいる状況 株式会社CCC https://ccc ccc株式会社との資本業務提携を通じて協⼒体制を強化しつつ、案件配信システム「ccc」で保険の 共同募集の効率化と成約率改善を⽬指している状況 株式会社DDD https://ddd dddを中⼼としたデジタル決済サービスを展開しつつ、キャンペーンや新規⾦融サービス提供を通じ て顧客基盤の拡⼤に取り組んでいる状況 株式会社EEE https://eee 業務粗利益が前年同期⽐190億円増加しつつ、中⼩企業向け貸出しやキャッシュレス化を推進して顧 客基盤拡⼤に取り組んでいる状況 ドメイン知識(営業のノウハウ)を理解し AIで再現することを実体験した

Slide 17

Slide 17 text

CONFIDENTIAL © 2024 Algomatic inc. アポが取れて成果が出せたので、複数社に提供開始 2.顧客増え始め 提供開始 提供開始 提供開始 アプローチ アプローチ アプローチ

Slide 18

Slide 18 text

CONFIDENTIAL © 2024 Algomatic inc. 各社ごとにプロンプトチューニング必要 AI化が間に合わない=⼈⼿でやり続ける=😇 2.顧客増え始め Engineer 企業情報収集 担当者収集 アプローチ先 情報収集 1to1⽂章⽣成 アプローチ実⾏ データ分析 AI化 AI化 未対応 未対応

Slide 19

Slide 19 text

CONFIDENTIAL © 2024 Algomatic inc. プロンプトをシステム外部(Dify)に切り出して Engineer以外でも対応可能に 2.顧客増え始め Engineer 企業情報収集 担当者収集 アプローチ先 情報収集 1to1⽂章⽣成 アプローチ実⾏ データ分析 AI化 AI化 PdM / Biz / Customer Success Dify AI化 AI化

Slide 20

Slide 20 text

CONFIDENTIAL © 2024 Algomatic inc. 作業量が数倍に 複数案件並⾏によるリスクも増加 2.顧客増え始め Engineer 企業情報収集 担当者収集 アプローチ先 情報収集 1to1⽂章⽣成 アプローチ実⾏ データ分析 AI化 AI化 x10 x10 x10 x10 x10 x10 AI化 AI化 作業負荷と オペミスによる リスク増加

Slide 21

Slide 21 text

CONFIDENTIAL © 2024 Algomatic inc. あらゆる⼿作業を極⼒⾃動化(リスク低減>⼯数) このあたりからAIエージェントぽくなってくる 2.顧客増え始め Engineer 企業情報収集 担当者収集 アプローチ先 情報収集 1to1⽂章⽣成 アプローチ実⾏ データ分析 AI化 AI化 AI化 AI化 AI化 AI化 ⾃動 実⾏ x10

Slide 22

Slide 22 text

CONFIDENTIAL © 2024 Algomatic inc. より⾼品質なアウトプットのための取り組み 3. リリース後 Engineer 企業情報収集 担当者収集 アプローチ先 情報収集 1to1⽂章⽣成 アプローチ実⾏ データ分析 AI化 AI化 AI化 AI化 AI化 AI化 ⾃動 実⾏ x10 LLMによる 品質確認の 強化と改善

Slide 23

Slide 23 text

CONFIDENTIAL © 2024 Algomatic inc. Engineerが介在せず実⾏可能な環境へ 3. リリース後 Engineer 企業情報収集 担当者収集 アプローチ先 情報収集 1to1⽂章⽣成 アプローチ実⾏ データ分析 AI化 AI化 AI化 AI化 AI化 AI化 ⾃動 実⾏ x10 LLMによる 品質確認の 強化と改善 UI PdM / Biz / Customer Success

Slide 24

Slide 24 text

CONFIDENTIAL © 2024 Algomatic inc. ⽅法論としての 整理

Slide 25

Slide 25 text

CONFIDENTIAL © 2024 Algomatic inc. いま、ゼロからAIエージェント開発するなら、このプロセスでやります 顧客課題 の探索 LLMの 検証 システム化 評価と改善 の仕組み化 顧客価値の検証フェーズ 1→10フェーズ 製品として 安定化 リリース 継続的改善 と 提供価値の 新規開発 これまで解けなかっ た&⼤きな課題に 着⽬したい LLMでそもそも できるのか最優先 で検証 ドメインエキス パートを巻き込む 初期は⼈+システム でクイックに 価値検証 ⼤規模実⾏して わかることがある どう説明すると もっとも魅⼒が 伝わるか 顧客のFBを もとに改善

Slide 26

Slide 26 text

CONFIDENTIAL © 2024 Algomatic inc. いま、ゼロからAIエージェント開発するなら、このプロセスでやります 顧客課題 の探索 LLMの 検証 システム化 評価と改善 の仕組み化 顧客価値の検証フェーズ 1→10フェーズ 製品として 安定化 リリース 継続的改善 と 提供価値の 新規開発 これまで解けなかっ た&⼤きな課題に 着⽬したい LLMでそもそも できるのか最優先 で検証 ドメインエキス パートを巻き込む 初期は⼈+システム でクイックに 価値検証 ⼤規模実⾏して わかることがある どう説明すると もっとも魅⼒が 伝わるか 顧客のFBを もとに改善 いくつかピックアップして お伝えします

Slide 27

Slide 27 text

CONFIDENTIAL © 2024 Algomatic inc. 顧客課題の探索 ⼤きな課題に⽬を向けよう ⽣成AIでいろんなことが解決可能に 「これがあったら〜」という話がたくさん集まる ⼀⽅で、その課題を解決すると「⼈⽣変わるのか?」は常に疑うべき

Slide 28

Slide 28 text

CONFIDENTIAL © 2024 Algomatic inc. LLMでできるのか?は最優先で確認したい LLMの検証 これまでのシステムはプログラムの通りに動く LLMは完全な制御が難しい

Slide 29

Slide 29 text

CONFIDENTIAL © 2024 Algomatic inc. スモールステップで システム化 ⼀部は⼈⼿を介してでも価値検証を優先 ⼈⼿作業でドメイン知識を⾼めるキッカケ 追ってAIにて再現することで開発が進む

Slide 30

Slide 30 text

CONFIDENTIAL © 2024 Algomatic inc. ドメインエキスパートを巻き込む 評価と改善の仕組み化 LLMの出⼒が「正しいか?」はドメインエキスパートでないと判断できない 開発プロセスにどうドメインエキスパートを組み込むかが重要 ロジックA ロジックB ロジックC (LLM) ロジックD ロジックE エンジニア ドメイン エキスパート

Slide 31

Slide 31 text

CONFIDENTIAL © 2024 Algomatic inc. 最後に

Slide 32

Slide 32 text

CONFIDENTIAL © 2024 Algomatic inc. AI使えば勝⼿に ハイクオリティな アウトプットが出せる わけではない

Slide 33

Slide 33 text

CONFIDENTIAL © 2024 Algomatic inc. 適切なワークフローへ 分解し、緻密な指⽰、 継続的な改善が必要

Slide 34

Slide 34 text

CONFIDENTIAL © 2024 Algomatic inc. AIエージェントに 
 “任せる” ことが
 当たり前の未来 を創 る


Slide 35

Slide 35 text

CONFIDENTIAL © 2024 Algomatic inc. ありがとうございました👏 採⽤強化中 noteもぜひ https://jobs.algomatic.jp/ https://note.com/ikeyatsu