生成AIブーム以前から生成AI系サービスを提供してきた弊社の取り組みに関して

弊社(株式会社 wevnal)では、ChatGPTの登場に端を発した生成AIブーム以前から、Azure上で生成AI系サービス(BOTCHAN AI)を提供してきました。

そして、Azure OpenAI Serviceの国内最初期の利用ユーザーでもあります。

生成AIブームによる環境変化によって、激動の2023年を過ごしたので、どのような課題にぶつかり、どう取り組んだかの話をできればと思います。

Transcript

1. 生成AIブーム以前から生成AI系サービスを 提供してきた弊社の取り組みに関して 株式会社 wevnal 執行役員 CTO 鈴木 和男
2. 鈴木 和男 (すずき かずお) | 株式会社wevnal 執行役員 CTO | Qiita : @lazy-kz 早稲田大学を卒業後、ERPパッケージベンダーにて大企業向け会計 ERPパッケージの設計/開発や、プロジェクトマネジメントに従事。 その後不動産テックベンチャーでのカスタマーサクセスプラットフォームの立ち 上げを経て、2022年に株式会社wevnalに入社し、現職に就任。 現職では技術戦略の策定/遂行とエンジニアの組織、採用戦略の策定/ 遂行、情報セキュリティ戦略の策定/遂行を担当。 スピーカー
3. 生成AIブーム以前から生成AI系サービスを提供してきた 弊社の取り組みに関して トピック 1. 簡単な会社/サービス紹介 2. 生成AIブーム以前(2022年度)の取り組み 3. ブーム到来後〜2023年上期の取り組み 4. 2023年下期から現在の取り組み 5. そこから得られた教訓
4. 1.簡単な会社紹介 1.簡単な会社/サービス紹介
5. 弊社(株式会社 wevnal)について
6. 株式会社wevnal 住所 渋谷区恵比寿1-23-23 恵比寿スクエア7F 代表取締役 磯山博文 設立 2011年4月 従業員数 150名 (インターン・アルバイト含む) ※ 2024年2月時点 事業内容 Brand Experience(BX)プラットフォーム「BOTCHAN」の開発と提供 ステージ シリーズB(累計 26億円調達)
7. BOTCHANについて
8. マーケティング課題 認知・集客 理解・促進 購入・申込 継続 解約 商品ページで 90 %以上が離脱 (直帰率) 決済フォームで 70 %以上が離脱 (カゴ落ち率) 初回購入者の 70 %以上が離脱 (F2転換率) 広告掲載費は 5 年で 2 倍に高騰 (CPC) 獲得単価(CPA)に対して、多くの 離脱ポイント と高い 離脱率 が問題
9. BOTCHAN シリーズ 商品ページで 90 %以上が離脱 (直帰率) 決済フォームで 70 %以上が離脱 (カゴ落ち率) 初回購入者の 70 %以上が離脱 (F2転換率) 広告掲載費は 5 年で 2 倍に高騰 (CPC) 各離脱ポイントに対して、それぞれのプロダクトで解決 認知・集客 理解・促進 購入・申込 継続 解約 SNS Ad-Marketing BOTCHAN Engagement BOTCHAN Payment BOTCHAN Relation BOTCHAN Keeper 離脱ユーザーを LINEに誘導し CV獲得 決済チャットフォー ムでCVRを最大化 解約ユーザーに 寄り添いLTV向上
10. 認知・集客 理解・促進 購入・申込 継続 解約 一気通貫したコミュニケーションと、それによる顧客理解により 顧客体験を最大化してLTVを向上させる BX Platform BOTCHAN SNS Ad-Marketing BOTCHAN Engagement BOTCHAN Payment BOTCHAN Relation BOTCHAN Keeper
11. 商品ページで 90 %以上が離脱 (直帰率) 決済フォームで 70 %以上が離脱 (カゴ落ち率) 初回購入者の 70 %以上が離脱 (F2転換率) 広告掲載費は 5 年で 2 倍に高騰 (CPC) 認知・集客 理解・促進 購入・申込 継続 解約 SNS Ad-Marketing BOTCHAN Engagement BOTCHAN Payment BOTCHAN Relation (開発中) BOTCHAN Keeper 離脱ユーザーを LINEに誘導し CV獲得 決済チャットフォー ムでCVRを最大化 解約ユーザーに 寄り添いLTV向上 BOTCHAN AIのポジション BOTCHAN AI 柔軟なコミュニケーシ ョンで中間を補完
12. 2.生成AIブーム以前(2022年度) の課題と取り組み
13. 2.生成AIブーム以前(2022年度)の課題と取り組み ・GPT-3.5(text-davinci-002)まで日本語は強くなかった → 本格的にFine-tuningをしたいレベルだったが、OpenAIの方 針により、それもできなかった ・そもそも顧客提供の上で必須な顧客のドメイン知識がGPTに無い → そのままだと顧客課題自体を解決できない状態だった
14. GPT-3.5は日本語に弱いという課題への解決策 BERT系のroberta-base-japaneseをFine-tuning して、日本語とドメイン知識を補完した
15. ドメイン知識も含めてFine-tuningした結果 それまでのルールベース/Deep Learning系のチャットボットと は比較にならない自由度での会話ができるようになった → PoC導入をした顧客からも高く評価された
16. しかし… ・顧客単位でのモデルのFine-tuning + Hostingが必要 → インフラ代だけで 1顧客で月数十万円かかる状態なので ROIを合わせるのが難しい… ・ドメイン知識の追加の際に必ずFine-tuningが必要 → そのコストも考えるとプライシイング的に大企業にしか提供 できなそう
17. そして 2022年11月30日
18. ３. ブーム到来後〜2023年上期の取り組み
19. 3.ブーム到来時(2023年上期)の課題 ・ChatGPT、GPT-4の登場により、誰でも簡単に高性能なチャット ボットを作成できるように → 競争環境の激化に追従する必要があった ・Fine-tuningベースだとインフラ代が高くなりがちな問題 → そのままだと顧客課題自体を解決できない状態だった
20. この課題に対する取り組み ・Azure OpenAI Serviceで提供されたChatGPT APIを利用し て回答をする方向に仕様変更 → 従前作り込んだ部分を極力再利用しつつ、時代の変化に追従 ・Fine-tuningではなくAzure AI Search(旧 Azure Cognitive Search)を利用したRAGに寄せることに決定 → Fine-tuning無しでドメイン知識を利用する方針に変更
21. 2023年3月10日にAzure OpenAI Serviceで提供が開始されたChatGPT Modelに載 せ替えて顧客にプレビュー提供を開始 → おそらく国内最速で切り替え完了 Azure OpenAI Serviceを利用することにした結果
22. そして 2023年3月のAzure AI DayでAOAIの使用例として紹介された
23. しかし、今までとは別の問題が発生 ・Azure OpenAI APIのRate limit 問題が発生 → RAGはToken消費が激しく、リージョン単位で設定された TPM(Token Per Minutes)に引っかかってすぐに会話 ができなくなる問題が発生。 そして、レートの増枠申請はほぼ通らない状態だった。
24. → 以下のような方式でAPI Managementを利用することで解決 APIのRate limit 問題への対応
25. 4. 2023年下期から現在の取り組み
26. 4. 2023年下期から現在の取り組み EC企業 行政 (化粧品コスメ) (メンズコスメ) (健康食品) (育毛剤) (乳児食) (化粧品コスメ) メディア 調剤薬局 金融 士業 クリニック 買取 多店舗 (電子タバコ) インフラ (着圧レギンス) サービス開始6ヶ月で +30社受注 話題性もあって、そこそこ順調に顧客は獲得できていた
27. しかし顧客数の増加に伴って別の問題が発生 ・ AIの品質評価/リリースプロセス(LLM Ops)が課題に → AIエンジニアのマンパワー(RLHF)では限界があった ・ 弊社のサービスの性質上、会話品質が非常に重要 → 内容の真偽性だけでなく言葉遣いや単語の言い回し等 も指摘される状況ではあるが、どのように会話品質を担保す るのか
28. AIの品質評価/リリースプロセス(LLM Ops)の対策 AI(RAG)の品質評価を基本AIにやらせつつ、AIエンジニア、 カスタマーサクセスの人間で補完するかたちでLLM Opsを構 築 → オペレーションコストはだいぶ下がったが、まだまだ改善の余 地があるので引き続き対応中
29. 会話品質問題の対策 Prompt Engineeringでの対応には限界があるので、RAG + ModelのFine-tuningなど、技術の組み合わせでより精 度を出せないか研究/試験中 → まだ言えないことが多いが、いくつか新しい発見はあったの で、それは後々論文化するかも
30. 5.そこから得られた教訓
31. 5. そこから得られた教訓 ・生成AI領域にそこまで先行者優位性は無い → せいぜい知名度と経験値が得られる程度 ・生成AI領域は、実装が陳腐化して技術的負債になる速度がおそ らく人類の歴史上最速 → 開発速度を維持するため、保守性の高い実装やシステム構 成が非常に重要になるが、保守開発経験のあるAIエンジニアは非 常に少ない
32. さいごに 生成AIブームはまだまだ混乱期ではあるものの、世界的に不可逆 な変化をもたらすテクノロジーであることは間違いない → この変革期にPlayerになるか Bystanderになるかは皆さんの選択次第
33. さいごに 後悔の無い選択を！
34. END