AI機能の開発運用のリアルと今後のリアル

2024年11月8日(金)に開催された「LLMの本番プロダクト実活用のリアル」というイベントの登壇資料です。
https://nota.connpass.com/event/332938/

当日は口頭で相当量を補ってご紹介したため、ご不明な点がおかしい点があればお気軽にSNSでお尋ねください。

Transcript

1. 株式会社Helpfeel 執⾏役員CTO 秋⼭博紀 @akiroom SNSシェア歓迎‧顔撮影OK LLMの本番プロダクト実活⽤のリアル AI機能の開発運⽤のリアルと 今後のリアル #LLM_プロダクション実活用のリアル
2. 2 秋⼭博紀（@akiroom） 株式会社Helpfeel CTO https://akiyama.akiroom.com/ 慶應義塾⼤学政策‧メディア研究科修了 UI/UX‧インタラクションデザイン Webサービス、スマホアプリ開発、B2C/B2B SaaS などIT企業の⽴ち上げから成⻑期を10年以上経験 Factorioにハマっています ⾃⼰紹介 Profile #LLM_プロダクション実活用のリアル
3. プロダクト紹介 HelpfeelのAI活⽤ AI活⽤のリアル 今後のリアル 3 アジェンダ #LLM_プロダクション実活用のリアル
4. プロダクト紹介 4 #LLM_プロダクション実活用のリアル
5. 5 どんな質問にも答えられる⾰新的なFAQ システム。ラクスル、伊予銀⾏などさま ざまな業種で導⼊されている。 10万以上のプロジェクトで利⽤されてい るナレッジ共有サービス。⼤企業からス タートアップまで導⼊が進んでいる。 200以上の国‧地域で1,000万⼈のユー ザーを有する、世界トップシェアのスク リーンショット共有ツール。 HelpfeelはGyazo‧Cosense‧Helpfeelの 3つのプロダクトを運営しています。 #LLM_プロダクション実活用のリアル
6. 6 どんな質問にも答えられる⾰新的なFAQ システム。ラクスル、伊予銀⾏などさま ざまな業種で導⼊されている。 10万以上のプロジェクトで利⽤されてい るナレッジ共有サービス。⼤企業からス タートアップまで導⼊が進んでいる。 200以上の国‧地域で1,000万⼈のユー ザーを有する、世界トップシェアのスク リーンショット共有ツール。 HelpfeelはGyazo‧Cosense‧Helpfeelの 3つのプロダクトを運営しています。 #LLM_プロダクション実活用のリアル
7. 7 Helpfeelとは Helpfeelは、特許技術のアルゴリズムと⽣成AIを掛け 合 わせ、 検 索 ノーヒット“0%”をハルシネーション （誤回答）なく実現します。 ⼈ごとに微妙に異なる曖昧な⾔葉表現やスペルミス等 にも対応し、Googleよりも⾼い検索ヒット率を誇る⾰ 新的なFAQシステムです。 どんな質問にも適切な答えを導き、 顧客の⾃⼰解決率を上げる FAQ検索ツール #LLM_プロダクション実活用のリアル
8. 8 受賞歴 Helpfeelはグッドデザイン賞をはじめ、様々な賞を受賞しています。 ※スマートキャンプ株式会社主催「BOXIL SaaS AWARD Autumn 2023」FAQシステム部⾨で受賞 #LLM_プロダクション実活用のリアル
9. 9 主な導⼊企業 公開FAQはhttps://www.helpfeel.com/showcaseにリンクがございますので実際にお試しいただけます。 業界のリーディングカンパニー含め400サイト以上にて採⽤されています。
10. デモ 10 #LLM_プロダクション実活用のリアル
11. HelpfeelのAI活⽤ 11 #LLM_プロダクション実活用のリアル
13. 創造 質問⽂‧回答の構築 分析 改善点の抽出 問い合わせ 検索 意図予測検索※ 問い合わせフォーム FAQのドラフト作成 検索⽤辞書の⾃動作成 コールログの要約⽣成※ 問い合わせ分析 ユーザー⾏動分析 頻出トピックの抽出※ ※開発中
14. 創造 質問⽂‧回答の構築 分析 改善点の抽出 問い合わせ 検索 意図予測検索※ 問い合わせフォーム FAQのドラフト作成 検索⽤辞書の⾃動作成 コールログの要約⽣成※ 問い合わせ分析 ユーザー⾏動分析 頻出トピックの抽出※ ※開発中
15. 15 メールやメモ書きから Q&Aを自動生成 プロンプトエンジニアリングの活用 PDFからQ&Aを自動生成 Azure Document Intelligenceを使って PDFをMarkdownに変換して生成 HelpfeelのAI活用：FAQのドラフト作成 #LLM_プロダクション実活用のリアル
16. 16 ベクトル検索 ベクトルの類似度を用いて検索する手法 埋め込み(Embedding)モデル テキストの意味をベクトル化することで、 高品質なセマンティック検索を可能にする 機械学習モデル OpenAI Embedding API (2022.12〜) 任意のテキストの意味をベクトル化する API HelpfeelのAI活用：意図予測検索（ベクトル検索） 検索対象とクエリをベクトルに変換し、ベクトルの類似度が近いものを検索する ログインできない ログインでお困 りの場合はまず … ご解約の場合は まずログインして … 意味的に近い 意味的に遠い #LLM_プロダクション実活用のリアル
17. AI活⽤のリアル 17 #LLM_プロダクション実活用のリアル
18. 18 ・今まで出来なかったことが出来る ・顧客から色々なファイルの取り扱いを期待される 　　PDF、Word、エクセル方眼紙、パワポ、etc… 「エクセルに記入された情報が1000個ぐらい 　社内のイントラネットにあります 　エクセルでフォーマット（神方眼紙）に揃っていますが、 　例外も多いです」 【オトク情報】とにかく画像に変換さえできれば後はどうにかなる!! 　　　　　　　画像 → OCR → LLM リアル：顧客の夢が広がり、期待されるファイルの種類が増える スクショの引用元は東京都中央区の「 給与所得者異動届出書（エクセル） 」です #LLM_プロダクション実活用のリアル
19. 19 枯れてない 　・アカデミックには枯れていても実運用で枯れていない 　・むしろ始まったばかりのような気持ち 選択肢が多すぎ 　OSS: faiss、hnsw-lib 　ベクトルDB: Qdrant、milvus 　全文検索エンジン: ElasticSearch、Meilisearch 　既存のDB: PostgreSQL、MongoDB 　PaaS: Qdrant Cloud、Pinecone 　ベクトル検索を含むSaaS: OpenAI Assistants API、Dify ・運用したら思ってたより大変だった： カネがかかるし不安定だし ・これからRAGやる人は知見あればシェアしましょう！ リアル：ベクトル DBの運用が大変 …
20. 20 顧客のAIに対する解像度の高まり を感じる 　・2023年夏頃は「AIがすごいらしいので入れたい」という話がちょくちょく 　・2024年の上半期には顧客から「LLMでRAGを活用したエージェントが〜」と話が来る 　　（たぶんAzureの営業部隊がレクチャーしてる…？） 　・AIというだけで忌避される「AIアレルギー」は減ってきた感覚がある 顧客ごとにAIに対する感度が全然違う 　・まだLLM触ったこと無いです　〜　実際にボットを作ってみた 安心感をどう伝えるかも鍵 　・2023年頃はOpenAIに対する信用が無かった（という記憶が…） 　・｢Azureを使っているので、Microsoftのサーバーに入っています」と回答すると 　　急に話が通りやすくなる リアル：エンタープライズ顧客の解像度がバラバラ #LLM_プロダクション実活用のリアル
21. 今後のリアル 21 #LLM_プロダクション実活用のリアル
22. 22 単価が安くなりコンテキストウィンドウが拡大 するのは既定路線 　・さらにもっと雑にあちこちに仕込めるようになるはず 　・顧客側の「AIアレルギー」が減った結果、サイレントに社会実装される 　　　（実際にWindows 11では標準搭載されている） 　・バルクで大量のプロンプトを同時並行で投げてもエラー返らなくなると嬉しい 能動的に使う時代から受動的に使う時代に 　・現状のLLM活用プロダクトはだいたいがユーザーからのトリガーで作動 　・勝手に動いてくれる自律型エージェント を作りたい ChatGPTのラッパー　→　業務補助としての活用　→　業務の代替 　Helpfeel社の場合：問い合わせログの分析 &FAQ生成、CosenseのInfobox、etc 今後のリアル この後、トークセッションと懇親会で未来を話しましょう！ #LLM_プロダクション実活用のリアル
23. Join us ! Hackers! 我こそはと思う⽅は是⾮ご応募ください！ 気になる点や相談したい⽅はカジュアル⾯談も歓迎！ ⾯接合否と関係なく気軽に質問していただけます。 https://corp.helpfeel.com/ja/recruit  Gyazo Cosense Helpfeelの3つの旗のもと、 あなたの技術で⼈を助けて世直ししたい⼈はぜひご応募ください。 #LLM_プロダクション実活用のリアル