LLMと検索エンジン・レコメンドエンジンの協調動作への歩み

Transcript

1. 1 LLMと検索エンジン・レコメンドエンジンの
 協調動作への歩み

2. 内容
 • 自己紹介
 • LLM (ChatGPT) を使ったサービスをリリースした結果（AIスタイリストさん） 
 ◦ 概要、実現方法
 • レコメンドへの応用
 ◦ 実現への課題、LLMと検索エンジン・レコメンドエンジンの協調、結果 
 • 今後の展望

3. 自己紹介
 株式会社 DROBE 岸本将志 • 主に機械学習を用いたサービス開発 • 周辺のインフラなど 
 みずほ情報総研
 マイクロアド
 マイクロアド
 Gunosy
 DROBE

4. DROBEのサービスの流れ
 70問のアンケートに答える
 1 2 3 自宅にスタイリストが選んだ商品 が届く
 気に入ったもののみ購入、
 それ以外を返品

5. DROBEの商品選定の詳細
 70問のアンケートに回答
 回答をもとに、AIが50万着ある
 洋服をある程度絞り
 ランキング順に並べる
 事前提案のFBを受け、
 最終的に送付する洋服を選定
 お 客 さ ま
 D R O B E
 自動選定もしくは
 スタイリストがその中から
 洋服を精査し、削除、追加する
 事前に提案された洋服から
 送って欲しい服とそうでない服を選定
 届いた商品の購入・非購入・
 嗜好等をFBする
 商品のFBは、次回以降のセレクトに生かされる

6. スタイリングカルテ
 • コーディネートと自然言語によるコーディネートの解説のデータ（スタイリングカルテ）が蓄積 

7. ChatGPTを使ってサービスを開発しました
 • 自然言語で検索が可能 
 • コンテキストを持った対話型の探索が可能 

8. AIスタイリストさん

9. {"items": [{"色": "グリーン", "カテゴリ": "ワンピース", "素材": "ポリエステル ", "柄": "無地", "シルエット": "ノースリーブ , ひざ丈, ひざ下丈, ミモレ, フレア(スカート・ワン ピース)"}, {"色": "グリーン", "カテゴリ": "ニット", "素材": "ポリエステル , ナイロン, レー ヨン", "柄": "無地", "シルエット": "長袖, パフスリーブ "}],"request":"女子会コーディ ネートを教えて "} ↓ {"desc": "グリーンのワンピースとニットを組み合わせた女子会コーディネートがおす すめです。ワンピースはノースリーブでひざ丈からひざ下丈のフレアシルエットで、ポ リエステル素材の無地デザインです。ニットはグリーンの長袖でパフスリーブのデザ インで、ポリエステル、ナイロン、レーヨンの素材です。このコーディネートで女子会に 華やかさとおしゃれさを演出できます。 "} 実現方法

10. リリースしてみてどうだったか
 • LLMのファッションに関する汎用的な知識 -> DROBEにおけるのドメイン知識への変換は可能であり有用 そう
 • webメディアやテレビの取材・放映などPR観点でのインパクトがあった 
 https://news.mynavi.jp/techplus/article/20230425-2659700/ https://newsdig.tbs.co.jp/articles/-/446433
11. リコメンド（事前提案）への応用
 • サービスのスケールのボトルネックになっている部分 
 ◦ フリーコメントの要望がある場合は解釈できずスタイリストの手動選定になっていた 
 ▪ 事前提案が完全自動化できると同じスタイリストの人数でも対応できるスタイリング数を〜2 倍にできる

12. 事前提案への応用におけるAIスタイリストさん方式の課題
 • パーソナライズできていない 
 ◦ 20代にも50代にも同じアイテムが提示される 
 • LLMの回答とそれに基づいたDROBEの提案するアイテムが完全には一致しない 
 ◦ Embeddingベースで類似度を計算してる故 
 
 
 今の季節の通勤服を教えて 今の季節の通勤服は、ベージュのテーパードパンツに、白のシャツを合わせたコーディネートがお すすめです。足元は、ベージュのパンプスでまとめると、上品で清潔感のある印象になります。ま た、羽織ものとして、ベージュのトレンチコートを羽織ると、よりおしゃれな印象になります。 質問
 回答
 回答
 回答
 ⭕
 ❌
 ❌

13. 解決策
 • LLMをDROBEの検索エンジン・レコメンドエンジンと協調させる 
 ◦ LLMでメタ情報を獲得して検索エンジンでアイテムを検索し、レコメンドエンジンで 
 パーソナライズ
 
 メタ情報はDROBEで定義しているもの 
 promptで存在するメタ情報のリストを与えている 
 
 - cat: カテゴリ
 - cat_de: カテゴリ詳細 
 - c: 色
 - p: 柄
 - m: 素材
 - s: シルエット

14. 協調動作のための開発環境
 • 各開発者がプロンプトや協調動作のロジックのアイデアの実装だけすれば良い環境を構築 
 ◦ 記事にもまとめてあるので是非 https://info.drobe.co.jp/blog/engineering/llm-ec 

15. 結果
 • LLMとDROBEの検索エンジン・レコメンドエンジンの協調動作が実現可能なことは検証できた 

16. 事前提案特有の課題
 • 要望の種類が多岐にわたる 
 ◦ 同一の処理フローでは対応不可 
 • 要望の分類もLLMに任せてみた 
 ◦ 以下に分類
 • アイテムやスタイルに関する要望（種類、デザイン、サイズ等） 
 • 価格やブランドに関する要望（価格帯、セール品等） 
 • 体型やライフスタイルに関する要望（体型カバー、授乳や子育てに適した服等） 
 • シーンや季節に関する要望（仕事場やプライベート、季節やイベントに合わせたコーディネート等） 
 • サービスや提案方法に関する要望（商品の提案方法、サービス内容等） 
 • 購入したアイテムに合わせられるアイテムに関する要望 
 • その他

17. 事前提案特有の課題
 • 要望に欲しいものと避けたいものが混在していることが多い 
 主にボトムスが欲しいので、ワンピースではなく上下のコーデで提案希望。 ネイビー、グレー ばかりなので他の色がいいが、 汚れが目立つのは困るので真っ白やアイボリーは避けたい。 室内によくいるので半袖よりは五分丈くらいがいい。 
 欲しい物：ホワイト・ネイビー・グレー以外の色で五分袖のトップス、ホワイト・ネイビー・グレー 以外の色のボトムス 
 避けたいもの：ワンピース 
 まとめると

18. 事前提案の提案フロー
 • 要望を事前に定義したカテゴリにLLMでカテゴライズする 
 • 要望から欲しいもの（include） と避けたいもの（exclude）のメタ情報をLLMに返してもらう 
 • includeの条件で検索したアイテムと全体集合からexcludeを除外した条件で検索したアイテムをマージし て、候補アイテムとする 

19. 結果
 • 要望を満たす提案を作成することが可能であることは検証できた 
 ◦ request
 ▪ 主にボトムスが欲しいので、ワンピースではなく上下のコーデで提案希望。ネイビー、グレーばかりなので他の 色がいいが、汚れが目立つのは困るので真っ白やアイボリーは避けたい。室内によくいるので半袖よりは五分 丈くらいがいい。
 {"include":[{"cat":"トップス","cat_de":[],"c":["レッド","ブルー","グリーン"," ピンク","イエロー","オレンジ","パープル","ブラウン"],"p":[],"m":[],"s":["5 分袖"]},{"cat":"パンツ","cat_de":[],"c":["レッド","ブルー","グリーン","ピン ク","イエロー","オレンジ","パープル","ブラウン"],"p":[],"m":[],"s":[]}],
 "exclude":[{"cat":"ワンピース・ドレ ス","cat_de":[],"c":[],"p":[],"m":[],"s":[]},{"cat":"","cat_de":[],"c":[],"p":[]," m":[],"s":[]}]}
 
 

20. 今後の展望
 • 社内で定性評価を実施 
 • プロダクトに組み込み価値検証 
 ◦ LLMを用いて自動選定できた場合でもスタイリストのチェックを挟むフローにする 
 ◦ LLMの性能の不確実性に対応して品質を担保するため 
 
 • スタイリストの商品検索やユーザーの商品検索にも組み込みたい 

21. We are hiring!!
 - プロダクト開発ブログ 
 https://tech.drobe.co.jp/ 
 
 - Engineering Entrance book 
 https://info.drobe.co.jp/engineering- entrance-book
 少しでも気になった方、お気軽にご連絡ください!! 
 カジュアルに技術話をするだけでも大歓迎です! 
 Twitter
 カジュアル面談