AIによる商品説明文生成〜よい説明文をとは何かを考える

Transcript

1. LLM/VLM による商品説明文生成〜よい 説明文をLLM の評価技法から考える
2. 自己紹介 taumu SNKRDUNK のGo エンジニア ML は素人 PLURALITY を延々と読んでる
3. アジェンダ EC サイトでの商品説明文の必要性 LLM/VLM による商品説明文生成 講義: LLM が生成する文章の評価技法の紹介 生成された商品説明文の考察
4. EC サイトでの商品説明文の必要性 SNKRDUNK というアパレルEC サイトには商品説明文がない 曖昧検索をしたい キャッチコピーを見せたい
5. LLM/VLM による商品説明文生成 インプットを何にするか？ 商品名から生成（＝モデルの知識から生成） 商品画像から生成 Web 検索結果から生成
6. やってみる 以下の商品の説明文を生成する Asics Gel-Lyte III "Dragon Fruit"
7. 1. 商品名から生成（＝モデルの知識から生成） ASICS Gel-Lyte III “Dragon Fruit” は、南国フルーツを思わせる鮮やか なカラーリングが魅力の一足。鮮烈なピンクとグリーンを基調に、ス エードとメッシュを組み合わせたアッパーが個性を際立たせます。ア イコニックなスプリットタン構造と軽量ミッドソールにより、快適な 履き心地を実現。カジュアルからストリートスタイルまで、足元に鮮 やかなアクセントを加えてくれるモデルです。
8. 2. 商品画像から生成 鮮やかなカラーリングが目を引く ASICS GEL-LYTE III "Dragon Fruit" 。 パステル調のターコイズ、ピンク、ラベンダーを大胆に組み 合わせ、ストリートでも映えるポップなデザインに仕上げられていま す。90 年代を思わせるレトロな雰囲気と、現代的な履き心地を融合し た一足です。
9. 3. Web 検索結果から生成 ASICS Gel‑Lyte III "Dragon Fruit" は、鮮やかなピンクベースにティー ルとピンクのスエードオーバーレイを施した、30 年記念カラー。レザ ーとメッシュの組み合わせで軽量かつ通気性が高く、フレキシブルな アウトソールとGEL ミッドソールでランニング時の衝撃吸収を実現。 価格は約110 USD 。日常からランニングまで幅広く活躍する、シンプ ルで鮮烈なデザインが魅力のスニーカーです。
10. ここまでの感想 どれも結構アリな気がする けど、 「どこがどう良いのか？」 「本当に全部上手くいくのか？」を もっと知りたい
11. LLM が生成する文章の評価技法の紹介
12. 現代的なアプローチ 様々な観点で正解のある問題を解かせて正解率を評価する(Jaster, etc.) 人間が評価する(LM Arena, etc.) AI が評価する（LLM as a judge ）(MT-Bench, etc.) よって、ルールベースではなくなっている。一方で、これらから特徴 抽出した研究もある
13. 特徴抽出した研究 ある文章が「良い」と評価されるかは以下のような観点から評価され る傾向がある 正確性: 事実に反する内容がないか 関連性: 質問に対して関連した内容であるか 一貫性: 一貫した文章となっているか 流暢さ: 語彙や文法が適切か 完全性: 必要な情報を網羅できているか 安全性: 不適切な発言がないか
14. では実際に評価してみる
15. 1. 商品名から生成（＝モデルの知識から生成） いい例: GPT5 ASICS Gel-Lyte III “Dragon Fruit” は、南国フルーツを思わせる鮮やか なカラーリングが魅力の一足。鮮烈なピンクとグリーンを基調に、ス エードとメッシュを組み合わせたアッパーが個性を際立たせます。ア イコニックなスプリットタン構造と軽量ミッドソールにより、快適な 履き心地を実現。カジュアルからストリートスタイルまで、足元に鮮 やかなアクセントを加えてくれるモデルです。
16. 悪い例: Claude 3.5 Haiku エレガントでありながら遊び心溢れるデザイン。柔らかいピンクとグ レーのカラーリングが、フルーティーな「ドラゴンフルーツ」からイ ンスピレーションを得た、夏にぴったりなスニーカー。クラシックな Gel-Lyte III のシルエットに、モダンでフレッシュな色彩を纏わせ、ス ポーティさとファッショナブルさを見事に融合させています。心地よ いクッション性と洗練されたルックスが、日常のスタイリングに彩り を加えます。
17. 正確性：悪い例はグレーと言っており間違っている（ドラゴンフル ーツに引っ張られている説） 完全性：いい例には「スプリットタン構造」 「スエードとメッシュ」 のような具体的なキーワードがあるが、悪い例にはなく、ふわっと した説明になっている 商品名から生成（＝モデルの知識から生成）の総評： モデルの学習セットに含まれていれば有効だが、モデルに強く依存す るので品質はブラックボックス。当然、新発売の商品の情報は取って これない。
18. 2. 商品画像から生成 鮮やかなカラーリングが目を引く ASICS GEL-LYTE III "Dragon Fruit" 。 パステル調のターコイズ、ピンク、ラベンダーを大胆に組み 合わせ、ストリートでも映えるポップなデザインに仕上げられていま す。90 年代を思わせるレトロな雰囲気と、現代的な履き心地を融合し た一足です。
19. 商品画像から生成 正確性: 配色の説明は当然正確性が高い。 完全性: 使われている色やシチュエーションを網羅している。 流暢さ: 「90 年代」 「レトロ」といった、画像から想起されるかつア パレルでよく使われるキーワードが付与される。 見た目の特徴や、そこから想起される雰囲気を言語化できる。ファッ ションアイテムにおいては向いていそう。 悪い例は省略するが、低性能なモデルでは説明が間違っていたり、ま たあまり特徴のない見た目の服だと流暢さ・完全性は低下する。
20. 3. Web 検索結果から生成 ASICS Gel‑Lyte III "Dragon Fruit" は、鮮やかなピンクベースにティー ルとピンクのスエードオーバーレイを施した、30 年記念カラー。レザ ーとメッシュの組み合わせで軽量かつ通気性が高く、フレキシブルな アウトソールとGEL ミッドソールでランニング時の衝撃吸収を実現。 価格は約110 USD 。日常からランニングまで幅広く活躍する、シンプ ルで鮮烈なデザインが魅力のスニーカーです。
21. Web 検索結果から生成 完全性: 「30 年記念」 「GEL ミッドソール」など、商品の実際の用語 が記載される 流暢さ: 高い。キャッチコピーが近い形で使われていると思われる 安全性: 価格（110USD ）が記載されているが、これは今回のケース ではノイズである 商品固有の知識を含めることができる。ただしノイズが含まれるリス クがあり、実用するにはフィルタリングが求められる
22. まとめ
23. 商品名から生成（＝モデルの知識から生成）: モデルの学習セット に含まれていれば有効だが、モデルに強く依存するので品質はブラ ックボックス。当然、新発売の商品の情報は取ってこれない。 商品画像から生成: 見た目の特徴や、そこから想起される雰囲気を 言語化できる。ファッションアイテムにおいては向いていそうだ が、商品に依存する 検索結果から生成: 商品固有の知識を含めることができる。ただし ノイズが含まれるリスクがあり、実用するにはフィルタリングが求 められる ここからの学び: 商品名＋商品画像＋検索結果などなど、マルチモ ーダルな情報をインプットにして作った説明文を専門知識を持った 人間がレビューできるのがベストである