社内外LLMを活用したプロダクト機能開発

Transcript

1. 2024/01/24 ストックマーク株式会社 水田浩明 社内外LLMを活用した プロダクト機能開発 1
2. © 2024 Stockmark Inc. 自己紹介 ストックマーク Product Engineering Unit 水田 浩明 【経歴】 • 株式会社ワークスアプリケーションズ（ 2013-2019） • BizteX株式会社（2019-2022） • ストックマーク（2022/09~） ◦ 検索 / ML開発チーム 2
3. 会社名 ストックマーク株式会社 Stockmark Inc. 　　　　　 オフィス 東京都港区南青山 1丁目12-3 　　　　　　 LIFORK MINAMI AOYAMA S209 　　　　　 設立　 2016年11月15日 　　　　　 創業者 代表取締役CEO　林 達 　 取締役CTO　有馬 幸介 　　　　　 事業内容 自然言語処理を活用した意思決定と 情報収集支援を行うサービスの開発・運営 従業員数 100名（2024年1月末時点） Mission 　価値創造の仕組みを再発明し、人類を前進させる Vision 　AIとヒトのポテンシャルを最大化し、顧客価値経営を実現するプラットフォームを提供する 会社概要 3 | ストックマークについて 3
4. © 2020 Stockmark Inc. 4 約35,000サイトから マーケット情報や技術情報を 
 クローリングして収集 
 ユーザー毎に学習したAIが 
 必要情報をお届け
 興味関心をインプットすると 
 届く情報の精度が向上 
 膨大なデータを
 AIが構造的に整理・精査 
 Anews ユーザー オープン情報 収集 配信 学習 ➢ 業界紙 ➢ 全国紙 ➢ 専門誌のWEBサイト ➢ 英語・中国語のニュース 
 ➢ プレスリリース ➢ 企業サイト ➢ 論文
 ➢ 特許 ※日本語のみ ➢ 話題の企業 
 ➢ 用途開発ニュース 
 ➢ 技術ニュース 
 ➢ 注目企業の事例 
 ➢ 関連論文 収集情報の一例 届く情報の一例 仕 組 み Anewsは組織における情報収集の課題を解決するための情報収集プラットフォームです あなた専用のAIを用いて情報を整理し届ける仕組みで、組織や業務に合わせた「あなたに必要な情報」をお届けします Anewsについて | ストックマークについて
5. LLMに関する取り組み 5
6. © 2024 Stockmark Inc. ストックマークにおけるLLM開発 自社LLMの開発（Reseacherチーム） LLMを活用した機能開発（ Productチーム） • 自社LLM（基盤モデル）の開発 • 既存（公開）モデルの Fine-tuning • 自社モデル、外部のモデル (OpenAI)の 両方を活用 【今日のメイン】 こちらを開発、改善し続 けている話 6 https://tech.stockmark.co.jp/blog/202308_gpt_neox/ https://tech.stockmark.co.jp/blog/202310_stockmark_13b/ https://note.com/yushin_n/n/nce5974b936f7
7. © 2024 Stockmark Inc. LLMを活用したAnews自動要約機能 7
8. © 2024 Stockmark Inc. 自動要約機能のなかみ 関連機能①: 検索クエリのキーワード拡張 (検索結果のRecall改善) 関連機能②: リランキング (検索結果のPrecision改善) 検索結果を基に、 質問への回答要約 を生成(RAG) 8
9. © 2024 Stockmark Inc. 検索クエリのキーワード拡張 (OpenAI GPT-3.5) (ペロブスカイト太陽電池 AND 技術) OR (ペロブスカイト太陽電池 AND 開発) OR (ペロブスカイト太陽電池 AND 研究) 検索 OpenAI API (GPT-3.5) Few-Shotでのキーワード拡張 ペロブスカイト太陽電 池の技術動向は？ Prompt Engineering Guide (by OpenAI) を参考に、ベンチマーク のクエリ群(※)でプロン プトを調整 ※…Stockmark Business Questions https://huggingface.co/datasets/stockmark/business-questions ・自然文検索への対応 ・検索Recallの改善 9
10. © 2024 Stockmark Inc. 検索結果のリランキング (ME5 BERT) • 検索クエリ、検索結果それぞれ のベクトルのコサイン類似度で リランキング • ベクトル生成のモデ ル:Fine-tuningした Multilingual-E5 (OpenAI Embeddings APIから 移行) 上位100件のPrecisionの改善 10
11. © 2024 Stockmark Inc. GPTによる要約生成 (OpenAI GPT-3.5 ⇨ stockmark-13b) • 検索結果上位の記事をコンテキ ストとして、質問に対する回答要 約をGPTで生成(RAG) • 現状OpenAI GPT-3.5から stockmark-13b へ移行中 独自の強みである最新情報、ビ ジネスドメインの知識に基づく生 成がねらい 11
12. © 2024 Stockmark Inc. stockmark-13bの評価 / 改善プロセス • ベンチマーク(Stockmark Business Questions)での回答品質をGPT-4、及び人手で評価 No 質問文 (Question) 要約結果 (Answer) 要約元テキスト (Context) 回答あり 引用の正確性 （GPT-4評価） 理由 （GPT-4評価） 出力形式の忠実性 （人手評価） 回答の関連性 （人手評価） 0 日本の総合化学メー カーを3社答えてくだ さい。 三井化学[index:0] 三菱ケミカルホール ディングス[index:0] 住友化学[index:0] ... 1. 『えきPET吸音材』の概 要 ・ 駅で回収したペットボトル をリサイクルした吸音材を 開発し... 1 0 要約はソーステキストを誤っ て表現しています。ソーステ キストには、日本の総合化学 メーカー3社についての言及 はありません ... 1 1 1 日本の人工知能のス タートアップ企業を 1 社答えてください。 日本の人工知能のス タートアップ企業を 1社 答えることができます。 Fotographer AI株式会 社がStability AI... [0] 生成AIによる商品写真 自動生成サービス 「Fotographer.ai」を提供す るFotographer AI株式会 社... 1 1 要約はソーステキストを歪め たり、誤解を招くような表現を していません。 Fotographer AI株式会社が Stability AI Japan株式会社の ... 1 1 12 ※各評価指標は Ragas 等を参考に設定
13. © 2024 Stockmark Inc. stockmark-13bの評価 / 改善プロセス • 評価結果を元にモデルをFine-tuning ⇨ 再検証のイテレーション • 精度が徐々に改善され、ベンチマークではGPT-3.5を上回る性能になりつ つある • モデル / 評価手法共に現在も改善を継続中 13
14. © 2024 Stockmark Inc. LLMを活用した開発を振り返って 【Goods】 • 外部のLLMを利用することで、独自の教師データ / モデルを用意することなくPoCや実装が可能に ⇨ 検証や価値提供の高速化に繋がった • 自社LLMについてはチューニングを行う事で改善し、狙った領域ではGPT-3.5のような汎用モデル にも対抗出来る手応えが得られている 【Challenges】 • LLMの評価がそもそも難しい • 特に外部モデルの場合、出力が不安定（非決定的） ⇨ ユニットテスト等の従来的な保守手法が適 用し辛い • 自社で大規模なモデルを動かす場合、それなりのコストが掛かる 14
15. （おまけ）今後の取り組み 15
16. © 2024 Stockmark Inc. Product: 検索 / 自社LLMのシステムアーキテクチャの改善 自社LLMのGPUリソース • 開発 / 検証環境: Lambda GPU Cloud • production環境: TBD ハイブリッド検索の導入 (キーワード+ベクトル) 16
17. © 2024 Stockmark Inc. Research: 自社LLMの継続開発、Discovery • stockmark-13bの継続改善 / 更に大規模なパラメータサイズの LLMの開発 • 要約生成以外での自社 LLMの活用検証 【例】知識グラフ、 LLMを活用した用途探索機能 （by Knowledge Unit） 17
18. FIN 18