LLM開発・活用の舞台裏@2024.04.25

Slide 1

Slide 1 text

LLM開発・活用の舞台裏ストックマーク株式会社プロダクトマネージャー　中尾有伸 2024/4/25 生成AIカンファレンス直前スペシャル！生成AI革命期に挑んだ一年間の軌跡

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Anews AIを活用した網羅的な情報収集と組織内への浸透を実現ストックマークが提供するBtoB SaaS「A Series」製品化・事業化を加速させる情報収集・共有サービス Astrategy 膨大な時間がかかる市場調査をAIが瞬時に実現

Slide 4

Slide 4 text

2023年11月に生成AIを活用した要約生成機能をリリース https://stockmark.co.jp/news/20231107

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Q. 「生成AI」でヒットする月間の日本語の記事数は 2023年3月から、2024年3月の1年間で何倍になったでしょうか？

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み：コードレッドでLLM開発 5-7月 Research のLLMユニット設立産総研と生成AIの共同研究開始 GPTを活用した検索ワード拡張機能リリース 8-9月 14億LLM公開 10月 AWS「LLM開発支援プログラム」採択 130億LLM公開 11-1月 GPTを活用した検索結果の要約生成機能リリース 2-3月 NEDO「ポスト 5G情報通信システム基盤強化研究開発事業」採択検索ワード拡張と要約生成の継続改善 4月理研「LLMのための日本語インストラクションデータ作成プロジェクト」参画 2023年 2024年独自LLMとナレッジグラフを活用した PoC開始 Stockmark Labsを開始 1,000億LLM 開発中独自LLMを活用した社内情報検索・要約生成機能開発中　Researchの取り組み　　 Productの取り組み

Slide 16

Slide 16 text

© 2024 Stockmark Inc. 5-7月 Research のLLMユニット設立産総研と生成AIの共同研究開始 GPTを活用した検索ワード拡張機能リリース 8-9月 14億LLM公開 10月 AWS「LLM開発支援プログラム」採択 130億LLM公開 11-1月 GPTを活用した検索結果の要約生成機能リリース 2-3月 NEDO「ポスト 5G情報通信システム基盤強化研究開発事業」採択検索ワード拡張と要約生成の継続改善 4月理研「LLMのための日本語インストラクションデータ作成プロジェクト」参画 2023年 2024年独自LLMとナレッジグラフを活用した PoC開始 Stockmark Labsを開始ストックマークのLLM関連の取り組み：LLM活用を試行錯誤 1,000億LLM 開発中　Researchの取り組み　　 Productの取り組み独自LLMを活用した社内情報検索・要約生成機能開発中

Slide 17

Slide 17 text

© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み 5-7月 Research のLLMユニット設立産総研と生成AIの共同研究開始 GPTを活用した検索ワード拡張機能リリース 8-9月 14億LLM公開 10月 AWS「LLM開発支援プログラム」採択 130億LLM公開 11-1月 GPTを活用した検索結果の要約生成機能リリース 2-3月 NEDO「ポスト 5G情報通信システム基盤強化研究開発事業」採択検索ワード拡張と要約生成の継続改善 4月 1,000億LLM 開発中理研「LLMのための日本語インストラクションデータ作成プロジェクト」参画 2023年 2024年独自LLMとナレッジグラフを活用した PoC開始 Stockmark Labsを開始独自LLMを活用した社内情報検索・要約生成機能開発中　Researchの取り組み　　 Productの取り組み

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2024 Stockmark Inc. 解決策：モデルのベンチマーク評価・改善 No 質問文 (Question) 要約結果 (Answer) 要約元テキスト (Context) 回答あり引用の正確性（GPT-4評価）理由（GPT-4評価）出力形式の忠実性（人手評価）回答の最低品質の担保（人手評価） 0 日本の総合化学メーカーを3社答えてください。三井化学[index:0] 三菱ケミカルホールディングス [index:0] 住友化学[index:0] ... 1. 『えきPET吸音材』の概要・駅で回収したペットボトルをリサイクルした吸音材を開発し... 1 0 要約はソーステキストを誤って表現しています。ソーステキストには、日本の総合化学メーカー3社についての言及はありません... 1 1 1 日本の人工知能のスタートアップ企業を1 社答えてください。日本の人工知能のスタートアップ企業を1 社答えることができます。 Fotographer AI株式会社がStability AI... [0] 生成AIによる商品写真自動生成サービス「Fotographer.ai」を提供するFotographer AI 株式会社... 1 1 要約はソーステキストを歪めたり、誤解を招くような表現をしていません。 Fotographer AI株式会社がStability AI Japan株式会社の... 1 1 ※各評価指標は Ragas 等を参考に設定ビジネス情報に関する質問50問（Stockmark Business Questions）に加えて、キーワードや英語、回答できない質問など50問、計100問のベンチマークを設定して、回答品質をGPT-4、及び人手で評価している GPT-4の評価も間違えることがあり、評価の仕組みは今後も改善が必要

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2024 Stockmark Inc. まとめ ● 生成AIの技術革新と社会実装、政策立案が進展する中、LLM開発とプロダクト活用の両輪で取り組んだ1年間だった ● LLMのプロダクト活用においては、生成AI技術とユーザー価値の不確実性に対処するプロダクトマネジメントに取り組んだ ● プロダクトチームでの機能検証・開発だけではなく、事業開発・デザイナー・Researchを軸とした探索チームやStockmark Labsという実験場を整備したことで、既存ユースケースの強化と新規ユースケースの探索を両立することができた

Slide 26

Slide 26 text

© 2024 Stockmark Inc. 今後の展望 https://youtu.be/bc6uFV9CJGg?t=3936&si=S70SzzdGfO6n2WCq アプリケーション固有の機能が差別化されている限り、モデルをオープンソースにしてもプロダクトはコモディティ化せず、コミュニティから恩恵を得られる。モデルそのものがプロダクトになる場合は、それをオープンにするかの経済的判断はより難しくなるが、現時点ではその状況にはない。ーMark Zuckerberg プロダクトを中心として、LLM開発とプロダクト活用の両輪の取り組みを継続して、差別化を追求したい

Slide 27

Slide 27 text

© 2024 Stockmark Inc. ストックマークはAI／LLMをキーワードに全方位で採用強化中！ ● 正社員に応募したい・カジュアル面談してみたいなど、興味を持っていただいたらお気軽にご連絡ください！ ○ 採用サイト：https://stockmark.wraptas.site/ ● 募集ポジション ○ 顧客体験価値を創出するプロダクトマネージャー ○ AI / LLM領域の開発を担うプロダクトマネージャー ○ LLM / RAGを用いた検索基盤の設計、開発をリードするシニアバックエンド ○ マルチモーダルのコンテンツ抽出のアルゴリズム開発を行う機械学習エンジニア ○ LLMを構築する自然言語処理リサーチャー

Slide 28

Slide 28 text

5/8 生成AIカンファレンスでお会いしましょう！ 11:20〜のセッションにて、1,000億LLM開発をリードした近江が登壇します

Slide 29

Slide 29 text