Slide 1

Slide 1 text

LLM開発・活用の舞台裏 ストックマーク株式会社 プロダクトマネージャー 中尾 有伸 2024/4/25 生成AIカンファレンス直前スペシャル! 生成AI革命期に挑んだ一年間の軌跡

Slide 2

Slide 2 text

© 2024 Stockmark Inc. 中尾有伸(Nakao Yushin) - 2020年9月より、ストックマークにて複数のBtoB SaaSの プロダクトマネジメントを担当 - 直近1年間は、大規模言語モデル(LLM)の活用と検索・推薦 領域の機能開発に従事 @yushin_n 自己紹介

Slide 3

Slide 3 text

Anews AIを活用した網羅的な情報収集と組織内への浸透を実現 ストックマークが提供するBtoB SaaS「A Series」 製品化・事業化を加速させる情報収集・共有サービス Astrategy 膨大な時間がかかる市場調査をAIが瞬時に実現

Slide 4

Slide 4 text

2023年11月に生成AIを活用した要約生成機能をリリース https://stockmark.co.jp/news/20231107

Slide 5

Slide 5 text

© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策

Slide 6

Slide 6 text

© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策

Slide 7

Slide 7 text

Q. 「生成AI」でヒットする月間の日本語の記事数は 2023年3月から、2024年3月の1年間で 何倍になったでしょうか?

Slide 8

Slide 8 text

© 2024 Stockmark Inc. 「生成AI」の月間の記事数の推移(2022年8月-2024年3月) 6141 記事 2024年3月 *A Seriesのデータベースの「生成AI」「ChatGPT」を含む日本語の記事数を集計

Slide 9

Slide 9 text

© 2024 Stockmark Inc. 「生成AI」の月間の記事数は1年で12倍、1年半で220倍に増加 6141 記事 546 記事 2023年3月 *A Seriesのデータベースの「生成AI」「ChatGPT」を含む日本語の記事数を集計 28 記事 2022年8月 2024年3月

Slide 10

Slide 10 text

© 2024 Stockmark Inc. 画像生成AIから始まった生成AIの波が、ChatGPTで急加速 2022年8月 Stable Diffusion公開 2022年11月末 ChatGPTリリース *A Seriesのデータベースの記事を引用

Slide 11

Slide 11 text

© 2024 Stockmark Inc. 生成AIの技術革新と社会実装、政策立案が並列で進展している 2023年3月 GPT-4発表 2023年12月 生成AI10原則検討開始 2023年11月 GPTs発表 *A Seriesのデータベースの記事を引用

Slide 12

Slide 12 text

© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策

Slide 13

Slide 13 text

© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み Research コード・ レッドで LLM開発 LLM活用を 試行錯誤 Product

Slide 14

Slide 14 text

© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 1年前のストックマーク全社MTGでのトップメッセージ

Slide 15

Slide 15 text

© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 1,000億LLM 開発中 独自LLMを活 用した社内情報 検索・要約生成 機能開発中  Researchの取り組み   Productの取り組み

Slide 16

Slide 16 text

© 2024 Stockmark Inc. 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ストックマークのLLM関連の取り組み:LLM活用を試行錯誤 1,000億LLM 開発中  Researchの取り組み   Productの取り組み 独自LLMを活 用した社内情報 検索・要約生成 機能開発中

Slide 17

Slide 17 text

© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公 開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公 開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 1,000億LLM 開発中 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 独自LLMを活 用した社内情報 検索・要約生成 機能開発中  Researchの取り組み   Productの取り組み

Slide 18

Slide 18 text

© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策

Slide 19

Slide 19 text

© 2024 Stockmark Inc. LLMのプロダクト活用で直面した課題 生成AI技術の 不確実性 ユーザー価値 の不確実性 モデルの想定外のふるまい にどう対応するか ユーザーにとって価値のあ る体験をつくれるか

Slide 20

Slide 20 text

© 2024 Stockmark Inc.

Slide 21

Slide 21 text

© 2024 Stockmark Inc. 探索 解決策 モデルの ベンチマーク 評価・改善 ユーザー価値 の不確実性 ユーザーにとって価値のあ る体験をつくれるか

Slide 22

Slide 22 text

© 2024 Stockmark Inc. 解決策:モデルのベンチマーク評価・改善 No 質問文 (Question) 要約結果 (Answer) 要約元テキスト (Context) 回答あり 引用の正確性 (GPT-4評価) 理由 (GPT-4評価) 出力形式の忠実性 (人手評価) 回答の最低品 質の担保(人手 評価) 0 日本の総合化学メー カーを3社答えてく ださい。 三井化学[index:0] 三菱ケミカルホール ディングス [index:0] 住友化学[index:0] ... 1. 『えきPET吸音材』の概 要 ・ 駅で回収したペットボト ルをリサイクルした吸音材 を開発し... 1 0 要約はソーステキストを誤っ て表現しています。ソーステ キストには、日本の総合化学 メーカー3社についての言 及はありません... 1 1 1 日本の人工知能のス タートアップ企業を1 社答えてください。 日本の人工知能のス タートアップ企業を1 社答えることができま す。 Fotographer AI株 式会社がStability AI... [0] 生成AIによる商品写 真自動生成サービス 「Fotographer.ai」を提 供するFotographer AI 株式会社... 1 1 要約はソーステキストを歪め たり、誤解を招くような表現 をしていません。 Fotographer AI株式会社 がStability AI Japan株 式会社の... 1 1 ※各評価指標は Ragas 等を参考に設定 ビジネス情報に関する質問50問(Stockmark Business Questions)に加えて、キーワードや英語、回答 できない質問など50問、計100問のベンチマークを設定して、回答品質をGPT-4、及び人手で評価している GPT-4の評価も間違えることがあり、評価の仕組みは今後も改善が必要

Slide 23

Slide 23 text

© 2024 Stockmark Inc. 機能の コンセプト 検証 高速化 解決策 モデルの ベンチマーク 評価・改善

Slide 24

Slide 24 text

© 2024 Stockmark Inc. 解決策:機能のコンセプト検証を高速化 生成AIを活用した実験的な機 能を提供するStockmark Labsを既存ユーザーに公開 事業開発・デザイナー ・Researchを軸とした探索 チームを組成してPoCを推進 機能コンセプトをつくり顧客ヒ アリングして具体化 段階的にリリース

Slide 25

Slide 25 text

© 2024 Stockmark Inc. まとめ ● 生成AIの技術革新と社会実装、政策立案が進展する中、LLM開発とプロダ クト活用の両輪で取り組んだ1年間だった ● LLMのプロダクト活用においては、生成AI技術とユーザー価値の不確実性 に対処するプロダクトマネジメントに取り組んだ ● プロダクトチームでの機能検証・開発だけではなく、事業開発・デザイナー ・Researchを軸とした探索チームやStockmark Labsという実験場を整 備したことで、既存ユースケースの強化と新規ユースケースの探索を両立す ることができた

Slide 26

Slide 26 text

© 2024 Stockmark Inc. 今後の展望 https://youtu.be/bc6uFV9CJGg?t=3936&si=S70SzzdGfO6n2WCq アプリケーション固有の機能が差別化されている限り、モデルをオープンソースにしてもプ ロダクトはコモディティ化せず、コミュニティから恩恵を得られる。 モデルそのものがプロダクトになる場合は、それをオープンにするかの経済的判断はより難 しくなるが、現時点ではその状況にはない。ーMark Zuckerberg プロダクトを中心として、LLM開発と プロダクト活用の両輪の取り組みを継 続して、差別化を追求したい

Slide 27

Slide 27 text

© 2024 Stockmark Inc. ストックマークはAI/LLMをキーワードに全方位で採用強化中! ● 正社員に応募したい・カジュアル面談してみたいなど、興味を持っていただいたらお 気軽にご連絡ください! ○ 採用サイト:https://stockmark.wraptas.site/ ● 募集ポジション ○ 顧客体験価値を創出するプロダクトマネージャー ○ AI / LLM領域の開発を担うプロダクトマネージャー ○ LLM / RAGを用いた検索基盤の設計、開発をリードするシニアバックエンド ○ マルチモーダルのコンテンツ抽出のアルゴリズム開発を行う機械学習エンジニア ○ LLMを構築する自然言語処理リサーチャー

Slide 28

Slide 28 text

5/8 生成AIカンファレンスでお会いしましょう! 11:20〜のセッションにて、1,000億LLM開発をリードした近江が登壇します

Slide 29

Slide 29 text

© 2024 Stockmark Inc. https://stockmark.co.jp/