Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM開発・活用の舞台裏@2024.04.25

 LLM開発・活用の舞台裏@2024.04.25

「【緊急開催】生成AI革命期に挑んだ一年間の軌跡」のLT資料です。
https://generative-ai-conf.connpass.com/event/315163/

Nakao Yushin

April 25, 2024
Tweet

Other Decks in Technology

Transcript

  1. © 2024 Stockmark Inc. 中尾有伸(Nakao Yushin) - 2020年9月より、ストックマークにて複数のBtoB SaaSの プロダクトマネジメントを担当

    - 直近1年間は、大規模言語モデル(LLM)の活用と検索・推薦 領域の機能開発に従事 @yushin_n 自己紹介
  2. © 2024 Stockmark Inc. 「生成AI」の月間の記事数は1年で12倍、1年半で220倍に増加 6141 記事 546 記事 2023年3月

    *A Seriesのデータベースの「生成AI」「ChatGPT」を含む日本語の記事数を集計 28 記事 2022年8月 2024年3月
  3. © 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 5-7月 Research のLLMユニッ ト設立 産総研と生

    成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 1,000億LLM 開発中 独自LLMを活 用した社内情報 検索・要約生成 機能開発中  Researchの取り組み   Productの取り組み
  4. © 2024 Stockmark Inc. 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同

    研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ストックマークのLLM関連の取り組み:LLM活用を試行錯誤 1,000億LLM 開発中  Researchの取り組み   Productの取り組み 独自LLMを活 用した社内情報 検索・要約生成 機能開発中
  5. © 2024 Stockmark Inc. ストックマークのLLM関連の取り組み 5-7月 Research のLLMユニッ ト設立 産総研と生

    成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公 開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公 開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 1,000億LLM 開発中 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 独自LLMを活 用した社内情報 検索・要約生成 機能開発中  Researchの取り組み   Productの取り組み
  6. © 2024 Stockmark Inc. 探索 解決策 モデルの ベンチマーク 評価・改善 ユーザー価値

    の不確実性 ユーザーにとって価値のあ る体験をつくれるか
  7. © 2024 Stockmark Inc. 解決策:モデルのベンチマーク評価・改善 No 質問文 (Question) 要約結果 (Answer)

    要約元テキスト (Context) 回答あり 引用の正確性 (GPT-4評価) 理由 (GPT-4評価) 出力形式の忠実性 (人手評価) 回答の最低品 質の担保(人手 評価) 0 日本の総合化学メー カーを3社答えてく ださい。 三井化学[index:0] 三菱ケミカルホール ディングス [index:0] 住友化学[index:0] ... 1. 『えきPET吸音材』の概 要 ・ 駅で回収したペットボト ルをリサイクルした吸音材 を開発し... 1 0 要約はソーステキストを誤っ て表現しています。ソーステ キストには、日本の総合化学 メーカー3社についての言 及はありません... 1 1 1 日本の人工知能のス タートアップ企業を1 社答えてください。 日本の人工知能のス タートアップ企業を1 社答えることができま す。 Fotographer AI株 式会社がStability AI... [0] 生成AIによる商品写 真自動生成サービス 「Fotographer.ai」を提 供するFotographer AI 株式会社... 1 1 要約はソーステキストを歪め たり、誤解を招くような表現 をしていません。 Fotographer AI株式会社 がStability AI Japan株 式会社の... 1 1 ※各評価指標は Ragas 等を参考に設定 ビジネス情報に関する質問50問(Stockmark Business Questions)に加えて、キーワードや英語、回答 できない質問など50問、計100問のベンチマークを設定して、回答品質をGPT-4、及び人手で評価している GPT-4の評価も間違えることがあり、評価の仕組みは今後も改善が必要
  8. © 2024 Stockmark Inc. まとめ • 生成AIの技術革新と社会実装、政策立案が進展する中、LLM開発とプロダ クト活用の両輪で取り組んだ1年間だった • LLMのプロダクト活用においては、生成AI技術とユーザー価値の不確実性

    に対処するプロダクトマネジメントに取り組んだ • プロダクトチームでの機能検証・開発だけではなく、事業開発・デザイナー ・Researchを軸とした探索チームやStockmark Labsという実験場を整 備したことで、既存ユースケースの強化と新規ユースケースの探索を両立す ることができた
  9. © 2024 Stockmark Inc. ストックマークはAI/LLMをキーワードに全方位で採用強化中! • 正社員に応募したい・カジュアル面談してみたいなど、興味を持っていただいたらお 気軽にご連絡ください! ◦ 採用サイト:https://stockmark.wraptas.site/

    • 募集ポジション ◦ 顧客体験価値を創出するプロダクトマネージャー ◦ AI / LLM領域の開発を担うプロダクトマネージャー ◦ LLM / RAGを用いた検索基盤の設計、開発をリードするシニアバックエンド ◦ マルチモーダルのコンテンツ抽出のアルゴリズム開発を行う機械学習エンジニア ◦ LLMを構築する自然言語処理リサーチャー