Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLM開発・活用の舞台裏@2024.04.25
Search
Nakao Yushin
April 25, 2024
Technology
3
1.8k
LLM開発・活用の舞台裏@2024.04.25
「【緊急開催】生成AI革命期に挑んだ一年間の軌跡」のLT資料です。
https://generative-ai-conf.connpass.com/event/315163/
Nakao Yushin
April 25, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
メールサーバ管理者のみ知る話
hinono
1
100
ドメイン名の終活について - JPAAWG 7th -
mikit
29
17k
RAGのためのビジネス文書解析技術
eida
3
650
Lambdaと地方とコミュニティ
miu_crescent
1
170
プロポーザルのつくり方 〜個人技編〜 / How to come up with proposals
ohbarye
4
310
軽量DDDはもういらない! スタイルガイド本で OOPの実装パターンを学ぼう
panda_program
29
11k
社内で最大の技術的負債のリファクタリングに取り組んだお話し
kidooonn
1
450
ISUCONに強くなるかもしれない日々の過ごしかた/Findy ISUCON 2024-11-14
fujiwara3
5
330
エンジニア候補者向け資料2024.11.07.pdf
macloud
0
4.5k
全社横断データ活用推進のコツと その負債とのつき合い方
masatoshi0205
0
160
Postmanの日本市場におけるDevRel (的) 活動 / Postman's DevRelish activities in Japan
yokawasa
1
120
いざ、BSC討伐の旅
nikinusu
1
510
Featured
See All Featured
A better future with KSS
kneath
238
17k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
The Invisible Side of Design
smashingmag
297
50k
GraphQLとの向き合い方2022年版
quramy
43
13k
YesSQL, Process and Tooling at Scale
rocio
168
14k
RailsConf 2023
tenderlove
29
890
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
Building Applications with DynamoDB
mza
90
6.1k
Typedesign – Prime Four
hannesfritz
40
2.4k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
Transcript
LLM開発・活用の舞台裏 ストックマーク株式会社 プロダクトマネージャー 中尾 有伸 2024/4/25 生成AIカンファレンス直前スペシャル! 生成AI革命期に挑んだ一年間の軌跡
© 2024 Stockmark Inc. 中尾有伸(Nakao Yushin) - 2020年9月より、ストックマークにて複数のBtoB SaaSの プロダクトマネジメントを担当
- 直近1年間は、大規模言語モデル(LLM)の活用と検索・推薦 領域の機能開発に従事 @yushin_n 自己紹介
Anews AIを活用した網羅的な情報収集と組織内への浸透を実現 ストックマークが提供するBtoB SaaS「A Series」 製品化・事業化を加速させる情報収集・共有サービス Astrategy 膨大な時間がかかる市場調査をAIが瞬時に実現
2023年11月に生成AIを活用した要約生成機能をリリース https://stockmark.co.jp/news/20231107
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
Q. 「生成AI」でヒットする月間の日本語の記事数は 2023年3月から、2024年3月の1年間で 何倍になったでしょうか?
© 2024 Stockmark Inc. 「生成AI」の月間の記事数の推移(2022年8月-2024年3月) 6141 記事 2024年3月 *A Seriesのデータベースの「生成AI」「ChatGPT」を含む日本語の記事数を集計
© 2024 Stockmark Inc. 「生成AI」の月間の記事数は1年で12倍、1年半で220倍に増加 6141 記事 546 記事 2023年3月
*A Seriesのデータベースの「生成AI」「ChatGPT」を含む日本語の記事数を集計 28 記事 2022年8月 2024年3月
© 2024 Stockmark Inc. 画像生成AIから始まった生成AIの波が、ChatGPTで急加速 2022年8月 Stable Diffusion公開 2022年11月末 ChatGPTリリース
*A Seriesのデータベースの記事を引用
© 2024 Stockmark Inc. 生成AIの技術革新と社会実装、政策立案が並列で進展している 2023年3月 GPT-4発表 2023年12月 生成AI10原則検討開始 2023年11月
GPTs発表 *A Seriesのデータベースの記事を引用
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み Research コード・ レッドで LLM開発 LLM活用を
試行錯誤 Product
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 1年前のストックマーク全社MTGでのトップメッセージ
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 5-7月 Research のLLMユニッ ト設立 産総研と生
成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 1,000億LLM 開発中 独自LLMを活 用した社内情報 検索・要約生成 機能開発中 Researchの取り組み Productの取り組み
© 2024 Stockmark Inc. 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同
研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ストックマークのLLM関連の取り組み:LLM活用を試行錯誤 1,000億LLM 開発中 Researchの取り組み Productの取り組み 独自LLMを活 用した社内情報 検索・要約生成 機能開発中
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み 5-7月 Research のLLMユニッ ト設立 産総研と生
成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公 開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公 開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 1,000億LLM 開発中 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 独自LLMを活 用した社内情報 検索・要約生成 機能開発中 Researchの取り組み Productの取り組み
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. LLMのプロダクト活用で直面した課題 生成AI技術の 不確実性 ユーザー価値 の不確実性 モデルの想定外のふるまい
にどう対応するか ユーザーにとって価値のあ る体験をつくれるか
© 2024 Stockmark Inc.
© 2024 Stockmark Inc. 探索 解決策 モデルの ベンチマーク 評価・改善 ユーザー価値
の不確実性 ユーザーにとって価値のあ る体験をつくれるか
© 2024 Stockmark Inc. 解決策:モデルのベンチマーク評価・改善 No 質問文 (Question) 要約結果 (Answer)
要約元テキスト (Context) 回答あり 引用の正確性 (GPT-4評価) 理由 (GPT-4評価) 出力形式の忠実性 (人手評価) 回答の最低品 質の担保(人手 評価) 0 日本の総合化学メー カーを3社答えてく ださい。 三井化学[index:0] 三菱ケミカルホール ディングス [index:0] 住友化学[index:0] ... 1. 『えきPET吸音材』の概 要 ・ 駅で回収したペットボト ルをリサイクルした吸音材 を開発し... 1 0 要約はソーステキストを誤っ て表現しています。ソーステ キストには、日本の総合化学 メーカー3社についての言 及はありません... 1 1 1 日本の人工知能のス タートアップ企業を1 社答えてください。 日本の人工知能のス タートアップ企業を1 社答えることができま す。 Fotographer AI株 式会社がStability AI... [0] 生成AIによる商品写 真自動生成サービス 「Fotographer.ai」を提 供するFotographer AI 株式会社... 1 1 要約はソーステキストを歪め たり、誤解を招くような表現 をしていません。 Fotographer AI株式会社 がStability AI Japan株 式会社の... 1 1 ※各評価指標は Ragas 等を参考に設定 ビジネス情報に関する質問50問(Stockmark Business Questions)に加えて、キーワードや英語、回答 できない質問など50問、計100問のベンチマークを設定して、回答品質をGPT-4、及び人手で評価している GPT-4の評価も間違えることがあり、評価の仕組みは今後も改善が必要
© 2024 Stockmark Inc. 機能の コンセプト 検証 高速化 解決策 モデルの
ベンチマーク 評価・改善
© 2024 Stockmark Inc. 解決策:機能のコンセプト検証を高速化 生成AIを活用した実験的な機 能を提供するStockmark Labsを既存ユーザーに公開 事業開発・デザイナー ・Researchを軸とした探索
チームを組成してPoCを推進 機能コンセプトをつくり顧客ヒ アリングして具体化 段階的にリリース
© 2024 Stockmark Inc. まとめ • 生成AIの技術革新と社会実装、政策立案が進展する中、LLM開発とプロダ クト活用の両輪で取り組んだ1年間だった • LLMのプロダクト活用においては、生成AI技術とユーザー価値の不確実性
に対処するプロダクトマネジメントに取り組んだ • プロダクトチームでの機能検証・開発だけではなく、事業開発・デザイナー ・Researchを軸とした探索チームやStockmark Labsという実験場を整 備したことで、既存ユースケースの強化と新規ユースケースの探索を両立す ることができた
© 2024 Stockmark Inc. 今後の展望 https://youtu.be/bc6uFV9CJGg?t=3936&si=S70SzzdGfO6n2WCq アプリケーション固有の機能が差別化されている限り、モデルをオープンソースにしてもプ ロダクトはコモディティ化せず、コミュニティから恩恵を得られる。 モデルそのものがプロダクトになる場合は、それをオープンにするかの経済的判断はより難 しくなるが、現時点ではその状況にはない。ーMark
Zuckerberg プロダクトを中心として、LLM開発と プロダクト活用の両輪の取り組みを継 続して、差別化を追求したい
© 2024 Stockmark Inc. ストックマークはAI/LLMをキーワードに全方位で採用強化中! • 正社員に応募したい・カジュアル面談してみたいなど、興味を持っていただいたらお 気軽にご連絡ください! ◦ 採用サイト:https://stockmark.wraptas.site/
• 募集ポジション ◦ 顧客体験価値を創出するプロダクトマネージャー ◦ AI / LLM領域の開発を担うプロダクトマネージャー ◦ LLM / RAGを用いた検索基盤の設計、開発をリードするシニアバックエンド ◦ マルチモーダルのコンテンツ抽出のアルゴリズム開発を行う機械学習エンジニア ◦ LLMを構築する自然言語処理リサーチャー
5/8 生成AIカンファレンスでお会いしましょう! 11:20〜のセッションにて、1,000億LLM開発をリードした近江が登壇します
© 2024 Stockmark Inc. https://stockmark.co.jp/