Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLM開発・活用の舞台裏@2024.04.25
Search
Nakao Yushin
April 25, 2024
Technology
3
1.8k
LLM開発・活用の舞台裏@2024.04.25
「【緊急開催】生成AI革命期に挑んだ一年間の軌跡」のLT資料です。
https://generative-ai-conf.connpass.com/event/315163/
Nakao Yushin
April 25, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
CysharpのOSS群から見るModern C#の現在地
neuecc
2
3.2k
強いチームと開発生産性
onk
PRO
34
11k
Lambda10周年!Lambdaは何をもたらしたか
smt7174
2
110
Shopifyアプリ開発における Shopifyの機能活用
sonatard
4
250
[FOSS4G 2024 Japan LT] LLMを使ってGISデータ解析を自動化したい!
nssv
1
210
AWS Lambdaと歩んだ“サーバーレス”と今後 #lambda_10years
yoshidashingo
1
170
初心者向けAWS Securityの勉強会mini Security-JAWSを9ヶ月ぐらい実施してきての近況
cmusudakeisuke
0
120
【Startup CTO of the Year 2024 / Audience Award】アセンド取締役CTO 丹羽健
niwatakeru
0
990
OCI Network Firewall 概要
oracle4engineer
PRO
0
4.1k
SSMRunbook作成の勘所_20241120
koichiotomo
2
130
SREが投資するAIOps ~ペアーズにおけるLLM for Developerへの取り組み~
takumiogawa
1
180
DMARC 対応の話 - MIXI CTO オフィスアワー #04
bbqallstars
1
160
Featured
See All Featured
We Have a Design System, Now What?
morganepeng
50
7.2k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
89
What's in a price? How to price your products and services
michaelherold
243
12k
Gamification - CAS2011
davidbonilla
80
5k
YesSQL, Process and Tooling at Scale
rocio
169
14k
Automating Front-end Workflow
addyosmani
1366
200k
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.5k
Become a Pro
speakerdeck
PRO
25
5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
93
16k
Transcript
LLM開発・活用の舞台裏 ストックマーク株式会社 プロダクトマネージャー 中尾 有伸 2024/4/25 生成AIカンファレンス直前スペシャル! 生成AI革命期に挑んだ一年間の軌跡
© 2024 Stockmark Inc. 中尾有伸(Nakao Yushin) - 2020年9月より、ストックマークにて複数のBtoB SaaSの プロダクトマネジメントを担当
- 直近1年間は、大規模言語モデル(LLM)の活用と検索・推薦 領域の機能開発に従事 @yushin_n 自己紹介
Anews AIを活用した網羅的な情報収集と組織内への浸透を実現 ストックマークが提供するBtoB SaaS「A Series」 製品化・事業化を加速させる情報収集・共有サービス Astrategy 膨大な時間がかかる市場調査をAIが瞬時に実現
2023年11月に生成AIを活用した要約生成機能をリリース https://stockmark.co.jp/news/20231107
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
Q. 「生成AI」でヒットする月間の日本語の記事数は 2023年3月から、2024年3月の1年間で 何倍になったでしょうか?
© 2024 Stockmark Inc. 「生成AI」の月間の記事数の推移(2022年8月-2024年3月) 6141 記事 2024年3月 *A Seriesのデータベースの「生成AI」「ChatGPT」を含む日本語の記事数を集計
© 2024 Stockmark Inc. 「生成AI」の月間の記事数は1年で12倍、1年半で220倍に増加 6141 記事 546 記事 2023年3月
*A Seriesのデータベースの「生成AI」「ChatGPT」を含む日本語の記事数を集計 28 記事 2022年8月 2024年3月
© 2024 Stockmark Inc. 画像生成AIから始まった生成AIの波が、ChatGPTで急加速 2022年8月 Stable Diffusion公開 2022年11月末 ChatGPTリリース
*A Seriesのデータベースの記事を引用
© 2024 Stockmark Inc. 生成AIの技術革新と社会実装、政策立案が並列で進展している 2023年3月 GPT-4発表 2023年12月 生成AI10原則検討開始 2023年11月
GPTs発表 *A Seriesのデータベースの記事を引用
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み Research コード・ レッドで LLM開発 LLM活用を
試行錯誤 Product
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 1年前のストックマーク全社MTGでのトップメッセージ
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み:コードレッドでLLM開発 5-7月 Research のLLMユニッ ト設立 産総研と生
成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 1,000億LLM 開発中 独自LLMを活 用した社内情報 検索・要約生成 機能開発中 Researchの取り組み Productの取り組み
© 2024 Stockmark Inc. 5-7月 Research のLLMユニッ ト設立 産総研と生 成AIの共同
研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 ストックマークのLLM関連の取り組み:LLM活用を試行錯誤 1,000億LLM 開発中 Researchの取り組み Productの取り組み 独自LLMを活 用した社内情報 検索・要約生成 機能開発中
© 2024 Stockmark Inc. ストックマークのLLM関連の取り組み 5-7月 Research のLLMユニッ ト設立 産総研と生
成AIの共同 研究開始 GPTを活用 した検索ワー ド拡張機能リ リース 8-9月 14億LLM公 開 10月 AWS「LLM開 発支援プログ ラム」採択 130億LLM公 開 11-1月 GPTを活用し た検索結果の 要約生成機能 リリース 2-3月 NEDO「ポスト 5G情報通信 システム基盤 強化研究開発 事業」採択 検索ワード拡 張と要約生成 の継続改善 4月 1,000億LLM 開発中 理研「LLMの ための日本語 インストラク ションデータ作 成プロジェク ト」参画 2023年 2024年 独自LLMとナ レッジグラフ を活用した PoC開始 Stockmark Labsを開始 独自LLMを活 用した社内情報 検索・要約生成 機能開発中 Researchの取り組み Productの取り組み
© 2024 Stockmark Inc. 本日の内容 ・A Seriesで見る直近1年間の生成AIの進展 ・ストックマークのLLM関連の取り組み ・LLMのプロダクト活用で直面した課題と解決策
© 2024 Stockmark Inc. LLMのプロダクト活用で直面した課題 生成AI技術の 不確実性 ユーザー価値 の不確実性 モデルの想定外のふるまい
にどう対応するか ユーザーにとって価値のあ る体験をつくれるか
© 2024 Stockmark Inc.
© 2024 Stockmark Inc. 探索 解決策 モデルの ベンチマーク 評価・改善 ユーザー価値
の不確実性 ユーザーにとって価値のあ る体験をつくれるか
© 2024 Stockmark Inc. 解決策:モデルのベンチマーク評価・改善 No 質問文 (Question) 要約結果 (Answer)
要約元テキスト (Context) 回答あり 引用の正確性 (GPT-4評価) 理由 (GPT-4評価) 出力形式の忠実性 (人手評価) 回答の最低品 質の担保(人手 評価) 0 日本の総合化学メー カーを3社答えてく ださい。 三井化学[index:0] 三菱ケミカルホール ディングス [index:0] 住友化学[index:0] ... 1. 『えきPET吸音材』の概 要 ・ 駅で回収したペットボト ルをリサイクルした吸音材 を開発し... 1 0 要約はソーステキストを誤っ て表現しています。ソーステ キストには、日本の総合化学 メーカー3社についての言 及はありません... 1 1 1 日本の人工知能のス タートアップ企業を1 社答えてください。 日本の人工知能のス タートアップ企業を1 社答えることができま す。 Fotographer AI株 式会社がStability AI... [0] 生成AIによる商品写 真自動生成サービス 「Fotographer.ai」を提 供するFotographer AI 株式会社... 1 1 要約はソーステキストを歪め たり、誤解を招くような表現 をしていません。 Fotographer AI株式会社 がStability AI Japan株 式会社の... 1 1 ※各評価指標は Ragas 等を参考に設定 ビジネス情報に関する質問50問(Stockmark Business Questions)に加えて、キーワードや英語、回答 できない質問など50問、計100問のベンチマークを設定して、回答品質をGPT-4、及び人手で評価している GPT-4の評価も間違えることがあり、評価の仕組みは今後も改善が必要
© 2024 Stockmark Inc. 機能の コンセプト 検証 高速化 解決策 モデルの
ベンチマーク 評価・改善
© 2024 Stockmark Inc. 解決策:機能のコンセプト検証を高速化 生成AIを活用した実験的な機 能を提供するStockmark Labsを既存ユーザーに公開 事業開発・デザイナー ・Researchを軸とした探索
チームを組成してPoCを推進 機能コンセプトをつくり顧客ヒ アリングして具体化 段階的にリリース
© 2024 Stockmark Inc. まとめ • 生成AIの技術革新と社会実装、政策立案が進展する中、LLM開発とプロダ クト活用の両輪で取り組んだ1年間だった • LLMのプロダクト活用においては、生成AI技術とユーザー価値の不確実性
に対処するプロダクトマネジメントに取り組んだ • プロダクトチームでの機能検証・開発だけではなく、事業開発・デザイナー ・Researchを軸とした探索チームやStockmark Labsという実験場を整 備したことで、既存ユースケースの強化と新規ユースケースの探索を両立す ることができた
© 2024 Stockmark Inc. 今後の展望 https://youtu.be/bc6uFV9CJGg?t=3936&si=S70SzzdGfO6n2WCq アプリケーション固有の機能が差別化されている限り、モデルをオープンソースにしてもプ ロダクトはコモディティ化せず、コミュニティから恩恵を得られる。 モデルそのものがプロダクトになる場合は、それをオープンにするかの経済的判断はより難 しくなるが、現時点ではその状況にはない。ーMark
Zuckerberg プロダクトを中心として、LLM開発と プロダクト活用の両輪の取り組みを継 続して、差別化を追求したい
© 2024 Stockmark Inc. ストックマークはAI/LLMをキーワードに全方位で採用強化中! • 正社員に応募したい・カジュアル面談してみたいなど、興味を持っていただいたらお 気軽にご連絡ください! ◦ 採用サイト:https://stockmark.wraptas.site/
• 募集ポジション ◦ 顧客体験価値を創出するプロダクトマネージャー ◦ AI / LLM領域の開発を担うプロダクトマネージャー ◦ LLM / RAGを用いた検索基盤の設計、開発をリードするシニアバックエンド ◦ マルチモーダルのコンテンツ抽出のアルゴリズム開発を行う機械学習エンジニア ◦ LLMを構築する自然言語処理リサーチャー
5/8 生成AIカンファレンスでお会いしましょう! 11:20〜のセッションにて、1,000億LLM開発をリードした近江が登壇します
© 2024 Stockmark Inc. https://stockmark.co.jp/