Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
生成AIの不確実性と向き合うためのオブジェクト指向設計
Search
takuya kikuchi
March 24, 2024
Technology
3
5.9k
生成AIの不確実性と向き合うためのオブジェクト指向設計
Object-Oriented Conference 2024 でのランチセッション資料です。
セッションでは、本資料をベースに 増田亨さんとディスカッションさせていただきました。
takuya kikuchi
March 24, 2024
Tweet
Share
More Decks by takuya kikuchi
See All by takuya kikuchi
生成AI時代のソフトウェアエンジニアが持つべきケイパビリティを考える
tkikuchi1002
7
1.2k
RAGをテーマに考える、LLMの認知アーキテクチャとソフトウェア設計
tkikuchi1002
2
680
Azure AI SearchとPromptFlowではじめるRAG
tkikuchi1002
2
960
法人向けChatGPTにおける Azure OpenAI Serviceの課題解決の過程と現在
tkikuchi1002
1
1.7k
LLMエンジニアリングを加速させるソフトウェアアーキテクチャ
tkikuchi1002
2
4.7k
WebAPIのバリデーションを、型の力でいい感じにする
tkikuchi1002
0
53
GoとDDDでモバイルオーダープラットフォームを 型安全に作り直した話
tkikuchi1002
0
60
Kotlinのcoroutine、async/awaitと同じでしょ?って思ってたけど意外と洗練されててすごいなぁって思った話をさせてほしい
tkikuchi1002
0
51
使いやすいインターフェースについて考える
tkikuchi1002
0
12
Other Decks in Technology
See All in Technology
What is DRE? - Road to SRE NEXT@広島
chanyou0311
3
630
ソフトウェアエンジニアリングの知見を活かして データ基盤をいい感じにする on Snowflake [MIERUNE BBQ #10]
mtpooh
2
150
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
130
DDDにおける認可の扱いとKotlinにおける実装パターン / authorization-for-ddd-and-kotlin-implement-pattern
urmot
4
390
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
160
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
3
1.2k
Classmethod Odyssey 登壇資料
yamahiro
0
390
Classmethod流のPlatform Engineering / classmethod-platform-engineering-devio2024
tomoki10
0
480
[NIKKEI Tech Talk]Bias for Action!! 実践から学ぶための仕組とコミュニティ / Community for Practice and Learning
kanamasa
0
280
成長期に歩みを止めないための創業期の開発文化形成
mayah
6
420
Azure AI ことはじめ
tsubakimoto_s
0
130
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
Featured
See All Featured
Building Applications with DynamoDB
mza
89
5.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
662
120k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
17
8.7k
Rebuilding a faster, lazier Slack
samanthasiow
78
8.5k
Six Lessons from altMBA
skipperchong
24
3.2k
4 Signs Your Business is Dying
shpigford
178
21k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
357
18k
Optimizing for Happiness
mojombo
373
69k
Design by the Numbers
sachag
277
18k
No one is an island. Learnings from fostering a developers community.
thoeni
17
2.8k
Gamification - CAS2011
davidbonilla
78
4.9k
Transcript
takuya kikuchi @ Algomatic シゴラクAIカンパニーCTO 2024-03-24 Object-Oriented Conference 2024 ⽣成AIの不確実性と向き合うためのオブ
ジェクト指向設計
⾃⼰紹介 業務系アプリケーションのソフトウェア開発者 モデル駆動設計 Java/Spring Boot/IntelliJ IDEA/JIG 有限会社システム設計 代表 コミューン株式会社 技術顧問
2 増田 亨(ますだ とおる)
フィンテックスタートアップにおいて開発リー ドやVPoEとして開発組織構築を担当したほか、 モバイルオーダープラットフォームを⼿がける Showcase GigではVPoTとして技術領域全般を 管掌。2024年、AlgomaticにカンパニーCTOと して参画。ソフトウェア開発、設計、ドット絵 が好き X: @_pochi
Algomatic シゴラクAIカンパニー CTO 菊池 琢弥 / Takuya Kikuchi 3 © 2024 Algomatic Inc.
⽣成AIで⼼躍る未来を創る Algomaticは、DMMからの20億円の投資を頂き、領域問わず、 ⽣成AIネイティブなプロダクトを次々と⽣み出し、⼼躍る未来を創ります。 会社名 事業内容 代表 グループ会社 株式会社 Algomatic ⼤規模⾔語モデル等⽣成AIを活
⽤したサービスの開発‧提供 ⼤野 峻典 合同会社 DMM.com 4 © 2024 Algomatic Inc.
5 © 2024 Algomatic Inc.
None
シゴラクAIカンパニー 「全てのデスクワーカーに⽣成AIの価値を届け、⼈の持つ価値を最⼤化させる」 7 © 2024 Algomatic Inc. ‧法⼈向けChatGPT ‧社内FAQ Bot
‧...
エンジニア積極採⽤中です!!!! https://jobs.algomatic.jp/ カジュアル⾯談お申し込みお待ちしてます!!! 8 © 2024 Algomatic Inc.
⽣成AI、活⽤してますか? 9 © 2024 Algomatic Inc.
⽣成AI、プロダクトに組み込んでますか? 10 © 2024 Algomatic Inc.
⽣成AIを「使う」ということ 11 • ⽇々の開発において活⽤する ◦ GitHub Copilot / Copilot /
ChatGPT / Cursor … • プロダクトに組み込む © 2024 Algomatic Inc.
⽣成AIを「使う」ということ 12 • ⽇々の開発において活⽤する ◦ GitHub Copilot / ChatGPT /
Cursor… • プロダクトに組み込む →こちらの話をメインにします © 2024 Algomatic Inc.
13 ❶ ⽣成AIのユースケース ❷ ⽣成AIプロダクトの難しいところ アジェンダ
⽣成AIのユースケース 14 © 2024 Algomatic Inc.
15 B2Bのシステムを作っていると、「扱いにくいデータ」に出くわすことが多い たとえば: 飲⾷店向けシステム: - 「メイン商品の売り上げを集計したい!」 - 「アイスクリームの売り上げ個数を集計したい!」 ⽣成AIのユースケースを技術視点で考える ©
2024 Algomatic Inc. レストランB • パンケーキ • いちごパンケーキ • アイス • コーヒー • 紅茶 レストランA • ハンバーグ定⾷ • チキン南蛮定⾷ • コーラ • パンケーキ • アイスクリーム
⽣成AIのユースケースを技術視点で考える これまでシステムで扱いにくかったデータを扱いやすくなる ⾃然⾔語 ⾮構造化データ 表記揺れ etc… 16 © 2024 Algomatic
Inc.
⽣成AIのユースケースを体験から考える 17 「⾃社サービスの顧客は、"AAAA"のうち、どの体験を求めているんだろう」 © 2024 Algomatic Inc. AI時代のユーザ体験は「 AAAA」モデルで考えよう| Dory
https://note.com/dory111111/n/n03eac77e5197
⽣成AIのユースケースを体験から考える • Automation(⾃動化) ◦ ⼈がやりたくない作業(危険、⼼理的にしんどい、など) ◦ ⼈ではやりきれない作業(量が多すぎるとか) • Agent(代⾏) ◦
⼈が持っていない知識、スキルに基づいた作業など • Advice(助⾔) ◦ ⼈が責任を取る必要がある作業 ◦ ⼈の内省、成⻑を促す作業など • Augment(強化) ◦ たのしい作業 ◦ リアルタイム性が求められる作業 © 2024 Algomatic Inc. 18
⽣成AIのユースケースを体験から考える 19 • 「やってみないとわからない」が結構多い ◦ これまで:なるべく作らない ◦ → まず作って、感動 (あるいはがっかり)してみることが⼤事 ©
2024 Algomatic Inc.
⽣成AIプロダクトの難しいところ 20 © 2024 Algomatic Inc.
⽣成AIプロダクトの難しいところ 21 • 基盤技術の進歩が早い ◦ 2022年 11⽉: ChatGPT (OpenAI) ◦
2023年 7⽉: GPT-4 API (OpenAI) → めっちゃかしこい ◦ 2023年 11⽉: GPT-4 Turbo (OpenAI) → (従来⽐)回答が早い ◦ 2023年 11⽉: GPT-4-V, DALL-E3 (OpenAI) → テキスト以外の⼊出⼒が可能になった ◦ 2023年 12⽉: Gemini (Google) ◦ 2024年 2⽉: groq (Groq) → 回答速度が驚くほど早い ◦ 2024年 2⽉: Gemini Ultra (Google) ◦ 2024年 2⽉: Claude3-Opus (Anthropic) → かしこい、⻑⽂を扱うタスクの精度が⾼い © 2024 Algomatic Inc.
⽣成AIプロダクトの難しいところ 22 • ちなみにそれぞれ何が違うの? ◦ コンテキスト⻑ ▪ AIに渡せる⽂字数の⻑さ。GPT-4では8k~32kだったが、 GPT-4 Turboでは128k,
Claude 3 Opusでは200k, Gemini1.5 Proは 1M。 ▪ 参考: 100ページ程度の説明書: 20k tokenほど ◦ 価格 ▪ やりとりしたトークン数(⽂字数)による従量制。安いほど嬉しい ◦ 速度 ▪ 早いほど嬉しい。ただし、賢いモデルほど速度は遅くなりがち ◦ 精度 ▪ ⾔語処理タスクのスコア。GPT-4が基準にされがち。 © 2024 Algomatic Inc.
⽣成AIプロダクトの難しいところ 23 • シンプルに「遅くて⾼額なAPI」 ◦ 何でもかんでも使えるわけではない ◦ 使える部分、使えない部分を⾒極める ▪ 「⼀時的に⽣成AIで楽をして、あとからちゃんと作る」などもあったりする
◦ 体験設計も含めて検討が必要 • ⽣成AIとの結合度合いをどう考えるか ◦ 別のモデルに切り替えることになるかも ◦ LLMを使わない実装に切り替えることになるかも ▪ →いざとなったら切り離せる設計が必要なことも多い ◦ プロダクトのコアはどこか、変わりうる部分、変わらない部分はどこか © 2024 Algomatic Inc.
まとめ - 基盤技術の進歩が早く、技術的に不確実性が⾮常に⾼い - 新技術を活⽤できるということが事業優位性に⼤いに寄与する - 新技術を即座にプロダクトに組み込むことが求められることも多い - Claude3, Groq…
24 © 2024 Algomatic Inc.
エンジニア積極採⽤中です!!!! https://jobs.algomatic.jp/ カジュアル⾯談お申し込みお待ちしてます!!! 25 © 2024 Algomatic Inc.
Appendix 26
27 © 2024 Algomatic Inc. 「社内ナレッジチャット」機能
補⾜: RAGとは • 外部のデータベースや知識をもとにした回答を⼤規模⾔語モデルに⽣成させ る技術 © 2024 Algomatic Inc. 28
Algomatic 社内 ドキュメント 経費申請 どうしたらいい? ⼀般的にはこうだよ! 経費申請 どうしたらいい? このフォームから必要事 項を記⼊して送ってね! 検索 検索結果 RAGなし RAGあり
RAGとは - RAGの頑張りどころ • RAGの営みをざっくり整理すると ◦ ユーザーの発話から「何を知りたいのか」を認識し ◦ 答えるために必要な情報を検索し ◦
検索結果を踏まえ、正しくわかりやすい回答を⽣成する © 2024 Algomatic Inc. 29 Algomatic 社内 ドキュメント 引っ越しました! このフォームから住所変 更してね! 検索 検索結果