Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
3大クラウドLLMバトル! The Big Three Cloud LLM Battle
Search
piyonakajima
February 05, 2024
Programming
1
2.2k
3大クラウドLLMバトル! The Big Three Cloud LLM Battle
AI駆動開発(AI-Driven Development) 勉強会(第1回)
https://aid.connpass.com/event/306406/
piyonakajima
February 05, 2024
Tweet
Share
More Decks by piyonakajima
See All by piyonakajima
組織のソースコードを共有しよう!インナーソース最初の一歩〜実践者達と歌を作った結果、社内でインナーソース文化が育ち始めた〜 / innersource man
piyonakajima
2
300
日報にたちカエル〜自分のためのYWT日報をはじめたら苦手だった日報が楽しくなって仕事にもつながった話〜 / lets try ywt
piyonakajima
2
1.8k
AIがチームのふりかえりをサポート!KAGが提供するツール「anycommu」〜AIスクラムマスター Fearless Changeモードのご紹介〜 / Introduce the retrospective tool powered by generative AI anycommu
piyonakajima
0
150
[ナイトセッション] これが私の生きる道組織の中で自分らしさを貫くアジャイル実践者たちの物語piyonakajimaの場合 / This is my way
piyonakajima
0
3.2k
たった一人で始めた音楽制作が気がついたら会社公認の部活動になっていた話〜組織の垣根を超えるコラボレーションを実現するには〜 / On-KAG-bu
piyonakajima
0
650
リフレッシュ!お楽しみ企画 / Reflesh! The Fun Project - InnerSource Gathering Tokyo 2024
piyonakajima
2
850
ぶっちゃけて話すための場作り / Creating an Environment for Open and Honest Communication
piyonakajima
10
55k
Changing Teams with Music A Retrospective on a Year of Adding Music to Company and Team Journey
piyonakajima
0
740
開発チームだけじゃない!マーケティングチームも毎日Fun Done Learnを半年以上実践している秘訣
piyonakajima
1
720
Other Decks in Programming
See All in Programming
SODA - FACT BOOK
sodainc
1
670
Enterprise Web App. Development (2): Version Control Tool Training Ver. 5.1
knakagawa
1
110
機械学習って何? 5分で解説頑張ってみる
kuroneko2828
0
190
Webからモバイルへ Vue.js × Capacitor 活用事例
naokihaba
0
450
#QiitaBash TDDでAIに設計イメージを伝える
ryosukedtomita
2
1.7k
Javaのルールをねじ曲げろ!禁断の操作とその代償から学ぶメタプログラミング入門 / A Guide to Metaprogramming: Lessons from Forbidden Techniques and Their Price
nrslib
3
1.9k
コード書くの好きな人向けAIコーディング活用tips #orestudy
77web
3
270
RubyKaigiで得られる10の価値 〜Ruby話を聞くことだけが RubyKaigiじゃない〜
tomohiko9090
0
130
漸進。
ssssota
0
1.7k
Perplexity Slack Botを作ってAI活用を進めた話 / AI Engineering Summit プレイベント
n3xem
0
590
MLOps Japan 勉強会 #52 - 特徴量を言語を越えて一貫して管理する, 『特徴量ドリブン』な MLOps の実現への試み
taniiicom
2
640
從零到一:搭建你的第一個 Observability 平台
blueswen
1
750
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
100
5.6k
It's Worth the Effort
3n
184
28k
Making Projects Easy
brettharned
116
6.2k
For a Future-Friendly Web
brad_frost
179
9.8k
Being A Developer After 40
akosma
90
590k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
106
19k
Practical Orchestrator
shlominoach
188
11k
The Cult of Friendly URLs
andyhume
79
6.4k
Speed Design
sergeychernyshev
30
980
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
42
2.4k
Transcript
3大クラウドLLMバトル!? KAG Generative AIラボ:御田/三宅/中島/(豊嶋) 2024.2.2
KAGの紹介 社名 KDDIアジャイル開発センター株式会社 所在地 東京都港区虎ノ門二丁目 10番1号(本社) (舞鶴/三島/那覇/秋田/高崎/札幌) 代表取締役社長 木暮 圭一 事業内容
アジャイル開発事業および保守事業 設立年月日 2022年5月12日 社員数 162名 職種比率 エンジニア82%、デザイナ9%、その他9% 約10年間“アジャイル開発”にこだわり続けてきた DX専業のエンジニア集団 2022年にKDDI本体からスピンアウトする形で新会社設立
KAGAIラボの紹介 KAG Generative AI Lab(通称KAGAIラボ) 日々生成AIのキャッチアップとプロトタイプ開発を行い、実践的なノウハ ウを集約し社内の開発チームへ還元することで、最終的にはお客様へ価 値貢献できるように目指しています。 KAGAIラボという略称のとおり、課外活動のように各メンバーが自主的 に、かつ遊び心を持って新技術の研鑽に日々励んでいます。
登壇メンバーの紹介 MINORU ONDA 御田 稔 テックエバンジェリスト JUNYA MIYAKE 三宅 潤也
ソフトウェアエンジニア /スクラムマスター TOMOHIRO NAKAJIMA 中島 智弘 ソフトウェアエンジニア /プロダクトオーナー 法人顧客との新規共創事業をアジャイル開発 で推進する傍ら、 チームビルディングや業務改善を促進するふ りかえりWebサービス「anycommu」のプロダク トオーナーとして活動。 4Gモバイルネットワーク立ち上げ期の開発・ 検証・運用を経て、ホームIoT、XR、MaaS、au コンシューマ領域のDXプロジェクトでソフトウェ アエンジニア/スクラムマスターとして従事。 2023年よりKDDIソフトウェア技術部と兼務する 形でKAGへ出向し、AWSや生成AIを中心とし た内製開発に携わりつつ、そこで得た知見や 社内の優秀なエンジニアを社外へ発信する活 動を行っている。
KDDI Agile Development Center Corporation それぞれのLLMの いいところはどんなところ? Azureのターン
Azure OpenAI Service(Azure) Azureのここが推し!その① 先行者ならではの絶対的な認知度、高い精度を誇るOpenAIのモデルを 利用可能なAzure OpenAI Service🔥 • ChatGPTと同じOpenAIのGPTモデルが使える
• パブリックなOpenAI APIを比較してエンタープライズ利用時に嬉しいこと ◦ マイクロソフトのエンタープライズレベルのサポート ◦ マクロソフトのポリシーに基づいたエンタープライズレベルのセキュリティとコンプライアン ス
Azure OpenAI Service(Azure) RAGを実現する上で検索サービスとして必要な超強力機能を持っている • フルテキスト検索、ベクトル検索、両方を組み合わせたハイブリッド検索 • Bingの検索エンジンでも利用されているセマンティック検索 ◦ 単にキーワードの一致を探すのではなく、クエリと文書の意味内容(セマンティクス)を理解し、関連性のある結果を返す検索方法
• メタデータでフィルタして検索対象を絞ることで回答精度向上 Azureのここが推し!その② ドキュメント検索、ベクトルストア、いろいろできちゃう万能の 検索サービスAI Search🔥
Azure OpenAI Service(Azure) ここに来れば全てが揃う 👍 0ベースで学習するときに専門用語からライブラリの使い方まで Step by Stepで解説 どのクラウドサービスかに依存しないアーキテクチャなどの普遍的な概念やテクニックの解説
主なコンテンツ • トレーニング • ドキュメント • 認定資格 • Q&A • コードサンプル Azureのここが推し!その③ 圧倒的な情報量でMS製品を活用するためのプラットフォームのLearn🔥 こんなバチバチなドキュメントも🔥🔥🔥
Azure OpenAI Service(Azure) • あるリソースをデプロイしてユーザーが利用開始になるまで課金が 始まらない • 他のクラウドはリソース作成した瞬間から課金開始 Azureのここが推し!おまけ ユーザーフレンドリーな課金タイミング🤑
KDDI Agile Development Center Corporation それぞれのLLMの いいところはどんなところ? AWSのターン
Amazon Bedrock (AWS) Bedrockの特徴 - 色んな会社の生成AIモデルが使える - 完全サーバーレス!インフラのデプロイや管理が不要 - 成熟した各種AWSサービスと連携しやすい
開発者に絶大な人気を誇るAWSの生成AIサービス!
Amazon Bedrock (AWS) わたしがBedrockを推すワケ - 開発者みんな大好きなAWSをフルに使ってLLMアプリが作れる! - ユーザーたちのアウトプット量がとにかく凄い。調べ物で困らない - 既存のAWSアプリにサクッと組み込んで生成AI活用もしやすい
コミュニティの叡智を最高に活かせるのがBedrock
Amazon Bedrock (AWS) わたしのBedrockおススメ機能:Agents for Amazon Bedrock - AWSマネコンから簡単に「AIエージェント」が作れる -
ユーザーの依頼に対して、Lambda実行や社内文書検索を”適宜”実行 - 珍しくAWSが他社より早くマネージドサービス化しているLLM機能 GUIポチポチで簡単にAIエージェントを作ってみよう!
KDDI Agile Development Center Corporation それぞれのLLMの いいところはどんなところ? Google Cloudのターン
15 KDDI Agile Development Center Corporation 所属:KDDIアジャイル開発センター株式会社 KDDI株式会社KDDI DIGITAL GATE(兼務)
国内SIerにて、携帯電話ソフトウェア開発、IoT自社サービスの企画 を経て2020年11月より現職。 法人顧客との新規共創事業をアジャイル開発で推進する傍ら、 チームビルディングや業務改善を促進するふりかえりWebサービス 「anycommu」のプロダクトオーナーとして活動。 KDDIグループのふりかえり支援活動も行っている。 過去登壇: ・ふりかえりカンファレンス2023 ・ChatGPT meetup Tokyo #3 ・Scrum Fest Osaka 2023 ・Scrum Fest Sendai 2023 ・Regional Scrum Gathering Tokyo 2024 代表曲: ・Fun Done Learnのうた ・象、死んだ魚、嘔吐のうた 自己紹介:中島 智弘
16 KDDI Agile Development Center Corporation Google Cloudで使えるLLM • 2023年5月
Google I/OにてPaLM2公開 • 2023年12月 Gemini1.0発表 ◦ 学習や推論にかかる時間が短い • PaLMより利用しやすいように設計されている ◦ 3種類のGemini • Gemini nano デバイス上のタスクに最も効率的 • Gemini Pro 幅広いタスクに対応する最良のモデル(2024年1月 現在のBard) • Gemini Ultra 複雑なタスクに対応、高性能かつ最大のモデル VertexAI (Google Cloud) https://gigazine.net/news/20240129-google-bard-win-gpt-4/
17 KDDI Agile Development Center Corporation Google Cloudを選んでいる理由 • 私達のチームではFirebaseを中心にPoCで活用している
• 「Cloud Functions for Firebase(第2世代)」の制約が少ない! ◦ LangChainをはじめLLM関係でライブラリが全部入る • インストールするとかなりのサイズになる • 中身はDockerだけど意識しなくて作れる ◦ 同時に処理できるリクエスト数やインスタンス数を柔軟に変えられる • Cloud Functions for Firebase(第 2 世代)では、インスタンス数を管理するだけでなく、 concurrency オプションを使用して、インスタンスが同時に処理できるリクエスト数を制御できます。 同時実行のデフォルト値は 80 ですが、1~1,000 の任意の整数に設定できます。 • https://cloud.google.com/functions/docs/concepts/version-comparison?hl=ja • 作成したWebアプリが急遽社内部署(100人以上)に全展開されることに…! ◦ 少しのパラメータ変更で事なきを得る スモールスタートするには最高っっ!!! VertexAI (Google Cloud)
18 KDDI Agile Development Center Corporation VertexAI 全体像&どうつかっているか? 2021年5月〜 機械学習(ML)プラットフォーム
生成 AI のモデルとツール 130件以上 Google のテキストモデル、画像モデル、コードモデル用 のさまざまなチューニング オプションを使用して、ユース ケースに合わせてモデルをカスタマイズできます https://cloud.google.com/vertex-ai?hl=ja 基盤モデルをベースに構築 ◦ LLM:gemini-pro ◦ RAGのベクトルDB: • 最初Functions上にChromaDB ⇒VertexAI VectorSearch (旧MatchingEngine)置換中… • やりとりはLangChain経由で実現 ◦ ライブラリが豊富 VertexAI (Google Cloud) https://zenn.dev/google_cloud_jp/articles/google-cloud-generative-ai
KDDI Agile Development Center Corporation まとめ 結局どれがいいの? 今後活用していく上で課題となりそうな点は?
Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る
None