Slide 1
Slide 1 text
LLMOpsをレイクハウスで実現するには
阿部 和貴
Slide 2
Slide 2 text
Page 2
Copyright © AP Communications Co., Ltd. All rights reserved.
アジェンダ
・自己紹介
・LLMOps lifecycle
・Lakehouse AI
・LLMOpsの各フェーズと課題
・LLMOpsを実現するDatabricksの機能
・新機能の簡単な紹介
・チャットbotを例にしたLLMOps
・まとめ
Slide 3
Slide 3 text
Page 3
Copyright © AP Communications Co., Ltd. All rights reserved.
阿部 和貴（Kazuki Abe）
自己紹介
▪株式会社エーピーコミュニケーションズ
・Databricks Lakehouseを使った案件に参画
・APC技術ブログではDatabricksをメインに
記事を執筆しています（@Kazumain）
APC技術ブログ
https://techblog.ap-com.co.jp/
・GLB事業部 Lakehouse部
Databricks関連のブログ
https://techblog.ap-com.co.jp/archive/categor
y/Databricks
・APCに入社する前は放射線計測機器の
研究開発をしていました
Slide 4
Slide 4 text
Page 4
Copyright © AP Communications Co., Ltd. All rights reserved.
LLMOps lifecycle
Slide 5
Slide 5 text
Page 5
Copyright © AP Communications Co., Ltd. All rights reserved.
LLMOpsを実現可能にするLakehouse AIの発表
Slide 6
Slide 6 text
Page 6
Copyright © AP Communications Co., Ltd. All rights reserved.
LLMOpsの各フェーズと課題
Choosing
LLM &
Training
Prompt
management
Testing Evaluation
Deploy &
Monitoring
Proprietary
セキュリティの
観点から不安
Open source
たくさんあるが
どれを使う？
Training
NLPの知識が
なく、tuningが
不安である
モデルの出力と
Promptの紐づけ
が煩雑に...
テストや
メトリクスの管理は
どうするか？
複数モデルの性能
を比較したい
比較結果から
ベストモデルを
選びたい
データやモデルに
ガバナンスは効い
ているか
性能が低下してい
るか？
低下の原因は？
LLMプロバイダの
使用状況が管理で
きていない
Slide 7
Slide 7 text
Page 7
Copyright © AP Communications Co., Ltd. All rights reserved.
LLMOpsを実現するDatabricksの機能
Prompt
management
Testing Evaluation
Deploy &
Monitoring
Choosing
LLM &
Training
ユースケースに
対応したOSSの
モデルリスト
AutoMLが
LLMをサポート
データとモデルの
品質を同時に追
跡する
UI上でPromptごとの
出力結果をテスト・評価
複数モデルでの
出力結果を
テスト・評価
LLMプロバイダ
の使用状況を
管理する
Slide 8
Slide 8 text
Page 8
Copyright © AP Communications Co., Ltd. All rights reserved.
MLflow Prompt Engineering UI
パラメータ調節
モデルを選択 クエリーを入力 出力結果
Slide 9
Slide 9 text
Page 9
Copyright © AP Communications Co., Ltd. All rights reserved.
Promptごとの出力結果の比較
Slide 10
Slide 10 text
Page 10
Copyright © AP Communications Co., Ltd. All rights reserved.
モデルごとの出力結果の比較
Slide 11
Slide 11 text
Page 11
Copyright © AP Communications Co., Ltd. All rights reserved.
Lakehouse Monitoringの例
モデルごとのメトリクスの評価 メトリクスの低下原因を
テーブルレベルまで遡って特定
Slide 12
Slide 12 text
Page 12
Copyright © AP Communications Co., Ltd. All rights reserved.
Clean
data
Raw
data
Prompt
Engineering
User
〇〇とは？
Choosing LLM
〇〇です。
Lakehouse
Monitoring
cleansing
Query
社内のチャットbotを例としたLLMOps
Data Engineer
Application Developer
Lakehouse
Monitoring
Application Developer
Curated AI models
Data
source
ingestion
ML Engineer
Output
Fine tuning
MLflow evaluation
Vector
Store
Select
best model
Monitoring
Slide 13
Slide 13 text
Page 13
Copyright © AP Communications Co., Ltd. All rights reserved.
まとめ
・LLMOpsは明確な定義はされていないが、LLMの開発と運用の
ライフサイクルを円滑に進める体制、または概念のこと
・Data + AI Summit 2023では、LLMOpsの構築に有効なLakehouse AIが発表され
Unity Catalogによるガバナンスを基に新機能が利用可能
・Lakehouse AIによってLLMの開発や運用において懸念されていた
課題を解決できると考えられる
ご清聴ありがとうございました