Share
Embed
Transcript
30 slides
-
PLaMoのdogfooding PLaMoを使う一番の目的: PLaMoの課題・問題点を見つけること PLaMoによる業務の効率化 PLaMoが失敗した事例の収集 タスク指示 タスク指示 結果 (成功) 結果
(失敗) • PLaMoでなくても良い • PLaMoでのみ実現可能 5 -
PLaMoのdogfooding PLaMoを使う一番の目的: PLaMoの課題・問題点を見つけること PLaMoによる業務の効率化 PLaMoが失敗した事例の収集 タスク指示 タスク指示 PLaMoが失敗する可能性のあるタスクでdogfoodingをしたい 結果 (成功)
結果 (失敗) • PLaMoでなくても良い • PLaMoでのみ実現可能 6 -
例: PLaMo開発レポジトリのCI監視 CIの監視: 長期間の動作が必要なagentタスクの一例 1 CIの状況取得 2 ログの調査 3 エラーの判定
CI実行中 修正すべき エラー retryで治る エラー・障害 4 CIのリトライ 7 -
例: PLaMo開発レポジトリのCI監視 CIの監視: 長期間の動作が必要なagentタスクの一例 1 CIの状況取得 2 ログの調査 3 エラーの判定
修正すべき エラー LLM agentの必要性: retryで治る flakyなテストの失敗などを判定 エラー・障害 CI実行中 する必要がある 4 CIのリトライ 8 -
例: PLaMo開発レポジトリのCI監視 CIの監視: 長期間の動作が必要なagentタスクの一例 1 CIの状況取得 2 ログの調査 3 エラーの判定
修正すべき エラー LLM agentの必要性: retryで治る flakyなテストの失敗などを判定 エラー・障害 CI実行中 する必要がある 難しい点: チェック→待機→チェック のループが必要 4 CIのリトライ 9 -
PLaMo-3.0-Primeを使ってみる: 課題 実際にPLaMo-3.0-Primeを使ってみた時のよくあるパターン PR ABCのCIが終わるまで待機 tool call: CIの状態をチェックするscript 状態: 実行中
CIは実行中なのでしばらく待機します。 (sessionが終了してしまう) 13 -
PLaMo-3.0-Primeを使ってみる: 課題 実際にPLaMo-3.0-Primeを使ってみた時のよくあるパターン 失敗事例: 長期間の待機が現在難しい ABCのCIが終わるまで待機 •PR現在のPLaMoに足りない能力を発見できた 問題点: tool call:
CIの状態をチェックするscript • 具体的な改善点が不明のままのことが多い • 普段から使い続けるのは難しい 状態: 実行中 モデル更新時に改めてテストしづらい CIは実行中なのでしばらく待機します。 (sessionが終了してしまう) 14 -
PLaMo-3.0-Primeを使ってみる: 外部ロジックの利用 外部ロジックを追加することで、この問題は回避できる while True: status = PLaMoで監視 if status
== “retry”: PLaMoによるretry continue if status == “finish”: break PR ABCのCIの状況を教えて tool call: CIの状態をチェック 状態: 実行中 status: executing 15 -
PLaMo-3.0-Primeを使ってみる: 外部ロジックの利用 外部ロジックを追加することで、この問題は回避できる while True: PR ABCのCIの状況を教えて status = PLaMoで監視
if status == “retry”: tool call: CIの状態をチェック PLaMoによるretry 外部ロジックによる支援 continue • == 外部ロジックで支援したことが具体的な改善点となる if status “finish”: 状態: 実行中 • 普段から使い続けてモデルの性能を継続的に確認できる break 課題: status: executing • モデル更新時に支援を外してテストしづらい 16 -
OpenAI API proxyによるuser code共通化 (1) 外部ロジックをOpenAI APIとして実装することで、使い方を共通化 状態: 実行中 CIは実行中です
tool call: CIの状態をチェックするscript . . . 17 -
OpenAI API proxyによるuser code共通化 (1) 外部ロジックをOpenAI APIとして実装することで、使い方を共通化 状態: 実行中 CIは実行中です
呼び出し側のコードは tool call: CIの状態をチェックするscript 普通のモデル呼び出しと同じ . . . 18 -
OpenAI API proxyによるuser code共通化 (1) 外部ロジックをOpenAI APIとして実装することで、使い方を共通化 状態: 実行中 CIは実行中です
呼び出し側のコードは tool call: CIの状態をチェックするscript 普通のモデル呼び出しと同じ . . . proxyサーバは • 外部ロジックによる処理 • PLaMoの呼び出し を使い分けて行動する 19 -
OpenAI API proxyによるuser code共通化 (2) proxy内部の処理は以下のようになっている API requests (chat completion)
最初の呼び出し 監視/retryのために呼び出すtoolを決める 21 -
OpenAI API proxyによるuser code共通化 (2) proxy内部の処理は以下のようになっている API requests (chat completion)
最初の呼び出し 監視/retryのために呼び出すtoolを決める 22 tool callの要求 -
OpenAI API proxyによるuser code共通化 (2) proxy内部の処理は以下のようになっている API requests (chat completion)
最初の呼び出し 監視/retryのために呼び出すtoolを決める tool callの出力が 返ってきた 出力からCIの状態を判定 23 tool callの要求 -
OpenAI API proxyによるuser code共通化 (2) proxy内部の処理は以下のようになっている API requests (chat completion)
最初の呼び出し 監視/retryのために呼び出すtoolを決める tool callの出力が 返ってきた 実行中 または retryが必要 出力からCIの状態を判定 24 tool callの要求 -
OpenAI API proxyによるuser code共通化 (2) proxy内部の処理は以下のようになっている API requests (chat completion)
最初の呼び出し 監視/retryのために呼び出すtoolを決める tool callの出力が 返ってきた tool callの要求 実行中 または retryが必要 出力からCIの状態を判定 25 結果を出力 -
OpenAI API proxyによるuser code共通化 (3) 使い方が共通なため、様々な条件での調査が容易 1: 現在のPLaMoを使った実験・調査 現在のPLaMoの課題を発見 2:
proxyを導入した運用 業務の効率化にPLaMoを利用 27 -
OpenAI API proxyによるuser code共通化 (3) 使い方が共通なため、様々な条件での調査が容易 1: 現在のPLaMoを使った実験・調査 現在のPLaMoの課題を発見 2:
proxyを導入した運用 業務の効率化にPLaMoを利用 3: 開発中の新しいPLaMoに置き換え モデルの性能改善を評価 28 -
PLaMoの開発での利用状況 (事前学習チーム) 導入タスク数 (proxyを介して): 5件 • Q&A slackbot • CIの監視
• etc. 利用token数 (6月) • Input: 554M token • Output: 32M token 29 -
まとめ: PLaMoを継続的にdogfoodingするために dogfooding • 自分たちの業務が効率化することは必須 • その上で、PLaMoが失敗する可能性のあるタスクに適用することが大事 失敗する可能性のあるタスクへの適用 • 失敗する可能性のあるワークフローは日々の業務で使いづらい
• 外部ロジックの補助を入れることで、使い続けられるようになる ◦ 外部ロジックの存在がPLaMoの改善点を示す ◦ 外部ロジックをOpenAI APIとして扱うことで、モデル評価が容易に 30