Optuna MCPサーバ開発 - AI Engineering Decoded #10

2025/09/22開催のAI Engineering Decoded #10でのPreferred Networksエンジニア柳瀬利彦のプレゼンテーション資料です。

Transcript

1. Optuna MCPサーバの開発 柳瀬 利彦 (YANASE Toshihiko) Preferred Networks AI Engineering Decoded #10 MCP 2025年9月22日
2. 2 柳瀬利彦 (YANASE Toshihiko) • エンジニア兼エンジニアリングマネージャ • Optunaのメンテナの1人 • プロンプト最適化にも取り組む 経歴 • 2010年まで： 大学院で進化計算の研究 • 2018年まで： メーカーで言語処理と大規模並 列機械学習 • 現在： OptunaのOSS開発・応用 自己紹介 Optunaの入門書を出版しました 電子本もあります ぜひお手に取ってみてください
3. 3 Optunaはブラックボックス最適化の OSS 12k GitHub stars 28k repositories 6M monthly downloads Used by
4. 4 • 機械学習のハイパーパラメータ (学習率など)は精度(Accuracy)に影響 • Optunaは試行錯誤を通じて最適化 • ブラックボックス: 入力(ハイパーパラメータ)と出力(精度)だけを見る ブラックボックス最適化 4 ML Model ML Model ML Model
5. 5 探索空間と評価値の計算が定まれば、最適化対象を選ばない 過去の探索履歴をもとにブラックボックス最適化で徐々に改善 Optuna 最適化対象 機械学習 結晶構造最適化 クッキーレシピの改善 探索空間 ハイパーパラメータ (学習率, 正則化項, etc) 元素種、比率など化学的 組成等 小麦、砂糖、バターなど材 料の種類や量 評価値 ロスや精度など エネルギー等 おいしさ 最適化 対象 探索空間の１点 評価値
6. 6 簡単なPythonコードを書き、実行 Optuna
7. 7 簡単なPythonコードを書き、実行 Optuna Optuna
8. 8 簡単なPythonコードを書き、実行 Optuna 本日の発表のテーマ Optuna MCPを使うとコードを書かなくても最適化できる Optuna
9. 9 デモ
10. 10 探索空間と評価値の計算が定まれば、最適化対象を選ばない 過去の探索履歴をもとにブラックボックス最適化で徐々に改善 デモ 最適化対象 機械学習 結晶構造最適化 クッキーレシピの改善 探索空間 ハイパーパラメータ (学習率, 正則化項, etc) 元素種、比率など化学的 組成等 小麦、砂糖、バターなど材 料の種類や量 評価値 ロスや精度など エネルギー等 おいしさ
11. 11 題材: Solnik et al., Bayesian Optimization for a Better Dessert, Proceedings of the 2017 NIPS Workshop on Bayesian Optimization, December 9, 2017 • GoogleのPittsburghとCaliforniaの2箇所のオフィスで、実際にクッキーを焼い て試食して改良する、というプロセスを144回繰り返したブラックボックス最適 化の論文 ◦ 入力: 小麦、砂糖、チョコチップなどの量 ◦ 出力: 7段階評価(1: 2度と作らないでほしい。7: 生涯で一番美味しい) ▪ ※カリフォルニアの場合 • 論文に載っているレシピをCSVで与え、新しいレシピを提案 ◦ 市販のクッキー: 程々の評価値(4)を仮定 ◦ Googleのクッキー: 高い評価値(6)を仮定 デモ: クッキーレシピの最適化
12. 12 デモ: プロンプト 斬新なクッキーのレシピを考案したいと思います。 以下に、４つのクッキーレシピと対応するスコアを示します。 Optunaを利用して、新たなレシピを２つ提案してください。 Solnik et al., Bayesian Optimization for a Better Dessert, Proceedings of the 2017 NIPS Workshop on Bayesian Optimization, December 9, 2017 よりレシピを引用 スコアはデモのため著者が変更
13. 13 • https://github.com/optuna/optuna-mcp/tree/main/examples を参照 クッキーレシピの最適化
14. 14 • Optuna MCPサーバの概要 • Optuna MCPサーバの設計 • MCPサーバのOSS公開におけるトラブルシューティング Outline
15. 15 Optuna MCPサーバの概要
16. 16 • Claude CodeやVS Code Copilotなどに自然言語で指示するだけで最適化や 結果の分析ができ、よりシームレスで効率的な開発・分析が実現 • リポジトリ: https://github.com/optuna/optuna-mcp • 2025/6/16にOSSとしてアルファ版をリリース Optuna MCPサーバ
17. 17 • Claude Desktopの場合、短いJSONで設定 "uvx optuna-mcp" • 設定後は、LLMが必要に応じてOptunaを呼び出す 使い方
18. 18 Optuna MCPサーバの設計
19. 19 案１： LLMが書いたコードを実行するツール • Pros: 自由度が高い • Cons: セキュリティリスクが大きい • 例: blender-mcp はPythonコードでオブジェク トや表示を操作 案２： プリミティブな操作に対応するツール • Pros: セキュリティリスクが小さくできる • Cons: 複数の機能を組み合わせるにはAPI呼 び出し回数が多くなる • 例: github-mcp-server は既存のGitHub API を提供 アプローチ Optuna MCP 最適化結果のグラフ Optuna MCP パラメータ値 ask グラフ plot history ... ...
20. 20 主にセキュリティ上の懸念 から、Optuna MCPではプリミティブな機能提供を選択 • MCPサーバは外部のLLMが実行環境を操作 • LLMがコードを生成する場合、危険な処理が実行 される可能性 ◦ e.g., rm -rf ~/ • Optunaの機能の実行に絞り、リスクを低減 設計 PC Optuna MCP Claude LLM ChatでのOptuna MCPの実行環境
21. 21 ３種類の機能を提供 • 最適化 ◦ create_study, ask, tellなど最適値を求めるための機能 • 可視化 ◦ plot_optimization_historyなど、最適化の状況をグラフ化 • Dashboardの起動 ◦ 最適化の状況を可視化・分析できるDashboardサーバを起動 設計
22. 22 実装はOptunaのWrapper + LLM向けの説明文 OptunaはOSSであるためツールの説明は最小限で動作可能 実装 関数としてツールを定義 利用方法を LLM向けに説 明 処理の記述
23. 23 OSS公開における トラブルシューティング
24. 24 本当はもっとあるのですが、今回は次の2つを紹介 • uvx でのインストールエラー • Docker containerが立ち上がらない リリース作業時に数々の困難に遭遇
25. 25 uvx: Python版npx。仮想環境をセットアップし、スクリプトの実行まで一気通貫で実 行できる。インストールと設定が簡単に。 uvxを利用するモチベーション { "mcpServers": { "Optuna": { "command": "uvx", "args": ["optuna-mcp"] } } } { "mcpServers": { "Optuna": { "command": "/path/to/venv/bin/python", "args": ["-m", "optuna-mcp"] } } } $ python -m venv .venv $ . .venv/bin/activate $ pip install optuna-mcp 必要なし インストール JSON コンフィグ Python uvx
26. 26 現象 • from __future__ imports がファイル先頭にない、というSyntaxError • optunaではなく、依存関係のbottle のエラー • pip install optuna-mcp は正常 $ uvx optuna-mcp Traceback (most recent call last): File ".../.cache/uv/archive-v0/EmP7RHGe6_uDSR99lOFJV/bin/optuna-mcp", line 6, in <module> from optuna_mcp.server import main ... File ".../.cache/uv/archive-v0/EmP7RHGe6_uDSR99lOFJV/bin/bottle.py", line 18 from __future__ import print_function ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ SyntaxError: from __future__ imports must occur at the beginning of the file uvxでのインストールに失敗する
27. 27 原因 • uvxがbottleをインストールする際にbottle.pyファイルの先頭を書き換え • from __future__ import print_functionの位置がずれ、SyntaxErrorが発生 ◦ https://github.com/bottlepy/bottle/issues/1486 uvxでのインストールに失敗する #!/usr/bin/env python # -*- coding: utf-8 -*- """ Bottle is a fast and simple ... """ from __future__ import print_function #!/bin/sh '''exec' "$(dirname -- "$(realpath -- "$0")")"/'python' "$0" "$@" ' ''' # -*- coding: utf-8 -*- """ Bottle is a fast and simple ... """ from __future__ import print_function Before After
28. 28 対策 • この問題はbottleのmasterブランチでは解消済み • pyproject.tomlにGitHubからmasterをインストールするように指示を追加 • 今度はPyPI（正確にはTestPyPI）へのアップロードが失敗。これは、PyPI上に 存在しない依存パッケージをinstall_requiresに書くべきではない、というガイド ラインに違反 • > PyPI and other standards-conformant package indices do not accept packages that declare dependencies using direct URLs. 最終的には、 @HideakiImamura がbottleのメンテナに相談 パッチリリースとして bottle 0.13.4をリリースしていただくことで解決 uvxでのインストールに失敗する
29. 29 • セキュリティ向上 • インストールが簡単 • ポータビリティ高 Docker image提供のモチベーション { "mcpServers": { "Optuna": { "command": "docker", "args": ["run", "-i", "optuna/optuna-mcp:latest"] } } } インストール設定 Host Docker container Optuna MCP Claude 実行環境がコンテナに隔離されておりセキュア
30. 30 現象 • GitHubのCIでDocker ImageをBuildしてDockerHubにアップロードした • DockerHubのイメージで動作検証したら、動く人と動かない人がいる Docker containerが立ち上がらない DockerHubのImage
31. 31 原因 • ImageのArchが amd64 のみ ◦ RosettaのないMacだと動かない ◦ しかし、RosettaはSunset予定 • Docker Imageが3.6GBと大きい ◦ Download中にタイムアウト ◦ 例: Claude Codeの場合、30秒でタイムアウト "error": "Connection failed: Connection to MCP server \"Optuna\" timed out after 30000ms → 120MB/s以上の転送速度が必要 Docker containerが立ち上がらない 画像は https://support.apple.com/ja-jp/102527 より引用
32. 32 対策 • CIでのビルド対象にARM64を追加 • Docker Imageのサイズを削減 ◦ 依存パッケージのサイズを調査 → torchが大きかったので、CUDA版からCPU版に切り替え ◦ Before: 3.6GB ◦ After: 397MB Docker containerが立ち上がらない
33. 33 • 事前にすべての問題を予測することは難しい ◦ トラブルを織り込み、公開作業を前倒しで実施 ◦ 多くの課題はリリース日までに解決 ◦ 記録を残して共有し、同じ失敗を避けたい • MCPサーバ開発での心の持ち方 ◦ ツールチェーンの多くの部分が発展段階 ▪ LLM自体 ▪ MCPの仕様、SDK ◦ OSSとしてリリースすることで、LLMと一緒に育っていく ▪ コード、ドキュメントがLLMの事前学習に利用されるかも ▪ リクエスト、レスポンスが事後学習に利用されるかも 反省
34. 34 本日紹介した技術 • Optuna: ブラックボックス最適化フレームワーク • Optuna MCP: ClaudeやCopilotがOptunaを使えるようにする トラブルシューティング • uvx, dockerで環境依存の問題に遭遇 • 余裕を持ったリリーススケジュールと再発の防止 • ツールチェーン全体が発展中でMCPサーバも一緒に育っていく心持ち 今後の予定 • MCPの最新仕様(2026-06-18)への対応 • 2026年8月のOptuna V5リリースに向け、生成AIとの連携をさらに強化 まとめ
35. 35 Preferred Networksでは採用を実施中です！ 大規模言語モデル アラインメント エンジニア • 事前学習されたモデルに事後学習を行い実用化に必要なモデルを作り上げ るための研究開発 • キーワード: PLaMo, 指示学習, 強化学習, データ生成, コンテキスト拡張・語 彙拡張, ドメイン特化 We're hiring!
36. Making the real world computable