Slide 1

Slide 1 text

あの日僕が見た胡蝶の夢
 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
 株式会社マネーフォワード
 ERP開発本部 福岡第一開発部
 Guardianグループ
 手島 尚人 / tosite
 2025-12-12
 福岡Tech LT大忘年会
 マネーフォワード 新福岡開発拠点


Slide 2

Slide 2 text

スポンサーセッション 〜株式会社マネーフォワード〜


Slide 3

Slide 3 text

スポンサーセッション 〜株式会社マネーフォワード〜
 株式会社マネーフォワード 
 ERP開発本部 福岡第一開発部
 Guardianグループ リーダー
 手島 尚人 / tosite


Slide 4

Slide 4 text

結論ファースト


Slide 5

Slide 5 text

パフォーマンスチューニングしたいけど怖い!
 ↓
 AIナントカシテー
 ↓
 仕組みを作って計測してみた! ← イマココ
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 6

Slide 6 text

パフォーマンスチューニングと一口に言っても・・・
 どこから手を付けていいのか
 どんな影響があるのか
 何をどう見ればいいのか
 わかりませんよねえ
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 7

Slide 7 text

大量のデータの準備や
 測定までのステップが多く
 AI導入を断念しがち
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 8

Slide 8 text

この問題にどうアプローチしていったのか?
 を今日はお話しします!
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 9

Slide 9 text

ステップ1
 測定ツール


Slide 10

Slide 10 text

パフォーマンスチューニングに必要なものは
 「クエリログ」
 「メモリ利用率」
 「EXPLAINログ」
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 11

Slide 11 text

毎回取るのめんどくさい
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 12

Slide 12 text

ということで作りました!その名も
 「ブロックで囲ったらその中で実行した処理の
 パフォーマンスを計測してログファイルに
 出力してくれる」くん!
 \なげぇ・・・/
 
 
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 13

Slide 13 text

作り方は皆さん
 AIにでも聞いてください
 \丸投げぇ・・・/
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 14

Slide 14 text

ステップ2
 ベンチマークテスト


Slide 15

Slide 15 text

測定ツールはできた、だが
 ベンチマーク測定・パフォーマンス分析に
 必要なものは「大量のデータ」
 でも本番でテストはできない
 検証環境でも大量のデータを作るのは大変・・・
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 16

Slide 16 text

でも世の中には簡単に、しかも大量に
 データを作る方法があるんです
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 17

Slide 17 text

そう、RSpecならね!
 \な、なんだってー/
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 18

Slide 18 text

わい「このプルリクで変更があった部分に該当する
 機能のリクエストスペックに大量のデータを作って。
 テストが通るまでリトライして」
 AI「おかのした」
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 19

Slide 19 text

👍 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
 👍

Slide 20

Slide 20 text

準備はバッチリ!
 いざ計測へ
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 21

Slide 21 text

ステップ3
 計測


Slide 22

Slide 22 text

この段階で以下の3つが揃っています
 「変更を加えたプルリク」
 「測定ツール」
 「ベンチマークテスト」
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 23

Slide 23 text

まずは現在のmainブランチで
 「変更を加えた部分のベンチマークテスト」
 を使ってパフォーマンスを測定します
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 24

Slide 24 text

その後、変更を加えたブランチで再度
 「変更を加えた部分のベンチマークテスト」
 を使ってパフォーマンスを測定します
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 25

Slide 25 text

さあ分析の時間だ
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 26

Slide 26 text

ステップ4
 分析


Slide 27

Slide 27 text

この段階で以下の3つが揃っています
 ①「変更を加えたプルリク」
 ②「測定ツール」
 ③「ベンチマークテスト」
 ④「③の変更前の測定結果」
 ⑤「③の変更後の測定結果」
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 28

Slide 28 text

I have a 
 変更前の測定結果〜♪ 
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
 log

Slide 29

Slide 29 text

I have a
 変更後の測定結果〜♪ 
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
 log log

Slide 30

Slide 30 text

Nn〜♪
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
 log log 💥

Slide 31

Slide 31 text

出力結果とプルリクの変更を元に 
 パフォーマンスの変化に対する洞察と 
 起こり得る懸念についての 
 レポートを作って
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
 log log

Slide 32

Slide 32 text

あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 33

Slide 33 text

あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
 WOW!
 便利!


Slide 34

Slide 34 text

まとめ


Slide 35

Slide 35 text

現在はテストフェーズですが
 「テストコードをインターフェースとしてAIと連携する」
 アプローチは非常に有益であると感じました
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 36

Slide 36 text

これからも育てていって
 実用に足るプロンプトに育てていければ
 いいなと思っております
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 37

Slide 37 text

話足りないので続きは懇親会で!
 福岡Tech LT大忘年会、楽しんでいってください!
 あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜


Slide 38

Slide 38 text

これからも技術・生成AIの力でどんどんと
 「みんなにとって優しい」改善
 を推進していきますので
 今後の活躍にご期待ください!
 生成AIで変える問い合わせの未来 〜チームグローバル化の香りを添えて〜
 ご清聴ありがとう
 ございました