高速開発を止めずに 性能を上げる Flyleのシステム刷新と改善の歴史
# 高速開発を止めずに 性能を上げる
Flyleのシステム刷新と改善の歴史
CloudNative Days Winter 2026 / 株式会社フライル
---
# 自己紹介
Twitter(現X)
@azihsoyn
吉澤 直哉
株式会社フライル / Software Engineer
・アプリケーションエンジニア → パフォーマンス改善エンジニア
・2026年5月のクラウドネイティブ会議でも
性能改善の話をしました
・釣りが好き🎣
・GitHub: @azihsoyn
---
FLYLE, INC.
コンタクトセンター・CX の
AI 変革パートナー
2020年2月設立
多様な業界のコンタクトセンター・CX 部門で導入
---
###### データ統合から活用まで
# 統合から活用までワンストップで AI が代替
多様なデータ形式対応
システム自動連携
CSV / Excel 取込
音声データの取込
文字起こしデータの取込
データの AI 加工
個人情報のマスキング
活用例
感情分析・要約
AI タグ付け
AI 分類(テキスト型)
リスク検知 重要度
応対品質・スキル
FAQ 作成
トークスクリプト作成
類似文脈クラスタリング
分析結果の活用
分析レポートと可視化
リアルタイムに可視化
グラフの AI 要約
分析の要約を自動で生成
チャットで壁打ち
データをもとに LLM と対話
自動通知
関係者へ自動で通知
---
###### 2026年5月 クラウドネイティブ会議
# 前回話したこと
speakerdeck.com/azihsoyn/cloudnative-conference-2026
---
###### 今日話すこと
# いままで・現状・これから
1
旧システム(2020〜)
性能問題が増えた2024年に何が起きて、どう直して、直す対象をどう決めたか
2
新システム(2024〜)
対策を設計に入れても出た性能問題と、計測と目標の置き方
3
いま(2026年秋)
性能を OKR に入れた結果と、SLO に変えた理由
4 まとめ
AI があると変わること、変わらないこと。これからプロダクトを作る人に伝えたいこと
---
###### 全体の流れ
# 2つのシステムと性能改善の年表
---
###### 旧システム ・ 概要
# 顧客の声を集めて AI で分類・集計するサービス
集める
顧客の声(フィードバック)を取り込む
→ 分類する
AI がフィードバックをテーマに分類する
→
検索・集計する
条件と軸を自由に組み合わせてレポートにする
利用者はフィードバックに独自の項目を追加できる
---
###### 旧システム ・ 構成(2024年時点)
# 旧システムの構成
> **検索も集計も PostgreSQL で実行する**
>
> 検索条件と集計の軸は利用者が自由に組み合わせるので SQL は動的に組み立てられる
---
###### 旧システム ・ 起きたこと(2020〜2023)
# 旧システムの性能改善の PR 数推移
1 5 6 16 70 51 34 2020 2021 2022 2023 2024 2025 2026
> **2022年まではデータ量が少なかった**
>
> メモリ不足や遅い SQL が見つかるたびに1件ずつ直していた
---
###### 旧システム ・ 起きたこと(2024)
# 2024年は構成を大きく変えた
変えたこと 2月
MySQL から PostgreSQL へ移行
4月
非同期でデータを処理するサービスの導入
5〜11月
RLS によるテナントの分離を全テーブルへ導入
通年
データ量の増加。非同期処理の対象レコードは約500万件に
RLS(Row Level Security):読み書きできる行を DB がテナントごとに制限する PostgreSQL の機能
---
###### 旧システム ・ 起きたこと(2024)
# パフォーマンスの問題も増えた
起きたこと 6月
一覧と件数の API がタイムアウト
7月
DB の CPU 使用率が97%に
8月
レポートの SQL が15秒たっても終わらない
9月
未処理のイベントを探す SQL に22秒
11月
エクスポートが OOM に
> **構成の変更とデータの増加が重なった**
>
> 性能に関する PR は前年の16件から70件に増えた
---
###### 旧システム ・ 進め方(2024年6月)
# パフォーマンス改善への取り組み
当時の課題
スローリクエストは大量に発生しているが、顧客からのフィードバックも来ないので、気付かないうちに体験毀損→エンゲージメント低下につながっている
> **苦情が来る前に遅い API を直すことにした**
>
> Datadog で遅いリクエストを見て直す対象を選んだ
---
###### 旧システム ・ 進め方(2024年6月、3人で2週間)
# 性能改善に集中する期間を初めて作った
- 把握する — Datadog で遅いリクエストを一覧にする — chart
- 選ぶ — 利用頻度が高くて遅い API を選ぶ — search
- 分ける — 原因の深さで3段階に分ける — wrench
> **スロークエリの数が多かった**
>
> 1人が2週間で直せるのは2〜3件で全部を直すには4週間以上かかる見込みだった
---
###### 旧システム ・ 進め方 ・ 直す基準(2024年7月)
# 直す基準を決めた
集中する期間で分かったこと
2週間では
全部を直せない
→ 決めた基準 10秒
超えた API を直す
対象にした API
データを取得する API
よく使う画面
外部の API を呼ばない
---
###### 旧システム ・ 直し方 ・ 例 1
# 集計の SQL で遅い実行計画が選ばれた
レポートの設定は利用者が自由に組み合わせる
集計の軸 テーマ 検索条件
テーマが「料金」
→
動的に組み立てられた SQL
FROM フィードバック
JOIN テーマ ← 集計の軸
JOIN テーマ ← 検索条件
> **同じテーブルの JOIN が重複すると Nested Loop が選ばれて遅くなった**
>
---
###### 旧システム ・ 直し方 ・ 例 1
# enable_nestloop = off を半年かけて5か所に入れた
直したこと
・JOIN の重複を検知した SQL だけ実行単位で enable_nestloop = off にした
・遅い画面が見つかるたびに同じ対処を入れた
> **条件の管理がバグの原因になった**
>
> 条件が変わると直した画面がまた遅くなった
---
###### 旧システム ・ 直し方 ・ 例 2
# 1回の変更が全件分のイベントになっていた
中身が変わってないフィードバックのイベントも登録していた
---
###### 旧システム ・ 直し方 ・ 例 2
# 未処理のイベントを探す SQL に22秒
・処理済みの行も同じテーブルに残っていた
・未処理だけを引くインデックスがなかった
---
###### 旧システム ・ 直し方 ・ 例 2
# イベントの持ち方と登録の仕方を直した
直したこと
・処理済みのイベントを別のテーブルへ移した
・未処理を探すインデックスを足した
・トリガーは「変更があった」の1件だけを登録する
---
###### 旧システム ・ 直し方 ・ 例 3
# 重い SQL が重なると関係ない SQL まで遅くなった
直したこと
・DB を Aurora Serverless v2 に移行した
・負荷が上がると DB の CPU とメモリが自動で増える
- 約45分 / サイズ固定の DB / CPU が100%に張り付いた
- 約7分 / Aurora Serverless v2 / CPU は張り付かなかった
本番が遅くなったときの負荷を再現して処理が終わるまでの時間
---
###### 旧システム ・ 直し方 ・ 分類
# 何度も遭遇した問題を分類してみると
実行計画の崩れ
同じ SQL でも PostgreSQL が選ぶ実行計画によって遅くなる
例 1:集計の SQL で Nested Loop
ファンアウト
1回の操作が多数の処理に広がる
例 2:1回の変更が全件分のイベントに
ノイジーネイバー
同じ DB や同じプロセスを共有する他の処理が待たされる
例 3:重い SQL で関係ない SQL も遅く
ほかに N+1、ビュー経由の遅い SQL、全件読み込みによるメモリ不足もあった
---
###### 旧システム ・ 直し方(2024年10月)
# SQL の修正が追いつかないのでキャッシュを入れた
「SQL 改善よりも問題の増加の方が速く、短期的には不可避」
キャッシュを入れるかを議論したときの結論
対象を絞った
10秒以上かかった集計だけをキャッシュした
最新も見られるようにした
編集中の画面ではキャッシュを使わないで最新を表示した
あとで外せる作りにした
SQL の修正が進んだら外す前提で入れた
---
###### 旧システム ・ 進め方 ・ 直す基準(2025年1月)
# 翌年はデータ量で基準を決め直した
初期データが
300万件規模の商談
→
100万件と500万件の
データで検証
→
件数の取得と集計が
タイムアウト
> **1テナント500万件でも集計は1分、検索は15秒で返す**
>
---
###### 旧システム ・ 進め方 ・ 検証
# 直すより確かめるほうに時間がかかった
- 30分以上 / DB の復元 / 本番相当の DB を1回用意する時間
- 約1時間 / データの準備 / 検証用のデータを作る INSERT 1回の時間
> **直した効果の確認にいちばん時間がかかる**
>
> 前回の登壇はこの確認を短くする話だった
---
###### 旧システム ・ まとめ
# 旧システムで分かったこと
1
起きてから直すやり方ではデータの増え方に追いつかなくなった
2
基準を決めることでどこから直すかの判断ができた
3
同じような問題に何度も遭遇した
・ファンアウト
・実行計画の崩れ
・ノイジーネイバー
> **旧システムに残った課題**
>
> 想定を超えるデータ量の顧客が来たら同じ対策では限界がある
---
###### 新システム ・ 背景
# なぜ新システムを作ったか
AI をコアにした
プロダクト
旧システム
できあがったあとに AI を組み込んだ
↓ 新システム
AI が処理する前提で作る
あらゆる業種に最適化できる
柔軟なシステム
旧システム
データの形と処理が決まっている
↓ 新システム
テーブルもワークフローも利用者が定義する
---
###### 新システム ・ 概要
# 利用者がテーブルを定義してダッシュボードで集計する
> **データの形も処理の内容も利用者が決める**
>
> 書き込みと集計がどのテーブルにどれだけ来るかは使われ方で変わる
---
###### 新システム ・ 概要
# 処理の流れも利用者がワークフローで定義する
---
###### 新システム ・ 構成
# 新しいシステムの構成
---
###### 新システム ・ 設計
# 旧システムで困ったことへの対策を設計に入れた
| 旧システムで困ったこと | 新システムの設計 |
|---|---|
| 集計と検索が PostgreSQL に集中して重い | 検索と集計は ClickHouse に分ける |
| テナント分離を後から入れた | 最初から RLS を前提にテーブルを作る |
| 重い処理が API を巻き添えにする | 重い処理はキューに積んで非同期にする |
| ORM が意図しない SQL を大量に発行する | SQL の形が見えるクエリビルダーで書く |
---
###### 新システム ・ 起きたこと
# 新システムでも性能改善の PR は283件あった
0 0 0 3 59 41 67 88 25
2024
11〜12月
2025
1〜3月
2025
4〜6月
2025
7〜9月
2025
10〜12月
2026
1〜3月
2026
4〜6月
2026
7〜9月
2026
10月〜
---
###### 新システム ・ 起きたこと
# 新システムで出なかった問題と出た問題
出なかった
・ORM が自動で出す N+1
出た
・ファンアウト
・実行計画の崩れ
・ノイジーネイバー
・ループの中で SQL を呼ぶ N+1
・大きな結果を読み込んでメモリ不足
> **旧システムで何度も出た問題は新システムでも出た**
>
> 出た場所は旧システムと違った。N+1 とメモリ不足も形を変えて出た
---
###### 新システム ・ 直し方
# 同じ分類の問題が新システムでは別の場所に出た
旧システム 新システム ファンアウト
1回の変更
→ 全件分のイベント
1件の書き込み
→ 約2.4億行のテーブルを検索
実行計画の崩れ
JOIN の重複
→ Nested Loop
権限の確認
→ 行ごとに実行
ノイジーネイバー
重い SQL
→ 他の SQL が待つ
重い処理
→ 同じプロセスの処理が待つ
---
###### 新システム ・ 直し方 ・ ファンアウトの例
# レコード同士のリンクは両方向の行で持っている
> **リンクの整合性をチェックする制約がある**
>
> 片方向だけのリンクを防ぐために COMMIT のたびに DB のトリガーが逆向きの行を探す
---
###### 新システム ・ 直し方 ・ ファンアウトの例
# COMMIT に最大260秒かかっていた
データの多いテナント1つでワークフローが月805回失敗していた
---
###### 新システム ・ 直し方 ・ ファンアウトの例
# 逆向きの行を探す回数を1回にまとめた
リンク100組の確認にかかる時間
---
###### 新システム ・ 直し方 ・ 実行計画の崩れの例 1
# enable_nestloop = off が遅さの原因になった
レコードを書くたびに利用者が定義したユニークキーの重複を確かめている
- 最大237秒 / 重複を確かめる SQL 1回
- 1,081万回 / 実行された回数 / 平均46ms。積み上げると139時間
> **この SQL にも enable_nestloop = off を入れていた**
>
> データが増えると Nested Loop の代わりに選ばれた実行計画のほうが遅くなった
---
###### 新システム ・ 直し方 ・ 実行計画の崩れの例 1
# 実行計画に頼らない SQL に書き直した
- 15ms / 重複チェックの SQL 1回(最悪値) / 直す前は最大237秒
- 119 → 3件 / ワークフローの失敗 / 15分あたり
どの実行計画が選ばれても遅くならない形にした
---
###### 新システム ・ 直し方 ・ 実行計画の崩れの例 2
# 結果が同じ権限の確認を行ごとに繰り返していた
36,000行を読む SQL に6秒/本番の画面は p95 で19.8秒
---
###### 新システム ・ 直し方 ・ 実行計画の崩れの例 2
# 関数の呼び出しが1回だけで済む書き方に直した
直す前
USING ( has_permission('...') )
直したあと(SELECT で囲む)
USING ( (SELECT has_permission('...')) )
19.8秒 → 0.46秒
本番の画面の p95
218本
直した RLS ポリシー
lint とテスト
元の書き方に戻ると CI で落ちる
---
###### 新システム ・ 直し方 ・ ノイジーネイバーの例
# 8 vCPU のタスクで1.1コアしか使えていなかった
> **Node.js のメインスレッドが空かず同じプロセスの処理が待たされた**
>
> ワークフローが5分のタイムアウトで失敗していた
---
###### 新システム ・ 直し方 ・ ノイジーネイバーの例
# ワークフローの実行環境を作る回数を1回にした
- −23% / プロセスの CPU 時間
- 約−40% / レコードを追加するノードの p95
---
###### 新システム ・ 直し方 ・ なぜ出たか
# 規模が大きくなるまで問題が見えなかった
規模が小さいとき
規模が大きくなると
読む行が少ないと RLS の関数はすぐ終わる
→
36,000行を読む SQL で6秒かかった
リンクが少ないレコードなら確認はすぐ終わる
→
数十万本のリンクが集まるレコードで COMMIT に260秒
同時に書く本数が少ないと待たされない
→
600本のワークフローが同時に書くと INSERT に26.7秒
---
###### 新システム ・ 進め方
# 新システムは性能改善への取り組みが早かった
開発を始めてから
APM を入れるまで
旧システム 約3年半 → 新システム 約6か月
開発を始めてから
性能改善に専念する体制を作るまで
旧システム 約4年 → 新システム 約1年8か月
> **旧システムで入れた Datadog をそのまま使えた**
>
---
###### 新システム ・ 進め方(2026年7月)
# 性能を OKR に入れた
背景
・当時の認識では非同期処理の失敗が1日1回以上
・ワークフローが原因の障害もあった
KR 1
失敗 0件 / 月
システムが原因の非同期処理の失敗
KR 2
表示 5秒以内(p75)
データの多いテナントの主要な画面
フロントエンドとバックエンドに性能の担当を1名ずつ置いた
---
###### 新システム ・ 進め方 ・ 計測
# 測れていなかったものが多かった
計測で見えていたこと
実際
表示に904秒かかった画面がある
→
開いていないタブで放置された時間が入っていた
8月10日の失敗は9件
→
保持期限で消えていただけで1,585件あった
利用者の設定が原因のエラー
→
同時実行の競合でシステムが原因だった
ログには何も出ていない
→
DB 接続の空きを最大60秒待っていた
> **速くする前に計測を直した**
>
> 計測を直すと数値は悪く見えるが目標の判定にはその値を使った
---
###### いま ・ 開発の速さ
# 月に700件以上の PR をマージしている
- 296件 / 2026年5月 / マージした PR
- 1,615件 / 8月 / AI エージェントにリファクタリングを任せていた
- 733件 / 10月 / マージした PR
PR の件数には AI エージェントが出したものを含む
---
###### いま ・ 起きたこと(2026年9月末)
# 3か月でシステムエラーを半分以下にした
- 約2,600件 / KR 1 月あたりのシステムエラー / 期初は約6,270件。期末は予測値
- 0.020% / エラー率 / 期初は0.041%
- 8.7秒 / KR 2 詳細画面の表示(p75) / データの多いテナント。直す前は17.2秒
> **KR の0件と5秒には届かなかった**
>
> データの多いテナントでは表示が5秒を超える画面が残っている
---
###### いま ・ 直し方
# ClickHouse の検索に30秒かかっていた
- 30.8秒 / レコード検索(p95) / データの多いテナントでの計測
- 27.3秒 / レコード件数(p95) / データの多いテナントでの計測
- 16.2秒 / 集計(p95、キャッシュあり) / データの多いテナントでの計測
> **変更の履歴をすべて持つ構造にしていた**
>
> 検索の時間が編集の回数に比例して伸びた
---
###### いま ・ 直し方
# ClickHouse を作り直して検索を2.4秒にした
| データの多いテナントでの計測 | 前(p95) | 後(p95) |
|---|---|---|
| レコード検索 | 30.8秒 | 2.4秒 |
| レコード件数 | 27.3秒 | 1.5秒 |
| 集計 | 16.2秒 | 4.3秒 |
> **最新の状態だけを持つ構造に作り直した**
>
> 新旧の結果が一致することを確認して2026年9〜10月に無停止で切り替えた
---
###### いま ・ 進め方 ・ 9月の振り返りから
# 検証に時間がかかるのは旧システムと同じ
振り返りで出た声
数値は改善しているものの、定期リリース→効果確認→次のボトルネック探すのループだとフィードバックループが遅い気がする
ある程度の改善策は出てくるが、それが本当に効くのかの検証に時間がかかる
> **改善案を出すのは速くなった**
>
> 効果の確認は定期リリースを待つので速くなっていない
---
###### いま ・ 進め方(2026年10月)
# 性能を KR から外して SLO にした
7〜9月
性能を KR にした
3か月で失敗0件を目指したが0件にはならなかった
→ 10月〜
改善後の成功率を維持する SLO にした
目標はワークフローの成功率99.95%
悪化すると Slack へ通知が来る
> **KR は四半期ごとの会社の目標**
>
> 注力する期間が一段落したあとはできる人が直す体制に近い SLO にした
---
###### いま ・ 進め方
# 自分以外が出す性能改善の PR が増えた
8人 8人 8人 9人 7人
2025
10〜12月
2026
1〜3月
2026
4〜6月
2026
7〜9月
2026
10月〜
自分が出した PR
他のメンバーが出した PR
棒の上は PR を出した人数(自分を含む)
> **OKR の期間が終わっても続いている**
>
> 10月からは自分以外の6人が20件出している。AI があれば専門でなくても直せる
---
###### いま ・ 進め方 ・ 最近の例
# データを分析するエージェント機能
---
###### いま ・ 進め方 ・ 最近の例
# 不具合の調査ができなかった
> **どのターンのどのツールで失敗したかが分からなかった**
>
> 7月に作った機能に10月までエージェントのトレースがなかった
---
###### いま ・ 進め方 ・ 最近の例
# エージェントのトレースを入れた
> **これから作るときは最初からエージェントのトレースも入れる**
>
> スパンの名前と属性は OpenTelemetry の生成 AI 向けの規約に合わせた
---
###### これからプロダクトを作る人へ
# 性能について伝えたいこと
1. 性能の問題は必ず出るので最初から計装を入れておく。OpenTelemetry などデファクトの方法になるべく乗る
2. 問題の出る場所も優先度もプロダクトの性質で変わる。自分たちに合った指標を作る
3. 指標があればチームも AI も自律的に動ける。指標を達成するためのハックはしない
4. 指標があれば性能を継続的に改善するのが普通になる。もぐらたたきではなくプロダクトの成長やシステムの劣化に気づける
---
###### まとめ ・ 既存の原則
# 既に原則として書かれていること
| 原則 | 書かれていること | 自分たちの場合 |
|---|---|---|
| [The Twelve-Factor App](https://12factor.net/ja/dev-prod-parity)
X 開発/本番一致 | 開発と本番の環境をできるだけ一致させる | 本番のデータ量でしか再現しない問題があった |
| [Beyond the Twelve-Factor App](https://www.oreilly.com/library/view/beyond-the-twelve-factor/9781492042631/)
Telemetry | テレメトリを要素の1つに加えた | 新システムは開発開始から約6か月で計測を入れた |
| [Google Cloud の16要素](https://cloud.google.com/transform/from-the-twelve-to-sixteen-factor-app)
XV Observability for non-determinism | AI の品質と振る舞いも監視の対象にする | AI エージェントのトレースは3か月後に入れた |
The Twelve-Factor App: 12factor.net/ja/dev-prod-parity
Beyond the Twelve-Factor App: www.oreilly.com/library/view/beyond-the-twelve-factor/9781492042631
Google Cloud の16要素: cloud.google.com/transform/from-the-twelve-to-sixteen-factor-app
> **計測を最初に入れることも本番に近い環境で確かめることも既に原則になっている**
>
---
###### まとめ
# AI があると変わること、変わらないこと
AI があると変わること
・調査と修正が速くなった
・計装の実装が簡単になった
・性能の専門でなくても直せるので PR を出す人が増えた
AI があっても変わらないこと
・性能を考えて設計しても性能問題は出る
・効果の確認に時間がかかる
・どこから直すかの判断が必要
---
###### これから
# 残っている課題
データの多いテナントの画面
目標の5秒にまだ届いていない画面が残っている
本番規模のデータでの検証
遅いテナントのデータでしか再現しないものがある。検証は人がやっている
コスト
インフラの費用が課題に上がっている。性能改善で費用も下げたい
---
# 一緒に性能改善に取り組んでくれる仲間を募集中
### こんな人に来てほしい
- 大規模データとマルチテナントのスケール課題に挑みたい
- 個人技より仕組みや道具で解くのが好き
- DB・API・キャッシュ・フロントなど領域をまたいで動ける
- 試しながら進めていくのを楽しめる
recruit.flyle.io