Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIコーディングのその先にある課題—実運用を支えるNew Relic最新機能の活用

AIコーディングのその先にある課題—実運用を支えるNew Relic最新機能の活用

2026年10月29日のNew Relic Partner Summit Tokyo 2026の講演資料です。
https://newrelic.com/jp/event/partner-summit-2026

生成AIによるコーディングは急速に普及する一方で、品質低下、トークンコストの増大、コンテキスト不足といった新たな課題も見え始めています。私は普段、クラウドアーキテクチャ、SRE、FinOps領域の技術支援に携わっていますが、設計検討、技術調査、障害対応支援、レビューなどでもAIコーディングツールを日常的に活用しています。そして、気が付けばAIコーディングツールの上位ライセンスを使い切るようになっていました。使い込む中で見えてきたのは、AIの性能そのものよりも「コスト」「品質」「コンテキスト」の課題でした。

本セッションでは、現場のパワーユーザーとしての実体験をもとに、AIコーディングのその先に見えてくる課題と、オブザーバビリティの重要性についてお話しします。

Avatar for Satoshi Matsuzawa (Matt)

Satoshi Matsuzawa (Matt)

October 29, 2026

More Decks by Satoshi Matsuzawa (Matt)

Other Decks in Technology

Transcript

  1. 自己紹介 松沢 敏志 (まつざわ さとし) ◼ シニアクラウドアーキテクト @ 株式会社日立製作所 HARC

    Japan*1 兼 Hitachi OSPO*2 所属 ◼ FinOps Foundation Japan Chapter、New Relic Trailblazer 、 PagerDuty Championsなどを通じた各分野の普及 ◼ 訳書に『クラウドFinOps 第2版』、『責任あるソフトウェアエンジニアリ ング』(オライリー・ジャパン)など in/satoshi-matsuzawa chacco38 *1: Hitachi Application Reliability Centers *2: Open-Source Program Office \ 11月下旬発売予定 / 2 Hitachi | AIコーディングのその先にある課題 \ Trailblazer有志で執筆した技術同人誌2冊 / © Hitachi, Ltd. 2026. All rights reserved.
  2. [PR] New Relic Trailblazerとは New Relicと共に、日本におけるオブザーバビリティの普及促進をリードするエンジニアコミュニティで、 パートナー企業に所属するメンバーを中心にスタートし、現在はその枠にとらわれずに範囲を広げています。 Trailblazerの主な活動: 1. 発信する

    • 技術ブログ / 技術同人誌の執筆 • 社内外での登壇 2. 体験をつくる • ハンズオン / Gamedayの企画・運営 3. 場をつくる • 勉強会 / ミートアップ 出典: New Relic Trailblazer紹介資料 by New Relic 3 Hitachi | AIコーディングのその先にある課題 • イベントブースでの相談 © Hitachi, Ltd. 2026. All rights reserved.
  3. ちなみに、私がどれくらい使っているかというと、、、 複数のAIコーディングツールの上位プランを利用し、利用枠を気にしながら日常的に使っている バックグラウンド Linuxカーネル開発、Kubernetesサポートを経験、 現在はクラウド/SRE/FinOpsの技術支援・アドバイザー ※アプリ開発が本業ではないエンジニア AIコーディング環境 Kiro / Google

    Antigravity / GitHub Copilot を中心に 利用スタンス 月次・週次・クレジット制など、 ツールごとの利用枠を気にしながら使っている ※超過時の追加利用・自動課金はOFF 月の早い段階でこれが出てくると「あー・・・」ってなる 5 Hitachi | AIコーディングのその先にある課題 AI利用ペースの月間サイクルのイメージ(枠復活によるピークと月末のペース調整) © Hitachi, Ltd. 2026. All rights reserved.
  4. 何にそんなに使っているのか? 調査・設計・コーディング。気づけば、日常の仕事の大半を、複数のAIに任せるようになっていた AIに手伝わせている領域 • 設計の検討、技術調査・質疑 • 障害対応支援、設計書と実環境の突合 • IaC /

    スクリプト / 設定作成 • コード・設定のレビュー、各種レポート作成 など 並行して任せるスタイル • 5枚のディスプレイの各画面に1~3個のターミナル起動 • Kiro CLI / Antigravity CLI / Copilot CLI などを起動 • Git worktree で作業スペースを分離 • 複数のAIへ仕事を並行して任せる • 同じ成果物を別のAIにも見せてチェックさせる • IDE (VS Codeなど) で成果物を確認する 6 Hitachi | AIコーディングのその先にある課題 Kiro 直近7日間のクレジット使用実績(CLI主体の稼働状況) © Hitachi, Ltd. 2026. All rights reserved.
  5. 実感するようになった「コスト・品質・コンテキスト」 AIコーディング界隈で以前から言われていた3つの課題を、使い込む中で実感するようになった ¥ ✓ {} コストの壁 品質の壁 コンテキストの壁 トークン、クレジットをどこで使っているか、 トークン消費が読めず、利用枠や費

    効率的に使えているかわかりにくい 用の管理が難しい 頼んでいない誤改変やコード品質の 頼んでいない誤改変や コード品質のばらつきが起きる ばらつきが起きる 前提となる設計思想や背景情報が 設計上の前提や、 実際の稼働環境で起きていることが AIへ正しく伝わらない AIへ正しく伝わらない ※セッションの出発点:トークン可視化をFinOpsの観点から面白いと感じ、本テーマに着手 7 Hitachi | AIコーディングのその先にある課題 © Hitachi, Ltd. 2026. All rights reserved.
  6. AIって、思ったより人間ぽい AIは思った通りには動かない。だから、ちゃんと仕事をしてもらうために仕組みを作り込む 仕事を任せてみると起きたこと 仕組みでコントロールしようとした 現場で直面した振る舞い 追加した対策 • 言ったことを忘れる • スキル:仕事の進め方や確認手順具体化

    • 勝手に解釈する • フック:必要なタイミングにルールや確認を差し込む • 頼んでいないところまで直す • ガードレール:やっていいこと・悪いことを制御 • コンテキスト:ナレッジや外部リソース接続 【実話】 このLTの構成整理をAIに任せたら、まだ検討中だった案を 勝手に「正本として確定」と書いてきた など 結果、AIの無駄打ちが減り、 AIによる仕事としての品質はもちろん上がった 、、、でも、何をするにも処理が重くなった 8 Hitachi | AIコーディングのその先にある課題 © Hitachi, Ltd. 2026. All rights reserved.
  7. AIの処理が増えると、コストが無視できなくなる さが 増やした処理をどう安くやらせるか。モデル最適化を次の一手としてやりたくなるのが人間の性 仕組み化後のAI処理の流れの例 モデル最適化 • 単純な処理 • 判断が必要 •

    レビュー・複雑な推論 → 軽量モデル? → 中間モデル? → 高性能モデル? 必要な精度にあわせて、処理ごとに適切なモデルを選択したい 増やした周辺処理 9 Hitachi | AIコーディングのその先にある課題 、、、でも、ちょっと待てよ © Hitachi, Ltd. 2026. All rights reserved.
  8. その処理、本当にLLM/独自エージェントでやらせる必要ある? どのモデルを使うかの前に、まず考えるべきは、そもそもその処理はどこでやらせるべきなのか 確率論 決定論 LLMが得意なもの LLMの外側で扱いたいもの • • • •

    解釈 推論 不確実な情報からの仮説 曖昧なもののレビュー vs • • • • 状態確認 条件判定 ルール紹介 典型的なチェック 性能 精度 コスト すべてLLM/独自エージェントに任せるのが常にベストではないよ、という話 、、、じゃあ、どうすればいいんですか? 10 Hitachi | AIコーディングのその先にある課題 © Hitachi, Ltd. 2026. All rights reserved.
  9. まずは観測可能にする ― New Relic Preflight AIコーディングツールのコストと使用量のデータを収集・可視化し、無駄を観測できるようにする トークンとコストの可視化(FinOps / Tokenomics) 検知される具体的な無駄

    機能と効果 • セッション、日、週ごとの消費推移を追跡、可視化 • モデル別、ツール別のコスト分析 • 予算上限アラートによる予期せぬ支出防止 ! 同じツール呼び出しを繰り返す(スラッシング) ! 既読ファイルを何度も読み直す (リリード) ! 十分確認せずに書き換える (ブラインドエディット) ! 同じところで堂々巡りをする (スタックループ) → クラウドインフラ同様にAI支出を管理 ※Preflightは、ローカル環境で動くOSS / MCPサーバー(New Relic連携は任意) ※Kiro / Antigravity / Copilot CLIツールなどと組み合わせてそのまま動く 参考: https://newrelic.com/jp/blog/news/introducing-ai-coding-observability 11 Hitachi | AIコーディングのその先にある課題 © Hitachi, Ltd. 2026. All rights reserved.
  10. 信頼できる情報をLLMに与える ― New Relic Ground Truth 稼働環境から得られる情報をAIに渡し、推測しなくていいことまでLLMに推測させない 稼働環境の事実をコンテキストとして渡す インプット 機能と効果

    • New Relicの稼働環境の情報を、 MCP経由でAIコーディングツールへ提供 • テレメトリ・依存関係・変更などを 関連付けられた運用コンテキストとして整理 • ユーザーがプロンプトや独自エージェントで 稼働環境の情報を毎回補う負担を軽減 Ground Truth (MCPサーバー) { ※元々New Relic MCP Server (Preview) と呼んでいたものが より広い製品コンセプトとしてGround Truthに整理された認識 } 参考: https://newrelic.com/jp/platform/newrelic-ground-truth 12 Hitachi | AIコーディングのその先にある課題 AIコーディング ツール "mcpServers": { "newrelic-mcp-server": { "url": "https://mcp.newrelic.com/mcp/", "oauth": { "authorizationUrl": "https://oauth2.service.newrelic.com/oauth2/auth", "tokenUrl": "https://oauth2.service.newrelic.com/oauth2/token", "oauthScopes": ["observability:read", "offline", "offline_access"], "usePKCE": true }, "disabled": false } } アウトプット 整えた コンテキスト New Relic Kiro CLIのセットアップ例 © Hitachi, Ltd. 2026. All rights reserved.
  11. AIを導入する時代から、AIを運用する時代へ 振り返ると、人の組織でやってきたことと、そんなに変わらないのかもしれない 人間の組織 AI運用 ミスが起きる → ルールを追加する → 確認作業が増える →

    仕事が重くなる 意図しない動作が起きる → プロンプト/スキル/フックを追加する → 処理が増える → AIコストが重くなる 人の組織もAI運用も、足し続けるだけでは回らない。 必要なものを見極め、不要なものは削る。LLMでなくていいものは外にだす。 ¥ 13 コスト ✓ 品質 {} コンテキスト まず、何に使っているかを見る LLMに任せる仕事を見極める 信頼できる情報を与える 例: New Relic Preflight 例: 「どのモデル?」の前に「LLMでやる?」 例: New Relic Ground Truth Hitachi | AIコーディングのその先にある課題 © Hitachi, Ltd. 2026. All rights reserved.
  12. 表記に関する注意事項 他社商品名、商標などの引用に関する表示 – New Relic は、New Relic, Inc. の登録商標です。 –

    その他記載の会社名、製品名は、それぞれの会社の商標または登録商標です。 サービス・製品の仕様に対する表示 – この資料に記載している製品・サービス仕様は、2026年10月現在のものです。 製品・サービスの改良などにより予告なく記載されている仕様が変更になることがあります。 16 Hitachi | AIコーディングのその先にある課題 © Hitachi, Ltd. 2026. All rights reserved.