TOKIUM_サポーターズCoLab登壇資料_LLMアプリケーションの技術的負債を返済する

Transcript

1. 　 LLMアプリケーションの 技術的負債を解消しよう “ロジックの液状化” の正体と対策 サポーターズCoLab 勉強会 株式会社TOKIUM プロダクト本部 EM 井上 智敬
2. 2 ⾃⼰紹介 井上 智敬 tomoyukiinoue プロフィール 1979年 4月生まれ。宮城県石巻市出身。はらこめしが好き。 1994年 MSX→PC9801→PC9821、Macintoshに憧れる。 1997年 Perlで遊び、VAIOにDebian入れてサーバ建立ブーム到来。 2001年 Struts 1でMVCを知る。請負開発で学費を稼ぐ。 2005年 小さなSlerに入社。新人なのに新人研修の講師をする。 2008年 発売日にiPhone 3G購入して、ビッグウェーブに乗る。 2010年 六本木のAppleに呼び出されて浮かれる。 2011年 ありとあらゆるソフトウェアを量産する。 2019年 TOKIUMに入社する。基幹系、経費精算。自社開発万歳。 2025年 AIエージェント開発、ビッグウェーブに乗る。 2026年 EMをする。Claude Codeが楽しすぎて時間が足りない。 2 最近の関心事：Mac Studioの値段、ハーネスエ ンジニアリング、PostgreSQL18 、鮭の不漁。 プロダクト本部 経費精算製品開発部 EM https://zenn.dev/tomoyukiinoue
3. 少しだけTOKIUMの紹介 3
4. お客様が本来の仕事に向き合えるよう、 TOKIUMはあらゆる経理“作業”を⾃動化します 経理作業が 仕事を圧迫 ⼈にしかできない 創造的な仕事に専念 経理作業の⾃動化 財務分析 予実管理 ⼈材育成 戦略⽴案 明細⼊⼒ スキャン 経費承認 請求照合 4
5. TOKIUM AIエージェントについて｜サービスラインナップ 5 移動⼿段‧ホテルの提⽰と 事前申請作成を代⾏ 経費精算の承認を代⾏ 承認 差戻 社内からの問い合わせ 回答を代⾏ 発注‧請求等の データ照合を⾃動化 発注 請求 契約書をデータ化し ⾃動でリース判定 各サイトからの WEB請求書の収集を代⾏ 膨⼤な明細⼊⼒を⾃動化 半年で9体リリース！
6. はじめに 6
7. 7 はじめに おことわり 7 この資料は2026年3⽉に作成しました。 今からお話する内容は 1つのアプローチとしてお考え頂ければ嬉しいです。 明⽇になったらマルっと解決するかもという世界にいます。
8. 8 はじめに おことわり 8 この資料にあるLLMアプリケーションは テキスト⽣成AIを使⽤した タスク型のアプリケーションのことを指します。 OCRや画像∕⾳声⽣成などのアプリケーション、 AIエージェントアーキテクチャの話ではありませんが、 ヒントにはなるかもしれません。
9. LLMアプリケーションでよくある課題 9
10. 10 LLMアプリケーションでよくある課題 3つの課題 10 精度が上がらない 速度が遅い コストが⾼い
11. 11 LLMアプリケーションでよくある課題 【実例】AI出張⼿配（QAチームから） 11 精度が上がらない 速度が遅い コストが⾼い ときどき出張規定に沿わない 申請が作られます ⾏き先を何度も 聞かれる！ 1回のタスクで 100円超えてるんです カプセルホテル？ 深夜バス？ ホテルと経路の検索に 3分くらいかかる
12. 12 LLMアプリケーションでよくある課題 【実例】AI出張⼿配（アレコレ対応） 12 精度が上がらない 速度が遅い コストが⾼い ときどき出張規定に沿わない 申請が作られます ホテルと経路の検索に 3分くらいかかる 1回のタスクで 100円超えてるんです プロンプトでエラーハンドリング！ サブエージェント化！ Temperature: 0 安価なLLMに変更！ ⼊出⼒を⼩さく！ プロンプトに⼿順かこう！ キャッシュ！ツール分割！
13. 13 LLMアプリケーションでよくある課題 【実例】AI出張⼿配 13 精度が上がらない 速度が遅い コストが⾼い ときどき出張規定に沿わない 申請が作られます ホテルと経路の検索に 3分くらいかかる 1回のタスクで 100円超えてるんです プロンプトでエラーハンドリング！ サブエージェント化！ 安価なLLMに変更！ プロンプトを⼩さく！ ステップ型プロンプト！ キャッシュ！ツール分割！ どの対策をもってしても 精度‧速度‧コストのどれかを犠牲にした そして私たちは エンジニアリングを取り戻す旅へ出た
14. ロジックの液状化の正体 14
15. 15 ロジックの液状化 ロジックの液状化とは何か？ 15 本来、 確定的なプログラムとして構築されるべきロジックが、 プロンプトという不確実な環境に置かれることで 構造を失い、 推論の中に溶け出してしまった状態のこと。 https://zenn.dev/tokium_dev/articles/95263724de88dd
16. 16 ロジックの液状化 例題：どこにロジックがあるでしょう？ 16 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 申請書の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 ヒント：少なくても6個あります コメントしてね！
17. 17 ロジックの液状化 例題：どこにロジックがあるでしょう？ 17 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 算術演算
18. 18 ロジックの液状化 例題：どこにロジックがあるでしょう？ 18 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 繰り返し
19. 19 ロジックの液状化 例題：どこにロジックがあるでしょう？ 19 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 状態管理
20. 20 ロジックの液状化 例題：どこにロジックがあるでしょう？ 20 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 制御フロー
21. 21 ロジックの液状化 例題：どこにロジックがあるでしょう？ 21 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 ⼊⼒値検証
22. 22 ロジックの液状化 例題：どこにロジックがあるでしょう？ 22 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 決定表
23. 23 ロジックの液状化 液状化のパターン 23 算術演算 分岐‧繰り返し 状態管理 制御フロー 決定表
24. 何をLLMに頼るべきか 24
25. 25 何をLLMに頼るべきか 例題：どこをLLMにすると良さそう？ 25 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 ヒント：少なくても3個あります
26. 26 何をLLMに頼るべきか 例題：どこをLLMにすると良さそう？ 26 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 ⾃然⾔語で返す場合のテキスト⽣成 ⾃然⾔語（フリー⼊⼒）を構造化データに起こす場合
27. 27 何をLLMに頼るべきか 例題：どこをLLMにすると良さそう？ 27 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 ⾮エンジニア(専⾨家外)がチェックする場合、 Amazonで詳細を確認して “推論”する。 AIがチェックして推論させても同じかそれ以上。 (注) Amazonのジャンルを決めて運⽤すれば 決定論にもできます。
28. 28 何をLLMに頼るべきか 例題：どこをLLMにすると良さそう？ 28 あなたは申請された書籍購⼊申請書を承認条件に基づいて承認‧却下する承認者です。 ### 承認条件 下記の条件をすべて満たすこと 1. 申請書に不備がないこと - 「申請者」「申請⽇」が⼊⼒されていること - 「購⼊書籍」が1冊以上⼊⼒されていること - 各購⼊書籍には「書籍名」「Amazon のリンク」「税込⾦額」が⼊⼒されていること 2. 購⼊書籍が実在していること 3. 購⼊書籍の書籍名‧税込⾦額が⼀致していること 4. 購⼊書籍はすべて技術関連書であること 5. 購⼊書籍の合計税込⾦額10,000円以内であること ### 出⼒形式 以下の内容を出⼒すること - 承認または却下 - 判断理由 会社規定から 決定表データを⽣成する場合
29. 29 何をLLMに頼るべきか LLMお任せパターン 29 ⾃然⾔語から 構造化データ化 概要⽣成 ⾃然⾔語の⽣成 分類‧適合率の⽣成
30. ロジックの液状化への対策 30
31. 31 対策 ⼿順 31 ① ハーネスを取り付ける ② ⼩さい単位でロジックを切り出す ③ テストを書く ④ 繰り返す
32. 32 対策 Evalsをハーネスにする 32 「良くなった気がする」を数値化する ── AIチャットボットの回答品質の測り方 https://zenn.dev/tokium_dev/articles/497b8f89b850ed
33. 33 対策 決定論をプロンプトから切り出す 33
34. 34 対策 繰り返すと... 34
35. 35 対策 BEFORE 35
36. 36 対策 AFTER 36
37. 37 対策 ⽬指す構成 37 社内規定→決定表の例
38. おわりに 38
39. 39 おわりに まとめ 39 • 確定的なプログラムとして構築されるべきロジックが推論の中に溶け込ん でしまっている状態をロジックの液状化と呼ぶ。 • 算術演算、分岐‧繰り返し、状態管理、制御フローが溶け込みやすく、 特に決定表は深刻なロジックの液状化である。 • Evals をハーネスとして、ひとつひとつ切り出す⽅法が有効。 • LLMに任せられるところと、任せられないことの事前のすり合わせがとて も重要
40. 40 おわりに 40 LLM とエンジニアリングの⼒で 良いプロダクトを作っていきましょう！ ご清聴ありがとうございました！
41. 情報発信中！ 本⽇のスライドは公式Xで公開！ 開発チームの技術やイベントに関する情報を発信しています！ フォローお願いします！ 資料公開＆技術発信は公式Xから👇 @TOKIUM_Dev