[AI Engineering Summit Tokyo 2025] LLMは計画業務のゲームチェンジャーか？ 最適化業務における活⽤の可能性と限界

2025/12/16 (火) にAI Engineering Summit Tokyo 2025で講演させていただいたスライドです。
https://ai-engineering-summit-tokyo.findy-tools.io/2025/ttable?m=2025/timetable/DXtAWZl2

Transcript

1. LLMは計画業務のゲームチェンジャーか？ 最適化業務における活⽤の可能性と限界 株式会社 ALGO ARTIS プリンシパルアルゴリズムエンジニア 松尾 充
2. 講演者プロフィール 松尾 充 | マツオ アタル @terry_u16 株式会社ALGO ARTIS プリンシパルアルゴリズムエンジニア 2016-2021 2021-2023 2023-2025 機械エンジニア (ジェットエンジン) アルゴリズムエンジニア アルゴリズムグループリード 2025- アルゴリズムチームリード
3. イントロダクション
4. LLMと競技プログラミング コーディング能⼒を競う競技プログラミングには深い考察が求められ LLMのコーディング⼒‧思考⼒のベンチマークに⽤いられてきた ボードゲームとAI 競技プログラミングとLLM IBM Deep Blue : チェス 1997 Google DeepMind AlphaGo : 囲碁 2016 AlphaZero : チェス, 囲碁, 将棋 2017 AlphaCode : Codeforces中央値 2022 OpenAI o1 : Codeforces上位11% 2024 ALE-Agent : AHC上位12% 2025
5. プログラミングコンテストの世界⼤会に出場 そんな競技プログラミングの世界⼤会AtCoder World Tour Finals 2025 2024年の年間コンテスト成績上位12名が招待 出場権を獲得！
6. vs OpenAI ⼤会2週間前にOpenAIのLLMエージェントが参戦発表 13⼈⽬の参加者としてエキシビションマッチが開催される
7. 世界⼤会 ⼈類2位を達成！
8. 世界⼤会 ⼈類2位を達成！ ……でもOpenAIの⽅が⼀枚上⼿
9. OpenAIすげー！ でもどこまで業務に使えるの？
10. 計画作成最適化
11. ALGO ARTISとは？ Algorithm Artisan アルゴリズム 職⼈ アルゴリズムの職⼈として 計画最適化を実現する
12. サプライチェーンの中の運⽤計画 モノの調達から消費まであらゆるところで計画が⽴てられている 調達 物流 ⽣産 配送 消費 資源輸⼊の配船計画 化学品の⽣産計画 陸運の配送計画
13. 計画作成は複雑なパズルである 運⽤上の様々な制約から、計画作成は複雑なパズル状態となっている 結果として納期遅延や余剰在庫などが⽣まれ企業の競争⼒を削いでいる 膨⼤なExcel作業 追加受注等による修正で毎⽇⻑時間作業 業務複雑化による属⼈化 限られた熟練者以外は計画策定不可 ⾮効率な計画による潜在損失 納期を守る計画を⽴てるので精⼀杯
14. パズルを解くには 様々な制約のもとでコスト‧リスクが低い解を⾒付ける これは数学的には最適化問題として捉えることができる 海外から⽯炭を船で運ぶ ⽬的 船着き場の数‧⽯炭購⼊契約 制約条件 船の積載量‧運賃‧滞船料 評価指標 極めて複雑な組合せ最適化問題
15. ヒューリスティック最適化 組合せ最適化問題を解く⽅法としてヒューリスティック最適化を採⽤ 担当者の負担軽減やコスト‧リスク低減を実現 
 
 
 
 担当者負荷⼤ 時間の浪費 属⼈化 ⾮効率な計画 運⽤コスト⾼ 計画のコスト効率向上 人手不足解消 
 
 最適化 焼きなまし ビームサーチ ⾼付加価値作業への転換 属⼈化解消
16. ALGO ARTISの事業 ニーズに合わせた2つのソリューションを主に展開 フルカスタマイズ型ソリューション 汎⽤パッケージ型ソリューション
17. 導⼊実績（⼀部） これまでに多数の企業様で導⼊実績あり 運⽤開始後の契約継続率100%で、⾼く評価いただいている エネルギー 交通 製造業
18. 競技プログラミング
19. AtCoderとは プログラミングの腕を競う競技プログラミングのコンテストサイト いわばアルゴリズム界のKaggle レーティング 上位 0.52 % 処理課題が 書かれた問題⽂ 問題を解くための プログラム作成 速さ‧正確さ‧ 性能を競う 世界有数の 競技プログラミング コンテストサイト AtCoderとは 競技内容 レーティングシステム 成績に応じて レーティングが付与される
20. アルゴリズム部⾨とヒューリスティック部⾨ AtCoderにはアルゴリズム部⾨‧ヒューリスティック部⾨の2つがある アルゴリズム部⾨ ヒューリスティック部⾨ 与えられた問題に対し 実⾏時間内に正確な答えを出⼒する プログラムを作成する 最適解を出すのが困難な問題に対し できるだけ良い答えを出⼒する プログラムを作成する 例：最短経路問題 例：巡回セールスマン問題
21. LLMと競技プログラミング 競技プログラミングの問題は深い思考⼒が求められるタスク 各社がLLMの思考⼒のベンチマークとして採⽤ Google DeepMind AlphaCode Codeforces 上位54% 2022 2023 2024 2025 Google DeepMind AlphaCode 2 Codeforces 上位15% OpenAI o1 Codeforces 上位11% OpenAI o3 Codeforces 上位0.2%
22. LLMと競技プログラミング（アルゴリズム部⾨） ここ1〜2年でLLMの競技プログラミング性能も⼤きく向上 ⼤学⽣競技プログラミング世界⼤会で⼈間トップと同等以上の成績 https://x.com/MostafaRohani/status/1968360976379703569 https://arxiv.org/pdf/2502.06807 OpenAI o1は Codeforcesで 上位11%相当 OpenAI o3は Codeforcesで 上位0.2%相当 ⼤学⽣向け⼤会 ICPC World Finalsで OpenAIのモデルが 12問全問正解 Gemini 2.5 は 12問中10問正解 (2/139位相当)
23. LLMと競技プログラミング（ヒューリスティック部⾨） ヒューリスティック部⾨は⻑らくAIに攻略されていなかった アルゴリズム部⾨より試⾏錯誤の⽐重が⾼い点がAIにとって難しい アルゴリズム部⾨ ヒューリスティック部⾨ 正解が⼀つに定まっているため 正答‧誤答の判断は容易 解に⾄るまでの数学的思考⼒が重要 ⼀発で完成することは稀で フィードバックループを回す必要あり 少しずつ改善する試⾏錯誤能⼒が重要 正答 誤答 コード ※どちらが⾼難易度という話ではなく、難しさの⽅向性が異なる AI 提出 78点 63点 提出 フィード バック
24. Sakana AIがALE-Agentを発表 2025/6にSakana AIが組合せ最適化問題を解くALE-Agentを発表 試⾏錯誤を⼤量に並⾏で⾏うことが可能に 初期プログラム 改善版① 改善版② 改善版③ 性能の良かったコードをベースに 最良優先探索的な⼿法を⽤いて エージェントが繰り返し改善を⾏う 初出の論⽂における性能評価では ⼈間の上位11.8%程度の性能 ただし問題の得意‧不得意の差はある
25. AtCoder世界⼤会
26. AtCoder World Tour Finals (AWTF)とは 競技プログラミングの世界⼀を決める⼤会 各部⾨ごとに前年の成績上位12名が⽇本に招待される 2024年 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 2025年 ヒューリスティック部⾨では 概ね⽉に1回程度、計12回のコンテストが⾏われ 順位によってポイントが加算される ポイントの上位12名がAWTFに進出 2025/7/16 9時〜19時 (10時間)
27. OpenAI参戦 ⼤会の2週間前にOpenAIのスポンサー参画が発表 ⼈間 vs AIのエキシビションマッチが開催されることに 正式な順位は⼈間12名のみで決まる 解く問題はエキシビションと同じ 正式な順位表 OpenAIも同じ問題に10時間取り組む 使⽤されたモデル等の詳細は⾮公開 エキシビションマッチ
28. OpenAI参戦に対する反応 アルゴリズム部⾨におけるLLMの⼤幅な性能向上は認知されていたが ヒューリスティック部⾨はまだ⼈間有利との⾒⽅が⼤多数だった アルゴリズム部⾨では⼤きく躍進しているが ⾃分は今のところALE-Agentに負けたことがない まだまだ⼈間が有利なのでは？ とはいえOpenAIがわざわざ参戦したということは モデルにそれなりに⾃信があるのかも……？ ⼈間勝利 8 割 vs AI勝利 2 割 くらいの感覚
29. 最⼩の移動回数で全ロボットを⽬的地に移動 World Finalで出題された問題 AI vs 人間まとめ【 AtCoder World Tour Finals 2025 Heuristic エキシビジョン】 https://chokudai.hatenablog.com/entry/2025/07/21/190935 仕様 • 複数のロボットがある • ⾃由にロボットをグループにまとめられる • 同じグループのロボットは同時に移動可能 • 指定ロボット1台だけでも移動できる • 壁を追加で⾃由に配置できる ⽬的 グループ分け、壁の配置の⾃由度が⾼い難問 ファイナリストでも苦戦する問題
30. 対戦結果 OpenAIのエージェントはエキシビション2位という快挙 ⼤⽅の予想を上回る結果に 参加した12名のファイナリストは いずれも相当な実⼒者 その中で2位を獲得しているのは ものすごい成果
31. 解法の⽐較 1位のPsyho⽒は1グループ解法で詰め切る OpenAIは複数グループの移動をゴリゴリにチューニング Psyho (1.812×1012点) OpenAI (1.654×1012点) terry_u16 (1.442×1012点)
32. 対戦してみての所感 コーディング‧チューニングのスピードでは圧倒的に⼈間を上回る ⼀⽅、発想次第で⼈間側にもまだ勝てる余地はある（が容易ではない） LLMの得意なところ LLMの苦⼿なところ アルゴリズムのチューニングを⼤量試⾏ ⼤⽅針が同じでも細部で差が付いた チューニング⼒ 当然ながら⼈間より圧倒的に速い 計算資源次第で多数の⽅針を 並列で進⾏することもできる コーディングスピード ⾮公開だがそれなりに⾼いはず？ 松尾にコード書かせた⽅が安いのでは コスト（？） 1位解法は全く違う解法で差が付いた ⼈間側は終了後にさらにスコア改善 時間次第で結果が変わった可能性も 解法の質‧多様性
33. LLMと業務最適化
34. LLMは計画策定業務に使えるのか？ 問題設定 データ 計画 LLM 問題設定 データ 最適化プログラム LLM 計画 LLMに計画策定させる⽅法として、直接⼊⼒データを読ませる⽅法と 最適化プログラムを書かせる⽅法の2つが考えられる LLMに直接⼊⼒データを読ませる LLMに最適化プログラムを書かせる
35. LLMは計画策定業務に使えるのか？ 問題設定やデータをプロンプトで与えるのは無謀 問題設定 データ 計画 コンテキスト⻑の限界 業務ではデータ量が多く、 簡単にコンテキスト⻑を超える 制約の検証精度の限界 LLMの論理的な検証精度は限界がある 誤りや⾒落としが発⽣ 計画策定は制約を遵守することが強く求められる 制約の検証が不安定なのは致命的 LLM
36. LLMは計画策定業務に使えるのか？ ソースコードを⽣成させるアプローチは可能性がある 問題設定の分量の少なさ 正しい制約の検証 問題設定 データ 最適化プログラム LLM 計画 コンテキスト⻑に収まる可能性がある （バグがなければ） ⼀貫性を持って正しく検証できる ソースコードを出⼒すれば制約の検証は正しくできる OpenAIも上記のアプローチでコンテストに参加
37. 最⼩の移動回数で全ロボットを⽬的地に移動 World Finalで出題された問題 AI vs 人間まとめ【 AtCoder World Tour Finals 2025 Heuristic エキシビジョン】 https://chokudai.hatenablog.com/entry/2025/07/21/190935 仕様 • 複数のロボットがある • ⾃由にロボットをグループにまとめられる • 同じグループのロボットは同時に移動可能 • 指定ロボット1台だけでも移動できる • 壁を追加で⾃由に配置できる ⽬的 グループ分け、壁の配置の⾃由度が⾼い難問 こんな難問が全⾃動で解けるなら 計画策定も全⾃動で解けるのでは...?
38. コンテストと実務の違い「制約の複雑さ」 コンテストはシンプルで奥が深い問題が出題される • ロボットの仕様 • 壁の仕様 問題⽂に記載の内容 全て問題⽂に記載  ルールはpdf1枚に収まる簡単さ！なのに奥が深くて⾯⽩い！ 多くの⼈に愛される理由 少ない仕様 明確な仕様
39. コンテストと実務の違い「制約の複雑さ」 World Tour Finalsの問題⽂は短い 10分もあれば読める https://atcoder.jp/contests/awtf2025heuristic/tasks/awtf2025heuristic_a
40. コンテストと実務の違い「制約の複雑さ」 実務は複雑 量の多さだけでなく、隠れた制約が厄介 ⼤量の仕様 暗黙知 • 稼働できる装置の台数 • 作業員の⼈数に限りがある • 倉庫のキャパシティ • 納期 • などなど... 運⽤に必要な制約 • 休憩時間は連続して欲しい • 装置の負荷は分散させたい • 作業員の負荷は公平に • あまりに早すぎる⽣産はNG 計画策定者のノウハウ 上記はほんの⼀例で、案件によっては100以上の仕様が存在する 暗黙知はプロジェクトを進める中で徐々に明らかになってくる
41. コンテストと実務の違い「制約の複雑さ」 アルゴリズムの難しさ 制約の複雑さ LLMに全てを任せるには、実務領域は複雑すぎる 実務領域 LLMが得意な領域 LLMは以下の2点が難しい • ⼤量の仕様を全⾃動で正確に実装 • 暗黙知を⾃動で引き出す Coding Agentを活⽤し、⼈間が並⾛して実装するのが現状の落とし所 暗黙知はヒアリングを通じて⼈間が引き出す必要がある
42. コンテストと実務の違い「要件の曖昧さ」 コンテストでは評価指標が明確に与えられる シンプルな数式 不変‧定量化が容易 解の良さの評価指標が明確な形で与えられ、⽬指す⽅向が分かりやすい シンプルな評価 明確な評価 (1) https://atcoder.jp/contests/awtf2025heuristic/tasks/awtf2025heuristic_a 出典：(1)
43. コンテストと実務の違い「要件の曖昧さ」 実務では様々な項⽬の評価が必要 担当者から何度もフィードバックを受け、評価指標を調整する 複雑な評価 変化し続ける評価指標 • 制約を満たしているか？ • 納期に間に合っているか？ • 作業員の負荷は平等か？ • 計画にマージンはあるか？ 様々な⽬線の品質の評価 納得いくまで調整 正しく評価しないと良い計画は得られない お客様のレビューを通じてプロジェクト最後まで調整を続けていく お客様
44. コンテストと実務の違い「要件の曖昧さ」 実務をLLMで⾃動化するハードルは⾼い LLMの得意なところ LLMの苦⼿なところ アルゴリズムのチューニングを⼤量試⾏ 評価関数が固定であれば⾃動化可能 チューニング⼒ 評価⽅法が変更されると チューニングのやり直しが発⽣ 評価⽅法の変更 お客様にLLMと議論させるのは 現実的には難しい ヒアリング ヒアリングを通じて互いに計画への理解を深めることが重要 このプロセスで信頼関係を築き、⾼品質の計画を提供することで⾼く評価された 安易なLLM代替はできない
45. LLM活⽤スタンス
46. AAのLLM活⽤スタンス • Coding Agent 導⼊ • デザインシステムを作成、MCP連携を⾏うことで統⼀感のあるデザイン • システム移⾏のデータ変換にLLM活⽤ • チャットボットを導⼊し、お客様のサポートの⼀部を⾃動化 LLMの進化のスピードは脅威的で、無視していると時代に取り残される LLMエージェントに最適化問題を解かせ、実務で適⽤する範囲を模索中 コンテストの過去問で上位のスコアを獲得できることを確認 LLMの得意な領域を⾒極めて積極的に活⽤ LLMの進化についていく
47. 今後の展望 LLMの限界を理解した上で、プロダクトにLLMを活⽤する ALGO ARTISの悩み 汎⽤ソリューションは共通のアルゴリズムを使い回す 個別の要求は都度実装を⾏っており、どうしてもお時間をいただいてしまう LLMで解決しようとしていること ⾃然⾔語で指⽰を与えることで、LLMにプロダクトの機能拡張を⾏わせる研究 エンジニア以外でも⼩さい要望に対応できるようにし、デリバリを⾼速化 ソースコードを完全に⾃由に編集させるのは無謀だが、 LLMが変更する範囲を制限することでフィジビリティを確保する⽬論⾒
48. やるべきことは変わらない ⼿段 何を書くか？ ⼈が書くかAIが書くかは表層的な話 ツールの進化で書く対象の抽象度が上がってきたが、 「価値を⽣み出す」というエンジニアの⽬的は変わらない LLMをツールとしてどう上⼿く使っていくかが重要 機械語 ⾼級⾔語 オブジェクト指向 フレームワーク LLM ハードウェア動作 処理の流れ 概念‧モデル 実現したいこと より抽象的に... 抽象化