fm-towns オンデバイスAI - Foundation Modelsを評価する

札幌iPhone開発懇談会2026年10月24日勉強会資料。

AppleのオンデバイスAIである Foundation Models によるツール呼び出しを介してFoundation Modelが理解可能なツールおよびガイドを評価する方法についてのプレゼンテーション。

Transcript

1. fm-towns オンデバイスAI - Foundation Modelsを評価する 能登 要(@notoroid) - iPhoneアプリ開発者 2026年10月24日
2. 話す内容 • fm コマンドを試してみる • fm コマンドの概要 • fm コマンドの性能を評価する
3. 話さない内容 • Foundation Models のPrivate Cloud Computing版 • Foundation Modelsのアプリへの組み込み • Foundation Models でのツール経由での外部AIへの丸投げ
4. お題目 • AI は役にたっているのか? • macOS27 のFoundationModels • オンデバイスAI としてのFoundation Modelsを評価する
5. 自己紹介: 能登 要 • iPhoneアプリ開発者( X: @notoroid) • アプリ開発者歴(2008〜) • アプリ作って四半世紀(Windowsアプリ〜iOS) • 趣味はゲーム(反射神経が衰えと目の疲れが抜けない) • 最近買ったゲーム • Fit Boxing3チュートリアルが長そうで始めていない
6. AI は役にたっているのか?
7. 2026年も終盤
8. Apple製品で喜ぶ季節のはずが
9. ハッキング被害が増大し サービス提供会社は阿鼻叫喚
10. ハッキング・なりすまし詐欺蔓延中 サービス提供A社 主要なサービス 今後伸びそうなサービス
11. ハッキング・なりすまし詐欺蔓延中 サービス提供A会 主要なサービスがハッキング被害に 今後伸びそうなサービス
12. ハッキング・なりすまし詐欺蔓延中 サービス提供A社 サービス提供B社 サービス提供A社の サービスはB社のバックエンド
13. ハッキング・なりすまし詐欺蔓延中 サービス提供A社 謝罪 サービス提供B社 利用者にとっては、 どちらもハッキングされた と認識される 謝罪
14. AIでハッキングやなりすまし詐欺が 安上がりになり普通の人は被害だけ受けている 写真の消しゴムマジックと釣り合っている?
15. アプリ開発者は、変化についていく限り その場に静止しているように見える
16. 普通の利用者がAIの利便性を 得ることができるのか?
17. 普通の人の AI は役にたっているのか?
18. Appleとしては一端を ローカルAIに担わせたい
19. 話はローカル版の Foundation Modelsに
20. macOS27 の FoundationModels
21. macOS27 のFoundationModels (1) CLIでFoundationModelsを動かすツール • macOS27 に含まれる • コマンド名 fm • SiriAI の公開前、公開後とは無関係 • Apple Silicon で動作 • Apple M1 でも動くAIモデルサイズ
22. macOS27 のFoundationModels (2) fm について • ライセンス許諾が必要 • sudo fm license • チャットと対話モード • チャットは chat • 対話モードはrespond • ̶stream でプロンプト(問い合わせ内容)を流し込み • 組み込みツール(tools) • BarcodeとOCRのみサポート
23. fm コマンドは オンデバイスAI組込スクリプト オンデバイスAIの調整向け
24. XcodeでもFoundation Modelsを調整可能 AIベースのアプリではベストな正解に着地するかの評価ポイントで考える • Evaluationsフレームワークについて • https://developer.apple.com/jp/ videos/play/wwdc2026/298 • Evaluationsを活用した山登り法による プロンプトの改善 • https://developer.apple.com/jp/ videos/play/wwdc2026/335
25. WWDC26で公開されたのは、 Appleの開発環境化で解決する方法
26. XcodeとEvaluationsフレームワークの 組み合わせ以外のプロンプト改善方法 を動かしたいと思うはず
27. Python ベースのツールを使用して プロンプトを評価し改善に役立てる
28. fm コマンドを介してtoolとしてスク リプトやCLIを呼び出し可能とする
29. fm CLIとPython SDKによるAI活用型スクリプトの作成 https://developer.apple.com/jp/videos/play/wwdc2026/334 • Foundation Modelsの新機能に ついて • fm コマンドの使い方 • Python 向けSDK • Xcode27 以降の環境が必要
30. Foundation Models SDK for Python Swift記述に近しいPythonベースのSDK • macOS 27 のオンデバイスAIモデル（Foundation Models）を、Python か ら使うための環境 • Swiftでの記述に近しいスタイルで記述可能 • Tool としてCLIベースのプログラムを登録可能 • 標準入力、標準出力でFoundation Modelsとやりとりする • ファイル読み書きもtool経由だと制限が少ない
31. fm コマンドからFoundation Models を試してみる
32. ツールとの組み合わせで Foundation Modelsの機能を 活用できることはわかった。
33. 実際のところ Foundation Models は どの程度使えるのか?
34. 設定をミスするとエラーを返すCLIを作成する github.com/notoroid/tinytowngen • 空中から撮影した地図生成 • 複数のマップチップ • 商業区画 • 公園 • 防火帯(大通り) • ルール通りに配置指示しないとエラー
35. 意図的にエラーを含める エラー条件はガイドに記載 寺院 防火帯(大通り) を指定でき 河川を指定できる 寺院
36. 意図的にエラーを含める エラー条件はガイドに記載 寺院 防火帯(大通り) を指定でき 河川を指定できる 寺院 河川や防火帯が寺院を横切るとエラー
37. CLI を使ったスクリプトを作成し評価する github.com/notoroid/foundation-models-tool-calling-eval • オンデバイス版Foundation Modelsを使用 • Private Cloud Computing版は呼び出せず • Foundation Models SDK for Python を使用 • 地図作成CLIを追加 • ツールのガイドでエラー条件を追加 • リトライ3回まで繰り返してエラーとなるかと判別 • Claude Code Opus5.5 ベースのスキルと比較
40. オンデバイスFoundation Models① オフラインでも動くメリットはガイドとツール次第? • Foundation Models SDK for Python でtoolを拡張可能 • 登録するtool自体のガイドをモデルが理解できるかによって有用となる • クラウドベースのAIエージェントは一般的なCLIのヘルプは理解できるレベ ル • クラウドとの乖離とチューニングしてまで完全オフラインのメリットがあ るのか?
41. オンデバイスFoundation Models② オフラインでも動くメリットはガイドとツール次第? • ガイドとツールを強化すれば理想のオンデバイスAI組み込みアプリができあが る • ツールとガイドはPythonベースで動かすことができるので大規模LLM に指示 をあたえれば、ツールもガイドも書き換え可能。テストデータも作成可能 • 内部でエラーになったものを外部AIにまるなげできるかは調べきれていない
42. オンデバイスFoundation Models② オフラインでも動くメリットはガイドとツール次第? • ガイドとツールを強化すれば理想のオンデバイスAI組み込みアプリができあが る • ツールとガイドはPythonベースで動かすことができるので大規模LLM に指示 をあたえれば、ツールもガイドも書き換え可能。テストデータも作成可能 大規模LLMの能力が高いと オンデバイスAIアプリの性能も高くなる
43. まとめ •macOS27からオンデバイスFoundation Modelsがコマンドラインで 利用できるようになりました(fm) •チャットとレスポンド(対話)モードがあります •Foundation Models SDK for Python を使ってSwiftライクにfmを 呼び出すことができます。 •AppleはFoundation Models(およびツール)のチューニングと、スク リプト記述を意図していますが追加するツールの優秀さによるところ が大きい可能性があります
44. notoroid - Speaker Deck 参考 • Evaluationsフレームワークについて WWDC26 • https://developer.apple.com/jp/videos/ play/wwdc2026/298 • Evaluationsを活用した山登り法によるプロン プトの改善 - WWDC26 • https://developer.apple.com/jp/videos/ play/wwdc2026/335 • fm CLIとPython SDKによるAI活用型スクリプ トの作成 - WWDC26 • https://developer.apple.com/jp/videos/play/ wwdc2026/334 • Macで動くAI「AFM 3 Core」を知る――macOS 27 のfmコマンドから始めるローカルAI入門｜⿶⿵⿷⿴⿳ • https://note.com/unco3/n/ nef0ada6af65d#0073d1be-2cd2-4c74b3a7-8aa35dd45128 • notoroid/tinytowngen: タイルパターンから都市の上 空画像を作成すCLI • https://github.com/notoroid/tinytowngen • notoroid/tinytowngen: タイルパターンから都市の上 空画像を作成すCLI • https://github.com/notoroid/tinytowngen