Apple Intelligenceとオンデバイス時代の到来

Transcript

1. #devio2026 Apple Intelligenceと オンデバイス時代の到来 Yahiro（リテールアプリ共創部）
2. はじめに Apple Intelligence、正直「いつまでもbeta」で「なにこれ？」と 思っている方も多いと思います。 ▪ AFM（Apple Foundation Models）は、実はiOS 26以前から存在していまし た ▪ WWDC26で、Appleは AFM3 を発表 ▪ 今日は、その進化の内容と「これからアプリがどうなるか」をお話しします
3. これなんなん？ Apple Intelligence と Siri iPhone、アプリ、Siriに深く統合され た、パーソナルインテリジェンスシステ ムです。 設定アプリでオン／オフを切り替えら れ、まだ「ベータ」表記です。 この機能の裏側で動いているモデルが、 AFM（Apple Foundation Models）で す。
4. 01 そもそもオンデバイスとは
5. オンデバイスとは：AIモデルが手元のiPhoneで動く ▪ 読んで字のごとく、AIのモデルが手 元のiPhoneで動くようになりまし た。 ▪ 近年のiPhoneの進化は「なんか微 妙」と感じる方も多いかもしれませ ん。 ▪ デバイス内で扱えるトークン量は、 AFMの進化とともに見ていく必要が あります。 Apple公式の公開値（1セッションあたり） 4,096 トークン 入力と応答で、この上限を共有 Core Advanced 対応機種は 8,192 機種別は次のスライドの表
6. 機種別のコンテキスト量（1セッション） 端末（Apple Intelligence対応） コンテキスト量 根拠 Core Advanced 非対応：iPhone 15 Pro / 16 系 4,096 トークン WWDC26 セッション8121 （Apple公式） Core Advanced 対応：iPhone Air / 17 Pro / 17 Pro Max 8,192 トークン 記事（著者が確認） PCC（対応端末共通） 32,000 トークン WWDC26 セッション241 / 8121（Apple公式） ※ コンテキスト量は Core Advanced に対応しているかで決まる（モデル variant による違い）。 ※ PCC は記事では 32,768 トークンと記載。
7. Apple Intelligenceは、数行で呼び出せる import FoundationModels let session = LanguageModelSession() let response = try await session.respond(to: "今日の運勢を吉か凶で教えて") print(response.content) 実行結果（Xcode） ※ 記事の実行例の画面です APIキー不要 既定は端末内で動く 対応端末が前提 契約もキーも要りません 既定のモデルは端末内で動作 availabilityで対応状況を確認
8. 02 AFM3の4つの進化
9. AFM3の進化① 見る：画像をAIが認識できるように これまで AFM3 テキストの入力だけが、AI処理の対象 写真をプロンプトに添えて質問できる 文字だけ 画像もAI処理 // 画像を添付して質問する（レシートの例） let image = NSImage(contentsOfFile: "/path/to/receipt.heic")! let cgImage = image.cgImage(forProposedRect: nil, context: nil, hints: nil)! let session = LanguageModelSession() let response = try await session.respond { "このレシートの合計金額を教えて" Attachment(cgImage) } print(response.content) 例：レシート・棚札・図面・現場写真 ／ 画像は端末の外に出ない（オンデバイス処理）
10. AFM3の進化① 見る：おみくじの画像で試す コード（記事より） import AppKit import Playgrounds import FoundationModels #Playground { let session = LanguageModelSession() let imagePath = "/path/to/IMG_9632.heic" guard let nsImage = NSImage(contentsOfFile: imagePath), let cgImage = nsImage.cgImage(forProposedRect: nil, context: nil, hints: nil) else { print("画像の読み込みに失敗しました") return } let response = try await session.respond { "これは何？" Attachment(cgImage) } print(response.content) } 実行結果（Xcode）
11. AFM3の進化② ツール：AIが使える道具が増えた 今回追加されたツール iOS 26以前から AIにツールを持た せられる OCR 画像内の文字を、構造化されたテキストとして取り出す バーコード・QRコード読み取り 商品コードや管理番号を取得する 端末内検索 アプリがSpotlightに登録したデータを、AIが検索する 端末内検索はSpotlight登録データを呼べるため、一つの端末が実質RAGのように使える
12. AFM3の進化③ 呼び先のモデルを選べるように 端末内 AFM Private Cloud Compute Claude / Gemini API キーや契約は不要 Appleのサーバで実行 APIキーと契約は自前で用意 通信なしでも動く 要件を満たせば無料で使え る iPhone上で完結 他社モデルを呼び出せる Googleのデータセンターで も、Appleのセキュリティ品質 を保って利用可能に ※ 他社モデルはPCC上では動かず、各社のサーバを呼び出します。 ※ PCCの利用には、App Store Small Business Programへの登録、全アプリ合計の初回DL数200万件未満、PCC entitlementの取 得が必要です（記事より）。
13. AFM3の進化④ Evaluationsで品質を測る AI 従来のソフトウェア 入力A → B のときも、C のときもあ る 入力A → 出力B（いつも同じ） Evaluations：多数のサンプルで「期待どおりに振る舞った割合」を測る 1 測定対象 2 データセット 3 測定内容 4 集計 5 実行 評価したい機能の呼 び出しを書く 入力と、理想の出力 のペアを用意 何を測るか定義 （例：タグが3〜8 個に収まるか） サンプルごとの結果 を平均などで全体傾 向にまとめる Swift Testingから 実行し、合格ライン をアサート（例： 80%） 従来のテストは「正しいか」を問い、評価は「どれくらいの割合で正しいか」を問う
14. コードで測れないものは、AIに採点させる ジャッジを信頼するための注意点 ① コードで測る（定量評価） タグ数や形式など、ルールで判定できるもの ▪ スコアより根拠を読む（基準の解釈が人間とずれ ることがある） ▪ 段階は偶数にする（奇数だと中立を選びがちにな る） ② モデルジャッジ（定性評価） 採点基準を言葉で書き、別のAIに採点させる 例：書評から作ったタグの関連性を、4〜1の 段階で評価 ▪ ジャッジは生成側と同等以上のモデルを使う（デ モでは生成＝端末内、ジャッジ＝PCCの高性能モ デル） ▪ 人間の評価とのズレ（ドリフト）を継続的に監 視。一致度はコーエンのカッパ係数で確認（セッ ションでは0.6超が合格ライン） 出典：Book Trackerアプリの例（dev.classmethod.jp/articles/afm3-evaluations/）
15. 03 これからどうなる？
16. これから：サーバ頼りだったAI処理が端末内で完結する サーバの料金 セキュリティ 通信環境 従量課金から解放 外部送信の懸念から解 放 電波の状況から解放 処理はユーザーのiPhoneが行 う 地下・高所・機内でも動く データが端末の外に出ない 簡単な画像処理や会話の要約などは、サーバを経由する必要がなくなる
17. これから：AIは「ハードの機能」と同じ存在になる カメラ Bluetooth AI（端末内モデル） どれも、アプリから「呼び出す機能」 これからのエンジニアは、AIという「ハードの機能」に対して 評価軸・実装方法・企画 を考えていく必要があります
18. ただし、まだ時差がある ▪ Apple端末でも、AI機能が使える対応端末 には限りがある ▪ Gemini Intelligenceも似たことができる が、対応端末は限られるでしょう（後続で 阿部さんが発表） ▪ 標準化はまだ先だが、じわじわ進み、アプ リの作り方は変わっていく 今 対応端末で先行して使える段階 あと2年くらい（予測） じわじわ標準化が進む 標準化後 アプリの作り方が変わる
19. クラスメソッドも、ブログを書き始めています 技術編 業界編 全体像：アプリづくりは何が変わるのか AFM 3 の5つのモデルと対応端末 画像をプロンプトに添付する ツール（OCR・バーコード・端末内検索） Private Cloud Compute とは何か Evaluationsで品質を測る iPhoneの中でAIが動くと、業界の何が変わるか 店舗スタッフに「毎回使っていいAI」を配る 建設現場の写真を日報にする 飲食チェーンの衛生記録を撮るだけで済ませる 処方箋を撮って送る（薬局のアプリ設計） 事前チェックインで宿泊者が名簿を埋める 連載目次：dev.classmethod.jp/articles/afm3-index/ このテーマを一緒に形にする仲間を募集しています。 興味のある方は、会場でお気軽にお声がけください。
20. まとめ 1 AFM3で、AIは「見て・読んで・探して・判断する」段階へ広がった 2 オンデバイス化で、サーバ料金・セキュリティ・通信の制約から解放され ていく 3 AIの品質は、Evaluationsで「割合」として測る 4 AIは「ハードの機能」。評価軸・実装方法・企画を考えるエンジニアへ 参考：dev.classmethod.jp/articles/afm3-introduction/ ／ dev.classmethod.jp/articles/afm3-evaluations/
21. ご清聴ありがとうございました #devio2026