Slide 1

Slide 1 text

#devio2026 Apple Intelligenceと オンデバイス時代の到来 Yahiro(リテールアプリ共創部)

Slide 2

Slide 2 text

はじめに Apple Intelligence、正直「いつまでもbeta」で「なにこれ?」と 思っている方も多いと思います。 ■ AFM(Apple Foundation Models)は、実はiOS 26以前から存在していまし た ■ WWDC26で、Appleは AFM3 を発表 ■ 今日は、その進化の内容と「これからアプリがどうなるか」をお話しします

Slide 3

Slide 3 text

これなんなん? Apple Intelligence と Siri iPhone、アプリ、Siriに深く統合され た、パーソナルインテリジェンスシステ ムです。 設定アプリでオン/オフを切り替えら れ、まだ「ベータ」表記です。 この機能の裏側で動いているモデルが、 AFM(Apple Foundation Models)で す。

Slide 4

Slide 4 text

01 そもそもオンデバイスとは

Slide 5

Slide 5 text

オンデバイスとは:AIモデルが手元のiPhoneで動く ■ 読んで字のごとく、AIのモデルが手 元のiPhoneで動くようになりまし た。 ■ 近年のiPhoneの進化は「なんか微 妙」と感じる方も多いかもしれませ ん。 ■ デバイス内で扱えるトークン量は、 AFMの進化とともに見ていく必要が あります。 Apple公式の公開値(1セッションあたり) 4,096 トークン 入力と応答で、この上限を共有 Core Advanced 対応機種は 8,192 機種別は次のスライドの表

Slide 6

Slide 6 text

機種別のコンテキスト量(1セッション) 端末(Apple Intelligence対応) コンテキスト量 根拠 Core Advanced 非対応:iPhone 15 Pro / 16 系 4,096 トークン WWDC26 セッション8121 (Apple公式) Core Advanced 対応:iPhone Air / 17 Pro / 17 Pro Max 8,192 トークン 記事(著者が確認) PCC(対応端末共通) 32,000 トークン WWDC26 セッション241 / 8121(Apple公式) ※ コンテキスト量は Core Advanced に対応しているかで決まる(モデル variant による違い)。 ※ PCC は記事では 32,768 トークンと記載。

Slide 7

Slide 7 text

Apple Intelligenceは、数行で呼び出せる import FoundationModels let session = LanguageModelSession() let response = try await session.respond(to: "今日の運勢を吉か凶で教えて") print(response.content) 実行結果(Xcode) ※ 記事の実行例の画面です APIキー不要 既定は端末内で動く 対応端末が前提 契約もキーも要りません 既定のモデルは端末内で動作 availabilityで対応状況を確認

Slide 8

Slide 8 text

02 AFM3の4つの進化

Slide 9

Slide 9 text

AFM3の進化① 見る:画像をAIが認識できるように これまで AFM3 テキストの入力だけが、AI処理の対象 写真をプロンプトに添えて質問できる 文字だけ 画像もAI処理 // 画像を添付して質問する(レシートの例) let image = NSImage(contentsOfFile: "/path/to/receipt.heic")! let cgImage = image.cgImage(forProposedRect: nil, context: nil, hints: nil)! let session = LanguageModelSession() let response = try await session.respond { "このレシートの合計金額を教えて" Attachment(cgImage) } print(response.content) 例:レシート・棚札・図面・現場写真 / 画像は端末の外に出ない(オンデバイス処理)

Slide 10

Slide 10 text

AFM3の進化① 見る:おみくじの画像で試す コード(記事より) import AppKit import Playgrounds import FoundationModels #Playground { let session = LanguageModelSession() let imagePath = "/path/to/IMG_9632.heic" guard let nsImage = NSImage(contentsOfFile: imagePath), let cgImage = nsImage.cgImage(forProposedRect: nil, context: nil, hints: nil) else { print("画像の読み込みに失敗しました") return } let response = try await session.respond { "これは何?" Attachment(cgImage) } print(response.content) } 実行結果(Xcode)

Slide 11

Slide 11 text

AFM3の進化② ツール:AIが使える道具が増えた 今回追加されたツール iOS 26以前から AIにツールを持た せられる OCR 画像内の文字を、構造化されたテキストとして取り出す バーコード・QRコード読み取り 商品コードや管理番号を取得する 端末内検索 アプリがSpotlightに登録したデータを、AIが検索する 端末内検索はSpotlight登録データを呼べるため、一つの端末が実質RAGのように使える

Slide 12

Slide 12 text

AFM3の進化③ 呼び先のモデルを選べるように 端末内 AFM Private Cloud Compute Claude / Gemini API キーや契約は不要 Appleのサーバで実行 APIキーと契約は自前で用意 通信なしでも動く 要件を満たせば無料で使え る iPhone上で完結 他社モデルを呼び出せる Googleのデータセンターで も、Appleのセキュリティ品質 を保って利用可能に ※ 他社モデルはPCC上では動かず、各社のサーバを呼び出します。 ※ PCCの利用には、App Store Small Business Programへの登録、全アプリ合計の初回DL数200万件未満、PCC entitlementの取 得が必要です(記事より)。

Slide 13

Slide 13 text

AFM3の進化④ Evaluationsで品質を測る AI 従来のソフトウェア 入力A → B のときも、C のときもあ る 入力A → 出力B(いつも同じ) Evaluations:多数のサンプルで「期待どおりに振る舞った割合」を測る 1 測定対象 2 データセット 3 測定内容 4 集計 5 実行 評価したい機能の呼 び出しを書く 入力と、理想の出力 のペアを用意 何を測るか定義 (例:タグが3〜8 個に収まるか) サンプルごとの結果 を平均などで全体傾 向にまとめる Swift Testingから 実行し、合格ライン をアサート(例: 80%) 従来のテストは「正しいか」を問い、評価は「どれくらいの割合で正しいか」を問う

Slide 14

Slide 14 text

コードで測れないものは、AIに採点させる ジャッジを信頼するための注意点 ① コードで測る(定量評価) タグ数や形式など、ルールで判定できるもの ■ スコアより根拠を読む(基準の解釈が人間とずれ ることがある) ■ 段階は偶数にする(奇数だと中立を選びがちにな る) ② モデルジャッジ(定性評価) 採点基準を言葉で書き、別のAIに採点させる 例:書評から作ったタグの関連性を、4〜1の 段階で評価 ■ ジャッジは生成側と同等以上のモデルを使う(デ モでは生成=端末内、ジャッジ=PCCの高性能モ デル) ■ 人間の評価とのズレ(ドリフト)を継続的に監 視。一致度はコーエンのカッパ係数で確認(セッ ションでは0.6超が合格ライン) 出典:Book Trackerアプリの例(dev.classmethod.jp/articles/afm3-evaluations/)

Slide 15

Slide 15 text

03 これからどうなる?

Slide 16

Slide 16 text

これから:サーバ頼りだったAI処理が端末内で完結する サーバの料金 セキュリティ 通信環境 従量課金から解放 外部送信の懸念から解 放 電波の状況から解放 処理はユーザーのiPhoneが行 う 地下・高所・機内でも動く データが端末の外に出ない 簡単な画像処理や会話の要約などは、サーバを経由する必要がなくなる

Slide 17

Slide 17 text

これから:AIは「ハードの機能」と同じ存在になる カメラ Bluetooth AI(端末内モデル) どれも、アプリから「呼び出す機能」 これからのエンジニアは、AIという「ハードの機能」に対して 評価軸・実装方法・企画 を考えていく必要があります

Slide 18

Slide 18 text

ただし、まだ時差がある ■ Apple端末でも、AI機能が使える対応端末 には限りがある ■ Gemini Intelligenceも似たことができる が、対応端末は限られるでしょう(後続で 阿部さんが発表) ■ 標準化はまだ先だが、じわじわ進み、アプ リの作り方は変わっていく 今 対応端末で先行して使える段階 あと2年くらい(予測) じわじわ標準化が進む 標準化後 アプリの作り方が変わる

Slide 19

Slide 19 text

クラスメソッドも、ブログを書き始めています 技術編 業界編 全体像:アプリづくりは何が変わるのか AFM 3 の5つのモデルと対応端末 画像をプロンプトに添付する ツール(OCR・バーコード・端末内検索) Private Cloud Compute とは何か Evaluationsで品質を測る iPhoneの中でAIが動くと、業界の何が変わるか 店舗スタッフに「毎回使っていいAI」を配る 建設現場の写真を日報にする 飲食チェーンの衛生記録を撮るだけで済ませる 処方箋を撮って送る(薬局のアプリ設計) 事前チェックインで宿泊者が名簿を埋める 連載目次:dev.classmethod.jp/articles/afm3-index/ このテーマを一緒に形にする仲間を募集しています。 興味のある方は、会場でお気軽にお声がけください。

Slide 20

Slide 20 text

まとめ 1 AFM3で、AIは「見て・読んで・探して・判断する」段階へ広がった 2 オンデバイス化で、サーバ料金・セキュリティ・通信の制約から解放され ていく 3 AIの品質は、Evaluationsで「割合」として測る 4 AIは「ハードの機能」。評価軸・実装方法・企画を考えるエンジニアへ 参考:dev.classmethod.jp/articles/afm3-introduction/ / dev.classmethod.jp/articles/afm3-evaluations/

Slide 21

Slide 21 text

ご清聴ありがとうございました #devio2026