Slide 1

Slide 1 text

Small language models with Google AI Edge Google I/O 2025 報告LT会 2025/7/10 臼井 篤志 https://youtu.be/xLmJJk1gbuE?si=PVCKeVKRERiEcI65

Slide 2

Slide 2 text

Google AI Edgeとは? カスタム言語モデルを いろいろなプラットフォームのデバイスに デプロイして実行する仕組み、SDK、ツール群

Slide 3

Slide 3 text

Google AI Edge = Gemini Nano ? • いいえ • Gemini Nanoは、Google AI Edge SDKがAndroidデバイス において利用できる言語モデ ルのうちの一つ https://developer.android.com/ai/gemini-nano/ai-edge-sdk

Slide 4

Slide 4 text

Google AI Edgeの何が良いの? • ローカルで動くので、早い、安い、安全、オフラインで動く • クロスプラットフォーム(Android/iOS/Web/組み込み)で動 く • 高レベルAPIで簡単に使うこともできるし、低レベルAPIで動作 をカスタマイズすることもできる • より軽量に、より速く動作するようになってきている • AI Edge Portalで、様々なデバイスでの動作確認ができる

Slide 5

Slide 5 text

クロスプラットフォーム • Android/iOS/Web/組み込みで動作する • 言語モデルを各プラットフォーム用のSDK経由で呼び出す • 例えばiOS用にはSwiftのSDKが用意されている • モデルはビルド時に組み込むこともできるし、実行時にダウンロード することもできる • APIリファレンス • https://ai.google.dev/edge/api?hl=ja

Slide 6

Slide 6 text

利用できる言語モデル • カスタマイズ済みのもの を入手できる • https://www.kaggle.co m/models?framework=t fLite • https://huggingface.co/ models?library=tf • 自分でカスタマイズする こともできる

Slide 7

Slide 7 text

いろいろなレベルのAPI • MediaPipe Tasks • 高レベル • 少ないコードでテキスト・画像・音声の生成や分類 などを行う • MediaPipe Framework • 中レベル • 複数のモデルと前処理や後処理を組み合わせたパイ プラインを構築できる • LiteRT • 低レベル • 言語モデルをクロスプラットフォームで動作させる ためのランタイム • ほかにもいろいろある • RAGとかも実装できる https://youtu.be/xLmJJk1gbuE?t=110

Slide 8

Slide 8 text

MediaPipe Tasksのサンプル • https://github.com/google-ai- edge/mediapipe- samples/tree/main/examples

Slide 9

Slide 9 text

動かしてみた(face_detector) • モデルファイル(.tffile)はビルド時にGradle タスクによってダウンロードされ、assetsと してアプリに組み込まれる • tffileのサイズは230kB

Slide 10

Slide 10 text

動かしてみた(llm_interface) • モデルファイルは実行時にダウン ロードする • Gemma • エラーが出てダウンロードできなかっ た • DeepSeek • ダウンロードできた • モデルサイズは1.7GB • 結果は残念

Slide 11

Slide 11 text

感想 • 特定の目的に特化したAIをアプリに組み込む手段として、とて も可能性を感じた • iOSとAndroidで同じ機能を提供しやすそう • モデルサイズも小さいのでアプリに組み込んでも問題なさそう • 汎用的なチャットなどの用途で利用するのはまだ難しそう