Androidifyで学ぶGeminiAPI

Transcript

1. Androidifyで学ぶGemini API 2025/11/18 Sansan×DMM.com Android Tech Talk#2 合同会社DMM.com 柴田大輝 1
2. 自己紹介 所属：iOS版ブックスアプリ開発チー ム 去年末まではAndroid版ブックスアプ リの開発従事 推しの漫画は「宝石の国」 2
3. テーマ Androidifyアプリの主要技術を通してGeminiAPIの使い方を見る 3
4. Androidifyとは ユーザのインプットに対して、 パーソナライズされたDroid君を 出力するアプリ Google提供リファレンスアプリ GooglePlayStore/Webで公開 GitHubでソース公開 最初のリリース Google I/O 16で発表 Web版は2025年現在も残っ ている 4
5. 最近のアップデートでAIモデルによる生成に対応 5
7. 今日お話しするところ Firebase AI Logic SDKを介したGemini APIの使用 インプットの画像とテキストをどのようにモデルに渡しているのか モデルから生成した画像の受け取り方 そのほかTips お話ししないところ 画面アニメーションや画面構成 FirebaseProjectのセットアップ 7
8. 本題 Androidifyを実現している画像生成のフローについて オンデバイスのモデルではなく、サーバロジックに基本処理を集約している Firebase AI Logic SDKを使っている Vertex AI in Firebaseをリネームし再パッケージ化されたもの Firebaseが提供している各種のサービスと連携できる 8
9. Geminiモデルの生成 9
10. モデルの生成パターン Geminiモデルの生成は2つのAPIプロバイダ経由で取得 Gemini Developer API val model = Firebase.ai(backend = GenerativeBackend.googleAI()) .generativeModel("gemini-2.5-flash") Vertex AI Gemini API val model = Firebase.ai(backend = GenerativeBackend.vertexAI()) .generativeModel("gemini-2.5-flash") 10
11. モデルの生成パターン (Imagenの場合) Geminiモデル同様に2つのAPIプロバイダ経由で取得 Gemini Developer API val ai = Firebase.ai(backend = GenerativeBackend.googleAI()) 　　　　　　　　　　　　　　　.imagenModel("imagen-4.0-generate-001") Vertex AI Gemini API val ai = Firebase.ai(backend = GenerativeBackend.vertexAI()) 　　　　　　　　　　　　　　　.imagenModel("imagen-4.0-generate-001") 11
12. Androidifyの入力から出力までのフロー 1.入力：ユーザーの入力をテキストもしくは画像で入力 2.処理：Gemini APIにより解析とデータの生成 3.出力：レスポンスに含まれる画像をBitmap取得 12
13. 入力の詳細 モデルの種類 テキストプロンプトに対応するモデル テキストに加えて画像にも対応できるモデル 複数種類の入力に対応するモデル = マルチモーダルモデル 入力の種類はテキスト・音声・画像・動画が含まれる Androidifyはユーザの入力をテキストと画像で受け付けが可能 → ユースケースに応じてモデルの使い分けを行なっている 今回は画像の生成に対応したImagenModelの生成を見ていきます 13
14. GeminiAPIへのリクエスト準備 モデル名・SafetySettingsを指定 ImagenSafetySettings(後述)で生成を許可する画像の閾値を設定 private fun createGenerativeImageModel(): ImagenModel { return Firebase.ai(backend = GenerativeBackend.vertexAI()).imagenModel( remoteConfigDataSource.imageModelName(), safetySettings = ImagenSafetySettings( safetyFilterLevel = ImagenSafetyFilterLevel.BLOCK_LOW_AND_ABOVE, personFilterLevel = ImagenPersonFilterLevel.ALLOW_ADULT, ), ) } 14
15. 画像の生成 private suspend fun executeImageGeneration( generativeModel: ImagenModel, prompt: String, ): Bitmap { val response = generativeModel.generateImages(prompt) return response.images.first().asBitmap() } 15
16. プロンプトの生成 override suspend fun generateImageFromPromptAndSkinTone( prompt: String, skinTone: String, ): Bitmap { val basePromptTemplate = remoteConfigDataSource.promptImageGenerationWithSkinTone() val imageGenerationPrompt = basePromptTemplate .replace("{prompt}", prompt) .replace("{skinTone}", skinTone) if (remoteConfigDataSource.useImagen()) { val generativeModel = createGenerativeImageModel() return executeImageGeneration( generativeModel, imageGenerationPrompt, ) (以下省略) 16
17. skinToneの取得はアプリでユーザが選択した色をそのまま渡しているだけ promptはGeminiNanoで画像の解釈を行い概要テキストの抽出を行なったものを渡して いる val generatedImageDescription = downloader.generativeModel.generateContent( generateContentRequest( ImagePart(image), TextPart(remoteConfigDataSource.promptImageDescriptionNano()), ) { temperature = 0.2f }, ) 17
18. 画像の生成 private suspend fun executeImageGeneration( generativeModel: ImagenModel, prompt: String, ): Bitmap { val response = generativeModel.generateImages(prompt) return response.images.first().asBitmap() } 18
19. レスポンスから画像を抽出 レスポンスがImagenGenerationResponseの型で返却される public class ImagenGenerationResponse<T> internal constructor(public val images: List<T>, public val filteredReason: String?) 生成したimageパラメータの配列で返却されるので、Androidifyでは配列の一つ目を表 示 response.images.first().asBitmap() 19
20. 生成したアバター 20
21. Androidifyのサマリ AndroidifyのAI機能は、アプリ内のモデルを使うわけではなくFirebase AI Logic SDKに統括している Firebaseを介すことで、Gemini APIを安全かつスケーラブルに利用することが可能 GeminiAPIのみならず、他のFirebaseサービスと連携することでより柔軟で強固な アプリをスピーディにユーザに届けることができる といったアプリのベストプラクティスが詰まったアプリでした 21
22. その他のTips 良いなと思った点 22
23. モデルの切り替え 実行時の構成変更をRemoteConfigで実現している アプリ内で使うモデルはリリース後にも変更したい お金の問題で良いモデルと通常モデルを割合決めて使い分けたい RemoteConfigでモデル名を文字列指定することで、スケールのアップ・ダウンを可能 にしている → モデル名は今後もバンバン変えていくよというGoogleからのメッセージでもあるの で、この仕組みに載せないと大変な思いはしそう 23
24. セキュリティ Firebase AI Logicに統合されているFirebase App Checkによる正規リクエストの精査 本番環境アプリと検証済みデバイスからのリクエストのみがバックエンドに渡される ようにする → クライアント・バックエンドのどちらの目線でも恩恵がある。統合されているので 導入のハードルは低いが、導入時の影響範囲として確認する必要はある。 https://firebase.google.com/docs/ai-logic/app-check?hl=ja&api=dev 24
25. ユーザごとのレート制限 ユーザーごとでリクエスト上限を設定することができるので、使いすぎないよう安心 設定 デフォルト設定ではユーザーごとのリクエスト上限を 1分あたり 100件のリクエストの 制限 → 課金プランによってデフォルトが決まっている。また、ユーザごとだけではなくモ デルごとの上限設定も可能。 https://firebase.google.com/docs/ai-logic/quotas?hl=ja&api=dev 25
26. 生成物の細かい指定 出力に対して柔軟な制限が可能 有害なものとして暴力的・性的・蔑称などを阻止したり、 人の顔の生成を無効にしたりなど細かく指定することができる。 https://cloud.google.com/vertex-ai/generative-ai/docs/image/responsible-ai-imagen? hl=ja#config-safety-filters コード上で実現するには、GenerativeModelを生成する際にSafetySettingを指定する 26
27. テキスト生成時の細かい指定 Firebase.ai((省略), safetySettings = listOf( SafetySetting(HarmCategory.HARASSMENT, HarmBlockThreshold.LOW_AND_ABOVE), SafetySetting(HarmCategory.HATE_SPEECH, HarmBlockThreshold.LOW_AND_ABOVE), SafetySetting(HarmCategory.SEXUALLY_EXPLICIT, HarmBlockThreshold.LOW_AND_ABOVE), SafetySetting(HarmCategory.DANGEROUS_CONTENT, HarmBlockThreshold.LOW_AND_ABOVE), SafetySetting(HarmCategory.CIVIC_INTEGRITY, HarmBlockThreshold.LOW_AND_ABOVE), ), ) 指定したい属性(HarmCategory)とそれに対する閾値(HarmBlockThreshold)を指定するこ とで細かく制御 27
28. 指定時に使用するクラス public SafetySetting( @NonNull HarmCategory harmCategory, @NonNull HarmBlockThreshold threshold, HarmBlockMethod method ) 28
29. HarmCategory HARASSMENT : ハラスメント コンテンツ。 HATE_SPEECH : ヘイトスピーチとコンテンツ。 SEXUALLY_EXPLICIT : 性的描写が露骨なコンテンツ。 DANGEROUS_CONTENT : 危険なコンテンツ。 CIVIC_INTEGRITY : 市民の誠実性を損なう可能性があるコンテンツ。 ※ 非推奨: 代 わりに enableEnhancedCivicAnswers を使用 指定可能な定義一覧 https://ai.google.dev/api/generate-content?hl=ja#v1beta.HarmCategory enableEnhancedCivicAnswersはモデルへのカテゴリーではなくConfigで指定が推奨 29
30. HarmBlockThreshold HarmBlockThreshold.LOW_AND_ABOVE : 「NEGLIGIBLE」のコンテンツは許可されま す。 → 日本語向けドキュメントで英語表記でしたが、おそらく直訳的に「無視できるレベ ル」に相当する https://ai.google.dev/api/generate-content?hl=ja#HarmBlockThreshold 30
31. 画像生成時の細かい指定 ImagenModelの場合は、ImagenSafetySettingsを渡します Firebase.ai((省略), safetySettings = ImagenSafetySettings( safetyFilterLevel = ImagenSafetyFilterLevel.BLOCK_LOW_AND_ABOVE, personFilterLevel = ImagenPersonFilterLevel.ALLOW_ADULT, ), ) 31
32. 指定に使用するクラス public class ImagenSafetySettings( internal val safetyFilterLevel: ImagenSafetyFilterLevel, internal val personFilterLevel: ImagenPersonFilterLevel, ) {} ImagenSafetyFilterLevel：暴力的、有害、または不適切なコンテンツをフィルタリング するために使用 ImagenPersonFilterLevel：人物や顔が画像に含まれることを制御するために使用 32
33. Androidifyでの指定 Firebase.ai((省略), safetySettings = ImagenSafetySettings( safetyFilterLevel = ImagenSafetyFilterLevel.BLOCK_LOW_AND_ABOVE, personFilterLevel = ImagenPersonFilterLevel.ALLOW_ADULT, ), ) ImagenSafetyFilterLevel.BLOCK_LOW_AND_ABOVE：最も厳格。最強 ImagenPersonFilterLevel.ALLOW_ADULT：成人向け画像のみを含む画像の生成を許可。 児童の画像は除外。 33
34. さいごに Firebaseを介したGeminiAPIの使用方法について触れました。 小規模アプリをスピーディに提供するなら最初の選択肢に上がりそう、 大規模アプリでもミニマムにプロダクトへ採用してその後スケールさせていくこともで きそう。 34
35. 参考 Gemini API reference https://ai.google.dev/api?hl=ja Androidify https://github.com/android/androidify Firebae AI Logic https://firebase.google.com/products/generative-ai https://firebase.google.com/docs/ai-logic Android-AI https://github.com/android/ai-samples 35
36. 以上、ご清聴ありがとうございました 36