[Droid.Kaigi]Android = 沖縄 * ビーチ

DroidKaigi.collectで発表したandroidアプリです
ビーチに似合う判定をするアプリです
https://droidkaigi.connpass.com/event/322947/

Transcript

1. Android = 沖縄 * ビーチ https://droidkaigi.connpass.com/event/322947/ DroidKaigi.collect
2. ところで ビーチは何する場所？
3. 滋賀県民にとって琵琶湖で 泳がないのと一緒か〜 沖縄人:ビーチとは BBQする場所(個人調べ)
4. そこで、こういうアプリを作りました 言語: Kotlin 期間:2024/8/11~8/17 (個人開発) API: OpenAI GPT4Vision
5. 目次 1. 背景 2. 実装 3. 結果 4. 展望 リポジトリンク↑ ちなみにBBQでは、 お酒は一人５缶 + ビールサーバ 用意
6. 背景 ビーチパーティの幹事になりました。 面白いことしたいと思って企画を考えました。
7. どうやって作ったか ChatGPTにひたすら質問する by 私 最初の質問 エラーが出た時 機能追加したい時
8. どうやって作ったか このアプリの作成手順をまとめると、次のようになります。 1. 新規プロジェクトの作成 2. 必要な依存関係の追加(openai-client, ktor-client-okhttp) 3. APIキーの設定(local.properties) 4. UIの作成(xmlファイル) 5. コードの実装(ktファイル) 6. アプリのビルドと実行 https://github.com/tyukei/BeachPartyCamera
9. 画像認識部分のコード private fun sendImageToOpenAI(base64: String) { val openAI = OpenAI(token = apiKey) val request = ChatCompletionRequest( model = ModelId("gpt-4-vision-preview"), messages = listOf(ChatMessage( role = ChatRole.User, messageContent = ListContent( listOf(TextPart(text = "画像に100点満点 で点数を付けてください。「クレイジー」、「沖縄感」、「老 若男女に愛される」、「ジェンダーレスの美らの四つで それぞれの配点は25点\n。例:60\nクレイジー:20\n沖 縄感:10\n老若男女に愛される:20\nジェンダーレスの 美ら:10\nA:" ), ImagePart( imageUrl = ImagePart.ImageURL(url = "data:image/jpeg;base64,$base64")))))),) CoroutineScope(Dispatchers.IO).launch { try { resultTextView.text = "評価中。。。。" val result = openAI.chatCompletion(request) val content = result.choices.firstOrNull()?.message?.content withContext(Dispatchers.Main) { val bitmap = (imageView.drawable as BitmapDrawable).bitmap if (content != null) { saveResult(bitmap, content) } resultTextView.text = content ?: "結果がありません " findViewById<Button>(R.id.uploadButton).visibility = View.GONE findViewById<Button>(R.id.cameraButton).visibility = View.GONE deleteButton.visibility = View.VISIBLE } } catch (e: Exception) { withContext(Dispatchers.Main) { resultTextView.text = "エラーが発生しました : ${e.message}"} } }}
10. 画面遷移図
11. 工夫したポイント UI - サイドバーの実装 - 新規ボタン - オーシャンブルー Roomのデータベース
12. やってみた結果 - 盛り上がった(はず) - 写真と一石二鳥
13. やってみた結果と今後 - ほとんどが85点だった - 赤ちゃんが泣いても笑っても 85点 - 人が映ってなくても85点 - プロンプトがよくなかった - プロンプト修正必要 - プロンプトインジェクション！！！ - プロンプト修正(教えてください) - 人間を評価できない時がある。。。。 - ポリシーが原因？(教えてください) - プロンプトをUIで変更できるように - Google Playで配布したい！(APIの取り扱い)
14. ところであなた誰？ この４月に新卒で沖縄に移住(ちゅらデータ) データエンジニア(データ構築基盤)をしている 大学2年生の時シリコンバレーでAndroidのQAエンジニア( ３ヶ月) 趣味で高齢者フィットネスアプリ(firebase, GCS), 神社脱出ゲーム(unity) 沖縄来たばかりなので、いいところ教えてください！