ML Kit Document Scannerを導入してみた

Transcript

1. 池永 健 一 ML Kit Document Scanner を導 入 してみた potatotips # 8 7
2. 自 己 紹介 Androidエンジニア NOT A HOTEL株式会社 物件に宿泊するためのアプリを開発 @pikehachi 池永 健 一
3. やりたいこと 免許証をアップロードしたい 免許証画像 免許証番号と有効期限
4. やりたいこと 免許証画像 カメラで免許証を認識したら 自 動で取り込みたい 免許証番号と有効期限 免許証画像から 自 動で 入力 したい
5. 実現 方 法 免許証画像 カメラで免許証を認識したら 自 動で取り込みたい ？？？ 免許証番号と有効期限 免許証画像から 自 動で 入力 したい ML Kitテキスト認識で可能
6. 技術検証 ライブラリの利 用 CameraX + OpenCVによる矩形認識
7. 技術検証 ライブラリの利 用 免許証認識ライブラリ for Android 定価 600,000円 + 税 CameraX + OpenCVによる矩形認識
8. 技術検証 ライブラリの利 用 CameraX + OpenCVによる矩形認識 実装可能だが、パラメータの調整も含めると作業量が多い 矩形がどの範囲にどの程度の時間留まったら取り込むか 矩形の歪みをどれくらい許容するか
9. ML Kit Document Scanner βリリース 2 0 2 4 / 2 / 2 0
10. 主な機能 ドキュメントを検出して 自 動キャプチャ エッジを検出して 自 動切り抜き ドキュメントの向きを 自 動補正 さらにアプリからカメラへの権限は不要
11. 実装 @Composable fun DriverLicenseImageSelectButton( selectDriverLicenseImage: (Uri) -> Unit, modifier: Modifier = Modifier, ) { val context = LocalContext.current val documentScannerLauncher = rememberLauncherForActivityResult( ActivityResultContracts.StartIntentSenderForResult(), ) { activityResult -> activityResult.getSelectedImage()?.let(selectDriverLicenseImage) } Box( contentAlignment = Alignment.Center, modifier = modifier // Χʔυͷ֎؍Λઃఆ .clickable { documentScannerLauncher.launchDocumentScan(context) } ) { // Χʔυͷத਎Λදࣔ } } private fun ActivityResult.getSelectedImage(): Uri? { // ࡱӨ͞Εͨը૾ΛऔΓग़͢ } private fun ManagedActivityResultLauncher<IntentSenderRequest, ActivityResult>.launchDocumentScan(
 context: Context
 ) { // Document ScannerΛىಈ }
12. 実装 @Composable fun DriverLicenseImageSelectButton( selectDriverLicenseImage: (Uri) -> Unit, modifier: Modifier = Modifier, ) { } private fun ActivityResult.getSelectedImage(): Uri? { if (resultCode != Activity.RESULT_OK) { return null } val result = GmsDocumentScanningResult.fromActivityResultIntent(data) return result?.pages?.firstOrNull()?.imageUri } private fun ManagedActivityResultLauncher<IntentSenderRequest, ActivityResult>.launchDocumentScan(
 context: Context
 ) { // Document ScannerΛىಈ } // …
13. 実装 } private fun ManagedActivityResultLauncher<IntentSenderRequest, ActivityResult>.launchDocumentScan(
 context: Context
 ) { val activity = context.findActivity() ?: return val options = GmsDocumentScannerOptions.Builder() // Χϝϥ͚ͩͰ͸ͳ͘ΪϟϥϦʔ͔Βը૾ͷऔΓࠐΈ͕Ͱ͖Δ .setGalleryImportAllowed(true) // ෳ਺ϖʔδΛอଘ͢Δ͜ͱ͕Ͱ͖Δ .setPageLimit(1) // JPEGͷଞʹPDFͰͷอଘ͕Ͱ͖Δ .setResultFormats(GmsDocumentScannerOptions.RESULT_FORMAT_JPEG) // औΓࠐΜͩը૾ʹར༻͢ΔฤूػೳΛબ୒͢Δʢޙड़ʣ .setScannerMode(GmsDocumentScannerOptions.SCANNER_MODE_BASE) .build() val scanner = GmsDocumentScanning.getClient(options) scanner.getStartScanIntent(activity).addOnSuccessListener { intentSender -> this.launch(IntentSenderRequest.Builder(intentSender).build()) } } @Composable fun DriverLicenseImageSelectButton( selectDriverLicenseImage: (Uri) -> Unit, modifier: Modifier = Modifier, ) { } private fun ActivityResult.getSelectedImage(): Uri? { // … // …
14. デモ Document Scanner Document Scanner ΞϓϦUI
15. ScannerMode 切り抜きと回転 (BASE) フィルタ (BASE or FILTER) グレースケール、 自 動画像補正など 汚れ除去 (BASE or FILTER or FULL) 汚れ、影や指の消去など
16. PlayServices 非 対応時の処理 地域や端末によりPlayServicesが 非 対応時 Photo Pickerにフォールバック
17. まとめ ML Kit Document Scannerはカード類の読み込みに使える
18. おわり