WebADBを使用したAndroid専用端末化への自動キッティング手法

© GO Inc. タクシー乗務員が使用する乗務員端末とは？ 7 • Android端末で、Androidアプリが動作している • 特定の機能に特化した業務専用端末と
なっている ◦ ホーム画面に戻れない ◦ アプリの更新を管理できる ◦ スーパーのPOSレジや飲食店のオーダーシステムのタブレットなども業務専用端末のひとつ

© GO Inc. Index 1. キッティングとは？ 2. キッティングの自動化 3. Webアプリ化
4. まとめ 5. 番外編 18

4. まとめ 5. 番外編 19

4. まとめ 5. 番外編 20

4. まとめ 5. 番外編 21

4. まとめ 5. 番外編 22

4. まとめ 5. 番外編 23

© GO Inc. • Android端末を特定の機能に特化した端末にするためのセットアップ • 端末の設定のカスタマイズ • アプリのインストール •
インストールしたアプリの設定キッティングとは？ 24

© GO Inc. • Android端末を特定の機能に特化した端末にするためのセットアップ • 端末の設定のカスタマイズ ◦ 画面消灯時間の変更 ◦
画面回転の無効化 ◦ Wi-Fi / SIM 接続設定 • アプリのインストール • インストールしたアプリの設定キッティングとは？ 25

© GO Inc. • Android端末を特定の機能に特化した端末にするためのセットアップ • 端末の設定のカスタマイズ • アプリのインストール ◦
Google Play ストアに公開されていないものもある ◦ 機能ごとにアプリが分かれていて複数存在することもある • インストールしたアプリの設定キッティングとは？ 29

Google Play ストアに公開されていないものもある ◦ 機能ごとにアプリが分かれていて複数存在することもある ▪ 製品本体のアプリ ▪ DeviceOwner権限を取るためのアプリ ▪ アプリを更新するためのアプリ • インストールしたアプリの設定キッティングとは？ 32

インストールしたアプリの設定 ◦ 権限の付与 ◦ データの登録キッティングとは？ 35

© GO Inc. • Android Debug Bridge（adb）を使いコマンドを打ってインストールや設定を行う •
adbでできないものは人が手で操作する乗務員端末の手動でのキッティング実例（概要） 39

adbでできないものは人が手で操作する • 非エンジニアも同じ手順で行っている乗務員端末の手動でのキッティング実例（概要） 42

© GO Inc. 乗務員端末の手動でのキッティング実例 43 $ adb shell pm uninstall
-k --user 0 com.sample.x $ adb shell pm uninstall -k --user 0 com.sample.y 1. 電源管理をしているような業務アプリには不要な挙動をとるアプリを無効化にする

© GO Inc. 乗務員端末の手動でのキッティング実例 44 $ adb shell install com.sample.a
$ adb shell install com.sample.b 2. GoogleドライブからアプリA、アプリBのAPKをダウンロードしてインストール

© GO Inc. 乗務員端末の手動でのキッティング実例 45 $ adb shell am start
-a android.settings.ACTION_NOTIFICATION_LISTENER_SETTINGS 3. Bアプリに通知へのアクセス権付与

© GO Inc. 乗務員端末の手動でのキッティング実例 47 $ adb shell install com.sample.c
$ adb shell install com.sample.d 5. GoogleドライブからアプリC、DのAPKをダウンロードしてインストール

© GO Inc. 乗務員端末の手動でのキッティング実例 48 $ adb shell dpm set-device-owner
com.sample.a.MyDeviceAdminReceiver 6. インストールしたアプリAにデバイスオーナー権限を付与

© GO Inc. 乗務員端末の手動でのキッティング実例 49 $ adb shell install com.sample.e
7. ソースコードからビルドもしくは、DeployGateからアプリEをインストール

© GO Inc. 手動でのキッティングにおける課題 53 • 準備が大変 ◦ adbコマンドを使うため環境構築が必要 ◦
APKの入手 ▪ dev / staging / prodのような環境ごとに存在している ▪ 複数のAPKによるバージョンの依存関係 • 非エンジニアもコマンドを実行しなければいけない ◦ 手順書通りに実行するだけのため成功したか分からず次に進む ◦ 複雑になる程ヒューマンエラーが発生し手戻りが発生する

APKの入手 ▪ dev / staging / prodのような環境ごとに存在している ▪ 複数のAPKによるバージョンの依存関係 • 非エンジニアもコマンドを実行しなければいけない ◦ 手順書通りに実行するだけのため成功したか分からず次に進む ◦ 複雑になる程ヒューマンエラーが発生し手戻りが発生する 1時間以上かかる

4. まとめ 5. 番外編 62

© GO Inc. キッティングツール作成 (ver.0.1) # apkのインストール adb install sample.apk
# 「ユーザー補助」の設定画面を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS 72

# 「ユーザー補助」の設定画面を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS 73 Activity Managerを使ってアクティビティを起動するコマンド

# 「ユーザー補助」の設定画面を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS 74 起動するアクティビティのアクションを指定

# 「ユーザー補助」の設定画面を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS 75

© GO Inc. キッティングツール作成 (ver.0.1) # 「表示サイズとテキスト」を開く adb shell input
touchscreen tap 500 1200 77

touchscreen tap 500 1200 78 入力イベントを生成するためのコマンド

touchscreen tap 500 1200 79 タッチスクリーンのタップイベントを指定

touchscreen tap 500 1200 80 タップする座標 x:500px, y:1200px の位置をタップ

touchscreen tap 500 1200 81

© GO Inc. キッティングツール作成 (ver.0.1) # フォントサイズの「+」をタップ adb shell input
touchscreen tap 1000 1650 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 83

© GO Inc. キッティングツール作成 (ver.0.1) - 全体 # apkのインストール adb
install sample.apk # 「ユーザー補助」の設定画面を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS # 「表示サイズとテキスト」を開く adb shell input touchscreen tap 500 1200 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 84

# 「ユーザー補助」の設定画面を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS # 少し待つ sleep 3 89

# 「ユーザー補助」の設定画面を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS # 少し待つ sleep 3 90 画面が開き終わる前に次のコマンドが実行されるので少し待つ

touchscreen tap 500 1200 # 少し待つ sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 # 少し待つ sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 91

touchscreen tap 500 1200 # 少し待つ sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 # 少し待つ sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 92 3秒待つ 3秒待つ

# 「ユーザー補助」の設定画面を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS # 少し待つ sleep 3 97

touchscreen tap 500 1200 # 少し待つ sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 # 少し待つ sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1700 98

touchscreen tap 500 1200 # 少し待つ sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 # 少し待つ sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1700 99 1回目より少し下をタップ

© GO Inc. キッティングツール作成 (ver.1.0) ## 接続 # 念の為adbを再起動しておく adb
kill-server adb start-server # 端末が接続されるのを待つ adb wait-for-device 103

© GO Inc. キッティングツール作成 (ver.1.0) ## 接続 # 念の為adbを再起動しておく adb
kill-server adb start-server # 端末が接続されるのを待つ adb wait-for-device 104 adbサーバーが不安定な状態や、デバイスが認識されない場合を考慮して再起動しておく

© GO Inc. キッティングツール作成 (ver.1.0) - 接続 ## 接続 #
念の為adbを再起動しておく adb kill-server adb start-server # 端末が接続されるのを待つ adb wait-for-device 105 USB接続が認識されるまで待機しておけるので、先にツールを起動しておくことが可能

© GO Inc. キッティングツール作成 (ver.1.0) - 事前設定 ## キッティングのための事前設定 #
ディスプレイスリープを無効 adb shell settings put system screen_off_timeout 0 # 画面の自動回転を無効 adb shell settings put system accelerometer_rotation 0 106

ディスプレイスリープを無効 adb shell settings put system screen_off_timeout 0 # 画面の自動回転を無効 adb shell settings put system accelerometer_rotation 0 107 キッティング中に画面OFFになりタッチ出来なくなるのを防ぐ

ディスプレイスリープを無効 adb shell settings put system screen_off_timeout 0 # 画面の自動回転を無効 adb shell settings put system accelerometer_rotation 0 108 ミリ秒指定 1分の場合は 60000

ディスプレイスリープを無効 adb shell settings put system screen_off_timeout 0 # 画面の自動回転を無効 adb shell settings put system accelerometer_rotation 0 109 画面の向きが変わることによってタップ位置が変わるのを防ぐ

ディスプレイスリープを無効 adb shell settings put system screen_off_timeout 0 # 画面の自動回転を無効 adb shell settings put system accelerometer_rotation 0 110 有効にする場合は 1

© GO Inc. キッティングツール作成 (ver.1.0) - インストールと設定 ## キッティング #
アプリのインストール adb install sample.apk # 設定ユーザー補助を開く adb shell am start -a android.settings.ACCESSIBILITY_SETTINGS # 少し待つ sleep 3 111

© GO Inc. キッティングツール作成 (ver.1.0) - インストールと設定 ## キッティング #
「表示サイズとテキスト」を開く adb shell input touchscreen tap 500 1200 sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1650 sleep 3 # フォントサイズの「+」をタップ adb shell input touchscreen tap 1000 1700 sleep 3 112

© GO Inc. キッティングツール作成 (ver.1.0) - 事前設定を戻す ## キッティングのための設定を戻す #
ホーム画面に戻る adb shell input keyevent KEYCODE_HOME # ディスプレイ回転有効 adb shell settings put system accelerometer_rotation 1 # ディスプレイスリープ1分 adb shell settings put system screen_off_timeout 60000 113

ホーム画面に戻る adb shell input keyevent KEYCODE_HOME # ディスプレイ回転有効 adb shell settings put system accelerometer_rotation 1 # ディスプレイスリープ1分 adb shell settings put system screen_off_timeout 60000 114 「表示サイズとテキスト」が開いたままなのでホームに戻す

ホーム画面に戻る adb shell input keyevent KEYCODE_HOME # ディスプレイ回転有効 adb shell settings put system accelerometer_rotation 1 # ディスプレイスリープ1分 adb shell settings put system screen_off_timeout 60000 115 ディスプレイの自動回転を有効にする

ホーム画面に戻る adb shell input keyevent KEYCODE_HOME # ディスプレイ回転有効 adb shell settings put system accelerometer_rotation 1 # ディスプレイスリープ1分 adb shell settings put system screen_off_timeout 60000 116 ディスプレイのスリープを1分にする

© GO Inc. キッティングツール作成 (ver.1.0) - 接続終了 ## 接続終了 #
USBデバッグを無効 adb shell settings put global adb_enabled 0 # 終了 adb kill-server 117

USBデバッグを無効 adb shell settings put global adb_enabled 0 # 終了 adb kill-server 118 USBデバッグを無効にする

USBデバッグを無効 adb shell settings put global adb_enabled 0 # 終了 adb kill-server 119 adbサーバーの終了

APKの入手 ▪ dev / staging / prodのような環境ごとに存在している ▪ 複数のAPKによるバージョンの依存関係 • 非エンジニアもコマンドを実行しなければいけない ◦ 手順書通りに実行するだけのため成功したか分からず次に進む ◦ 複雑になる程ヒューマンエラーが発生し手戻りが発生するシェルスクリプトによるツールで解決できた

APKの入手 ▪ dev / staging / prodのような環境ごとに存在している ▪ 複数のAPKによるバージョンの依存関係 • 非エンジニアもコマンドを実行しなければいけない ◦ 手順書通りに実行するだけのため成功したか分からず次に進む ◦ 複雑になる程ヒューマンエラーが発生し手戻りが発生する adbを実行する環境構築が必要ツールの配布が必要

4. まとめ 5. 番外編 126

© GO Inc. Webアプリ化を実現するには？ 127 • WebADBを利用する • WebADBとは、WebUSB APIを利用してAndroidデバイスとADBプロ
トコルで通信を行う

© GO Inc. Webアプリ化を実現するには？ 128 • WebADBを利用する • WebADBとは、WebUSB APIを利用してAndroidデバイスとADBプロ
トコルで通信を行う

© GO Inc. WebUSB APIとは？ 129 • ウェブブラウザからUSBデバイスにアクセスするためのAPI • ブラウザベースのアプリケーションがUSBデバイスと直接通信で
きる • W3C WebUSB APIに記載がある ◦ https://wicg.github.io/webusb

きる • W3C WebUSB APIに記載がある ◦ https://wicg.github.io/webusb Unofficial Draftの仕様のため変更される可能性がある

© GO Inc. WebUSB APIのブラウザ対応状況 133 図: WebUSB APIのブラウザ対応状況出典:
Can I use, "WebUSB API", https://caniuse.com/webusb, Accessed on September 12, 2024

© GO Inc. WebUSB APIが使える条件 134 出典: W3C, "WebUSB API",
https://wicg.github.io/webusb, Accessed on September 2, 2024.

© GO Inc. WebUSB APIが使える条件 135 許可プロンプトの表示で許可しなければいけない出典: W3C,
"WebUSB API", https://wicg.github.io/webusb, Accessed on September 2, 2024.

© GO Inc. WebUSB APIが使える条件 136 HTTPSで提供されていること ※詳細はSecure Contextsに記載がある https://www.w3.org/TR/secure-contexts/
出典: W3C, "WebUSB API", https://wicg.github.io/webusb, Accessed on September 2, 2024.

© GO Inc. WebUSB APIが使える条件 137 一度にUSBを要求できる実行コンテキストは1つ同時に複数のアプリケーションやプロセスからアクセスできない
出典: W3C, "WebUSB API", https://wicg.github.io/webusb, Accessed on September 2, 2024.

© GO Inc. 実装 139 • Tango（https://github.com/yume-chan/ya-webadb） • TypeScriptで書かれたChromiumベースのブラウザーで動作するADBクライアント
• Android端末がhostでも動作する

© GO Inc. 開発環境例 144 言語 • TypeScript フレームワーク •
Next.js ◦ Client-side Rendering (CSR) ▪ CSRで作ることでサーバーレスにできるクラウドインフラ • Google Cloud Platform

© GO Inc. WebADB - デバイス一覧の取得 # デバイス一覧の取得 const devices:
AdbDaemonDevice[] = await AdbDaemonWebUsbDeviceManager.BROWSER!.getDevices(); 148

© GO Inc. WebADB - Adbインスタンスの作成 # Adbインスタンスの作成 const adb
= new Adb( await AdbDaemonTransport.authenticate({ serial: devices[0].serial, connection: { streams.readable, streams.writable }, credentialStore: new AdbWebCredentialStore(), }) ); 150

© GO Inc. WebADB - アプリインストール # apkを取得してstreamに変換 const response
= await fetch("/apk/sample.apk", { method: "GET" }); const stream = new WrapReadableStream<Uint8Array>( response.body as ReadableStream<Uint8Array> ) # apkのインストール const pm = new PackageManager(adb); await pm.pushAndInstallStream(stream); 151

© GO Inc. WebADB - アプリインストール # apkを取得してstreamに変換 const response
= await fetch("/apk/sample.apk", { method: "GET" }); const stream = new WrapReadableStream<Uint8Array>( response.body as ReadableStream<Uint8Array> ) # apkのインストール const pm = new PackageManager(adb); await pm.pushAndInstallStream(stream); 152

© GO Inc. WebADB - shell実行 # shell実行 await adb.subprocess.shell(command);
# タップする例 await adb.subprocess.shell("input touchscreen tap 500 700"); 153

APKの入手 ▪ dev / staging / prodのような環境ごとに存在している ▪ 複数のAPKによるバージョンの依存関係 • 非エンジニアもコマンドを実行しなければいけない ◦ 手順書通りに実行するだけのため成功したか分からず次に進む ◦ 複雑になる程ヒューマンエラーが発生し手戻りが発生する adbを実行する環境構築が必要ツールの配布が必要

4. まとめ 5. 番外編 157

© GO Inc. まとめ 158 • adbコマンドをシェルスクリプトに記述した自動化の方法 ◦ 実行するだけでキッティングができる ◦
adbを実行する環境構築が必要 ◦ ツールを配布しなければいけない • Webアプリ化 ◦ WebADBを使ってWebアプリ化する ◦ adbを実行する環境構築が不要 ◦ 端末とPCをUSB接続してWebサイトから実行するのみ ◦ Android端末がhostでも動作する

4. まとめ 5. 番外編 168

© GO Inc. キッティングのタップについて 171 • AccessibilityService APIを使ってタップする • キッティング時にのみ使うアプリを作る
◦ キッティング中にインストール ◦ 権限付与 ◦ タップ実行 ◦ アンインストール

© GO Inc. キッティングのタップについて /** AccessibilityServiceを継承したサービスを作る */ class KittingAccessibilityService :
AccessibilityService() { private fun sample() { // rootInActiveWindowが取得できるのでここからボタンを探してタップする } } 178

© GO Inc. キッティングのタップについて /** 指定したラベルのボタンをクリックする */ private fun findAndClickButtonByText(nodeInfo:
AccessibilityNodeInfo, label: String) { nodeInfo.findAccessibilityNodeInfosByText(label).firstOrNull()?.let { node -> findClickableNode(node).performAction(AccessibilityNodeInfo.ACTION_CLICK) } } /** 指定したAccessibilityNodeInfoから遡ってボタンを探す */ private fun findClickableNode(info: AccessibilityNodeInfo): AccessibilityNodeInfo { return if (info.isClickable) info else findClickableNode(info.parent) } 179

AccessibilityNodeInfo, label: String) { nodeInfo.findAccessibilityNodeInfosByText(label).firstOrNull()?.let { node -> findClickableNode(node).performAction(AccessibilityNodeInfo.ACTION_CLICK) } } /** 指定したAccessibilityNodeInfoから遡ってボタンを探す */ private fun findClickableNode(info: AccessibilityNodeInfo): AccessibilityNodeInfo { return if (info.isClickable) info else findClickableNode(info.parent) } 180 ラベルから探せる

AccessibilityNodeInfo, label: String) { nodeInfo.findAccessibilityNodeInfosByText(label).firstOrNull()?.let { node -> findClickableNode(node).performAction(AccessibilityNodeInfo.ACTION_CLICK) } } /** 指定したAccessibilityNodeInfoから遡ってボタンを探す */ private fun findClickableNode(info: AccessibilityNodeInfo): AccessibilityNodeInfo { return if (info.isClickable) info else findClickableNode(info.parent) } 181 タップできるボタンを探す

AccessibilityNodeInfo, label: String) { nodeInfo.findAccessibilityNodeInfosByText(label).firstOrNull()?.let { node -> findClickableNode(node).performAction(AccessibilityNodeInfo.ACTION_CLICK) } } /** 指定したAccessibilityNodeInfoから遡ってボタンを探す */ private fun findClickableNode(info: AccessibilityNodeInfo): AccessibilityNodeInfo { return if (info.isClickable) info else findClickableNode(info.parent) } 182 タップする

© GO Inc. キッティングのタップについて /** 指定したラベルのボタンをクリックする */ private fun sample()
{ findAndClickButtonByText( rootInActiveWindow, "表示サイズとテ¥u2060キ¥u2060ス¥u2060ト" ) } 183

© GO Inc. キッティングのタップについて /** 指定したラベルのボタンをクリックする */ private fun sample()
{ findAndClickButtonByText( rootInActiveWindow, "表示サイズとテ¥u2060キ¥u2060ス¥u2060ト" ) } 184 「¥u2060」はWord Joiner 単語の途中で改行されることを防ぐ

© GO Inc. AccessibilityService APIを使ったアプリの起動 # アプリを起動 adb shell am
start -n com.example.kittingsample/.InitialStartActivity # 権限付与 adb shell settings put secure enabled_accessibility_services com.example.kittingsample/.KittingAccessibilityService # タップ実行イベント adb shell am start -n "com.example.kittingsample/.MainActivity" --es "type" "ChangeFontSize" 185

start -n com.example.kittingsample/.InitialStartActivity # 権限付与 adb shell settings put secure enabled_accessibility_services com.example.kittingsample/.KittingAccessibilityService # タップ実行イベント adb shell am start -n "com.example.kittingsample/.MainActivity" --es "type" "ChangeFontSize" 186 1度アプリを起動しておくことが重要 1度も起動していないと次の権限付与が成功しない InitialStartActivityはfinish()だけでOK

start -n com.example.kittingsample/.InitialStartActivity # 権限付与 adb shell settings put secure enabled_accessibility_services com.example.kittingsample/.KittingAccessibilityService # タップ実行イベント adb shell am start -n "com.example.kittingsample/.MainActivity" --es "type" "ChangeFontSize" 187 作ったAccessibilityServiceに権限付与

start -n com.example.kittingsample/.InitialStartActivity # 権限付与 adb shell settings put secure enabled_accessibility_services com.example.kittingsample/.KittingAccessibilityService # タップ実行イベント adb shell am start -n "com.example.kittingsample/.MainActivity" --es "type" "ChangeFontSize" 188 タップさせるイベントを送る

WebADBを使用したAndroid専用端末化への自動キッティング手法

WebADBを使用したAndroid専用端末化への自動キッティング手法

Featured

Transcript