モバイルアプリでループエンジニアの「検証」をどうするか試行錯誤中

https://seb-sapporo.connpass.com/event/402717/
で登壇します。

Transcript

1. モバイルアプリ開発における ループエンジニアリング「検証」への挑戦 モバイル開発での試⾏錯誤と挑戦道半ばの記録 須藤 拓也 / Takuya Sudo 2026/08/27
2. ⾃⼰紹介 須藤 拓也 / Takuya Sudo 株式会社CAMPFIRE • 北海道室蘭市出⾝ • モバイルアプリ開発が主戦場（iOS開発は3GSの頃からスタート） • 現在はRuby on Rails/SvelteでFE/BE開発 • 最近の興味は量⼦コンピューター • 今年から結婚を機にやめていたキックボクシング（ムエタイ）を再開 • 肩書はアマチュアソフトクリーマー（⾃称） GITHUB https://github.com/someone-said-so
3. 本⽇の発表内容 00 アイスブレイク（ソフトクリームだけに） 01 ループエンジニアリングにおける検証の重要性 02 モバイルアプリ検証特有の課題 03 VLMを活⽤した解決策 04 ローカル環境およびGitHub Actionsを⽤いた技術検証 05 今後の展望とまとめ
4. 00 アイスブレイク ① 4⽉に⿐の⼿術で⼊院した話 • 「⿐の芯がひん曲がっている」「⿐の奥のヒ ダが太っている」という⼈⽣であまり聞くこ とのお医者様のありがたい⾔葉で⼿術を決意 • 4⽉に⿐の中隔湾曲症および副⿐腔炎の本格 的な⼿術を受け、1週間ほど⼊院を経験しま した。 • ⼿術⾃体は無事に成功しましたが、術後の⿐ パッキングと⼝呼吸のみの⽣活が何よりの試 練でした。 ② 今⽇のソフトクリーム • 参宮橋駅から徒歩2分のソフトクリーム店 • 熊本県を応援中 • https://www.instagram.com/p/DWabpG2Efg-
5. 「AIにプロンプトを打つ」から「ループを設計する」へ ⼿動ループ (Manual Loop) ⾃律ループ (Autonomous Loop) ⼈間が主体となり、プロンプトの⼊⼒と結果の評価を個別に ⾏う直線的なプロセスです。各ステップにおいて常に⼈間に よる介⼊と判断が必要となります。 AIエージェント⾃らがタスクの発⾒、実⾏、検証を⾏い、そ の結果を受けて次のタスクへと⾃律的にサイクルを回し続け る循環的なシステムです。 VS 引用元: https://www.hexabase.com/column/loop-engineering-team-development-strategy-2026
6. ループエンジニアリングにおける「検証」の重要性 モバイルアプリ開発において、開発サイクル（ループ）を⾼速かつ正確に回すためには、 実装したコードが正しく動作するかの「検証」プロセスが不可⽋です。 AIエージェントを活⽤した⾃律的な開発ループを実現するためには、 この検証フェーズの⾃動化が最⼤の鍵となります。
7. モバイルアプリ検証の難しさ：API開発との対⽐ API開発 モバイルアプリ開発 API開発における検証は、リクエストに対してあらかじめ決めら れたデータ形式のレスポンスが返却されるため、本質的にプロ グラム処理のみで完結します。 モバイルアプリでは、最終的な出⼒先が物理画⾯あるいは仮想 シミュレータ上になるため、APIのように静的データのみで判定 することができません。 • レスポンスの形式が構造化（JSON/XML等）されており ⼀定 • SimulatorやEmulatorを経由した複雑なレンダリング結 果の検証が必要 • テストコードによる機械的な検証（アサーション）が極 めて容易 • • UIや環境に依存せず、⾼速かつ安定したテスト実⾏が可 能 ↑のSimulator/Emulatorを⾛らせるコンテナ起動コス トがAPIサーバーに⽐べて極めて重く、スケールが困難 （ローカルマシン以外での起動の場合） • ⼊⼒に対して画⾯の出⼒結果を確実に評価（アサーショ ン）する基準があいまい
8. VLMを活⽤した構造評価と実装検証 Vision-Language Model (VLM) を⽤いた実装検証 画像からUI構造、ラベリング、OCR、その意味理解を⾃ 動で解釈し、検証結果をJSONなどの構造化データとし て出⼒します。 MCP (Model Context Protocol) を通じて、FigmaのXML データと実機のスクリーンキャプチャを直接⽐較。ア サーション検証の全プロセスを⾃動化します。 VLM Submit Figma 設計データ (構造化定義) 実機スクリーンショット
9. ループを回すための試⾏錯誤とこれからの展望 PHASE 01 PHASE 02 PHASE 03 Emulator操作 VLM解析 アサーション評価 ⾃律的な検証ループの確⽴に向け、多様なパターンで検証を継続中 現在、構築した検証ループが⾃律的に機能するか、多様なパターンを⽤いて試⾏錯誤を重ねています。 AIエージェントによる検証精度の向上や、より複雑なUI操作への対応など、得られた有益な結果や知⾒は今後のアップデートとし てコミュニティへ随時共有していく予定です。
10. Android Emulator & adbのスキル化 ⾃律的な検証基盤の構築 ローカル環境上でAndroid Emulatorを起動し、adbコマン ドを介して端末操作やスクリーンキャプチャの取得を⾃動 実⾏します。 これらの⼀連の操作をAIエージェントの「SKILL」として定 義することで、エージェントが⾃律的に検証プロセスを完 了できる強固な⼟台を構築します。 DETAILS & REPOSITORY soft-icecream-notes https://github.com/taqucinco-com/soft-icecream-notes # 1. Launch Android Emulator $ emulator -avd Pixel_6_API_33 -no-window & # 2. Wait and trigger capturing $ adb wait-for-device $ adb -s emulator-5554 exec-out screencap -p > /{proj_root}/.claude/cap/hoge.png # 3. Touch point # どこをタップするかはスクリーンからVLMで解析して判断 $ adb -s emulator-5554 shell input tap {x} {y}
11. vscodeでclaudeがadbコマンドを⾃律的に⾏っているキャプチャ
12. GitHub Actionsによるリモート検証環境 01 / RUNTIME ENVIRONMENT GitHub Actions Workflow 02 / EMULATOR HOSTING Android Emulator (Remote Execution) 03 / AUTONOMOUS VERIFICATION AI Agent self-driven evaluation loop ローカル環境に依存しないクラウド⾃動検証 開発者のローカルPCスペックや環境差異に依存することなく、 GitHub Actions上で直接Android Emulatorを安定して起動させる 実⾏基盤を構築しました。 これにより、AIエージェントが⾃律的に評価‧修正‧テストを繰 り返す「検証ループ」を完全にクラウド上で完結させることが可 能になります。 最終ゴール⽬標 「@claude このボタンをFigmaの最新デザインに合わせ て」とPRにコメントするだけ修正コミット 「新しい画⾯の追加」というissueを登録しておくだけで 確度の⾼いUI修正のPRができる 公開中の設定ファイル (GitHub) soft-icecream-notes github.com/taqucinco-com/soft-icecream-notes
13. まとめ モバイルアプリの⾃動検証実現に向けたロードマップ 検証プロセスの パラダイムシフト AIエージェントを活⽤した新しいアプローチにより、 モバイルアプリ開発におけるループエンジニアリング の「検証」の課題解決を⽬指します。 STEP 01 STEP 02 VLM構造評価 検証環境の⾃動化 VLMを⽤いた、UI/UXおよび画 ⾯構造の⾼度な⾃動分析。 Emulatorによるシミュレーショ ン環境の基盤構築。 STEP 03 GOAL CI/CD統合 ⾃動検証の実現 GitHub Actionsと連携した⾃動 トリガーとパイプライン。 AIエージェントを活⽤した、エ ンドツーエンドの⾃律テストサ イクル。
14. ご清聴 ありがとうございました