全身画像からコーデアイテムを抽出し毎日にIRODORIを！デバイス完結型アプリを作る

2025/09/20 17:40 ~ 17:45にiOSDC Japan 2025の公募セッションで発表した登壇資料です。
https://fortee.jp/iosdc-japan-2025/proposal/7146de1b-8656-4167-ae80-64bce8cb773e

株式会社ZOZO
ZOZOTOWN開発本部
ZOZOTOWN開発1部 iOSブロック
だーはま / 濵田 悠樹 (@ios_hamada)

#iosdc

Transcript

1. 全身画像からコーデアイテムを抽出し 毎日にIRODORIを！デバイス完結型アプリを作る Copyright © ZOZO, Inc. 1 株式会社ZOZO
 ZOZOTOWN開発本部 ZOZOTOWN開発1部 iOSブロック
 
 だーはま / 濵田 悠樹 Copyright © ZOZO, Inc.
2. © ZOZO, Inc. 株式会社ZOZO ZOZOTOWN開発本部 ZOZOTOWN開発1部 iOSブロック 濵田 悠樹 @ios_hamada 2 • 25年新卒でZOZOに入社 • 学生時代はAIの研究, iOSやPdMの長期インターン • 服でユーザーの人生を変えるためZOZOへ入社 • 新卒4人で IRODORI を開発中（業務外）
3. © ZOZO, Inc. 3 IRODORI : コーディネートの”相棒”ができる ◦ 写真1枚からコーデの分析や提案をしてくれる → コーデに悩まなくなる, 自信を持てる AIを使ったアイテム抽出
4. © ZOZO, Inc. 4 開発始めたてのある日 AIモデル使って、全身画像からトップスとボトムスを抽出したい いいね！使えそうなAIモデル調べてみる AIエンジニア
5. © ZOZO, Inc. 5 開発始めたてのある日 AIモデル使って、全身画像からトップスとボトムスを抽出したい いいね！使えそうなAIモデル調べてみる AI動かすために GPUサーバー6万円/月かかる。いいね！ AIエンジニア インフラエンジニア
6. © ZOZO, Inc. 6 AIモデル使って、全身画像からトップスとボトムスを抽出したい いいね！使えそうなAIモデル調べてみる いいね！AI動かすためにGPUサーバー6万円/月かかる。いいね！ ん....？？
7. © ZOZO, Inc. 7 会話から得た 気づき と 課題 AIは 便利な反面 金かかる AIを動かすGPUサーバーを立てるためのコスト : 6万/月 by だーはま
8. © ZOZO, Inc. 8 課題の解決策 オンデバイス でAIを動かす
9. © ZOZO, Inc. 9 課題の解決策 オンデバイス でAIを動かす
10. © ZOZO, Inc. 10 iPhone オンデバイスなら 0円さ GPUサーバー6万/月 → オンデバイス0万/月 by だーはま 結果
11. © ZOZO, Inc. 11 Step1. HuggingFaceを使ったAIモデルの選定 ◦ 世界中の研究者や企業がモデルを共有するWEBサービス ◦ 数10万のモデル公開 ◦ ダウンロード数, パラメータ数, 公開日 を参考に選定 https://huggingface.co/mattmdjaga/segformer_b2_clothes ダウンロード数 パラメータサイズ 公開日
12. © ZOZO, Inc. 12 Step2. Swiftで扱えるファイル形式(.mlpackage)へ変換 ◦ pythonのモデル変換ライブラリ Exporters を使い1行で変換可能 ▪ HugginFace Hub で公開されているモデル が対象 # 1. exports をインストール $ git clone https://github.com/huggingface/exporters $ cd exporters $ pip install -e . # 2. 変換：タスク＝セマンティックセグメンテーション $ python -m exporters.coreml \ --model=mattmdjaga/segformer_b2_clothes \ --feature=semantic-segmentation \ exported/
13. © ZOZO, Inc. 13 Step3. モデルの呼び出し・実行 // モデルの設定 let config = MLModelConfiguration() config.computeUnits = .all // 実行するチップを指定 ◦ .mlpackage をXcodeへドラッグ&ドロップ
14. © ZOZO, Inc. 14 Step3. モデルの呼び出し・実行 // モデルの設定 let config = MLModelConfiguration() config.computeUnits = .all // 実行するチップを指定 // AIモデルの呼び出し var model: SegformerB2Clothes? do { model = try SegformerB2Clothes(configuration: config) } catch { print("モデルのロードまたは設定に失敗しました: \(error)") } } ◦ .mlpackage をXcodeへドラッグ&ドロップ
15. © ZOZO, Inc. 15 Step3. モデルの呼び出しおよび実行 ◦ モデルに CVPixelBuffer (or MLMultiArray) を渡す ▪ モデルの入力形式に依存している func segmentation() async { // 1. 入力 guard let pixelBuffer = coordinateImage.toCVPixelBuffer() else { return } let input = SegformerB2ClothesInput(image: pixelBuffer) guard let model else { return }
16. © ZOZO, Inc. 16 Step3. モデルの呼び出しおよび実行 ◦ モデルに CVPixelBuffer (or MLMultiArray) を渡す ▪ モデルの入力形式に依存している func segmentation() async { // 1. 入力 guard let pixelBuffer = coordinateImage.toCVPixelBuffer() else { return } let input = SegformerB2ClothesInput(image: pixelBuffer) guard let model else { return } do { // 2. 実行 let output = try await model.prediction(input: input) AI
17. © ZOZO, Inc. 17 Step3. モデルの呼び出しおよび実行 ◦ モデルに CVPixelBuffer (or MLMultiArray) を渡す ▪ モデルの入力形式に依存している func segmentation() async { // 1. 入力 guard let pixelBuffer = coordinateImage.toCVPixelBuffer() else { return } let input = SegformerB2ClothesInput(image: pixelBuffer) guard let model else { return } do { // 2. 実行 let output = try await model.prediction(input: input) // 3. 出力を整形 let fashionItemMap = output.classLabelsShapedArray.scalars .map { SegmentationConverter.fashionItems[Int($0)] } // 省略 AI
18. © ZOZO, Inc. 18 検証 解像度の低い全身画像(190×260) からのアイテム抽出に成功 ◦ 処理時間は 0.9〜1.1s → 実用的
19. © ZOZO, Inc. 19 まとめ AIモデルをオンデバイスで動かし、コストを6万→0万へ削減
20. © ZOZO, Inc. 20 まとめ AIモデルをオンデバイスで動かし、コストを6万→0万へ削減 GPUサーバー使わなくても 3万円/月 飛んでます IRODORI って実は...
21. © ZOZO, Inc. 21 まとめ AIモデルをオンデバイスで動かし、コストを6万→0万へ削減 IRODORI と 新卒4人 はこれからどうなるのか to be continued ... IRODORI って実は... IRODORI って実は... GPUサーバー使わなくても 3万円/月 飛んでます