Looky

Transcript

1. 自分の好みの服を探せるバーチャル試着アプリ
2. メンバー 伊藤 優心 吉森 光 相澤 颯 情報科学類 FRONTEND/BACKEND 情報メディア創成 FRONTEND 情報科学類 BACKEND
3. 新しい服を見つけるのって とにかく大変 課題
4. 問題点 試着するのが めんどくさい 好みの服が みつからない 組み合わせが むずかしい
5. 問題点 試着するのが めんどくさい 好みの服が みつからない 組み合わせが むずかしい バーチャル試着アプリ
6. 機能 全身画像から AIが 試着画像 を生成 試着をもっと 手軽に
7. 機能 左右にスワイプして 試着画像を 評価 あなた好みに レコメンド
8. 機能 お気に入りの服を使って コーディネート 組み合わせを 見つけやすく
9. デ モ . mp4
10. 構成図 Supabase Application Worker キューの管理 画像の表示 画像の生成 WebSocket Porling
11. フロントエンド TypeScript Turborepo React Native Next.js Expo Biome Zustand SWR Storybook Tamagui
12. バックエンド 試着した画像の 生成システム 試着する衣服の 推薦システム
13. バックエンド 拡散モデルとトランスフォーマーの Diffusion Transformer 既存のモデルよりも 高速かつ高精度
14. バックエンド 拡散モデルとトランスフォーマーの Diffusion Transformer 既存のモデルよりも 高速かつ高精度 姿勢の推定 1 Estimate Pose 入力された画像から 骨格を抽出 マスクの生成 2 Generate Mask 合成させたい部位の マスクを生成 服の埋め込み 3 Embedded Garment 服の特徴を抽出した ベクトルを取得 試着の生成 4 Generate VTON 学習済みモデルで 画像を合成
15. バックエンド ベクトル検索ライブラリの FAISS ユーザーの好みを反映した 好みベクトル
16. バックエンド ベクトル検索ライブラリの FAISS ユーザーの好みを反映した 重みづけベクトル 服の埋め込み 1 Embedded Garment 服の特徴を抽出した ベクトルを取得 フィルタリング 2 Generate Mask すでに推薦した衣服 などを除外 好みベクトルの生成 3 Embedded Garment ユーザーの行動ログ を用いて生成 類似ベクトルの検索 4 Generate VTON FAISSを用いて 高速に検索
17. 展望 モデルの 新規開発 レコメンドの 見直し サービスの 展開方法
18. 自分の好みの服を探せるバーチャル試着アプリ
19. FitDiT 画像を 周波数領域 に 分解して学習 服のディティールの 忠実に再現
20. FitDiT 画像を 周波数領域 に 分解して学習 服のディティールの 忠実に再現