Phosaiq: 量子アニーリングを用いたフォトモザイクアート

Transcript

1. Phosaiq 01 量子アニーリングを用いた フォトモザイクアート T-QARD-410 原知正 丸山尚貴
2. チーム: T-QARD-410 メンバー紹介 2 丸山尚貴 東北大学大学院情報科学研究科 D1 趣味: 写真、ギター、ゲーム 原知正 東北大学工学部電気情報物理工学科 B2 趣味: 競技プログラミング、読書
3. メンバー紹介 T-QARD Crews (現在12名で活動中) 量子アニーリングナレッジベース「 T-Wave」を運営 既存研究の解説や検証記事を公開 ソリューションコンテストについての記事を近日公開 3 (https://qard.is.tohoku.ac.jp/T-Wave/) ↑他のメンバーもコンテストに参加しました
4. Phosaiqとは？ 4 Phosaiqとは？ 画像の並びを最適化することで、フォトモザイクアートの質と ユーザーの体験価値を高めるプロダクト • ユーザーは労力や時間をかけずにフォトモザイクアートを作成できる • 組み合わせ最適化問題として解くことで、画像の並びを工夫したフォトモザイク アートを作成する • ユーザーが画像の並びを調整でき、アートの制作に携わることも可能にする
5. フォトモザイクアート 多くの写真を並べることで、1つの大きなイメージを表現する方法 • 近くで見るとただの画像の羅列 • 全体でみると1枚の絵 5 画像: フォトモザイクアートde記念品制作 (https://www.photomosaicart-de-memorial.jp/guideline/about/)
6. 6 Phosaiqの特徴 人手 • 作成するのに時間と手間を要する • 外注はコスト高、個人のデータを 渡したくない 自動化 (単純なアルゴリズム) 類似度が最も高い画像を割り当てる • モザイクの良さが失われる • 作成方法が画一的 6 Phosaiq 組み合わせ最適化問題として捉える • モザイクの良さを生かした作品を 作成 • 文化祭や結婚式など、様々なユー スケースに対応できる • データプライバシーを考慮
7. 入力データ 決定変数 類似度が高い画像を1枚割り当てる 隣り合う画像は異なるものにする 定式化 7 類似度を元に変数削減が可能 ※小さいほど似ていることを表す
8. 検証結果 8 類似度のみ 隣り合う画像の制約あり 東京オリンピックの画像を使用 → メダルの画像 元の画像 同じ画像の隣り合う回数が減少し、モザイクとしての良さが向上した！
9. 複数人が参加するイベントにおける作品 (例: 文化祭) →それぞれの参加者が作品に写る回数を均一にしたい！ 補足: 画像に写っている人をラベル付けする方法 顔検出 (Haar Cascades) → 特徴量抽出 (FaceNet) → 次元削減 (PCA) → クラスタリング (X-Means) ユースケースの一例 9 写真: 乃木坂46 Official Web Blog Site (https://www.nogizaka46.com/member/) ळݩਅՆ͞Μ ᜊ౻ඈௗ͞Μ ੜాֆསՖ͞Μ
10. 標準偏差: 34.4 類似度(※): 129.8 元の画像 検証結果 乃木坂46の画像695枚を使用 → 生田絵梨花さんの画像 (今月卒業🎉) 10 標準偏差: 72.6 類似度(※): 134.0 均一化しない場合 均一化した場合 それぞれの人物が写る回数が均一な作品を作ることができた！ 写真: 乃木坂46 Official Web Blog Site (https://www.nogizaka46.com/member/) ※小さいほど似ていることを表す ੜాֆསՖ͞Μ (ඇදࣔ)
11. その他のユースケース フォトモザイクアートと動画を組み合わせた作品 (例: 結婚式) →画像の順序を考慮することで、時系列順に思い出を振り返ることができる！ 11
12. 作品例 量子アニーリングソリューションコンテスト (QASC)に出場したチームのスライド資料 12 ※Youtube動画から取得、 顔の写っていない画像のみ使用 QA4Uからの出場チームについては、 卒業試験→Qubits→QASCという時系列を考慮 (青い部分は時系列順の主要な箇所)
13. 6. 画像の割当を手動で調整 →重要なユーザー体験価値 5. 足りない 色合いを可視化 UI / UX 13 写真: 花江夏樹さんTwitter (@hanae0626) 1.再現画像と素材画像を入力 3.最適化を実行 2.分割・出力サイズや制約条件を設定 4. 結果を表示 +α アカウントを設けることでリ モートでの共同制作が可能
14. APサーバー: 類似度を 計算、QUBO行列を生成 システム構成 14 2.色空間の情報 1.再現画像の 色空間の情報 3.QUBO行列 4.画像の割り当て方 ユーザー: 手元の画像を 色空間へ変換 量子アニーリングマシン : 最適化を実行 画像データの送受信が必要なく、プライバシーが保護される ※Lab色空間を想定
15. • 音声データなど画像以外のデータにも適用可能 • ブラックボックス最適化によるアプローチ ◦ 画像”全体”の類似度を評価することで、作品の質を高められる ◦ 特定の再現画像がなくても、それっぽい画像を作成できる 個々のデータの配置を最適化することで、 全体としての価値を俯瞰して見出すプロダクトへ 今後の展望 15 猫っぽい画像
16. 16 ご清聴ありがとうございました