Phosaiq: 量子アニーリングを用いたフォトモザイクアート

Slide 1

Slide 1 text

Phosaiq 01 量子アニーリングを用いたフォトモザイクアート T-QARD-410 原知正丸山尚貴

Slide 2

Slide 2 text

チーム: T-QARD-410 メンバー紹介 2 丸山尚貴東北大学大学院情報科学研究科 D1 趣味: 写真、ギター、ゲーム原知正東北大学工学部電気情報物理工学科 B2 趣味: 競技プログラミング、読書

Slide 3

Slide 3 text

メンバー紹介 T-QARD Crews (現在12名で活動中) 量子アニーリングナレッジベース「 T-Wave」を運営既存研究の解説や検証記事を公開ソリューションコンテストについての記事を近日公開 3 (https://qard.is.tohoku.ac.jp/T-Wave/) ↑他のメンバーもコンテストに参加しました

Slide 4

Slide 4 text

Phosaiqとは？ 4 Phosaiqとは？画像の並びを最適化することで、フォトモザイクアートの質とユーザーの体験価値を高めるプロダクト ● ユーザーは労力や時間をかけずにフォトモザイクアートを作成できる ● 組み合わせ最適化問題として解くことで、画像の並びを工夫したフォトモザイクアートを作成する ● ユーザーが画像の並びを調整でき、アートの制作に携わることも可能にする

Slide 5

Slide 5 text

フォトモザイクアート多くの写真を並べることで、1つの大きなイメージを表現する方法 ● 近くで見るとただの画像の羅列 ● 全体でみると1枚の絵 5 画像: フォトモザイクアートde記念品制作 (https://www.photomosaicart-de-memorial.jp/guideline/about/)

Slide 6

Slide 6 text

6 Phosaiqの特徴人手 ● 作成するのに時間と手間を要する ● 外注はコスト高、個人のデータを渡したくない自動化 (単純なアルゴリズム) 類似度が最も高い画像を割り当てる ● モザイクの良さが失われる ● 作成方法が画一的 6 Phosaiq 組み合わせ最適化問題として捉える ● モザイクの良さを生かした作品を作成 ● 文化祭や結婚式など、様々なユースケースに対応できる ● データプライバシーを考慮

Slide 7

Slide 7 text

入力データ決定変数類似度が高い画像を1枚割り当てる隣り合う画像は異なるものにする定式化 7 類似度を元に変数削減が可能 ※小さいほど似ていることを表す

Slide 8

Slide 8 text

検証結果 8 類似度のみ隣り合う画像の制約あり東京オリンピックの画像を使用 → メダルの画像元の画像同じ画像の隣り合う回数が減少し、モザイクとしての良さが向上した！

Slide 9

Slide 9 text

複数人が参加するイベントにおける作品 (例: 文化祭) →それぞれの参加者が作品に写る回数を均一にしたい！補足: 画像に写っている人をラベル付けする方法顔検出 (Haar Cascades) → 特徴量抽出 (FaceNet) → 次元削減 (PCA) → クラスタリング (X-Means) ユースケースの一例 9 写真: 乃木坂46 Official Web Blog Site (https://www.nogizaka46.com/member/) ळݩਅՆ͞Μ ᜊ౻ඈௗ͞Μ ੜాֆསՖ͞Μ

Slide 10

Slide 10 text

標準偏差: 34.4 類似度(※): 129.8 元の画像検証結果乃木坂46の画像695枚を使用 → 生田絵梨花さんの画像 (今月卒業🎉) 10 標準偏差: 72.6 類似度(※): 134.0 均一化しない場合均一化した場合それぞれの人物が写る回数が均一な作品を作ることができた！写真: 乃木坂46 Official Web Blog Site (https://www.nogizaka46.com/member/) ※小さいほど似ていることを表す ੜాֆསՖ͞Μ (ඇදࣔ)

Slide 11

Slide 11 text

その他のユースケースフォトモザイクアートと動画を組み合わせた作品 (例: 結婚式) →画像の順序を考慮することで、時系列順に思い出を振り返ることができる！ 11

Slide 12

Slide 12 text

作品例量子アニーリングソリューションコンテスト (QASC)に出場したチームのスライド資料 12 ※Youtube動画から取得、顔の写っていない画像のみ使用 QA4Uからの出場チームについては、卒業試験→Qubits→QASCという時系列を考慮 (青い部分は時系列順の主要な箇所)

Slide 13

Slide 13 text

6. 画像の割当を手動で調整 →重要なユーザー体験価値 5. 足りない色合いを可視化 UI / UX 13 写真: 花江夏樹さんTwitter (@hanae0626) 1.再現画像と素材画像を入力 3.最適化を実行 2.分割・出力サイズや制約条件を設定 4. 結果を表示 +α アカウントを設けることでリモートでの共同制作が可能

Slide 14

Slide 14 text

APサーバー: 類似度を計算、QUBO行列を生成システム構成 14 2.色空間の情報 1.再現画像の色空間の情報 3.QUBO行列 4.画像の割り当て方ユーザー: 手元の画像を色空間へ変換量子アニーリングマシン : 最適化を実行画像データの送受信が必要なく、プライバシーが保護される ※Lab色空間を想定

Slide 15

Slide 15 text

● 音声データなど画像以外のデータにも適用可能 ● ブラックボックス最適化によるアプローチ ○ 画像”全体”の類似度を評価することで、作品の質を高められる ○ 特定の再現画像がなくても、それっぽい画像を作成できる個々のデータの配置を最適化することで、全体としての価値を俯瞰して見出すプロダクトへ今後の展望 15 猫っぽい画像

Slide 16

Slide 16 text

16 ご清聴ありがとうございました