Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Perceiver: General Perception with Iterative [輪...

Perceiver: General Perception with Iterative [輪講発表資料]

Perceiver: General Perception with Iterativeに関する輪講発表資料

Avatar for shibukazu

shibukazu

June 22, 2022
Tweet

More Decks by shibukazu

Other Decks in Research

Transcript

  1. Attentionは入力系列の順序に依存しない Transformerと同様の位置エンコーディングを利用 p ​ = i,2k sin(f ​ πx ​

    ) k d p ​ = i,2k+1 cos(f ​ πx ​ ) k d : ハイパーパラメータ : 次元 における位置( ) Transformerと異なり、加算ではなく入力へ連結する 位置エンコーディング f ​ k x ​ d d −1 ∼ 1 6
  2. 実験設定 データセット: AudioSet Audio, Video, Audio&Videoで実験 評価指標: meanAveragePrecision アーキテクチャ: (CrossAttention+TransformerEncoder*8)*2

    入力ベクトル 生音声: 480x128 メルスペクトログラム: 4800x1 動画: 12544x128 潜在ベクトル: サイズ記載なし 結果(Audio and Video) 14