CompML : Elementary knowledge for 'Parameter-Free Online Optimization'

Transcript

1. None
2. None

3. 【目的】 典型的な確率的最適化手法 など で必要とされる、 やその他のパラメータの調整を不必要にする事。 【 】 • • •

   • •

4. エキスパート統合問題 問題設定 • 東京ドームで行われたあるクイズ大会に参加 • 制限時間内に答えだと思った方向に移動する ◯ 外野側、✕ 内野側 •

   ◯✕クイズが 問出題され、成績上位者が２次予選に進める 問題が分からなくても優勝経験のある 人を発見して、同じ動きをすれば良い ◦ 正解率が高いはずの優勝経験のある人をエキスパートと呼ぶ事にする ◦ 人のエキスパートと問題出題者をまとめて環境と呼ぶ事にする 畑埜晃平, & 瀧本英二. (2016). オンライン予測. 講談社.

5. エキスパート統合問題 畑埜晃平, & 瀧本英二. (2016). オンライン予測. 講談社.

6. エキスパート統合問題 敵対的論法 環境がプレイヤーのアルゴリズム を知った上で、予測 ・ となるクイズを出題する ような、最悪の場合の解析を行う手法 この手法から を求める事が多い？ 畑埜晃平,

   & 瀧本英二. (2016). オンライン予測. 講談社.

7. エキスパート統合問題 敵対的論法 仮定 全問正解のエキスパート このページのみ と置く が存在する場合 • 素朴な戦略 の真似をする

   ◦ ミスの回数 たかだか 回 • 分法 の多数決に従う ◦ ミスの回数 たかだか • 乱択 分法 から 様ランダムに 人選び、その決定に従う ◦ ミスの回数 たかだか 畑埜晃平, & 瀧本英二. (2016). オンライン予測. 講談社.

8. エキスパート統合問題 乱択２分法 畑埜晃平, & 瀧本英二. (2016). オンライン予測. 講談社.

9. エキスパート統合問題 乱択２分法 畑埜晃平, & 瀧本英二. (2016). オンライン予測. 講談社.

10. エキスパート統合問題 敵対的論法 仮定 全問正解のエキスパート このページのみ と置く が存在する場合 畑埜晃平, & 瀧本英二.

    (2016). オンライン予測. 講談社.

11. エキスパート統合問題 敵対的論法 仮定 全問正解のエキスパート このページのみ と置く が存在しない場合 畑埜晃平, & 瀧本英二.

    (2016). オンライン予測. 講談社. アルゴリズム の 誤り回数の期待値 エキスパートの 誤り回数の最小値

12. エキスパート統合問題 乱択２分法 再掲 畑埜晃平, & 瀧本英二. (2016). オンライン予測. 講談社.

13. エキスパート統合問題 畑埜晃平, & 瀧本英二. (2016). オンライン予測. 講談社.

14. エキスパート統合問題 畑埜晃平, & 瀧本英二. (2016). オンライン予測. 講談社.

15. エキスパート統合問題 別の問題設定 オンライン配分問題 複数の投資先の銘柄 あるいはアルゴリズムやサーバ等選択肢 が与えられたとき、 持っている資源をうまく配分する事で損失を最小化する問題を考える 畑埜晃平, & 瀧本英二.

    (2016). オンライン予測. 講談社.

16. エキスパート統合問題 エキスパートの予測集合の扱い • エキスパート統合問題 ◦ 乱択２分法の変更 重み付き平均アルゴリズム ▪ 単純な問題として定式化 •

    どんなエキスパート統合問題 も確率ベクトル集合を予測集合とし、各エキスパート は常 に単位ベクトルを予測するものに限定した問題に還元できる 標準化 • 標準化したオンライン配分問題に対する を ヘッジアルゴリズム と呼ぶ • エキスパートの予測を単位ベクトルではなく、一般化して凸集合であるとした枠組み をオンライン凸最適化 と呼ぶ

17. エキスパート統合問題 エキスパート統合問題 標準形 ↪ 一般化 オンライン凸最適化問題 予測値集合 凸集合 ↪ 特殊ケース

    オンライン線形最適化問題

18. 論文 • ◦ ◦ 基準 をベースにした 推定量を用いて、 なオンライン最適化 手法の提案 他の論文解説はこちら

    https://github.com/CompML/survey-stochastic-optimization/issues