210727

Transcript

1. 最新のDeep Learningトレンド
 Song Yeongjin
 2021/07/27
 1
2. 2 自己紹介 Song Yeongjin(ソン・ヨンジン) • 2020/04新卒入社 • DA事業本部 ビジネスソリューション部 ビックデータチーム • 大学院でメディカルデータを使った病気の予測の研究 • 機械学習、データ分析アーキテクチャに興味あり
3. 始まる前に 機械学習(主にDeep Learning)を知らないと、 理解できない話しが多いかもしれません 頭の痛い数学の話しはしません
4. 4 Deep Learningとは？
5. 5 Deep Learningとは？
6. Deep Learningの最新トレンド？ NeurIPS 2020で出た論文のキーワードから 6個のトレンドを導出 NeurIPS 2020을 통해 본 인공지능(AI) 기술 트렌드
7. キーワードから見た6個のトレンド 連合学習 メタ学習 自己教師あり学習 強化学習 グラフニューラルネットワーク 生成的AI 連関キーワード トレンドキーワード
8. 8 Meta-learning 学習する方法を学習する
9. 9 背景 • いいデータが多いとモデルの性能が上がる • 特定の問題ではデータが少ない • Transfer Learningの登場 • 特定の小さい問題じゃなく、もっと一般的な問題を解きた い • 学習遅すぎる… • 少ないサンプルでも新しい概念とか技術を学ぶことがで きるのかな？ • やってみようメタ学習！
10. 10 Learning to learn 学習方式 距離基盤学習 (Metric based learning) モデル基盤学習 (Model based learning) 最適化学習 (Optimizer learning) 重要アイディア Efficient distance metric Memoryを使った Recurrent network学習 Model parameter optimization モデル •Siamese Neural Network •Prototypical Network •Relational Network •Memory-Augmented Neural Network (MANN) •Meta Network (MetaNet) •Model-Agnostic Meta-Learning (MAML) •First-Order MAML (FOMAML)
11. Metric based learning • 潜在空間で同じクラス間のデータは近いように、 異なるクラス間は遠ざかるようにする Meta-Learning: Learning to Learn Fast
12. Model based learning • 早い学習に特化したモデルを基に、少ない数のトレーニン グ段階でモデルのパラメータを効率的に学習できる方法 • モデルの内外にメモリを別に置いてモデルの学習速度を調 節する Meta-Learning with Memory-Augmented Neural Networks
13. Optimizer learning • 最適化性能を向上させるのに必要なメタ知識抽出に重点を 置き、 メタタスクをパラメータ最適化問題と考えます。 Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
14. Few shot learning • メタ学習方式を基に少ない数のデータを利用して学習 • 訓練用サポート(support)データとテスト用クエリ(query) データを使用してN-way K-shotの分類を行う • Nはクラス数、Kは各クラスのサポートデータ数に該当し、 Nが大きいほど、Kが小さいほど解きたいという問題が難し い
15. Few shot learningの学習データ Meta-Learning: Learning to Learn Fast
16. AutoML • Amazon SageMaker Autopilot • GCP AutoML • Azure Machine Learning AutoML
17. Federated Learning AIモデル学習時、データを統合·移動する際に発生する 個人情報保護イシューの負担を軽減できる連合学習概念が浮上 • データの共有と活用が増加するにつれ、敏感な情報での 個人情報保護イシューによるデータ活用の制約が生じることがあり、 性能向上の邪魔になる • データを中央に集めて学習する既存の統合学習とは異なり、 各機関(機器)で学習したモデルの加重値のみ集める方式です。
18. Self-supervised Learning 自己指導学習は非指導学習技法の一つで、多数のラベルが存在しな い原本データからラベルを自動で生成し、地図学習に利用する方法 • 地図学習の源泉となるデータのラベル生成過程で発生する煩わしさと費 用負担は人工知能モデル開発の主な限界です。 • データ部分の関係を学習し、ラベルなしでも学習を遂行できるという点で 注目されています
19. Reinforcement Learning 強化学習は、答案用紙(ラベル)を与えて学習する方法と違い、特定の行 為をした場合の報酬を最大化する方法で学習 • 課題解決時に全ての可能な場合の 数を考慮するのではなく、試行錯誤を経て 実際に経験した情報をもとに 価値関数(補償の累積期待値)を 順次アップデートして学習
20. Graph Neural Network ソーシャルネットワークなど複雑な連結関係と相互依存性をグラフの形 で表現する需要が増加するにつれ、グラフデータに適したグラフ神経 網研究が活発に行われています。 • Uber Eats、Alibabaなどの電子商取引企業は、グラフニューラルネット ワークを基盤とした推薦システムを適用し、自社製品を販売中 • 一般的に①グラフ作成 ②GNN ③類似度測定 ④商品推薦の 4段階のパイプラインで構成 • DeepMindは、正確な交通状況を予測するため、 グラフ神経網を活用して予測モデルを開発
21. Generative AI 人工知能がテキスト、画像など既存のコンテンツを使用して独自で 新しいコンテンツを作り出す生成的AI(Generative AI)分野が急速 に成長 • 人工知能が単純に認知(判別)するだけでなく、入力された学習データの パターンを身につけ、当該データ分布と類似したコンテンツを生成 • GANは生成的AIの一分野であり、2014年NeurIPSからイアン·グッドフェ ローが紹介し、現在では生成的AIの代表的な技術として認められました • GANはイメージ合成(ディープフェイク)、画質改善、スタイル転移など様々 な分野に応用されており、創造する人工知能の核心技術
22. GAN(Genarative Adversarial Network)