AI 技術解説 デロイトデジタル 執行役員 森 正弥 2020/07/08 https://note.mu/masayamori

2 • デロイトトーマツコンサルティング／デロイトデジタル 執行役員 • 東北大学 特任教授 • 株式会社メルカリ R4D 顧問 • 日本ディープラーニング協会 顧問 • 元 楽天 執行役員 森 正弥 https://note.mu/masayamori • 先端技術の動向の情報発信を行い、産業横断的な公職にも携わる • 楽天では、開発組織のグローバル化、研究開発の統括を行い、 を用いた新サービスも創出

3 とは何か？ • 初出は 年 “ 人工知能に 関するダートマスの夏期研究会 、別名「ダートマス会議」でジョン・マッカーシーが名付けたのが最初。 AIとは、「人間の脳が行う知的作業 をコンピューターで実現することを 目指したソフトウェアやシステムの ことであり、具体的には、環境や物 体の認識、人の使う自然言語の理解 や論理的な推論、経験からの学習を 行うプログラム」 • 考えること、推論すること • 言葉を理解すること、操ること • 見て認識すること、聞いて認識すること、などなど。

4 とは何か？ • 初出は 年 “ 人工知能に 関するダートマスの夏期研究会 、別名「ダートマス会議」でジョン・マッカーシーが名付けたのが最初 AI 人間にしかできないと思われていた レベルの「情報処理」を実現する ソフトウェア • 自然言語処理、パターン認識、画像処理、音声認識、機械翻訳、ロボティクス、、、などなど • 年のビッグデータの潮流の中、人や企業の多くの活動がデジタル化され、取得可能なデータが増え、活用 機会が拡大したことに伴い、それを有効活用するための各種 技術も注目されている

5 ブームは今回が 回目 • 年から、 の研究は 年近く続いている。 • 第 世代、第 世代 とブームが来ては、限界を迎え、長い の冬の時代がやってきた AI 第1世代（1956年～）は、推論 第2世代（1980年代）は、ルール・知識 （AI の 冬） 第3世代（2006年～）は、「機械学習」

6 第 世代（今）の は、「学ぶ 」 • 現代の は、「機械学習」ベース • インプット（データや経験）から、インプットと正解の関係を「学ぶ 」である。 AI （モデル） トレーニング データ 経験 OR 正解 インプットと正解の関係を 学習する

7 が出すアウトプットは、誤差がある「 （予測）」である • 学んだ は、インプットに対して、正解と思われるものを答える。 • しかし、原理的にはそれは、 （予測）であり、ある意味「あてずっぽう」である • ゆえに、必ず「誤差」がある。 AI （モデル） インプット 多分、これだ と思う アウトプット 正解＋α（誤差）

8 が出すアウトプットは、誤差がある「 （予測）」である • の学習は、誤差が０に近づくようにやっていく • 誤差が大きい場合は、トレーニングデータを増やす・改善するなどをする • もし誤差がうまく小さくならない場合は、 の手法（モデル）を変えてることも検討する

9 なぜ、冬をこえたのか？ → インターネットがブレークスルーのきっかけ • インターネットにより、大量のデータが手に入るようになった • 大量のデータを扱うことで、誤差が小さくなり、 の性能が向上するケースが出た • は複雑な階層構造をなし、抽象から具象まで「あてずっぽう」の精度をあげている AI （モデル） 大量の インプット 多分、これ だと思う アウトプット 正解＋α（誤差） CNNの例

10 A/B Test Creative AI Deep Learning Recommendation Image Search Market Prediction Review Analysis Fraud Detection Product Catalog Face Recognition AIris Machine Translation

11 Object Recognition Face Recognition Image Search NG Image Filter … … Applications One Same Architecture

12 Product Catalog Machine Translation Review Analysis AIris … … Applications Fraud Detection Voice Recognition Many Models …..

13 Purchase CDNA … … To-cart Browsing Targeting Churn prediction User attribution prediction Ranking for search … … Applications

14 … Purchase CDNA … … To-cart Browsing Targeting Churn prediction User attribution prediction Ranking for search … … Applications One Common DNN

15 Alpha Zero GAN (image generator)

16 Big Data Deep Learning + < Small Data Data Augmentation Pre-Training Model BERT Multi-Task Learning Transfer Learning Back Translation … +

17 Ensemble Learning Multi-modal Learning Reinforcement Learning Meta Learning

18 Ensemble learning method is techniques that create multiple models and then combine them to improve prediction accuracy. Concept Use Cases  Predict demand forecast with high accuracy by using multiple learning model. Manufacturer *FUJITSU website “FUJITSU Business Application Operational Data Management & Analytics” Prediction accuracy Model B Outpu t Model C Model A Ensembl e Normal Output Model FUJITSU Predict demand forecast

19 Predict USD/JPY, NK225 and JGB on daily or weekly basis from past data by using machine learning. Ensemble learning is used as a method, and accuracy is improved. Index ・・・ Model B Model C Model A Past Data Future Prediction Accuracy Ensemble learning Nikkei 225 Bond Currency Index ・・・ Nikkei 225 Bond Currency Input Machine Learning Output Predict price

20 Classify product catalog by using machine learning. Ensemble learning is used as a method, and accuracy is improved. Product catalog data Classification (Taxonomy) Input Output ・Title ・Product description etc. Model B Model C Model A Accuracy Ensemble learning (XGBoost) Machine Learning

21 Detect merchants which can repay money from EC data with machine learning. Ensemble learning is used as a method, and accuracy is improved. EC data Credibility Score Input Output Tons of inputs • Can repay • Cannot repay Judge Merchants Model B Model C Model A Accuracy Ensemble learning Machine Learning

22 Multi-modal learning is a model to learn from multiple data source(text, image, voice, etc.). It is expected to high accuracy than model which learn from single source Concept Text Voice Image Multi-modal learning  Increase accuracy of fraud item detection by using multimodal model : image, product name, description and price. EC Robotics  Develop ASVR(Audio-Visual Speech Recognition), which has high noise-robust with combination of sound and video signals, Use Cases *Waseda University, Ogata tetsuya (https://pdf.gakkai-web.net/gakkai/ieice/icd/html/2017/view/I_01_02.pdf) *Mercari, Engineering Blog “https://tech.mercari.com/entry/2018/04/24/164919”, Text Multi- modal source Single source Voice Image (Video) ＋ Honda Research Institute Mercari Image Text (Product name, Description etc. ) ＋

23 Item Genre Classification : with Multi-modal learning Classifier based on Deep Learning Algorithm (CNN) Final Result Text Data • Item Title • Item Description Image Data LSTM

24 Reinforcement Learning is machine learning on how software agents to take action in environment to maximize some notion of reward. Agents find optimal action model through trial and error. Software Agents User etc. Action Feedback Concept Use Cases Find optimal action model  Alibaba has adopted reinforcement learning to improve commodity search EC Tech  DeepMind’s AlphaGo beat champion in Go game. *Sigmoidal (https://sigmoidal.io/alphago-how-it-uses-reinforcement-learning-to-beat-go-masters/) *Analytics India Magazine (https://www.analyticsindiamag.com/how-alibaba-is-applying-virtual-taobao-to-simulate-e-commerce-environment/) Google Alibaba

25 100% 50% 0% Time Trials 100% 50% 0% Time Trials A B C A wins! A B C Automatically A / B Test BANDIT 100% 50% 0% Time Trials A wins A B C Automatically＋Dynamic Dynamic BANDIT B wins A wins! Static Environment change Evolution!

26 Example (Human case) Skill of riding bicycle = Stand up ＋ Ascend or descend a staircase etc. Meta learning is approach of learning to learn. It learn a variety of tasks from small amounts of data by utilizing past learning. • Learn task quickly from small amounts of data by utilizing past learning • Meta learning is deep learning algorithm close to human *Nikkei X TECH (https://tech.nikkeibp.co.jp/dm/atcl/mag/15/00189/00003/)

27 （敵対的生成ネットワーク） Generator Discriminator Random Input Sample Sample Real Data Generator Loss Discriminator Loss • データ拡張にも使えるが、創造性を持った （ ）というトレンドの 原動力にもなっている

28 「創造的 と敵対的 の不思議な関係」 • という新しい アプリケーショ ンのトレンドと、それの原動力となっている （敵対的生成ネットワーク）の解説 • 利便性のみならず、新しく社会にもたらされ ているプライバシーの脅威についても言及 https://note.com/masayamori/n/n9fddedd9a6f5