Share
Embed
AutoFM: An Automation Platform for the Training and Inference of Foundation Models
Tomohide Shibata (Yahoo! JAPAN / Yahoo! JAPAN Research / Senior Researcher)
https://tech-verse.me/ja/sessions/160
https://tech-verse.me/en/sessions/160
https://tech-verse.me/ko/sessions/160
Tech-Verse2022
November 17, 2022
Transcript
32 slides
-
AutoFM: An Automation Platform for the Training and Inference of
Foundation Models Tomohide Shibata / Yahoo! JAPAN -
Self Introduction • I joined Yahoo in 2019 as a
senior researcher at Yahoo! JAPAN Research. • My specialty is natural language processing • I am engaged in research on Japanese language analysis using deep learning and the development of service contributions using the latest natural language processing technology. • My hobbies are shogi and go. Tomohide Shibata -
Foundation Model [Bommasani+ 21] - A model that is trained
with large- scale data and can be used for various tasks - BERT [Devlin+ 18], GPT-3 [Brown+ 20], CLIP [Radford+ 21], .. - Foundation models make great progress in Natural Language Processing (NLP) and Computer Vision “On the Opportunities and Risks of Foundation Models” https://arxiv.org/abs/2108.07258 -
BERT [Devlin+ 18] - An NLP model proposed by Google
- Bidirectional Encoder Representations from Transformers - Perform much better in a variety of NLP tasks - Consists of two steps: pre-training and fine-tuning -
An Overview of BERT 1. Pre-training 2. Fine-tuning 自動車 競技
は 四 輪 の 自動車 あるいは そ れ に 準ずる 車両 に よる 競技 に 対して 主に 呼称 さ れ 、 オートバイ や それ に 準ずる 車 両 の 競技 に 対して は オートバイ 競技 や モーター サイクル レース など と 呼ば れる 。 自動車 競技 は操る 人 の … ʜ Learn general meaning Wikipedia (20M sent.) Downstream task -
An Overview of BERT 1. Pre-training 2. Fine-tuning 自動車 競技
は 四 輪 の 自動車 あるいは そ れ に 準ずる 車両 に よる 競技 に 対して 主に 呼称 さ れ 、 オートバイ や それ に 準ずる 車 両 の 競技 に 対して は オートバイ 競技 や モーター サイクル レース など と 呼ば れる 。 自動車 競技 は操る 人 の … ʜ Learn general meaning Wikipedia (20M sent.) Pre-trained model Downstream task Solve cloze tasks → No human labeling several tens of days -
An Overview of BERT 1. Pre-training 2. Fine-tuning 自動車 競技
は 四 輪 の 自動車 あるいは そ れ に 準ずる 車両 に よる 競技 に 対して 主に 呼称 さ れ 、 オートバイ や それ に 準ずる 車 両 の 競技 に 対して は オートバイ 競技 や モーター サイクル レース など と 呼ば れる 。 自動車 競技 は操る 人 の … ʜ Learn general meaning Wikipedia (20M sent.) Pre-trained model この映画はおもしろかった。 ポジティブ この本はためになった。 ポジティブ この映画はつまらなかった。 ネガティブ ... Downstream task e.g., sentiment analysis Fine-tuned model Solve cloze tasks → No human labeling several tens of days human labeling (tens of thousands) several minutes to hours -
Problems 1. Making full use of foundation models is not
so easy - Difficult for engineers who are not familiar with NLP (difficult even for NLP engineers) 2. Developing models separately in individual departments would be wasteful → To solve these problems, we are developing a platform called AutoFM -
Agenda - What is AutoFM? - Use Case of AutoFM
in Yahoo! JAPAN - Future Directions -
What is AutoFM? - An automated platform for the training
and inference of foundation models on our in-house AI platform - Make training, examining and deploying foundation models as easy as possible -
Key Concept - Just prepare a training/evaluation file - No
need to write codes sentence label この映画はおもしろかった。 ポジティブ この本はためになった。 ポジティブ この映画はつまらなかった。 ネガティブ ... -
Design Concept 2. Separate generic codes from project-specific codes 1.
Avoid in-house codes so as not to depend on an individual engineer → tensorflow2.x official codes on our in-house AI platform -
Model Training using LakeTahoe - Handy hyperperameter search - Can
perform fine-tuning just by submitting a job https://techblog.yahoo.co.jp/entry/2021083130180585/ $ acloud laketahoe jobs submit training <job id> --config <config file> # of epochs learning rate maximize accuracy on validation set (in-house model training system) -
Model Deployment using CuttySark $ curl https://..:predict -X POST -d
'{"instances": [ {"examples": "この本を 買ってよかった。"}]}’ { "predictions": [ { "prob": 0.98820132, "label": "positive” } ] } confidence system output No preprocess (in-house managed inference service) -
Agenda - What is AutoFM? - Use Case of AutoFM
in Yahoo! JAPAN - Future Directions -
AutoFM for a Variety of Tasks Sentiment Analysis Query Categorization
この映画はおもしろかった。 ポジティブ この映画はつまらなかった。 ネガティブ … マリトッツォ グルメ,レシピ・料理 ソフトバンク スマートデバイス,企業・組織 … Just change a training data … -
Web Search Query Categorization - Web search queries are essential
for understanding user needs and issues - Have to categorize them into person’s name, product name, etc. - Web search queries are long-tail → Even low-frequent queries have to be categorized with high accuracy - New words and jargon are created day to day - BERT performs much better than conventional machine learning methods -
AutoFM: Web Search Categorization 1. Pre-training 2. Fine-tuning youtube ʜ
Ϡϑʔ ϩάΠϯ ʜ খḺϑΣϦʔ ʜ όδϦεΫឺϢχϝϞ ϛογϣϯ ʜ Learn general meaning Web search logs (50M queries) Pre-trained model Downstream task Solve cloze tasks → No human labeling about 15 days model sharing The search queries in this presentation are obtained within the scope of our privacy policy and processed in such a way that individuals cannot be identified. -
AutoFM: Web Search Categorization 1. Pre-training 2. Fine-tuning youtube ʜ
Ϡϑʔ ϩάΠϯ ʜ খḺϑΣϦʔ ʜ όδϦεΫឺϢχϝϞ ϛογϣϯ ʜ Learn general meaning Web search logs (50M queries) Pre-trained model amazon ネットショッピング youtube 動画 ソフトバンク スマートデバイス,企業・組織 マリトッツォ グルメ,レシピ・料理 .. Downstream task query categorization Fine-tuned model Solve cloze tasks → No human labeling human labeling (about 30,000 queries) about 10 minutes model sharing The search queries in this presentation are obtained within the scope of our privacy policy and processed in such a way that individuals cannot be identified. about 15 days -
How “Maritozzo” is Categorized into “gourmet”? 1. Pre-training 2. Fine-tuning
マリトッツォとは マリトッツォ コンビニ マリトッツォ レシピ ゴディバ マリトッツォ マリトッツォ カロリー ʜ Web search logs https://ja.wikipedia.org/wiki/マリトッツォ どら焼き レシピ うさぎや どら焼き どら焼き 有名 どら焼き お取り寄せ コンビニ どら焼き ʜ https://ja.wikipedia.org/wiki/どら焼き -
How “Maritozzo” is Categorized into “gourmet”? 1. Pre-training 2. Fine-tuning
マリトッツォとは マリトッツォ コンビニ マリトッツォ レシピ ゴディバ マリトッツォ マリトッツォ カロリー ʜ Web search logs https://ja.wikipedia.org/wiki/マリトッツォ どら焼き レシピ うさぎや どら焼き どら焼き 有名 どら焼き お取り寄せ コンビニ どら焼き ʜ https://ja.wikipedia.org/wiki/どら焼き マリトッツォ ≒ どら焼き -
How “Maritozzo” is Categorized into “gourmet”? 1. Pre-training 2. Fine-tuning
マリトッツォとは マリトッツォ コンビニ マリトッツォ レシピ ゴディバ マリトッツォ マリトッツォ カロリー ʜ Web search logs amazon ネットショッピング youtube 動画 … どら焼き グルメ, レシピ・料理 .. https://ja.wikipedia.org/wiki/マリトッツォ どら焼き レシピ うさぎや どら焼き どら焼き 有名 どら焼き お取り寄せ コンビニ どら焼き ʜ https://ja.wikipedia.org/wiki/どら焼き マリトッツォ ≒ どら焼き “Maritozzo” can be categorized into “グルメ” and “レシピ・料理” New words can be trained by web search logs Only core data is given -
System Evaluation 55.5 64.9 67.3 71.7 74 75.5 60.8 50
55 60 65 70 75 80 0 20 40 60 80 100 Micro F1 # of used queries for the pre-training (M) Wikipedia Search logs -
System Output Examples Query System Output オッドタクシー タイトル名 (0.997), 映画
(0.948), テレビ (0.932), アニメ (0.868) ビアリー グルメ (0.966), 製品・商品 (0.925) 真犯人フラグ キャスト タイトル名 (0.988), テレビ (0.979) ワンピース ネタバレ タイトル名 (0.992),マンガ・アニメ (0.972), テレビ (0.939) ワンピース レディース ファッション (0.985), 製品・商品 (0.951) ワンピース 1015 マンガ・アニメ (0.983),タイトル名 (0.969), テレビ (0.740) System confidence (0-1) -
Updating Pre-trained Models Query Pretrained Model (as of 2021) Pretrained
Model (as of 2022) オミクロン株 金融・投資 (0.983) 健康・医療 (0.985) ステルスオミクロン ゲーム (0.879) 健康・医療 (0.974) モグライダー レジャー・遊び (0.895) 人名(有名人) (0.992) -
Agenda - What is AutoFM? - Use Case of AutoFM
in Yahoo! JAPAN - Future Directions -
Future Directions - Add token-level classification (named entity recognition) -
Add other models other than BERT (encoder-decoder model, sentence vector learning, etc.) - Backbone: Huggingface transformers - Provide Web interface → Non-engineers can use AutoFM -
Conclusions - Present a developing platform AutoFM: an automated platform
for the training and inference of foundation models on our in-house AI platform - Continue to extend our system according to requests by several projects