Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Azure OpenAI Service関連について! / cogbot #34 Ignite 2021 Nov Recap about Azure OpenAI Service

8d0803aa4572615f7bce5f5288e6b716?s=47 mochan-tk
December 02, 2021

Azure OpenAI Service関連について! / cogbot #34 Ignite 2021 Nov Recap about Azure OpenAI Service

下記のイベントで使用した登壇資料になります。

Cogbot Meetup Online #34 - Ignite 2021 Nov Recap
2021/11月に開催された Microsoft Ignite 2021 の最新情報!
https://cogbot.connpass.com/event/231871/

8d0803aa4572615f7bce5f5288e6b716?s=128

mochan-tk

December 02, 2021
Tweet

More Decks by mochan-tk

Other Decks in Technology

Transcript

  1. Azure OpenAI Service関連について! - Cogbot Meetup Online #34 - Ignite

    2021 Nov Recap - 河本貴史/ Takashi Kawamoto 2021.12.1
  2. 自己紹介 2 Takashi Kawamoto/もっちゃん LINE 株式会社 テクニカルエバンジェリスト/Developer Relations ( LINEの活用など気になる方は、右上のQR

    Codeからお気軽にご連絡ください ) • Microsoft MVP for AI/LINE API Expert(3期生|2019~2021) • LINE API/プロダクト全般の啓発活動(Azure×LINE組み合わせ活用の布教も) • 著書『LINE API実践ガイド』/LINE、VS Codeコミュニティ オーガナイザ/エンジニアフレン ドリーシティ福岡アワード2020受賞(LDGQ) • クラウドの機械学習系のサービスが好き • 趣味は子育てです...(趣味にでもしないとやってられまry • 本当の趣味は旅行とか温泉に行くことです 取得済みクラウドの機械学習系資格
  3. 自然言語処理界隈の情報 Azure OpenAI Service関連について 01 02 アジェンダ

  4. 自然言語処理界隈の情報

  5. 5 自然言語処理界隈の経緯 ・Bag of Words(one-hot encoding) ・Word2Vec(Word Embedding) ・RNN(DLで自然言語処理といえばコレのイメージ!.. ・Seq2seq(Encoder-Decoder

    model) ・BERT、GPT-1~ GPT-3 BERT: Bidirectional Encoder Representations from Transformers GPT: Generative Pre-trained Transformer 昨今、自然言語処理(NLP/NLU)の分野は目覚ましい発展を遂げ https://www.slideshare.net/ShinAsakawa/tensorflow-math-ja-05-word2vec https://deepai.org/machine-learning-glossary-and-terms/one-hotx-encoding https://gluebenchmark.com/leaderboard https://www.mri.co.jp/knowledge/column/20200508.html 人間のスコアを 上回っている モデルがある
  6. 6 自然言語処理(NLP/NLU)界隈の年表 良い感じの図があまり見つからず汗 https://www.arxiv-vanity.com/papers/2103.04037/ Transformer登場で ブレイクスルーが起きた。 (全てのモデルを過去に)

  7. 7 Transformerの登場でブレイクスルーが起きた ・Seq2seq 右側がTransformer、Attention機構を備えている https://docs.chainer.org/en/v7.8.0/examples/seq2seq.html https://pytorch.org/tutorials/beginner/transformer_tutorial.html https://arxiv.org/abs/1508.04025 ・Transformer, (Attention)

  8. 8 (余談)セサミストリートのキャラ名を付ける習慣が.. https://bit.ly/3oRu4iZ https://www.sesamestreetjapan.org/characters.html

  9. Azure OpenAI Service (GPT-3)

  10. 10 GPT-3とは GPT: Generative Pre-trained Transformer https://openai.com/ https://en.wikipedia.org/wiki/OpenAI https://arxiv.org/abs/2005.14165 https://openai.com/blog/microsoft/

    ・OpenAIが開発した巨大言語モデル(教師なし学習) ・45TBの大規模コーパス使用 ・1750億パラメータ(GPT-2は15億) ・高い精度かつ複数のタスクをこなせる ・文章生成が得意 OpenAI: イーロン・マスクらが参加した研究機関 事前学習済 モデル ファイン チューニング後の モデル MicrosoftとOpenAI パートナーシップ結ぶ
  11. 11 GPT-3のすごいパフォーマンス 文章、プログラム生成 https://ja.wikipedia.org/wiki/LINE_(%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC% E3%82%B7%E3%83%A7%E3%83%B3) https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions 文章の要約(OpenAI Playground Beta)

  12. 12 Azure OpenAI Serviceとは Microsoft 詳しくはセッションをご覧ください https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions

  13. 13 Azure AIサービス全体のNew体系 Cognitive Services Familyに http://ayomori.com/2021/11/05/microsoft-ignite-2021-fall-ai-update/ - 大森さんのブログにAzure AI関連の最新情報まとめが!

    https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/
  14. 14 AzureのAIサービスとして提供されるメリット Responsible AI、セキュリティ、信頼性 https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions ・精度の高いモデルのコントロール難しいので.. ・(GPT-2も危険視されていた) ・12/7 Responsible AI専門のセミナー

    ・Put Responsible AI into Practice ・http://aka.ms/ResponsibleAIEvent ・時間あれば以前書いた記事、動画で説明したい.. ・Azure ML Studioで使って理解を深めるResponsible AI ・別イベントで語ってる動画 > https://youtu.be/YeJwQ3wqPBQ?t=4648 ・AI/MLが本気で活用される未来に向け、モデルを デバッグできる体制がすぐそこまできている!..かもしれない
  15. 15 ちなみにAzure Open AI Serviceはまだ使えない ・Azure OpenAI Service (Preview) –

    リクエスト必要 下記も申請必要だが、現時点で使うことは可能 ・GitHub Copilot ・OpenAI Site 今使えそうなのはGitHub Copilot or OpenAI API
  16. 16 (おまけ)個人的 MS Ignite 2021で気になった情報 メタバースめっちゃ興味あります! HoloLensも早くデビューしたい! https://news.microsoft.com/ja-jp/2021/11/04/211104-mesh-for-microsoft-teams/ https://blogs.windows.com/japan/2021/11/02/15-off-microsoft-hololens-2-for-a-limited-time/ ディスカウントしてたが

    冷静に計算すると やっぱりポチれない..
  17. おしまい!