Azure OpenAI Service関連について！ / Microsoft Ignite autumn 2021 about Azure OpenAI Service

下記のイベントで使用した登壇資料になります。

2021/11/22 Microsoft Ignite 秋まつり 2021
https://msdevjp.connpass.com/event/229730/

Transcript

1. Azure OpenAI Service関連について！
   - Microso( Ignite 秋まつり 2021 -
   河本貴史/ Takashi Kawamoto
   2021.11.22
   

   View Slide

2. ࣗݾ঺հ
   2
   5BLBTIJ,BXBNPUPʗ΋ͬͪΌΜ
   -*/&גࣜձࣾ ςΫχΧϧΤόϯδΣϦετʗ%FWFMPQFS3FMBUJPOT
   -*/&ͷ׆༻ͳͲؾʹͳΔํ͸ɺӈ্ͷ23$PEF͔Β͓ؾܰʹ͝࿈བྷ͍ͩ͘͞
   
   ˔ .JDSPTPGU.71GPS"*ʗ-*/&"1*&YQFSUʢ̏ظੜʛʙʣ
   ˔ "[VSF.BDIJOF-FBSOJOH͕޷͖ʗஶॻʰ-*/&"1*࣮ફΨΠυʱʗ-*/&ɺ74$PEFίϛϡχ
   ςΟ ΦʔΨφΠβʗΤϯδχΞϑϨϯυϦʔγςΟ෱ԬΞϫʔυड৆ -%(2
   
   ˔ Ϋϥ΢υͷػցֶशܥͷαʔϏε͕޷͖
   ˔ झຯ͸ࢠҭͯͰ͢ झຯʹͰ΋͠ͳ͍ͱ΍ͬͯΒΕ·SZ
   ˔ ຊ౰ͷझຯ͸ཱྀߦͱ͔Թઘʹߦ͘͜ͱͰ͢
   取得済みクラウドの機械学習系資格
   

   View Slide

3. ࣗવݴޠॲཧք۾ͷ৘ใ
   "[VSF0QFO"*4FSWJDFؔ࿈ʹ͍ͭͯ
   01
   02
   アジェンダ
   

   View Slide

4. 自然言語処理界隈の情報
   

   View Slide

5. 5
   ࣗવݴޠॲཧք۾ͷܦҢ
   ɾ#BHPG8PSET POFIPUFODPEJOH
   
   ɾ8PSE7FD 8PSE&NCFEEJOH
   
   ɾ3// %-Ͱࣗવݴޠॲཧͱ͍͑͹ίϨͷΠϝʔδʂ
   ɾ4FRTFR &ODPEFS%FDPEFSNPEFM
   
   ɾ#&35ɺ(15ʙ (15
   #&35#JEJSFDUJPOBM&ODPEFS3FQSFTFOUBUJPOTGSPN5SBOTGPSNFST
   (15(FOFSBUJWF1SFUSBJOFE5SBOTGPSNFS
   ࡢࠓɺࣗવݴޠॲཧ /-1/-6
   ͷ෼໺͸໨֮·͍͠ൃలΛ਱͛
   h"ps://www.slideshare.net/ShinAsakawa/tensorflow-math-ja-05-word2vec
   h"ps://deepai.org/machine-learning-glossary-and-terms/one-hotx-encoding
   h"ps://gluebenchmark.com/leaderboard
   h"ps://www.mri.co.jp/knowledge/column/20200508.html
   ⼈間のスコアを
   上回っている
   モデルがある
   

   View Slide

6. 6
   ࣗવݴޠॲཧ /-1/-6
   ք۾ͷ೥ද
   ྑ͍ײ͡ͷਤ͕͋·Γݟ͔ͭΒͣ׼
   https://www.arxiv-vanity.com/papers/2103.04037/
   Transformer登場で
   ブレイクスルーが起きた。
   （全てのモデルを過去に）
   

   View Slide

7. 7
   5SBOTGPSNFSͷొ৔ͰϒϨΠΫεϧʔ͕ى͖ͨ
   ɾ4FRTFR
   ӈଆ͕5SBOTGPSNFSɺ"UUFOUJPOػߏΛඋ͍͑ͯΔ
   https://docs.chainer.org/en/v7.8.0/examples/seq2seq.html
   https://pytorch.org/tutorials/beginner/transformer_tutorial.html
   https://arxiv.org/abs/1508.04025
   ɾ5SBOTGPSNFS "UUFOUJPO
   
   

   View Slide

8. Azure OpenAI Service (GPT-3)
   

   View Slide

9. 9
   (15ͱ͸
   (15(FOFSBUJWF1SFUSBJOFE5SBOTGPSNFS
   https://openai.com/
   https://en.wikipedia.org/wiki/OpenAI
   https://arxiv.org/abs/2005.14165
   https://openai.com/blog/microsoft/
   ɾ0QFO"*͕։ൃͨ͠ڊେݴޠϞσϧ ڭࢣͳֶ͠श
   
   ɾ5#ͷେن໛ίʔύε࢖༻
   ɾԯύϥϝʔλ (15͸ԯ
   
   ɾߴ͍ਫ਼౓͔ͭෳ਺ͷλεΫΛ͜ͳͤΔ
   ɾจষੜ੒͕ಘҙ
   0QFO"*ΠʔϩϯɾϚεΫΒ͕ࢀՃͨ͠ݚڀػؔ
   ࣄલֶशࡁ
   Ϟσϧ
   ϑΝΠϯ
   νϡʔχϯάޙͷ
   Ϟσϧ
   MicrosoftとOpenAI
   パートナーシップ結ぶ
   

   View Slide

10. 10
    (15ͷ͍͢͝ύϑΥʔϚϯε
    จষɺϓϩάϥϜੜ੒
    https://ja.wikipedia.org/wiki/LINE_(%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC%
    E3%82%B7%E3%83%A7%E3%83%B3)
    https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions
    จষͷཁ໿ 0QFO"*1MBZHSPVOE#FUB
    
    

    View Slide

11. 11
    "[VSF0QFO"*4FSWJDFͱ͸
    ৄ͘͠͸ηογϣϯΛ͝ཡ͍ͩ͘͞
    https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions
    

    View Slide

12. 12
    "[VSF"*αʔϏεશମͷ/FXମܥ
    $PHOJUJWF4FSWJDFT'BNJMZʹ
    http://ayomori.com/2021/11/05/microsoft-ignite-2021-fall-ai-update/ - ⼤森さんのブログにAzure AI関連の最新情報まとめが！
    https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/
    

    View Slide

13. 13
    "[VSFͷ"*αʔϏεͱͯ͠ఏڙ͞ΕΔϝϦοτ
    3FTQPOTJCMF"*ɺηΩϡϦςΟɺ৴པੑ
    https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions
    ɾਫ਼౓ͷߴ͍Ϟσϧͷίϯτϩʔϧ೉͍͠ͷͰ
    ɾʢ(15΋ةݥࢹ͞Ε͍ͯͨʣ
    ɾ3FTQPOTJCMF"*ઐ໳ͷηϛφʔ
    ɾ1VU3FTQPOTJCMF"*JOUP1SBDUJDF
    ɾIUUQBLBNT3FTQPOTJCMF"*&WFOU
    ɾ࣌ؒ͋Ε͹Ҏલॻ͍ͨهࣄɺಈըͰઆ໌͍ͨ͠
    ɾ"[VSF.-4UVEJPͰ࢖ͬͯཧղΛਂΊΔ3FTQPOTJCMF"*
    ɾผΠϕϯτͰޠͬͯΔಈը h*ps://youtu.be/YeJwQ3wqPBQ?t=4648
    ɾ"*.-͕ຊؾͰ׆༻͞ΕΔະདྷʹ޲͚ɺϞσϧΛ
    σόοάͰ͖Δମ੍͕͙ͦ͢͜·Ͱ͖͍ͯΔʂ͔΋͠Εͳ͍
    

    View Slide

14. 14
    ͪͳΈʹ"[VSF0QFO"*4FSWJDF͸·ͩ࢖͑ͳ͍
    ɾ"[VSF0QFO"*4FSWJDF 1SFWJFX
    r ϦΫΤετඞཁ
    Լه΋ਃ੥ඞཁ͕ͩɺݱ࣌఺Ͱ࢖͏͜ͱ͸Մೳ
    ɾ(JU)VC$PQJMPU
    ɾ0QFO"*4JUF
    ࠓ࢖͑ͦ͏ͳͷ͸(JU)VC$PQJMPUPS0QFO"*"1*
    

    View Slide

15. おしまい！
    

    View Slide