Azure OpenAI Service関連について！ / Microsoft Ignite autumn 2021 about Azure OpenAI Service

下記のイベントで使用した登壇資料になります。

2021/11/22 Microsoft Ignite 秋まつり 2021
https://msdevjp.connpass.com/event/229730/

1. Azure OpenAI Service関連について！ - Microso( Ignite 秋まつり 2021 - 河本貴史/ Takashi Kawamoto 2021.11.22
2. ࣗݾ঺հ 2 5BLBTIJ
   ,BXBNPUPʗ΋ͬͪΌΜ -*/&גࣜձࣾ ςΫχΧϧΤόϯδΣϦετʗ%FWFMPQFS
   3FMBUJPOT
   -*/&ͷ׆༻ͳͲؾʹͳΔํ͸ɺӈ্ͷ23
   $PEF͔Β͓ؾܰʹ͝࿈བྷ͍ͩ͘͞ ˔ .JDSPTPGU
   .71
   GPS
   "*ʗ-*/&
   "1*
   &YQFSUʢ̏ظੜʛʙʣ ˔ "[VSF
   .BDIJOF
   -FBSOJOH͕޷͖ʗஶॻʰ-*/&
   "1*࣮ફΨΠυʱʗ-*/&ɺ74
   $PEFίϛϡχ ςΟ ΦʔΨφΠβʗΤϯδχΞϑϨϯυϦʔγςΟ෱ԬΞϫʔυड৆ -%(2 ˔ Ϋϥ΢υͷػցֶशܥͷαʔϏε͕޷͖ ˔ झຯ͸ࢠҭͯͰ͢ झຯʹͰ΋͠ͳ͍ͱ΍ͬͯΒΕ·SZ ˔ ຊ౰ͷझຯ͸ཱྀߦͱ͔Թઘʹߦ͘͜ͱͰ͢ 取得済みクラウドの機械学習系資格
3. ࣗવݴޠॲཧք۾ͷ৘ใ "[VSF
   0QFO"*
   4FSWJDFؔ࿈ʹ͍ͭͯ 01 02 アジェンダ
4. 自然言語処理界隈の情報
5. 5 ࣗવݴޠॲཧք۾ͷܦҢ ɾ#BH
   PG
   8PSET POFIPU
   FODPEJOH ɾ8PSE7FD 8PSE
   &NCFEEJOH ɾ3// %-Ͱࣗવݴޠॲཧͱ͍͑͹ίϨͷΠϝʔδʂ ɾ4FRTFR &ODPEFS%FDPEFS
   NPEFM ɾ#&35ɺ(15ʙ (15 #&35
   #JEJSFDUJPOBM
   &ODPEFS
   3FQSFTFOUBUJPOT
   GSPN
   5SBOTGPSNFST (15
   (FOFSBUJWF
   1SFUSBJOFE
   5SBOTGPSNFS ࡢࠓɺࣗવݴޠॲཧ /-1/-6 ͷ෼໺͸໨֮·͍͠ൃలΛ਱͛ h"ps://www.slideshare.net/ShinAsakawa/tensorflow-math-ja-05-word2vec h"ps://deepai.org/machine-learning-glossary-and-terms/one-hotx-encoding h"ps://gluebenchmark.com/leaderboard h"ps://www.mri.co.jp/knowledge/column/20200508.html ⼈間のスコアを 上回っている モデルがある
6. 6 ࣗવݴޠॲཧ /-1/-6 ք۾ͷ೥ද ྑ͍ײ͡ͷਤ͕͋·Γݟ͔ͭΒͣ׼ https://www.arxiv-vanity.com/papers/2103.04037/ Transformer登場で ブレイクスルーが起きた。 （全てのモデルを過去に）
7. 7 5SBOTGPSNFSͷొ৔ͰϒϨΠΫεϧʔ͕ى͖ͨ ɾ4FRTFR ӈଆ͕5SBOTGPSNFSɺ"UUFOUJPOػߏΛඋ͍͑ͯΔ https://docs.chainer.org/en/v7.8.0/examples/seq2seq.html https://pytorch.org/tutorials/beginner/transformer_tutorial.html https://arxiv.org/abs/1508.04025 ɾ5SBOTGPSNFS
   "UUFOUJPO
8. Azure OpenAI Service (GPT-3)
9. 9 (15ͱ͸ (15
   (FOFSBUJWF
   1SFUSBJOFE
   5SBOTGPSNFS https://openai.com/ https://en.wikipedia.org/wiki/OpenAI https://arxiv.org/abs/2005.14165 https://openai.com/blog/microsoft/ ɾ0QFO"*͕։ൃͨ͠ڊେݴޠϞσϧ ڭࢣͳֶ͠श ɾ5#ͷେن໛ίʔύε࢖༻ ɾԯύϥϝʔλ (15͸ԯ ɾߴ͍ਫ਼౓͔ͭෳ਺ͷλεΫΛ͜ͳͤΔ ɾจষੜ੒͕ಘҙ 0QFO"*
   ΠʔϩϯɾϚεΫΒ͕ࢀՃͨ͠ݚڀػؔ ࣄલֶशࡁ Ϟσϧ ϑΝΠϯ νϡʔχϯάޙͷ Ϟσϧ MicrosoftとOpenAI パートナーシップ結ぶ
10. 10 (15ͷ͍͢͝ύϑΥʔϚϯε จষɺϓϩάϥϜੜ੒ https://ja.wikipedia.org/wiki/LINE_(%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC% E3%82%B7%E3%83%A7%E3%83%B3) https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions จষͷཁ໿ 0QFO"*
    1MBZHSPVOE
    #FUB
11. 11 "[VSF
    0QFO"*
    4FSWJDFͱ͸ ৄ͘͠͸ηογϣϯΛ͝ཡ͍ͩ͘͞ https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions
12. 12 "[VSF
    "*αʔϏεશମͷ/FXମܥ $PHOJUJWF
    4FSWJDFT
    'BNJMZʹ http://ayomori.com/2021/11/05/microsoft-ignite-2021-fall-ai-update/ - ⼤森さんのブログにAzure AI関連の最新情報まとめが！ https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/
13. 13 "[VSFͷ"*αʔϏεͱͯ͠ఏڙ͞ΕΔϝϦοτ 3FTQPOTJCMF
    "*ɺηΩϡϦςΟɺ৴པੑ https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions ɾਫ਼౓ͷߴ͍Ϟσϧͷίϯτϩʔϧ೉͍͠ͷͰ ɾʢ(15΋ةݥࢹ͞Ε͍ͯͨʣ ɾ
    3FTQPOTJCMF
    "*ઐ໳ͷηϛφʔ ɾ1VU
    3FTQPOTJCMF
    "*
    JOUP
    1SBDUJDF ɾIUUQBLBNT3FTQPOTJCMF"*&WFOU ɾ࣌ؒ͋Ε͹Ҏલॻ͍ͨهࣄɺಈըͰઆ໌͍ͨ͠ ɾ"[VSF
    .-
    4UVEJPͰ࢖ͬͯཧղΛਂΊΔ3FTQPOTJCMF
    "* ɾผΠϕϯτͰޠͬͯΔಈը 
    h*ps://youtu.be/YeJwQ3wqPBQ?t=4648 ɾ"*.-͕ຊؾͰ׆༻͞ΕΔະདྷʹ޲͚ɺϞσϧΛ σόοάͰ͖Δମ੍͕͙ͦ͢͜·Ͱ͖͍ͯΔʂ͔΋͠Εͳ͍
14. 14 ͪͳΈʹ"[VSF
    0QFO
    "*
    4FSWJDF͸·ͩ࢖͑ͳ͍ ɾ"[VSF
    0QFO"*
    4FSWJDF
    1SFWJFX r ϦΫΤετඞཁ Լه΋ਃ੥ඞཁ͕ͩɺݱ࣌఺Ͱ࢖͏͜ͱ͸Մೳ ɾ(JU)VC
    $PQJMPU ɾ0QFO"*
    4JUF ࠓ࢖͑ͦ͏ͳͷ͸(JU)VC
    $PQJMPU
    PS
    0QFO"*
    "1*
15. おしまい！