Save 37% off PRO during our Black Friday Sale! »

Azure OpenAI Service関連について! / Microsoft Ignite autumn 2021 about Azure OpenAI Service

8d0803aa4572615f7bce5f5288e6b716?s=47 mochan-tk
November 22, 2021

Azure OpenAI Service関連について! / Microsoft Ignite autumn 2021 about Azure OpenAI Service

下記のイベントで使用した登壇資料になります。

2021/11/22 Microsoft Ignite 秋まつり 2021
https://msdevjp.connpass.com/event/229730/

8d0803aa4572615f7bce5f5288e6b716?s=128

mochan-tk

November 22, 2021
Tweet

Transcript

  1. Azure OpenAI Service関連について! - Microso( Ignite 秋まつり 2021 - 河本貴史/

    Takashi Kawamoto 2021.11.22
  2. ࣗݾ঺հ 2 5BLBTIJ,BXBNPUPʗ΋ͬͪΌΜ -*/&גࣜձࣾ ςΫχΧϧΤόϯδΣϦετʗ%FWFMPQFS3FMBUJPOT -*/&ͷ׆༻ͳͲؾʹͳΔํ͸ɺӈ্ͷ23$PEF͔Β͓ؾܰʹ͝࿈བྷ͍ͩ͘͞ ˔ .JDSPTPGU.71GPS"*ʗ-*/&"1*&YQFSUʢ̏ظੜʛʙʣ ˔ "[VSF.BDIJOF-FBSOJOH͕޷͖ʗஶॻʰ-*/&"1*࣮ફΨΠυʱʗ-*/&ɺ74$PEFίϛϡχ

    ςΟ ΦʔΨφΠβʗΤϯδχΞϑϨϯυϦʔγςΟ෱ԬΞϫʔυड৆ -%(2 ˔ Ϋϥ΢υͷػցֶशܥͷαʔϏε͕޷͖ ˔ झຯ͸ࢠҭͯͰ͢ झຯʹͰ΋͠ͳ͍ͱ΍ͬͯΒΕ·SZ ˔ ຊ౰ͷझຯ͸ཱྀߦͱ͔Թઘʹߦ͘͜ͱͰ͢ 取得済みクラウドの機械学習系資格
  3. ࣗવݴޠॲཧք۾ͷ৘ใ "[VSF0QFO"*4FSWJDFؔ࿈ʹ͍ͭͯ 01 02 アジェンダ

  4. 自然言語処理界隈の情報

  5. 5 ࣗવݴޠॲཧք۾ͷܦҢ ɾ#BHPG8PSET POFIPUFODPEJOH ɾ8PSE7FD 8PSE&NCFEEJOH ɾ3// %-Ͱࣗવݴޠॲཧͱ͍͑͹ίϨͷΠϝʔδʂ ɾ4FRTFR &ODPEFS%FDPEFSNPEFM

    ɾ#&35ɺ(15ʙ (15 #&35#JEJSFDUJPOBM&ODPEFS3FQSFTFOUBUJPOTGSPN5SBOTGPSNFST (15(FOFSBUJWF1SFUSBJOFE5SBOTGPSNFS ࡢࠓɺࣗવݴޠॲཧ /-1/-6 ͷ෼໺͸໨֮·͍͠ൃలΛ਱͛ h"ps://www.slideshare.net/ShinAsakawa/tensorflow-math-ja-05-word2vec h"ps://deepai.org/machine-learning-glossary-and-terms/one-hotx-encoding h"ps://gluebenchmark.com/leaderboard h"ps://www.mri.co.jp/knowledge/column/20200508.html ⼈間のスコアを 上回っている モデルがある
  6. 6 ࣗવݴޠॲཧ /-1/-6 ք۾ͷ೥ද ྑ͍ײ͡ͷਤ͕͋·Γݟ͔ͭΒͣ׼ https://www.arxiv-vanity.com/papers/2103.04037/ Transformer登場で ブレイクスルーが起きた。 (全てのモデルを過去に)

  7. 7 5SBOTGPSNFSͷొ৔ͰϒϨΠΫεϧʔ͕ى͖ͨ ɾ4FRTFR ӈଆ͕5SBOTGPSNFSɺ"UUFOUJPOػߏΛඋ͍͑ͯΔ https://docs.chainer.org/en/v7.8.0/examples/seq2seq.html https://pytorch.org/tutorials/beginner/transformer_tutorial.html https://arxiv.org/abs/1508.04025 ɾ5SBOTGPSNFS  "UUFOUJPO

  8. Azure OpenAI Service (GPT-3)

  9. 9 (15ͱ͸ (15(FOFSBUJWF1SFUSBJOFE5SBOTGPSNFS https://openai.com/ https://en.wikipedia.org/wiki/OpenAI https://arxiv.org/abs/2005.14165 https://openai.com/blog/microsoft/ ɾ0QFO"*͕։ൃͨ͠ڊେݴޠϞσϧ ڭࢣͳֶ͠श ɾ5#ͷେن໛ίʔύε࢖༻

    ɾԯύϥϝʔλ (15͸ԯ ɾߴ͍ਫ਼౓͔ͭෳ਺ͷλεΫΛ͜ͳͤΔ ɾจষੜ੒͕ಘҙ 0QFO"*ΠʔϩϯɾϚεΫΒ͕ࢀՃͨ͠ݚڀػؔ ࣄલֶशࡁ Ϟσϧ ϑΝΠϯ νϡʔχϯάޙͷ Ϟσϧ MicrosoftとOpenAI パートナーシップ結ぶ
  10. 10 (15ͷ͍͢͝ύϑΥʔϚϯε จষɺϓϩάϥϜੜ੒ https://ja.wikipedia.org/wiki/LINE_(%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC% E3%82%B7%E3%83%A7%E3%83%B3) https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions จষͷཁ໿ 0QFO"*1MBZHSPVOE#FUB

  11. 11 "[VSF0QFO"*4FSWJDFͱ͸ ৄ͘͠͸ηογϣϯΛ͝ཡ͍ͩ͘͞ https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions

  12. 12 "[VSF"*αʔϏεશମͷ/FXମܥ $PHOJUJWF4FSWJDFT'BNJMZʹ http://ayomori.com/2021/11/05/microsoft-ignite-2021-fall-ai-update/ - ⼤森さんのブログにAzure AI関連の最新情報まとめが! https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

  13. 13 "[VSFͷ"*αʔϏεͱͯ͠ఏڙ͞ΕΔϝϦοτ 3FTQPOTJCMF"*ɺηΩϡϦςΟɺ৴པੑ https://myignite.microsoft.com/sessions/e3f5c4bc-5cc8-4e09-89a7-033da3a16433?source=sessions ɾਫ਼౓ͷߴ͍Ϟσϧͷίϯτϩʔϧ೉͍͠ͷͰ ɾʢ(15΋ةݥࢹ͞Ε͍ͯͨʣ ɾ3FTQPOTJCMF"*ઐ໳ͷηϛφʔ ɾ1VU3FTQPOTJCMF"*JOUP1SBDUJDF ɾIUUQBLBNT3FTQPOTJCMF"*&WFOU ɾ࣌ؒ͋Ε͹Ҏલॻ͍ͨهࣄɺಈըͰઆ໌͍ͨ͠

    ɾ"[VSF.-4UVEJPͰ࢖ͬͯཧղΛਂΊΔ3FTQPOTJCMF"* ɾผΠϕϯτͰޠͬͯΔಈը h*ps://youtu.be/YeJwQ3wqPBQ?t=4648 ɾ"*.-͕ຊؾͰ׆༻͞ΕΔະདྷʹ޲͚ɺϞσϧΛ σόοάͰ͖Δମ੍͕͙ͦ͢͜·Ͱ͖͍ͯΔʂ͔΋͠Εͳ͍
  14. 14 ͪͳΈʹ"[VSF0QFO"*4FSWJDF͸·ͩ࢖͑ͳ͍ ɾ"[VSF0QFO"*4FSWJDF 1SFWJFX r ϦΫΤετඞཁ Լه΋ਃ੥ඞཁ͕ͩɺݱ࣌఺Ͱ࢖͏͜ͱ͸Մೳ ɾ(JU)VC$PQJMPU ɾ0QFO"*4JUF ࠓ࢖͑ͦ͏ͳͷ͸(JU)VC$PQJMPUPS0QFO"*"1*

  15. おしまい!