GCPと機械学習

GCPͱػցֶश ൃදऀ kmt-t 1/24

ࣗݾ঺հ • ໊લ : kmt-t • ৬ۀ : ૊ΈࠐΈϓϩάϥϚ •
ஶॻ : AndroidͷԾ૝Ϛγϯ • ϚΠίϯ͓͡͞ΜͰ͢ 2/24

ͱͬͱΔͼʔ঺հ • ௗऔࢢͷRubyษڧձ • 10೥͙Β͍ܧଓத • 3ϲ݄ʹҰճ։࠵ • Ruby͡Όͳ͍ൃද΋͋Γ 3/24

ௗऔͷΫϥ΢υࣄ ৘͸Ͳ͏ʁ 4/24

ൃදςʔϚ • ػցֶशͬͯԿ͢Δͷʁ • Ϋϥ΢υͰػցֶशΛ͢Δҙຯ • Ϋϥ΢υαʔϏεൺֱ • Ϋϥ΢υͱਂ૚ֶश 5/24

ػցֶशͬͯԿ͢Δͷʁ 6/24

ػցֶशͰͰ͖Δ͜ͱ • ॳ৺ऀ޲͚ʹ͸ҎԼͷ;͕ͨͭͰ͖Ε͹Φοέʔ • ճؼ • ෼ྨ 7/24

ճؼ • Y = f(X) • Կ͔ͷྔ͔Β͔ΒผͷྔΛਪ࿦͢Δ • ྫ͑͹ؾԹ͔ΒϏʔϧͷൢച਺Λ༧ଌ •
X΋Y΋ϕΫτϧ (਺஋ͷ૊) ͩͬͨΓ 8/24

෼ྨ • σʔλ͕Կͳͷ͔෼ྨ͢Δ • ը૾෼ྨ͕༗໊ • ݘʁೣʁυϥ͑΋Μʁ 9/24

ػցֶशͷྲྀΕ • σʔλऩू : ֶशσʔλͷ࣭͕ॏཁ • ετϨʔδ : Ͳ͜ʹอଘ͢Δͷ͔ʁ •
લॲཧ : ܽଛิؒɺσʔλ૿ڧɺϕΫτϧԽ • ˒ֶश : ͕͔͔࣌ؒΔɺΧοτΞϯυτϥΠ • ˒ਪ࿦ : ࣮ࡍͷαʔϏεͰ͸ਪ࿦ͷΈ͢Δ 10/24

Ϋϥ΢υͰػցֶशΛ͢Δҙຯ 11/24

Ϋϥ΢υͰ΍ΔϝϦοτ • ϚωʔδυαʔϏε • άϥϑΟΧϧͳઃܭ • εέʔϧΞ΢τ༰қ • λΠϜϘοΫε͕͋ΔϓϩδΣΫτͩ ͱ͍҆
• ࣭ͷྑֶ͍शࡁΈϞσϧ 12/24

Ϋϥ΢υͰ΍ΔσϝϦοτ • GPUΠϯελϯε͕ߴ͍ • GPU͕ݹ͍ • ֶशσʔλͷσϓϩΠ͕ͭΒ͍ • ετϨʔδ͕஗͍ •
ѱ͍ҙຯͰϩʔΧϧͰ։ൃ͢ΔͷͱมΘΒͳ͍ 13/24

Ϋϥ΢υͱਂ૚ֶश 14/24

େࡶ೺ͳ࿩ • ૬৔͕͋ΔͷͰϕʔεͷΠϯελϯεྉۚɺੑೳͷࠩ͸খ͍͞ • GCP͕׬શʹଞͱҧ͏ͷ͕ΞΫηϥϨʔλ • GPU (AmazonɺϚΠΫϩιϑτ) • TPU
(Google) • GCPͰTPU͕࢖͑ΔΑ͏ʹͳͬͨͷ͸࠷ۙ • ॲཧ͕࣌ؒ௕͍ͷͰܭࢉೳྗউෛ 15/24

GPUͷܭࢉೳྗ • ਂ૚ֶशͷܭࢉͷຆͲ͸ੵ࿨ܭࢉ • ࢦඪ͸TFLOPS/TOPS͕Ұൠత HW fp32 fp16 GeForceRTX2080Ti 13.4TFLOPS
107TFLOPS※ Tesla K80 5.6TFLOPS N/A Tesla V100 15.7TFLOPS 125TFLOPS※ (※͸TensorCoreͷੑೳ) 16/24

TPUͷܭࢉೳྗ • 4νοϓߏ੒ • INT8Ͱ͸ֶश͸Ͱ͖ͳ͍ HW bﬂoat16 INT8 TPUv1 N/A
92TOPS TPUv2 180TFLOPS ʁʁʁ TPUv3 v2ͷ2ഒ ʁʁʁ 17/24

ྉۚൺֱ • Ұϲ݄720࣌ؒɺ1υϧ110ԁͰܭࢉ Ϋϥ΢υ αʔϏε HW ྉۚ TFLOPS୯Ձ GCP Cloud
TPU TPUv2 356ઍԁ/݄ 1980ԁ݄/TFLOPS GCP ϓϦΤϯϓςΟϒ TPU TPUv2 107ઍԁ/݄ 545ԁ݄/TFLOPS GCP ϓϦΤϯϓςΟϒ TPU TPUv3 190ઍԁ/݄ 528ԁ݄/TFLOPS AWS p3.2xlarge NVIDIA V100 242ઍԁ݄ 1938ԁ݄/TFLOPS AWS p2.xlarge NVIDIA K80 71ઍԁ݄ 12728ԁ݄/TFLOPS Azure NC6 NVIDIA K80 79ઍԁ݄ 14245ԁ݄/TFLOPS 18/24

TPUΞʔΩςΫνϟ 19/24

TPUͱGPUͷҧ͍ • ૬ରతʹTPU͸ਪ࿦ɺGPU͸ֶश͕ಘҙ • GPU͸ϕΫτϧɺTPU͸ϚτϦοΫε • TPUͷํ͕൒ಋମͱͯ͠ͷޮ཰͕Α͍ • ͍҆GeForce͸σʔληϯλʔͰ࢖͑ͳ͍ •
҆͘आΓΒΕΔGPU͕ݹ͍ • GPU͸आΓͳͯ͘΋ۙॴͷύιίϯ޻๪Ͱ͍҆ 20/24

(ࢀߟ) ύι޻ߪೖ • AMD RX470 • 5980ԁ • 5.186TFLOPS •
TensorFlow࢖͑Δ • (Tesla K80/5.6TFLOPS/98ສ6ઍԁ) 21/24

Ͳ͏Ͱ΋͍͍࿩ 22/24

ϚΠίϯ͓͡͞Μͷओு • ݸਓతʹΤοδAI͕΍Γ͍ͨ • ϚΠίϯ͓͡͞Μతʹ͸Edge TPU͔͠ڵຯͳ͠ • Edge TPU͸Googleͷ֎ൢ૊ΈࠐΈTPU •
https://cloud.google.com/edge-tpu/?hl=ja 23/24

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ 24/24

GCPと機械学習

GCPと機械学習

kmt-t

More Decks by kmt-t

Other Decks in Programming

Featured

Transcript

GCPͱػցֶश ൃදऀ kmt-t 1/24

ࣗݾ঺հ • ໊લ : kmt-t • ৬ۀ : ૊ΈࠐΈϓϩάϥϚ •

ͱͬͱΔͼʔ঺հ • ௗऔࢢͷRubyษڧձ • 10೥͙Β͍ܧଓத • 3ϲ݄ʹҰճ։࠵ • Ruby͡Όͳ͍ൃද΋͋Γ 3/24

ௗऔͷΫϥ΢υࣄ ৘͸Ͳ͏ʁ 4/24

ൃදςʔϚ • ػցֶशͬͯԿ͢Δͷʁ • Ϋϥ΢υͰػցֶशΛ͢Δҙຯ • Ϋϥ΢υαʔϏεൺֱ • Ϋϥ΢υͱਂ૚ֶश 5/24

ػցֶशͬͯԿ͢Δͷʁ 6/24

ػցֶशͰͰ͖Δ͜ͱ • ॳ৺ऀ޲͚ʹ͸ҎԼͷ;͕ͨͭͰ͖Ε͹Φοέʔ • ճؼ • ෼ྨ 7/24

ճؼ • Y = f(X) • Կ͔ͷྔ͔Β͔ΒผͷྔΛਪ࿦͢Δ • ྫ͑͹ؾԹ͔ΒϏʔϧͷൢച਺Λ༧ଌ •

෼ྨ • σʔλ͕Կͳͷ͔෼ྨ͢Δ • ը૾෼ྨ͕༗໊ • ݘʁೣʁυϥ͑΋Μʁ 9/24

ػցֶशͷྲྀΕ • σʔλऩू : ֶशσʔλͷ࣭͕ॏཁ • ετϨʔδ : Ͳ͜ʹอଘ͢Δͷ͔ʁ •

Ϋϥ΢υͰػցֶशΛ͢Δҙຯ 11/24

Ϋϥ΢υͰ΍ΔϝϦοτ • ϚωʔδυαʔϏε • άϥϑΟΧϧͳઃܭ • εέʔϧΞ΢τ༰қ • λΠϜϘοΫε͕͋ΔϓϩδΣΫτͩ ͱ͍҆

Ϋϥ΢υͰ΍ΔσϝϦοτ • GPUΠϯελϯε͕ߴ͍ • GPU͕ݹ͍ • ֶशσʔλͷσϓϩΠ͕ͭΒ͍ • ετϨʔδ͕஗͍ •

Ϋϥ΢υͱਂ૚ֶश 14/24

େࡶ೺ͳ࿩ • ૬৔͕͋ΔͷͰϕʔεͷΠϯελϯεྉۚɺੑೳͷࠩ͸খ͍͞ • GCP͕׬શʹଞͱҧ͏ͷ͕ΞΫηϥϨʔλ • GPU (AmazonɺϚΠΫϩιϑτ) • TPU

GPUͷܭࢉೳྗ • ਂ૚ֶशͷܭࢉͷຆͲ͸ੵ࿨ܭࢉ • ࢦඪ͸TFLOPS/TOPS͕Ұൠత HW fp32 fp16 GeForceRTX2080Ti 13.4TFLOPS

TPUͷܭࢉೳྗ • 4νοϓߏ੒ • INT8Ͱ͸ֶश͸Ͱ͖ͳ͍ HW bﬂoat16 INT8 TPUv1 N/A

ྉۚൺֱ • Ұϲ݄720࣌ؒɺ1υϧ110ԁͰܭࢉ Ϋϥ΢υ αʔϏε HW ྉۚ TFLOPS୯Ձ GCP Cloud

TPUΞʔΩςΫνϟ 19/24

TPUͱGPUͷҧ͍ • ૬ରతʹTPU͸ਪ࿦ɺGPU͸ֶश͕ಘҙ • GPU͸ϕΫτϧɺTPU͸ϚτϦοΫε • TPUͷํ͕൒ಋମͱͯ͠ͷޮ཰͕Α͍ • ͍҆GeForce͸σʔληϯλʔͰ࢖͑ͳ͍ •

(ࢀߟ) ύι޻ߪೖ • AMD RX470 • 5980ԁ • 5.186TFLOPS •

Ͳ͏Ͱ΋͍͍࿩ 22/24

ϚΠίϯ͓͡͞Μͷओு • ݸਓతʹΤοδAI͕΍Γ͍ͨ • ϚΠίϯ͓͡͞Μతʹ͸Edge TPU͔͠ڵຯͳ͠ • Edge TPU͸Googleͷ֎ൢ૊ΈࠐΈTPU •

͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ 24/24