Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Machine Learning を使ってみた
Search
Kenta Murata
April 21, 2015
Technology
17
5.2k
Amazon Machine Learning を使ってみた
画面を指さしながら説明するために作った背景画像の上に、簡単な説明テキストを追加したやつです。
Kenta Murata
April 21, 2015
Tweet
Share
More Decks by Kenta Murata
See All by Kenta Murata
waitany と waitall を作った話
mrkn
0
270
HolidayJp.jl を作りました
mrkn
0
290
Calling Julia functions from Streamlit applications
mrkn
1
520
Red Data Tools で切り開く Ruby の未来
mrkn
3
1.2k
Method-based JIT compilation by transpiling to Julia
mrkn
0
7.9k
Apache Arrow C++ Datasets
mrkn
4
1.7k
Reducing ActiveRecord memory consumption using Apache Arrow
mrkn
0
1.8k
RubyData and Rails
mrkn
0
3.2k
Tensor and Arrow
mrkn
0
1k
Other Decks in Technology
See All in Technology
ストレージエンジニアの仕事と、近年の計算機について / 第58回 情報科学若手の会
pfn
PRO
3
880
実践マルチモーダル検索!
shibuiwilliam
1
210
NLPコロキウム20251022_超効率化への挑戦: LLM 1bit量子化のロードマップ
yumaichikawa
3
550
DSPy入門
tomehirata
3
470
会社を支える Pythonという言語戦略 ~なぜPythonを主要言語にしているのか?~
curekoshimizu
4
890
AIでデータ活用を加速させる取り組み / Leveraging AI to accelerate data utilization
okiyuki99
5
1.3k
dbtとAIエージェントを組み合わせて見えたデータ調査の新しい形
10xinc
6
1.4k
AIプロダクトのプロンプト実践テクニック / Practical Techniques for AI Product Prompts
saka2jp
0
120
AIを使ってテストを楽にする
kworkdev
PRO
0
220
オブザーバビリティが育むシステム理解と好奇心
maruloop
3
1.5k
20251027_findyさん_音声エージェントLT
almondo_event
2
480
Observability — Extending Into Incident Response
nari_ex
1
570
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
9
930
Facilitating Awesome Meetings
lara
57
6.6k
Making the Leap to Tech Lead
cromwellryan
135
9.6k
A designer walks into a library…
pauljervisheath
209
24k
Producing Creativity
orderedlist
PRO
348
40k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.7k
Product Roadmaps are Hard
iamctodd
PRO
55
11k
The World Runs on Bad Software
bkeepers
PRO
72
11k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
YesSQL, Process and Tooling at Scale
rocio
173
15k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
54k
Transcript
Amazon ML Λ ͬͯΈͨ Kenta Murata 2015.04.21
ػցֶश
ػցֶशͰͰ͖Δ͜ͱ 1. ճؼ 2. ྨ 3. ΫϥελϦϯά
ػցֶशͰͰ͖Δ͜ͱ 1. ճؼ 2. ྨ 3. ΫϥελϦϯά → ࣮ͷ༧ଌ http://commons.wikimedia.org/wiki/File:Linear_regression.svg
http://commons.wikimedia.org/wiki/File:Polyreg_scheffe.svg
ػցֶशͰͰ͖Δ͜ͱ 1. ճؼ 2. ྨ 3. ΫϥελϦϯά → ࣮ͷ༧ଌ →
͔̋×͔Λ༧ଌ http://en.wikipedia.org/wiki/File:SVM_with_soft_margin.pdf
ػցֶशͰͰ͖Δ͜ͱ 1. ճؼ 2. ྨ 3. ΫϥελϦϯά → ࣮ͷ༧ଌ →
͔̋×͔Λ༧ଌ → ࣗಈάϧʔϓ͚ http://commons.wikimedia.org/wiki/File:KMeans-density-data.svg
Amazon Machine Learning
Amazon Machine Learning ͰͰ͖Δ͜ͱ 1. ճؼ 2. ೋྨ 3. ଟྨ
Amazon Machine Learning ͰͰ͖Δ͜ͱ 1. ճؼ 2. ೋྨ 3. ଟྨ
ͬͯΈͨ
Amazon Machine Learning Ͱ ଟྨثΛ࡞Δ
σʔλͷ४උ ↓ σʔλιʔε࡞ ↓ Ϟσϧ࡞ ↓ (σʔλιʔεͷࣗಈׂ) ↓ Ϟσϧͷֶश ↓
ϞσϧͷධՁ ଟྨثͷ࡞खॱ
σʔλͷ४උ
None
70,000ݸͷखॻ͖ࣈ http://myselph.de/neuralNet.html 28px 28px
60,000ݸ → ֶश༻ 10,000ݸ → ධՁ༻ ֶश༻ͱධՁ༻ʹ༧Ί͚ͯ͞Ε͍ͯΔ
όΠφϦσʔλͳͷͰ CSV ม͢Δ
28px 28px y, x1, x2,ɾɾɾ, x_k,ɾɾɾ, x784 8, 0, 0,ɾɾɾ,
221,ɾɾɾ, 0 256֊ௐάϨΠεέʔϧ ਖ਼ղϥϕϧ ϐΫηϧ
μϯϩʔυ͢Δ
https://rubygems.org/gems/mnist
$ gem install mnist $ mnist2csv train-images-idx3-ubyte.gz train-labels-idx1-ubyte.gz > mnist_train.csv
$ mnist2csv t10k-images-idx3-ubyte.gz t10k-labels-idx1-ubyte.gz > mnist_test.csv
CSV ϑΝΠϧΛ S3 ʹΞοϓϩʔυ͢Δ
σʔλιʔεΛ࡞Δ
None
Ξοϓϩʔυͨ͠ CSV ϑΝΠϧ
None
None
None
None
ྨରͷΧϥϜΛબͯ͠Ͷὑ
σʔλΛݟͯࣗಈఆ
༧ଌ݁Ռ͕σʔλιʔεͷͲͷߦʹରԠ͢Δ͔Λ ࣝผ͢ΔͨΊͷ ID ͕͋Εࢦఆ͢Δ ࠓճແ͍ͷͰࢦఆ͠ͳ͍
None
None
None
None
ϞσϧΛ࡞Δ
None
ೖྗσʔλΛબ
બͿ
None
None
σʔλΛ 7:3 ʹׂͯ͠ 7 ͷํΛ܇࿅ʹɺ3 ͷํ ΛϞσϧͷධՁʹ͏
͍Ζ͍ΖࣗͰࢦఆ͢Δ ࠓճͬͪ͜
None
σʔλͷલॲཧํ๏ͳͲ Λ JSON Ͱࢦఆ͢Δ ϑΟʔϧυɻ ࠓճ CSV ʹมͨ͠ ͚ͩͰલॲཧ͕ྃͯ͠ ΔͷͰσϑΥϧτͷ··
Ͱ͓̺
None
Regularization (ਖ਼ଇԽ) ɺϞσϧͷաֶश (܇࿅σʔ λʹద߹͗ͯ͢͠͠·͏ࣄ) Λ͙ͨΊʹߦ͏ɻ L1 (Lasso ճؼ) ɺෆཁͳύϥϝʔλΛͬͯϞσϧΛ
γϯϓϧʹ͍ͨ͠ͱ͖ʹ͏ɻ L2 (Ridge ճؼ) Β͔ͳϞσϧ͕ཉ͍͠ͱ͖ʹ͏ɻ (ײ: L1 ͱ L2 ΛࠞͥΒΕΕͬͱྑ͍ͷʹ)
None
Ϟσϧͷ࡞ޙʹࣗಈతʹධՁ࣮ࢪ͢Δ͔Ͳ͏͔ɻ ࠓճผʹධՁΛΔͷͰ No ΛબͿɻ
None
None
ϞσϧΛ࡞Δ
ֶशδϣϒࣗಈతʹ։࢝͢Δ
None
60,000 ڭࢣσʔλ → 20
ϞσϧΛධՁ͢Δ
None
None
None
None
None
None
None
10,000 ςετσʔλ → 1ʙ2
None
ҎԼͷࣜͰܭࢉ͞ΕΔϞσϧͷ༏ल͞ΛଌΔྔ 2 × ద߹ × ࠶ݱ ద߹ + ࠶ݱ
ਅͷྨ 1 ͦͷଞ ༧ ଌ ݁ Ռ 1 True Positive
False Positive ͦ ͷ ଞ False Negative True Negative ద߹ ʹ ࠶ݱ ʹ True Positive True Positive + False Positive True Positive True Positive + False Negative TP FP FN TN TP FP FN TN
None
1,000 ڭࢣσʔλͰ࡞ͬͨϞσϧͷ߹
None
ڭࢣσʔλ͕ଟ͍΄ͲϞσϧͷੑೳ͕ྑ͘ͳΔ
ϞσϧΛ͏
Ϟσϧͷ͍ํ 1. όον༧ଌ 2. ϦΞϧλΠϜ༧ଌ
Ϟσϧͷ͍ํ 1. όον༧ଌ 2. ϦΞϧλΠϜ༧ଌ → ·ͱ·ͬͨσʔλΛ·ͱΊͯ༧ଌ
Ϟσϧͷ͍ํ 1. όον༧ଌ 2. ϦΞϧλΠϜ༧ଌ → ·ͱ·ͬͨσʔλΛ·ͱΊͯ༧ଌ → API Λͬͯ1ͭͣͭ༧ଌ
Amazon Machine Learning ͷྉۚମܥ
Amazon Machine Learning ͷྉۚମܥ
1,000 σʔλͰϞσϧΛ࡞ͬͨͱ͖
70,000 σʔλͰϞσϧΛ࡞ͬͨͱ͖
S3 price
Amazon Machine Learning ΛͬͯΈͨײ 1. Α͘Ͱ͖ͯΔ 2. ͬ͘͞ͱϓϩτλΠϓ͍ͨ࣌͠ʹศརͦ͏ 3. ֶशࡁΈͷϞσϧΛΤΫεϙʔτͰ͖ͳ͍
Amazon Machine Learning ΛͬͯΈͨײ 1. Α͘Ͱ͖ͯΔ 2. ͬ͘͞ͱϓϩτλΠϓ͍ͨ࣌͠ʹศརͦ͏ → ΞϧΰϦζϜΛදʹग़ͣ͞ʹ্ख͘؆ུԽͯ͠Δ
3. ֶशࡁΈͷϞσϧΛΤΫεϙʔτͰ͖ͳ͍
Amazon Machine Learning ΛͬͯΈͨײ 1. Α͘Ͱ͖ͯΔ 2. ͬ͘͞ͱϓϩτλΠϓ͍ͨ࣌͠ʹศརͦ͏ → ΞϧΰϦζϜΛදʹग़ͣ͞ʹ্ख͘؆ུԽͯ͠Δ
→ ࣮ӡ༻લʹ༷ʑͳಛϕΫτϧΛ؆୯ʹࢼͤΔ 3. ֶशࡁΈͷϞσϧΛΤΫεϙʔτͰ͖ͳ͍
Amazon Machine Learning ΛͬͯΈͨײ 1. Α͘Ͱ͖ͯΔ 2. ͬ͘͞ͱϓϩτλΠϓ͍ͨ࣌͠ʹศརͦ͏ → ΞϧΰϦζϜΛදʹग़ͣ͞ʹ্ख͘؆ུԽͯ͠Δ
→ ࣮ӡ༻લʹ༷ʑͳಛϕΫτϧΛ؆୯ʹࢼͤΔ 3. ֶशࡁΈͷϞσϧΛΤΫεϙʔτͰ͖ͳ͍ → ࣮ӡ༻࣌ࣗͰ࣮ͨ͠ϞσϧΛ͏ ɹ ϓϩτλΠϓͰ্ख͘ߦ͖ͦ͏ͳ͜ͱ͕ ɹ ͔ͬͯΔͷͰ࣮ίετؾʹͳΒͳ͍!?