Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
(せーのっ)「いますぐはじめるえむえるおぷす」
Search
Aipa
September 17, 2021
Technology
0
280
(せーのっ)「いますぐはじめるえむえるおぷす」
https://churadata.connpass.com/event/222561/
「機械学習を「いい感じ」にする技術’で発表したスライドです。
Aipa
September 17, 2021
Tweet
Share
More Decks by Aipa
See All by Aipa
ピンチヒッターです。なにか話します
commander_aipa
0
82
おれたちはいつDXできるのか
commander_aipa
1
46
ウンケーニオキタコワイハナシ
commander_aipa
0
95
Nuxt3 Deeeeeeeeeeeeeeeeeeeeeploy
commander_aipa
0
140
Meilisearchでハイブリッドベクトル検索
commander_aipa
0
91
Honoの導入を検討していたが、Honoの人が来沖するらしいので、急いでHonoを導入した話
commander_aipa
0
170
Dの意思は神を殺す
commander_aipa
0
82
ファインチューニングがしたい
commander_aipa
0
170
サクッと検索サーバを用意する
commander_aipa
0
180
Other Decks in Technology
See All in Technology
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
160
Active Directory攻防
cryptopeg
PRO
8
5.5k
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
140
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
630
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
150
アジャイルな開発チームでテスト戦略の話は誰がする? / Who Talks About Test Strategy?
ak1210
1
600
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
Snowflake ML モデルを dbt データパイプラインに組み込む
estie
0
100
実は強い 非ViTな画像認識モデル
tattaka
3
1.3k
生成AI “再”入門 2025年春@WIRED TUESDAY EDITOR'S LOUNGE
kajikent
0
120
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
160
設計を積み重ねてシステムを刷新する
sansantech
PRO
0
170
Featured
See All Featured
Code Review Best Practice
trishagee
67
18k
For a Future-Friendly Web
brad_frost
176
9.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
We Have a Design System, Now What?
morganepeng
51
7.4k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
KATA
mclloyd
29
14k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Site-Speed That Sticks
csswizardry
4
410
Git: the NoSQL Database
bkeepers
PRO
427
65k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.4k
Facilitating Awesome Meetings
lara
52
6.2k
Transcript
ػցֶशΛʮ͍͍ײ͡ʯ ʹ͢Δٕज़ ΞΠύʔୂ 2021/09/17@JX௨৴ࣾ x ͪΎΒσʔλ߹ಉษڧձ
ʢͤʔͷͬʣ ͍·͙͢͡ΊΔ ͑Ή͑Δ͓͢
͔݁Β͠·͕͢ ͡·Γ·ͤΜͰͨ͠
ຊʹ͋Γ͕ͱ͏ ͍͟͝·ͨ͠
ϥΠτχϯάτʔΫʂʂʂʂʂ
·͊Ͱ୭ظ͍ͯ͠ͳ͍λΠτϧʢྦʣ ͩͬͨͱࢥ͏ͷͰɺ͜Ε͔Βͷۤ࿑Ͱ ฉ͍͓ͯ͘Ε ໘നͦ͏ ໘നͦ͏ ໘നͦ͏ ໘നͦ͏ ʁʁʁʁ
ࣗݾհ
ࣗݾհ • ΞΠύʔʢAipaʣୂʢຬ31ࡀʣ • ೋࣇͷ • ͪΎΒσʔλגࣜձࣾ • ৭ʑΓ·͢ •
ΰδϥ͕͖Ͱ͢
ࠓ͢͜ͱ ʢΓ͔ͨͬͨ͜ͱʣ
͢͜ͱʢΓ͔ͨͬͨ͜ͱʣ • G.I.I.C.Systemͷ։ൃ
͢͜ͱʢΓ͔ͨͬͨ͜ͱʣ • G.I.I.C.Systemͷ։ൃ • Godzillaʢΰδϥͷʣ • Imageʢը૾Λʣ • Iikanjiʢ͍͍ײ͡ʹʣ •
Collectʢͱͬͯ͘Δʣ • Systemʢͯ͢͠Ήʣ
ΰδϥʹғ·Εͯ ইੜ֔Λऴ͍͑ͨ
ΞʔΩςΫνϟਤ ʢશྗͰະ͑Ή͑Δ͓͢ʣ "NB[PO4BHF.BLFS .PEFM ϥϕϦϯάɾ Ξϊςʔγϣϯπʔϧ 4 4 ϚΠ(16Ϛγϯ 5SBJO
4 લॲཧScript 4BHF.BLFS&OEQPJOU ͓·͍Β 44UBUJD)PTUJOH &$3 ,FESP
ΞʔΩςΫνϟਤ ʢશྗͰະ͑Ή͑Δ͓͢ʣ "NB[PO4BHF.BLFS .PEFM ϥϕϦϯάɾ Ξϊςʔγϣϯπʔϧ 4 4 ϚΠ(16Ϛγϯ 5SBJO
4 લॲཧScript 4BHF.BLFS&OEQPJOU ͓·͍Β 44UBUJD)PTUJOH &$3 σʔλׂͷύϥϝʔλͱ͔ ར༻ͨ͠σʔλͷύεͱ͔ ֶशύϥϝʔλ ֶशதͷϩάͱ͔ ,FESP 1SFBOOPUBUJPOతͳͭ ͤͬͤͱूΊΔͷͩΔ͍ͷ Ͱɺ"1*Λ͏
ະͳΒ͠ΐ͏͕ͳ͍ ؾ࣋ͪΛΓସ͑·͢ • Pipelineͱ͔mlflowͱ͔sagemakerਖ਼օ༷͍ͬͺ͍Μͩ͜ͱ͋Δͩͱ ࢥ͍·͢ɻࠓߋ͍͍ΑͶʢʣ • ႈੑͱ͔ฒྻԽͱ͔ߴԽͱ͔ߟ͑Δ͜ͱ͍ͬͺ͍͋Γͦ͏Ͱ͕͢ɺج ຊϐλΰϥεΠονͳΜͰ͠ΐʁʢҟೝΊΔʣ • ࠓճΞϊςʔγϣϯ͔Βελʔτ͠Α͏ͱࢥ͚ͬͨͲɺԿ͓͏͔ͳͬͯ
ࢥͬͯͨʢͬͨ͜ͱͳ͍ʣ • Կ͔ྑ͍πʔϧͳ͍͔ͳʔʁ • ͦͦΞϊςʔγϣϯͱ͔ϥϕϦϯάͷϑΣʔζͬͯMLOpsͳͷʁʁʁ
ͦ͏Έ͍ͨͰ͢ https://aws.amazon.com/jp/sagemaker/
͔͍ͨ͋͋͋͋͋͋͋͋ https://aws.amazon.com/jp/sagemaker/
Կ͔ྑ͍πʔϧͳ͍͔ͳʔ ʢ2ճʣ https://qiita.com/shu-yusa/items/d19ea57e3cf9c4dbdce2
͓ʁʢ^ω^ = ^ω^ʣ https://twitter.com/1027kg/status/1392852597166379009
ͳʹ͜ΕΑͦ͞͏ https://labelstud.io/
͋Βૉఢ https://labelstud.io/
͋Βʙʙʙ https://labelstud.io/api#tag/Annotations
͖Όʔʔʔʔʔʔ https://labelstud.io/guide/storage.html
͍͢͝ʙʢͳʹ͜Εʣ
αΫαΫʂʂʢମײʣ
Export Data…
!!!!???
!!!!???
!!!!??? _(:3 ʯ㲃) ŴŗŖ
͏ͻΐʙʙʙʙ
ྑ͍ (Αͦ͞͏)
ແࣄπʔϧબఆ͕͢Μͩͱ͜ΖͰɺ ͜Ε͔Βۤ࿑ • Label Studio • Kedro • YOLOv5 •
MLFlow • SageMaker
εοɾɾɾ • Label Studio • Kedro • YOLOv5 • MLFlow
• SageMaker
MLOpsɾɾɾʁ ͓લɾɾɾʂʁ • Label Studio • Kedro • YOLOv5 •
MLFlow • SageMaker
• Label Studio • Kedro • YOLOv5 • MLFlow •
SageMaker ΏΔ͠(ry
ۤ࿑
ۤ࿑ʢ͓ʔΔ͋ͷͯʔ͠ΐΜʣ • ը૾͕දࣔ͞Εͳ͍ʢ403ʣ • ΞΫηεΩʔඞਢʢͦ͏Ͱͳ͍͚Ͳɺ͚ͭͨํ͕શػೳ Λར༻Ͱ͖Δʣ • APIυΩϡϝϯτ͕Γͳ͍ • [Export]
Downloadํ๏͕ࡌ͍ͬͯͳ͍ • Request Parameter͕লུ͞ΕͯͯࠔΔ
ը૾͕දࣔ͞Εͳ͍ʢ403ʣ • ઃఆͰS3ॺ໊͖ͩͱ͏·͘දࣔ͞Εͳ͍ • ࢼ͍ͯ͠ͳ͍͚ͲΞΫηεΩʔͷઃఆ͕ଟ ඞਢ • ӳޠͪΌΜͱಡΉΜͩʢռΊʣ
͜ͷล • ઃఆͰS3ॺ໊͖ͩͱ͏·͘දࣔ͞Εͳ͍ • ࢼ͍ͯ͠ͳ͍͚ͲೝূΩʔͷઃఆ͕ଟඞਢ • ӳޠͪΌΜͱಡΉΜͩʢռΊʣ
ը૾͕දࣔ͞Εͳ͍ʢbase64ʣ • Project࡞͔ΒɺS3σʔλSyncޙɺϦετΛදࣔ͠Α͏ ͱ͢Δͱಈ͔ͳ͘ͳΔ • Base64ͷจࣈྻ͕େྔʹը໘ߋ৽͢Δͱ͜͏ͳΔͬΆ͍ • ͗ํ͕Θ͔Βͳ͍ • 1ճຕΞοϓϩʔυ
→ Sync → දࣔͰ͖Δ͜ͱ ֬ೝͰ͖ͨΒɺશ෦Ξοϓϩʔυ → Sync Ͱ҆ఆ͢Δ
ΞΫηεΩʔඞਢ • EC2Ͱىಈͯ͠ɺIAMϩʔϧ(S3FullAccessͱ͔)༩͠ ͨΒΞΫηεΩʔ͍Βͳ͍ • ͕ɺExport͢Δͱ͖ʹը૾σʔλ1ຕͣͭμϯϩʔυ ͍ͯ͠ΔΑ͏ͳͷͰɺඞਢͱͳΔɹ • Ξϊςʔγϣϯ͕ྃͨ͠ޙʹʮ࡞ۀ͕ऴΘͬ ͨʂʂʂʯͱ͍͏ؾ͔࣋ͪΒग़ͯ͘ΔΤϥʔʹ
(´ɾωɾʆ)͢ΔͷͰ͓ͬͯ͘Μͩʂʂʂ
ΞΫηεΩʔඞਢ • EC2Ͱىಈͯ͠ɺIAMϩʔϧ(S3FullAccessͱ͔)༩͠ ͨΒΞΫηεΩʔ͍Βͳ͍ • ͕ɺExport͢Δͱ͖ʹը૾σʔλ1ຕͣͭμϯϩʔυ ͍ͯ͠ΔΑ͏ͳͷͰɺඞਢͱͳΔɹ • Ξϊςʔγϣϯ͕ྃͨ͠ޙʹʮ࡞ۀ͕ऴΘͬ ͨʂʂʂʯͱ͍͏ؾ͔࣋ͪΒग़ͯ͘ΔΤϥʔʹ
(´ɾωɾʆ)͢ΔͷͰ͓ͬͯ͘Μͩʂʂʂ ͜Ε࣮ҧ͔ͬͨͷͰޙϒϩά͔Ͳ͔͜Ͱ
APIυΩϡϝϯτ͕Γͳ͍ • Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷ݶࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͕͢ਏ͍ • σʔλϕʔεɺGithubʢίʔυಡΉʣͱୟ͍ͯ
ڍಈΛ֬ೝ͍͚͍ͯͣ͠Εղܾ͢Δʢେมʣ
ΈΜͳͷ৺ͷ ʢ͓લ͕هࣄॻ͚͍͍ͷͰɾɾɾʁʣ • Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷ݶࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͕͢ਏ͍ •
σʔλϕʔεɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚͍ͯͣ͠Εղܾ͢Δʢେมʣ
• Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷ݶࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͕͢ਏ͍ • σʔλϕʔεɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚͍ͯͣ͠Εղܾ͢Δʢେมʣ
͔ͨ͠ ʢ͔ͨ͠ʹʣ
• Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷ݶࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͕͢ਏ͍ • σʔλϕʔεɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚͍ͯͣ͠Εղܾ͢Δʢେมʣ
͔ͨ͠ ʢ͔ͨ͠ʹʣ དྷिʹॻ͜͏ͱࢥ͍·͢ ʢϑϥάʣ
σϞ
σϞ༰ • Label Studioͷىಈ • S3ͱͷ࿈ܞ • Ξϊςʔγϣϯ࡞ۀ • APIͷར༻
• Export
·ͱΊ
·ͱΊ • ʮ͍·͙͢ʯMLOpsΛ࢝Ί͍ͨͳΒΫϥυ ͬͨ΄͏͕͍͍Ͱ͢ΑʁʢռΊʣ • Label Studio͏߹ͷࢡΛ౿ΜͰ͕Μ ͍ͬͯͩ͘͞
͓·͚
YOLOv5ͷ݁Ռ
None