Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
(せーのっ)「いますぐはじめるえむえるおぷす」
Search
Aipa
September 17, 2021
Technology
0
230
(せーのっ)「いますぐはじめるえむえるおぷす」
https://churadata.connpass.com/event/222561/
「機械学習を「いい感じ」にする技術’で発表したスライドです。
Aipa
September 17, 2021
Tweet
Share
More Decks by Aipa
See All by Aipa
Nuxt3 Deeeeeeeeeeeeeeeeeeeeeploy
commander_aipa
0
24
Meilisearchでハイブリッドベクトル検索
commander_aipa
0
10
Honoの導入を検討していたが、Honoの人が来沖するらしいので、急いでHonoを導入した話
commander_aipa
0
100
Dの意思は神を殺す
commander_aipa
0
40
ファインチューニングがしたい
commander_aipa
0
72
サクッと検索サーバを用意する
commander_aipa
0
94
リアクティブを知る1歩
commander_aipa
0
170
さっき作った
commander_aipa
0
180
WordPressと琉球の罪
commander_aipa
1
980
Other Decks in Technology
See All in Technology
スクラムに出会って「できた」を実感できるようになってきた話 / Scrum makes me feel like I can do it
yayoi_dd
2
110
5分で分かる(かもしれない) Vector engine for OpenSearch Serverless
tsukuboshi
1
420
使われないものを作るな!出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
amaotone
16
4.7k
Google Cloudを組織(企業)で運用する時のベストプラクティス × 健康の環境分離戦略 #まるクラ勉強会
yasumuusan
0
180
本当のガバクラ基礎
toru_kubota
0
320
生成AIがもたらす変革 / GitHubGalaxy_CyberAgent
cyberagentdevelopers
PRO
2
120
能動学習のいろは:書籍「Human-in-the-Loop機械学習」3〜5章
hiroyoshiito
0
300
サイボウズ 開発本部採用ピッチ / Cybozu Engineer Recruit
cybozuinsideout
PRO
9
37k
QA経験のないエンジニアリング マネージャーがQAのカジュアル面談に出て 苦労していること・気づいたこと / scrum fest niigata 2024
yoshikiiida
2
670
令和版ソフトウェアエンジニアの情報収集術 PHPカンファレンス香川2024
ysknsid25
4
910
[2024년 5월 세미나] 생성형 AI와 함께하는 데이터 분석가 커리어
datarian
0
1.3k
Deno で作る快適な “as Code” プラットフォーム – TSKaigi 2024
pizzacat83
4
310
Featured
See All Featured
RailsConf 2023
tenderlove
9
590
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
Gamification - CAS2011
davidbonilla
77
4.6k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
Unsuck your backbone
ammeep
664
57k
How STYLIGHT went responsive
nonsquared
92
4.9k
Designing the Hi-DPI Web
ddemaree
276
33k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
A Modern Web Designer's Workflow
chriscoyier
689
190k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
How to train your dragon (web standard)
notwaldorf
75
5.2k
Transcript
ػցֶशΛʮ͍͍ײ͡ʯ ʹ͢Δٕज़ ΞΠύʔୂ 2021/09/17@JX௨৴ࣾ x ͪΎΒσʔλ߹ಉษڧձ
ʢͤʔͷͬʣ ͍·͙͢͡ΊΔ ͑Ή͑Δ͓͢
͔݁Β͠·͕͢ ͡·Γ·ͤΜͰͨ͠
ຊʹ͋Γ͕ͱ͏ ͍͟͝·ͨ͠
ϥΠτχϯάτʔΫʂʂʂʂʂ
·͊Ͱ୭ظ͍ͯ͠ͳ͍λΠτϧʢྦʣ ͩͬͨͱࢥ͏ͷͰɺ͜Ε͔Βͷۤ࿑Ͱ ฉ͍͓ͯ͘Ε ໘നͦ͏ ໘നͦ͏ ໘നͦ͏ ໘നͦ͏ ʁʁʁʁ
ࣗݾհ
ࣗݾհ • ΞΠύʔʢAipaʣୂʢຬ31ࡀʣ • ೋࣇͷ • ͪΎΒσʔλגࣜձࣾ • ৭ʑΓ·͢ •
ΰδϥ͕͖Ͱ͢
ࠓ͢͜ͱ ʢΓ͔ͨͬͨ͜ͱʣ
͢͜ͱʢΓ͔ͨͬͨ͜ͱʣ • G.I.I.C.Systemͷ։ൃ
͢͜ͱʢΓ͔ͨͬͨ͜ͱʣ • G.I.I.C.Systemͷ։ൃ • Godzillaʢΰδϥͷʣ • Imageʢը૾Λʣ • Iikanjiʢ͍͍ײ͡ʹʣ •
Collectʢͱͬͯ͘Δʣ • Systemʢͯ͢͠Ήʣ
ΰδϥʹғ·Εͯ ইੜ֔Λऴ͍͑ͨ
ΞʔΩςΫνϟਤ ʢશྗͰະ͑Ή͑Δ͓͢ʣ "NB[PO4BHF.BLFS .PEFM ϥϕϦϯάɾ Ξϊςʔγϣϯπʔϧ 4 4 ϚΠ(16Ϛγϯ 5SBJO
4 લॲཧScript 4BHF.BLFS&OEQPJOU ͓·͍Β 44UBUJD)PTUJOH &$3 ,FESP
ΞʔΩςΫνϟਤ ʢશྗͰະ͑Ή͑Δ͓͢ʣ "NB[PO4BHF.BLFS .PEFM ϥϕϦϯάɾ Ξϊςʔγϣϯπʔϧ 4 4 ϚΠ(16Ϛγϯ 5SBJO
4 લॲཧScript 4BHF.BLFS&OEQPJOU ͓·͍Β 44UBUJD)PTUJOH &$3 σʔλׂͷύϥϝʔλͱ͔ ར༻ͨ͠σʔλͷύεͱ͔ ֶशύϥϝʔλ ֶशதͷϩάͱ͔ ,FESP 1SFBOOPUBUJPOతͳͭ ͤͬͤͱूΊΔͷͩΔ͍ͷ Ͱɺ"1*Λ͏
ະͳΒ͠ΐ͏͕ͳ͍ ؾ࣋ͪΛΓସ͑·͢ • Pipelineͱ͔mlflowͱ͔sagemakerਖ਼օ༷͍ͬͺ͍Μͩ͜ͱ͋Δͩͱ ࢥ͍·͢ɻࠓߋ͍͍ΑͶʢʣ • ႈੑͱ͔ฒྻԽͱ͔ߴԽͱ͔ߟ͑Δ͜ͱ͍ͬͺ͍͋Γͦ͏Ͱ͕͢ɺج ຊϐλΰϥεΠονͳΜͰ͠ΐʁʢҟೝΊΔʣ • ࠓճΞϊςʔγϣϯ͔Βελʔτ͠Α͏ͱࢥ͚ͬͨͲɺԿ͓͏͔ͳͬͯ
ࢥͬͯͨʢͬͨ͜ͱͳ͍ʣ • Կ͔ྑ͍πʔϧͳ͍͔ͳʔʁ • ͦͦΞϊςʔγϣϯͱ͔ϥϕϦϯάͷϑΣʔζͬͯMLOpsͳͷʁʁʁ
ͦ͏Έ͍ͨͰ͢ https://aws.amazon.com/jp/sagemaker/
͔͍ͨ͋͋͋͋͋͋͋͋ https://aws.amazon.com/jp/sagemaker/
Կ͔ྑ͍πʔϧͳ͍͔ͳʔ ʢ2ճʣ https://qiita.com/shu-yusa/items/d19ea57e3cf9c4dbdce2
͓ʁʢ^ω^ = ^ω^ʣ https://twitter.com/1027kg/status/1392852597166379009
ͳʹ͜ΕΑͦ͞͏ https://labelstud.io/
͋Βૉఢ https://labelstud.io/
͋Βʙʙʙ https://labelstud.io/api#tag/Annotations
͖Όʔʔʔʔʔʔ https://labelstud.io/guide/storage.html
͍͢͝ʙʢͳʹ͜Εʣ
αΫαΫʂʂʢମײʣ
Export Data…
!!!!???
!!!!???
!!!!??? _(:3 ʯ㲃) ŴŗŖ
͏ͻΐʙʙʙʙ
ྑ͍ (Αͦ͞͏)
ແࣄπʔϧબఆ͕͢Μͩͱ͜ΖͰɺ ͜Ε͔Βۤ࿑ • Label Studio • Kedro • YOLOv5 •
MLFlow • SageMaker
εοɾɾɾ • Label Studio • Kedro • YOLOv5 • MLFlow
• SageMaker
MLOpsɾɾɾʁ ͓લɾɾɾʂʁ • Label Studio • Kedro • YOLOv5 •
MLFlow • SageMaker
• Label Studio • Kedro • YOLOv5 • MLFlow •
SageMaker ΏΔ͠(ry
ۤ࿑
ۤ࿑ʢ͓ʔΔ͋ͷͯʔ͠ΐΜʣ • ը૾͕දࣔ͞Εͳ͍ʢ403ʣ • ΞΫηεΩʔඞਢʢͦ͏Ͱͳ͍͚Ͳɺ͚ͭͨํ͕શػೳ Λར༻Ͱ͖Δʣ • APIυΩϡϝϯτ͕Γͳ͍ • [Export]
Downloadํ๏͕ࡌ͍ͬͯͳ͍ • Request Parameter͕লུ͞ΕͯͯࠔΔ
ը૾͕දࣔ͞Εͳ͍ʢ403ʣ • ઃఆͰS3ॺ໊͖ͩͱ͏·͘දࣔ͞Εͳ͍ • ࢼ͍ͯ͠ͳ͍͚ͲΞΫηεΩʔͷઃఆ͕ଟ ඞਢ • ӳޠͪΌΜͱಡΉΜͩʢռΊʣ
͜ͷล • ઃఆͰS3ॺ໊͖ͩͱ͏·͘දࣔ͞Εͳ͍ • ࢼ͍ͯ͠ͳ͍͚ͲೝূΩʔͷઃఆ͕ଟඞਢ • ӳޠͪΌΜͱಡΉΜͩʢռΊʣ
ը૾͕දࣔ͞Εͳ͍ʢbase64ʣ • Project࡞͔ΒɺS3σʔλSyncޙɺϦετΛදࣔ͠Α͏ ͱ͢Δͱಈ͔ͳ͘ͳΔ • Base64ͷจࣈྻ͕େྔʹը໘ߋ৽͢Δͱ͜͏ͳΔͬΆ͍ • ͗ํ͕Θ͔Βͳ͍ • 1ճຕΞοϓϩʔυ
→ Sync → දࣔͰ͖Δ͜ͱ ֬ೝͰ͖ͨΒɺશ෦Ξοϓϩʔυ → Sync Ͱ҆ఆ͢Δ
ΞΫηεΩʔඞਢ • EC2Ͱىಈͯ͠ɺIAMϩʔϧ(S3FullAccessͱ͔)༩͠ ͨΒΞΫηεΩʔ͍Βͳ͍ • ͕ɺExport͢Δͱ͖ʹը૾σʔλ1ຕͣͭμϯϩʔυ ͍ͯ͠ΔΑ͏ͳͷͰɺඞਢͱͳΔɹ • Ξϊςʔγϣϯ͕ྃͨ͠ޙʹʮ࡞ۀ͕ऴΘͬ ͨʂʂʂʯͱ͍͏ؾ͔࣋ͪΒग़ͯ͘ΔΤϥʔʹ
(´ɾωɾʆ)͢ΔͷͰ͓ͬͯ͘Μͩʂʂʂ
ΞΫηεΩʔඞਢ • EC2Ͱىಈͯ͠ɺIAMϩʔϧ(S3FullAccessͱ͔)༩͠ ͨΒΞΫηεΩʔ͍Βͳ͍ • ͕ɺExport͢Δͱ͖ʹը૾σʔλ1ຕͣͭμϯϩʔυ ͍ͯ͠ΔΑ͏ͳͷͰɺඞਢͱͳΔɹ • Ξϊςʔγϣϯ͕ྃͨ͠ޙʹʮ࡞ۀ͕ऴΘͬ ͨʂʂʂʯͱ͍͏ؾ͔࣋ͪΒग़ͯ͘ΔΤϥʔʹ
(´ɾωɾʆ)͢ΔͷͰ͓ͬͯ͘Μͩʂʂʂ ͜Ε࣮ҧ͔ͬͨͷͰޙϒϩά͔Ͳ͔͜Ͱ
APIυΩϡϝϯτ͕Γͳ͍ • Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷ݶࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͕͢ਏ͍ • σʔλϕʔεɺGithubʢίʔυಡΉʣͱୟ͍ͯ
ڍಈΛ֬ೝ͍͚͍ͯͣ͠Εղܾ͢Δʢେมʣ
ΈΜͳͷ৺ͷ ʢ͓લ͕هࣄॻ͚͍͍ͷͰɾɾɾʁʣ • Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷ݶࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͕͢ਏ͍ •
σʔλϕʔεɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚͍ͯͣ͠Εղܾ͢Δʢେมʣ
• Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷ݶࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͕͢ਏ͍ • σʔλϕʔεɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚͍ͯͣ͠Εղܾ͢Δʢେมʣ
͔ͨ͠ ʢ͔ͨ͠ʹʣ
• Download API͕͋ΔͬΆ͍͚ͲυΩϡϝϯτʹ ͳ͍ɻΈ͍ͨͳ͜ͱ͕͋Δ • ඞཁ࠷ݶࡌ͍ͬͯΔ͚Ͳɺࡉ͔͍ύϥϝʔλ ͕ͳ͔ͬͨΓͯ͠ɺ୳͕͢ਏ͍ • σʔλϕʔεɺGithubʢίʔυಡΉʣͱୟ͍ͯ ڍಈΛ֬ೝ͍͚͍ͯͣ͠Εղܾ͢Δʢେมʣ
͔ͨ͠ ʢ͔ͨ͠ʹʣ དྷिʹॻ͜͏ͱࢥ͍·͢ ʢϑϥάʣ
σϞ
σϞ༰ • Label Studioͷىಈ • S3ͱͷ࿈ܞ • Ξϊςʔγϣϯ࡞ۀ • APIͷར༻
• Export
·ͱΊ
·ͱΊ • ʮ͍·͙͢ʯMLOpsΛ࢝Ί͍ͨͳΒΫϥυ ͬͨ΄͏͕͍͍Ͱ͢ΑʁʢռΊʣ • Label Studio͏߹ͷࢡΛ౿ΜͰ͕Μ ͍ͬͯͩ͘͞
͓·͚
YOLOv5ͷ݁Ռ
None