Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
機械学習PJのデータ収集における課題を解決する データ基盤の取組み/Efforts of da...
Search
Shoichiro Nagai(shnagai)
February 25, 2021
Technology
1
2.1k
機械学習PJのデータ収集における課題を解決する データ基盤の取組み/Efforts of data infrastructure to solve problems in data collection of machine learning PJ
コネヒトマルシェオンライン「機械学習・データ分析」の資料です
Shoichiro Nagai(shnagai)
February 25, 2021
Tweet
Share
More Decks by Shoichiro Nagai(shnagai)
See All by Shoichiro Nagai(shnagai)
GoでBigQueryを操作する時にStructを使うか悩んでる話/go-bigquery-struct-worries
shoichiron
1
150
AWS Step Functions × AWS SAMで実現する家族ノートの低運用コストETL基盤/ kazokunote-stepfunctions-awssam-etl
shoichiron
4
4.9k
ECS×Fargateで実現する運用コストほぼ0なコンテナ運用の仕組み/ ecs fargate low cost operation
shoichiron
14
18k
ママリで動くカテゴリ類推エンジンの仕組み ~機械学習導入の4つの勘所を添えて~/mamari category analogy
shoichiron
0
740
SIGNATEの練習問題コンペで 57位までスコアを上げた話/ The story of the signate competition
shoichiron
2
5.5k
AWSサービスで実現するバッチ実行環境のコンテナ/サーバレス化/ Container service of batch execution environment realized by AWS service
shoichiron
11
6.6k
Fargateは何がうれしいのか/ fargate-whats-nice
shoichiron
4
11k
コンテナ導入の正攻法〜ママリのコンテナ移行舞台裏〜/Confrontation-of-Container-Transfer
shoichiron
1
3.5k
1年間の本番運用でわかったコンテナがチーム開発にもたらしてくれたもの/container-brought-to-team-development
shoichiron
11
13k
Other Decks in Technology
See All in Technology
Amazon Aurora のバージョンアップ手法について
smt7174
2
160
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
2
450
遷移の高速化 ヤフートップの試行錯誤
narirou
6
1.7k
リクルートのエンジニア組織を下支えする 新卒の育成の仕組み
recruitengineers
PRO
1
120
技術スタックだけじゃない、業務ドメイン知識のオンボーディングも同じくらいの量が必要な話
niftycorp
PRO
0
110
ExaDB-XSで利用されているExadata Exascaleについて
oracle4engineer
PRO
3
270
【詳説】コンテンツ配信 システムの複数機能 基盤への拡張
hatena
0
280
OPENLOGI Company Profile
hr01
0
60k
データベースの負荷を紐解く/untangle-the-database-load
emiki
2
530
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
230
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
440
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
3
250
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
40
2.5k
4 Signs Your Business is Dying
shpigford
182
22k
Embracing the Ebb and Flow
colly
84
4.6k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
570
Speed Design
sergeychernyshev
27
810
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
How to train your dragon (web standard)
notwaldorf
91
5.9k
Code Review Best Practice
trishagee
67
18k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
650
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Transcript
ػցֶश1+ͷσʔλऩूʹ͓͚Δ՝Λղܾ͢Δ σʔλج൫ͷऔΈ ӬҪউҰ!TIOBHBJ ίωώτϚϧγΣΦϯϥΠϯʮػցֶशɾσʔλੳʯ
ࣗݾհ ओͳ׆ಈ "84Πϯϑϥؔ࿈Ͱͷొஃ͕ଟ͘ػցֶशΠϕϯτͰͷొஃճ ίωώτΤϯδχΞϒϩάIUUQTUFDIDPOOFIJUPDPNBSDIJWFBVUIPSOBHBJT ίωώτגࣜձࣾɹςΫϊϩδʔਪਐGɹ Πϯϑϥ/σʔλɾػցֶश @shnagai ӬҪউҰ
σʔλج൫Λ࡞Δ্Ͱɺ ಛʹػցֶश1+Ͱͷར༻ʹ͋ͨΓߟ͍͑ͯΔ͜ͱΛ͠·͢ɻ
ػցֶशΛͱΓ·͘σʔλੳڥͷ՝ ۀσʔλ Ϛελʔσʔλ ߦಈϩά Aͱ͍͏՝Λղͨ͘Ίʹ ߦಈϩάͱϚελʔσʔλΛ ֻ͚߹ΘͤͯϞσϧΛ࡞Δͧʂʂ
ػցֶशΛͱΓ·͘σʔλੳڥͷ՝ ۀσʔλ Ϛελʔσʔλ ߦಈϩά σʔλ͕ͳ͍ͱԿग़དྷͳ͍ͷͰɺ ·ͣඞཁͳσʔλΛϩʔΧϧʹ࣋ͬͯ͘Δ
ػցֶशΛͱΓ·͘σʔλੳڥͷ՝ ۀσʔλ Ϛελʔσʔλ ߦಈϩά ᶆσʔλ४උऴΘͬͨͷͰ ੳͯ͠લॲཧͯ͠ϞσϦϯά͍ͯͧ͘͠ʂʂ ᶃԿ͔͠ΒͷखஈͰcsvμϯϩʔυ ϥΠϒϥϦ͔Βࢀর ᶄԿ͔͠ΒͷखஈͰcsvμϯϩʔυ ϥΠϒϥϦ͔Βࢀর
ᶅखݩʹඞཁͳσʔλ͕ἧ͔ͬͨΒ ੳ͍͢͠Α͏ʹpandasͰσʔλܗ
ࢼߦࡨޡͷ্ɺखݩͰྑͦ͞͏ͳϞσϧ͕ग़དྷͨʂʂ
1P$͢ΔͨΊʹຊ൪Ͱಈ͘Ϟσϧ࡞Δͧʂʂ
Ϟσϧ࡞ͷલʹఆظతͳσʔλऩू͕ඞཁ ۀσʔλ Ϛελʔσʔλ ߦಈϩά ϞσϧΛ࡞Δલʹɺ ᶃᶄᶅͷσʔλऩूͱܗ͢ΔॲཧΛॻ͍ͯ ຊ൪/stgͰಈ͔͢ඞཁ͕͋Δ… ᶃԿ͔͠ΒͷखஈͰcsvμϯϩʔυ ϥΠϒϥϦ͔Βࢀর ᶄԿ͔͠ΒͷखஈͰcsvμϯϩʔυ
ϥΠϒϥϦ͔Βࢀর ᶅखݩʹඞཁͳσʔλ͕ἧ͔ͬͨΒ ੳ͍͢͠Α͏ʹpandasͰσʔλܗ
σʔλऩूͷॲཧߟ͑Δ͜ͱ͕ଟ͍ɻɻ ۀσʔλ Ϛελʔσʔλ ߦಈϩά ͦΕͧΕͲͷݖݶͰΞΫηε͢Ε͍͍ͷ͔? ͲͷDBࢀর͢Ε͍͍ͷ͔ͳ? ऩू͕࣮֬ʹग़དྷΔΑ͏ʹΤϥʔϋϯυϦϯά͠ͳ͍ͱ େྔͷσʔλ݁߹͢Δͷʹେ͖ͳίϯϐϡʔτࢿݯ͕ඞཁ ᶃԿ͔͠ΒͷखஈͰcsvμϯϩʔυ ϥΠϒϥϦ͔Βࢀর
ᶄԿ͔͠ΒͷखஈͰcsvμϯϩʔυ ϥΠϒϥϦ͔Βࢀর ᶅखݩʹඞཁͳσʔλ͕ἧ͔ͬͨΒ ੳ͍͢͠Α͏ʹpandasͰσʔλܗ
σʔλऩूͷॲཧߟ͑Δ͜ͱ͕ଟ͍ɻɻ ۀσʔλ Ϛελʔσʔλ ߦಈϩά ͦΕͧΕͲͷݖݶͰΞΫηε͢Ε͍͍ͷ͔? ͲͷDBࢀর͢Ε͍͍ͷ͔ͳ? ऩू͕࣮֬ʹग़དྷΔΑ͏ʹΤϥʔϋϯυϦϯά͠ͳ͍ͱ େྔͷσʔλ݁߹͢Δͷʹେ͖ͳίϯϐϡʔτࢿݯ͕ඞཁ ᶃԿ͔͠ΒͷखஈͰcsvμϯϩʔυ ϥΠϒϥϦ͔Βࢀর
ᶄԿ͔͠ΒͷखஈͰcsvμϯϩʔυ ϥΠϒϥϦ͔Βࢀর ᶅखݩʹඞཁͳσʔλ͕ἧ͔ͬͨΒ ੳ͍͢͠Α͏ʹpandasͰσʔλܗ खݩͰ࡞ͬͨσʔλΛఆظతʹߋ৽͍͚ͨͩ͠ͳͷʹ ѹతʹߟྀ͢Δ͜ͱ͕ଟ͘πϥΠ
ࣗલͰॻ͘ͱେมͳσʔλऩूσʔλج൫Ͱٵऩ
ඞཁͳσʔλલͬͯσʔλج൫Ͱऩू ۀσʔλ Ϛελʔσʔλ ࣍ͰඞཁͳσʔλΛBigQueryʹసૹ DataLake ߦಈϩά ۀσʔλ Ϛελʔσʔλ DataMart ML͔Βࢀর͢ΔϏϡʔ
DataWarehouse ूܭσʔλ ຊ൪/stgͰͷϞσϧ࡞ ։ൃڥͰͷϞσϧ࡞
৽ͨʹσʔλऩूॲཧΛॻ͘ඞཁͳ͍ ۀσʔλ Ϛελʔσʔλ ࣍ͰඞཁͳσʔλΛBigQueryʹసૹ DataLake ߦಈϩά ۀσʔλ Ϛελʔσʔλ DataMart ML͔Βࢀর͢ΔϏϡʔ
DataWarehouse ूܭσʔλ ຊ൪/stgͰͷϞσϧ࡞ ։ൃڥͰͷϞσϧ࡞ ։ൃத
ࢦ͍ͯ͠Δະདྷ w %8)ج൫Λ͑Δ͜ͱͰػցֶश1+ʹ͓͚Δσʔλऩूͷ՝Λղܾ w .-ΤϯδχΞσʔλαΠΤϯςΟετ࠷ՁΛൃشग़དྷΔ ϞσϦϯάνϡʔχϯάʹྗ w εϐʔσΟʔʹػցֶशͷ1P$Λճͤͯ݁Ռͱͯ͠ޭ֬Λ্͛Δ
͞ΒͳΔαʔϏεͷػցֶश׆༻ͷΛݻΊΔͨΊʹ σʔλج൫Ұॹʹҭ͍ͯͯ͘ 8F`SF)JSJOH