Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQueryで金を溶かさない知識
Search
Aipa
April 22, 2019
Technology
0
580
BigQueryで金を溶かさない知識
「【沖縄開催!】中国地方DB勉強会 in 沖縄」でLTしてきたスライド
https://dbstudychugoku.connpass.com/event/127067/
Aipa
April 22, 2019
Tweet
Share
More Decks by Aipa
See All by Aipa
ピンチヒッターです。なにか話します
commander_aipa
0
86
おれたちはいつDXできるのか
commander_aipa
1
48
ウンケーニオキタコワイハナシ
commander_aipa
0
98
Nuxt3 Deeeeeeeeeeeeeeeeeeeeeploy
commander_aipa
0
140
Meilisearchでハイブリッドベクトル検索
commander_aipa
0
94
Honoの導入を検討していたが、Honoの人が来沖するらしいので、急いでHonoを導入した話
commander_aipa
0
170
Dの意思は神を殺す
commander_aipa
0
83
ファインチューニングがしたい
commander_aipa
0
170
サクッと検索サーバを用意する
commander_aipa
0
180
Other Decks in Technology
See All in Technology
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
7
1.9k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
27
18k
OPENLOGI Company Profile for engineer
hr01
1
20k
目標と時間軸 〜ベイビーステップでケイパビリティを高めよう〜
kakehashi
PRO
8
1.1k
EMConf JP 2025 懇親会LT / EMConf JP 2025 social gathering
sugamasao
2
210
Охота на косуль у древних
ashapiro
0
130
4th place solution Eedi - Mining Misconceptions in Mathematics
rist
0
150
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
190
開発者体験を定量的に把握する手法と活用事例
ham0215
0
150
プルリクエストレビューを終わらせるためのチーム体制 / The Team for Completing Pull Request Reviews
nekonenene
3
1.8k
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
180
[OpsJAWS Meetup33 AIOps] Amazon Bedrockガードレールで守る安全なAI運用
akiratameto
1
140
Featured
See All Featured
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
GraphQLの誤解/rethinking-graphql
sonatard
69
10k
The Language of Interfaces
destraynor
156
24k
Embracing the Ebb and Flow
colly
84
4.6k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.2k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
28
1.9k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
11
1.3k
Code Reviewing Like a Champion
maltzj
521
39k
Designing Experiences People Love
moore
140
23k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
580
Gamification - CAS2011
davidbonilla
80
5.2k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Transcript
தࠃํDBษڧձ in ԭೄ LT ΞΠύʔୂ
ࣗݾհ
ࣗݾհ • ΞΠύʔୂ(ࠓ 29) • ͪΎΒσʔλגࣜձࣾ • PyData.OkinawaڞಉΦʔΨφΠβʔ • Python͖Ͱ͕͢SQLΫιࡶڕͰ͢
ࠓ͢͜ͱ
BigQueryͰML
υΩϡϝϯτݟʹߦ͘
υΩϡϝϯτݟʹߦ͘
͔̎ͭ͠ͳ͍(´ɾωɾʆ)
͔̎ͭ͠ͳ͍ ʢेͬͪΌे͚ͩͲʣ Ϟνϕʔγϣϯ͕Լ͕ͬͨ
վΊͯ ࠓ͢͜ͱ
BigQueryͰ ۚΛ༹͔͞ͳ͍ςΫχοΫ
ʮBigQueryʯͰάάΔ
https://qiita.com/itkr/items/745d54c781badc148bb9 BigQuery ා͍
https://twitter.com/icoxfog417/status/821576129223872513 ΈΜͳ BigQuery ͕ා͍
https://twitter.com/icoxfog417/status/821576129223872513 ΈΜͳ BigQuery ͕ා͍
ڪාΛࠀ͍ͨ͠
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ • ԿʹڪΕ͍ͯΔͷ͔ ˠ Ϋϥυഁ࢈ • Ͳ͏ͬͨΒࠀͰ͖Δͷ͔ ˠ ֹۚΛݟੵΓ͍ͨ ˠ
ഁ࢈͠ͳ͍Α͏ɺదͳ͍ํ͕Ͱ͖Ε
BigQueryͷྉۚΛΔ
BigQueryͷྉۚΛΔ • ओʹ̎ͭʢ౦ژ asia-northeast1Ͱհʣ • ετϨʔδྉۚ • σʔλૢ࡞ྉۚ
BigQueryͷྉۚΛΔ • ετϨʔδྉۚ ྉۚ ৄࡉ ΞΫςΟϒ (# ຖ݄(#·Ͱແྉ ظอଘ (#
ຖ݄(#·Ͱແྉ ※ΞΫςΟϒ ŋŋŋ աڈ90ؒͰมߋ͞Εͨσʔλʹର͢Δֹ݄ྉۚ ※ظ ŋŋŋ աڈ90ؒͰมߋ͞Ε͍ͯͳ͍σʔλʹλ͢Δֹ݄ྉۚ
BigQueryͷྉۚΛΔ • ετϨʔδྉۚ • 1ϲ݄100GBͬͯͯɺ$2.23 ! • ͋Βʁ݁ߏ͓ಘͰ
BigQueryͷྉۚΛΔ • σʔλૢ࡞ྉۚ: σʔλͷಡΈࠐΈ • ओʹํ๏͕2ͭ • ᶃGCSʹΞοϓϩʔυͯ͠ → BigQueryอଘ
• BigQueryͱͯ͠ͷྉۚແྉͳΜ͚ͩͲɺGCSͷετϨʔδྉۚͱσʔλ సૹྉ͕͔͔ۚΔ • ᶄετϦʔϛϯάΠϯαʔτ $0.06/GB • ϦΞϧλΠϜੑΛٻΊΔͳΒ͜Ε͚ͩͲɺྲྀΕΔσʔλྔʹҙ • ଞͷํ๏ͱͯ͠ɺBigQueryͷΣϒUIΛ༻͍ͯJSONCSVܗࣜͰΞοϓϩʔυ͢ Δ͜ͱ͕Ͱ͖·͢ → ࢼ͙͢Β͍ͳΒͪ͜ΒΛ࠾༻ͨ͠΄͏͕ྑ͍ʢແྉʣ
BigQueryͷྉۚΛΔ • ΫΤϦྉۚ • $8.55/TBʢຖ݄1TB·Ͱແྉʣ • ΫΤϦ࣮ߦͷྉۚσʔλܕͷαΠζʹԠͯ͡ɺ MB୯Ґͷσʔλॲཧ༰ྔͰܾ·Δ • Τϥʔͱ͔Ωϟογϡͷ݁Ռʹྉۚൃੜ͠ͳ͍
• Ͱ͔͍σʔλʹΫΤϦ͛Δ࣌ҙ
BigQueryͷྉۚΛΔ • ΫΤϦྉۚ • ݄ఆֹͷϓϥϯ͋Δ͕ɺ$48,000/݄ • ೋݟͨ͠ • Կ͏ਓʹ͍҆ΜͩΖ͏ʢଟʣ
গ͠ڪා͕Β͍Ͱ͖ͨ
Ͱ·ͩා͍
BigQueryͷඅ༻ͷ ͑ํΛΔ
• ʮSELECT *ʯېࢭ • ʮLIMITʯʹҙ • ΫΤϦݕূ݁Ռͷ֬ೝ BigQueryͷඅ༻ͷ͑ํΛΔ
• ʮSELECT *ʯېࢭ • BigQueryΧϥϜܕσʔλߏͷͨΊɺʮSELECT *ʯΛར༻͢Δͱ ͯ͢ͷྻΛεΩϟϯ͢ΔͨΊɺͦͷ՝ۚ͞ΕΔ • ඞཁͳྻ͚ͩࢦఆ͍ͯͩ͘͠͞ •
Լʮbigquery-public-data.hacker_news.fullʯͷςʔϒϧͰ֬ೝͨ݁͠Ռ BigQueryͷඅ༻ͷ͑ํΛΔ ɾSELECT * FROM xxx ɾSELECT title FROM xxx
• ʮLIMITʯʹҙ • ʮSELECT * FROM xxxʯͰɺʮLIMIT Nʯ͢Ε͍͍ͷͰɾɾɾɾʁ • !Ͱ͢
• ಡΈऔΔόΠτมΘΒͣɺ݁Ռͷग़ྗߦ੍͕ݶ͞ΕΔ͚ͩ BigQueryͷඅ༻ͷ͑ํΛΔ ɾSELECT * FROM xxx ɾSELECT * FROM xxx LIMIT 100
• ΫΤϦݕূ݁Ռͷ֬ೝ • ࣮ߦ͢ΔSQL νΣοΫͯ͘͠ΕΔ ศརͳԿ͔ • ॲཧ͢ΔόΠτΛ ܭࢉͯ͘͠ΕΔͷͰ ࣮ߦ͢ΔΫΤϦͷྉۚ
Λࣄલʹ֬ೝ͢Δ ͜ͱ͕Ͱ͖Δʢखಈʣ BigQueryͷඅ༻ͷ͑ํΛΔ
BigQueryͷඅ༻ͷ͑ํΛΔ https://cloud.google.com/products/calculator/ ྉۚܭࢉπʔϧ͋Δ
ʢܭࢉʣͩΔ͍
ศརͳPlugin
• BigQuery Mate • BigQueryͷWeb UI͔Βར༻͢Δͱ͖ʹͳʹ ͔ͱศར • ChromeͷΈ ศརͳPlugin
https://chrome.google.com/webstore/detail/bigquery-mate/nepgdloeceldecnoaaegljlichnfognh/related
• ը໘͜Μͳײ͡ ศརͳPlugin
• SQLม͑ͯΈΔͱྉ͕ۚ࠶ܭࢉ͞ΕΔ ศརͳPlugin
ศར!!!
• Ҏલɺ৽͍͠UIʹͳͬͨΜ͚ͩͲɺͦ͜Ͱ ͑ͳͦ͞͏(´ɾωɾʆ) • ΞοϓσʔτΛͭ or GASͰܭࢉεΫϦϓτ Λ༻ҙ͢Δ͔ ͕͔ͩ͠͠…
ࡶײ
• BigQuery͜Θͳ͘ͳ͍Α • ࣄલʹγϡϛϨʔγϣϯͯ͠ྉۚܭࢉ͠Α͏ • ࣮ߦ͢ΔSQL͕εΩϟϯ͢Δσʔλྔ ࣄલʹ֬ೝͨ͠΄͏͕͍͍Α ࡶײ
None