Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQueryで金を溶かさない知識
Search
Aipa
April 22, 2019
Technology
0
600
BigQueryで金を溶かさない知識
「【沖縄開催!】中国地方DB勉強会 in 沖縄」でLTしてきたスライド
https://dbstudychugoku.connpass.com/event/127067/
Aipa
April 22, 2019
Tweet
Share
More Decks by Aipa
See All by Aipa
ピンチヒッターです。なにか話します
commander_aipa
0
110
おれたちはいつDXできるのか
commander_aipa
1
64
ウンケーニオキタコワイハナシ
commander_aipa
0
120
Nuxt3 Deeeeeeeeeeeeeeeeeeeeeploy
commander_aipa
0
170
Meilisearchでハイブリッドベクトル検索
commander_aipa
0
120
Honoの導入を検討していたが、Honoの人が来沖するらしいので、急いでHonoを導入した話
commander_aipa
0
190
Dの意思は神を殺す
commander_aipa
0
93
ファインチューニングがしたい
commander_aipa
0
190
サクッと検索サーバを用意する
commander_aipa
0
200
Other Decks in Technology
See All in Technology
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
1
10k
Tech-Verse 2025 Keynote
lycorptech_jp
PRO
0
1.6k
一体いつからSRE NEXTがSREだけのカンファレンスだと錯覚していた? / When did you ever get the idea that SRE NEXT was a conference just for SREs?
vtryo
1
140
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
440
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
26k
Fabric + Databricks 2025.6 の最新情報ピックアップ
ryomaru0825
1
160
ビギナーであり続ける/beginning
ikuodanaka
3
620
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
__allllllllez__
1
120
ビズリーチが挑む メトリクスを活用した技術的負債の解消 / dev-productivity-con2025
visional_engineering_and_design
2
4.7k
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
390
生まれ変わった AWS Security Hub (Preview) を紹介 #reInforce_osaka / reInforce New Security Hub
masahirokawahara
0
390
MUITにおける開発プロセスモダナイズの取り組みと開発生産性可視化の取り組みについて / Modernize the Development Process and Visualize Development Productivity at MUIT
muit
1
10k
Featured
See All Featured
Done Done
chrislema
184
16k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
The World Runs on Bad Software
bkeepers
PRO
69
11k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
A Modern Web Designer's Workflow
chriscoyier
694
190k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Rails Girls Zürich Keynote
gr2m
94
14k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
730
Writing Fast Ruby
sferik
628
62k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Transcript
தࠃํDBษڧձ in ԭೄ LT ΞΠύʔୂ
ࣗݾհ
ࣗݾհ • ΞΠύʔୂ(ࠓ 29) • ͪΎΒσʔλגࣜձࣾ • PyData.OkinawaڞಉΦʔΨφΠβʔ • Python͖Ͱ͕͢SQLΫιࡶڕͰ͢
ࠓ͢͜ͱ
BigQueryͰML
υΩϡϝϯτݟʹߦ͘
υΩϡϝϯτݟʹߦ͘
͔̎ͭ͠ͳ͍(´ɾωɾʆ)
͔̎ͭ͠ͳ͍ ʢेͬͪΌे͚ͩͲʣ Ϟνϕʔγϣϯ͕Լ͕ͬͨ
վΊͯ ࠓ͢͜ͱ
BigQueryͰ ۚΛ༹͔͞ͳ͍ςΫχοΫ
ʮBigQueryʯͰάάΔ
https://qiita.com/itkr/items/745d54c781badc148bb9 BigQuery ා͍
https://twitter.com/icoxfog417/status/821576129223872513 ΈΜͳ BigQuery ͕ා͍
https://twitter.com/icoxfog417/status/821576129223872513 ΈΜͳ BigQuery ͕ා͍
ڪාΛࠀ͍ͨ͠
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ • ԿʹڪΕ͍ͯΔͷ͔ ˠ Ϋϥυഁ࢈ • Ͳ͏ͬͨΒࠀͰ͖Δͷ͔ ˠ ֹۚΛݟੵΓ͍ͨ ˠ
ഁ࢈͠ͳ͍Α͏ɺదͳ͍ํ͕Ͱ͖Ε
BigQueryͷྉۚΛΔ
BigQueryͷྉۚΛΔ • ओʹ̎ͭʢ౦ژ asia-northeast1Ͱհʣ • ετϨʔδྉۚ • σʔλૢ࡞ྉۚ
BigQueryͷྉۚΛΔ • ετϨʔδྉۚ ྉۚ ৄࡉ ΞΫςΟϒ (# ຖ݄(#·Ͱແྉ ظอଘ (#
ຖ݄(#·Ͱແྉ ※ΞΫςΟϒ ŋŋŋ աڈ90ؒͰมߋ͞Εͨσʔλʹର͢Δֹ݄ྉۚ ※ظ ŋŋŋ աڈ90ؒͰมߋ͞Ε͍ͯͳ͍σʔλʹλ͢Δֹ݄ྉۚ
BigQueryͷྉۚΛΔ • ετϨʔδྉۚ • 1ϲ݄100GBͬͯͯɺ$2.23 ! • ͋Βʁ݁ߏ͓ಘͰ
BigQueryͷྉۚΛΔ • σʔλૢ࡞ྉۚ: σʔλͷಡΈࠐΈ • ओʹํ๏͕2ͭ • ᶃGCSʹΞοϓϩʔυͯ͠ → BigQueryอଘ
• BigQueryͱͯ͠ͷྉۚແྉͳΜ͚ͩͲɺGCSͷετϨʔδྉۚͱσʔλ సૹྉ͕͔͔ۚΔ • ᶄετϦʔϛϯάΠϯαʔτ $0.06/GB • ϦΞϧλΠϜੑΛٻΊΔͳΒ͜Ε͚ͩͲɺྲྀΕΔσʔλྔʹҙ • ଞͷํ๏ͱͯ͠ɺBigQueryͷΣϒUIΛ༻͍ͯJSONCSVܗࣜͰΞοϓϩʔυ͢ Δ͜ͱ͕Ͱ͖·͢ → ࢼ͙͢Β͍ͳΒͪ͜ΒΛ࠾༻ͨ͠΄͏͕ྑ͍ʢແྉʣ
BigQueryͷྉۚΛΔ • ΫΤϦྉۚ • $8.55/TBʢຖ݄1TB·Ͱແྉʣ • ΫΤϦ࣮ߦͷྉۚσʔλܕͷαΠζʹԠͯ͡ɺ MB୯Ґͷσʔλॲཧ༰ྔͰܾ·Δ • Τϥʔͱ͔Ωϟογϡͷ݁Ռʹྉۚൃੜ͠ͳ͍
• Ͱ͔͍σʔλʹΫΤϦ͛Δ࣌ҙ
BigQueryͷྉۚΛΔ • ΫΤϦྉۚ • ݄ఆֹͷϓϥϯ͋Δ͕ɺ$48,000/݄ • ೋݟͨ͠ • Կ͏ਓʹ͍҆ΜͩΖ͏ʢଟʣ
গ͠ڪා͕Β͍Ͱ͖ͨ
Ͱ·ͩා͍
BigQueryͷඅ༻ͷ ͑ํΛΔ
• ʮSELECT *ʯېࢭ • ʮLIMITʯʹҙ • ΫΤϦݕূ݁Ռͷ֬ೝ BigQueryͷඅ༻ͷ͑ํΛΔ
• ʮSELECT *ʯېࢭ • BigQueryΧϥϜܕσʔλߏͷͨΊɺʮSELECT *ʯΛར༻͢Δͱ ͯ͢ͷྻΛεΩϟϯ͢ΔͨΊɺͦͷ՝ۚ͞ΕΔ • ඞཁͳྻ͚ͩࢦఆ͍ͯͩ͘͠͞ •
Լʮbigquery-public-data.hacker_news.fullʯͷςʔϒϧͰ֬ೝͨ݁͠Ռ BigQueryͷඅ༻ͷ͑ํΛΔ ɾSELECT * FROM xxx ɾSELECT title FROM xxx
• ʮLIMITʯʹҙ • ʮSELECT * FROM xxxʯͰɺʮLIMIT Nʯ͢Ε͍͍ͷͰɾɾɾɾʁ • !Ͱ͢
• ಡΈऔΔόΠτมΘΒͣɺ݁Ռͷग़ྗߦ੍͕ݶ͞ΕΔ͚ͩ BigQueryͷඅ༻ͷ͑ํΛΔ ɾSELECT * FROM xxx ɾSELECT * FROM xxx LIMIT 100
• ΫΤϦݕূ݁Ռͷ֬ೝ • ࣮ߦ͢ΔSQL νΣοΫͯ͘͠ΕΔ ศརͳԿ͔ • ॲཧ͢ΔόΠτΛ ܭࢉͯ͘͠ΕΔͷͰ ࣮ߦ͢ΔΫΤϦͷྉۚ
Λࣄલʹ֬ೝ͢Δ ͜ͱ͕Ͱ͖Δʢखಈʣ BigQueryͷඅ༻ͷ͑ํΛΔ
BigQueryͷඅ༻ͷ͑ํΛΔ https://cloud.google.com/products/calculator/ ྉۚܭࢉπʔϧ͋Δ
ʢܭࢉʣͩΔ͍
ศརͳPlugin
• BigQuery Mate • BigQueryͷWeb UI͔Βར༻͢Δͱ͖ʹͳʹ ͔ͱศར • ChromeͷΈ ศརͳPlugin
https://chrome.google.com/webstore/detail/bigquery-mate/nepgdloeceldecnoaaegljlichnfognh/related
• ը໘͜Μͳײ͡ ศརͳPlugin
• SQLม͑ͯΈΔͱྉ͕ۚ࠶ܭࢉ͞ΕΔ ศརͳPlugin
ศར!!!
• Ҏલɺ৽͍͠UIʹͳͬͨΜ͚ͩͲɺͦ͜Ͱ ͑ͳͦ͞͏(´ɾωɾʆ) • ΞοϓσʔτΛͭ or GASͰܭࢉεΫϦϓτ Λ༻ҙ͢Δ͔ ͕͔ͩ͠͠…
ࡶײ
• BigQuery͜Θͳ͘ͳ͍Α • ࣄલʹγϡϛϨʔγϣϯͯ͠ྉۚܭࢉ͠Α͏ • ࣮ߦ͢ΔSQL͕εΩϟϯ͢Δσʔλྔ ࣄલʹ֬ೝͨ͠΄͏͕͍͍Α ࡶײ
None