Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BigQueryで金を溶かさない知識
Search
Aipa
April 22, 2019
Technology
0
610
BigQueryで金を溶かさない知識
「【沖縄開催!】中国地方DB勉強会 in 沖縄」でLTしてきたスライド
https://dbstudychugoku.connpass.com/event/127067/
Aipa
April 22, 2019
Tweet
Share
More Decks by Aipa
See All by Aipa
ピンチヒッターです。なにか話します
commander_aipa
0
120
おれたちはいつDXできるのか
commander_aipa
1
74
ウンケーニオキタコワイハナシ
commander_aipa
0
120
Nuxt3 Deeeeeeeeeeeeeeeeeeeeeploy
commander_aipa
0
180
Meilisearchでハイブリッドベクトル検索
commander_aipa
0
140
Honoの導入を検討していたが、Honoの人が来沖するらしいので、急いでHonoを導入した話
commander_aipa
0
200
Dの意思は神を殺す
commander_aipa
0
100
ファインチューニングがしたい
commander_aipa
0
200
サクッと検索サーバを用意する
commander_aipa
0
210
Other Decks in Technology
See All in Technology
ヘブンバーンズレッドにおける、世界観を活かしたミニゲーム企画の作り方
gree_tech
PRO
0
570
落ちる 落ちるよ サーバーは落ちる
suehiromasatoshi
0
140
ヘブンバーンズレッドのレンダリングパイプライン刷新
gree_tech
PRO
0
590
【実演版】カンファレンス登壇者・スタッフにこそ知ってほしいマイクの使い方 / 大吉祥寺.pm 2025
arthur1
1
320
AI時代に非連続な成長を実現するエンジニアリング戦略
sansantech
PRO
3
1.1k
「魔法少女まどか☆マギカ Magia Exedra」の必殺技演出を徹底解剖! -キャラクターの魅力を最大限にファンに届けるためのこだわり-
gree_tech
PRO
0
590
Kubernetes における cgroup driver のしくみ: runwasi の bugfix より
z63d
2
230
DevIO2025_継続的なサービス開発のための技術的意思決定のポイント / how-to-tech-decision-makaing-devio2025
nologyance
0
260
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
19
9.3k
AWSで始める実践Dagster入門
kitagawaz
0
410
AIエージェントの活用に重要な「MCP (Model Context Protocol)」とは何か
masayamoriofficial
0
300
Automating Web Accessibility Testing with AI Agents
maminami373
0
1.1k
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Navigating Team Friction
lara
189
15k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Visualization
eitanlees
148
16k
Embracing the Ebb and Flow
colly
87
4.8k
Agile that works and the tools we love
rasmusluckow
330
21k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
How GitHub (no longer) Works
holman
315
140k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.6k
Transcript
தࠃํDBษڧձ in ԭೄ LT ΞΠύʔୂ
ࣗݾհ
ࣗݾհ • ΞΠύʔୂ(ࠓ 29) • ͪΎΒσʔλגࣜձࣾ • PyData.OkinawaڞಉΦʔΨφΠβʔ • Python͖Ͱ͕͢SQLΫιࡶڕͰ͢
ࠓ͢͜ͱ
BigQueryͰML
υΩϡϝϯτݟʹߦ͘
υΩϡϝϯτݟʹߦ͘
͔̎ͭ͠ͳ͍(´ɾωɾʆ)
͔̎ͭ͠ͳ͍ ʢेͬͪΌे͚ͩͲʣ Ϟνϕʔγϣϯ͕Լ͕ͬͨ
վΊͯ ࠓ͢͜ͱ
BigQueryͰ ۚΛ༹͔͞ͳ͍ςΫχοΫ
ʮBigQueryʯͰάάΔ
https://qiita.com/itkr/items/745d54c781badc148bb9 BigQuery ා͍
https://twitter.com/icoxfog417/status/821576129223872513 ΈΜͳ BigQuery ͕ා͍
https://twitter.com/icoxfog417/status/821576129223872513 ΈΜͳ BigQuery ͕ා͍
ڪාΛࠀ͍ͨ͠
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ https://www.cocolabo.me/kyouhu1mechanism/
ڪාΛࠀ͍ͨ͠ • ԿʹڪΕ͍ͯΔͷ͔ ˠ Ϋϥυഁ࢈ • Ͳ͏ͬͨΒࠀͰ͖Δͷ͔ ˠ ֹۚΛݟੵΓ͍ͨ ˠ
ഁ࢈͠ͳ͍Α͏ɺదͳ͍ํ͕Ͱ͖Ε
BigQueryͷྉۚΛΔ
BigQueryͷྉۚΛΔ • ओʹ̎ͭʢ౦ژ asia-northeast1Ͱհʣ • ετϨʔδྉۚ • σʔλૢ࡞ྉۚ
BigQueryͷྉۚΛΔ • ετϨʔδྉۚ ྉۚ ৄࡉ ΞΫςΟϒ (# ຖ݄(#·Ͱແྉ ظอଘ (#
ຖ݄(#·Ͱແྉ ※ΞΫςΟϒ ŋŋŋ աڈ90ؒͰมߋ͞Εͨσʔλʹର͢Δֹ݄ྉۚ ※ظ ŋŋŋ աڈ90ؒͰมߋ͞Ε͍ͯͳ͍σʔλʹλ͢Δֹ݄ྉۚ
BigQueryͷྉۚΛΔ • ετϨʔδྉۚ • 1ϲ݄100GBͬͯͯɺ$2.23 ! • ͋Βʁ݁ߏ͓ಘͰ
BigQueryͷྉۚΛΔ • σʔλૢ࡞ྉۚ: σʔλͷಡΈࠐΈ • ओʹํ๏͕2ͭ • ᶃGCSʹΞοϓϩʔυͯ͠ → BigQueryอଘ
• BigQueryͱͯ͠ͷྉۚແྉͳΜ͚ͩͲɺGCSͷετϨʔδྉۚͱσʔλ సૹྉ͕͔͔ۚΔ • ᶄετϦʔϛϯάΠϯαʔτ $0.06/GB • ϦΞϧλΠϜੑΛٻΊΔͳΒ͜Ε͚ͩͲɺྲྀΕΔσʔλྔʹҙ • ଞͷํ๏ͱͯ͠ɺBigQueryͷΣϒUIΛ༻͍ͯJSONCSVܗࣜͰΞοϓϩʔυ͢ Δ͜ͱ͕Ͱ͖·͢ → ࢼ͙͢Β͍ͳΒͪ͜ΒΛ࠾༻ͨ͠΄͏͕ྑ͍ʢແྉʣ
BigQueryͷྉۚΛΔ • ΫΤϦྉۚ • $8.55/TBʢຖ݄1TB·Ͱແྉʣ • ΫΤϦ࣮ߦͷྉۚσʔλܕͷαΠζʹԠͯ͡ɺ MB୯Ґͷσʔλॲཧ༰ྔͰܾ·Δ • Τϥʔͱ͔Ωϟογϡͷ݁Ռʹྉۚൃੜ͠ͳ͍
• Ͱ͔͍σʔλʹΫΤϦ͛Δ࣌ҙ
BigQueryͷྉۚΛΔ • ΫΤϦྉۚ • ݄ఆֹͷϓϥϯ͋Δ͕ɺ$48,000/݄ • ೋݟͨ͠ • Կ͏ਓʹ͍҆ΜͩΖ͏ʢଟʣ
গ͠ڪා͕Β͍Ͱ͖ͨ
Ͱ·ͩා͍
BigQueryͷඅ༻ͷ ͑ํΛΔ
• ʮSELECT *ʯېࢭ • ʮLIMITʯʹҙ • ΫΤϦݕূ݁Ռͷ֬ೝ BigQueryͷඅ༻ͷ͑ํΛΔ
• ʮSELECT *ʯېࢭ • BigQueryΧϥϜܕσʔλߏͷͨΊɺʮSELECT *ʯΛར༻͢Δͱ ͯ͢ͷྻΛεΩϟϯ͢ΔͨΊɺͦͷ՝ۚ͞ΕΔ • ඞཁͳྻ͚ͩࢦఆ͍ͯͩ͘͠͞ •
Լʮbigquery-public-data.hacker_news.fullʯͷςʔϒϧͰ֬ೝͨ݁͠Ռ BigQueryͷඅ༻ͷ͑ํΛΔ ɾSELECT * FROM xxx ɾSELECT title FROM xxx
• ʮLIMITʯʹҙ • ʮSELECT * FROM xxxʯͰɺʮLIMIT Nʯ͢Ε͍͍ͷͰɾɾɾɾʁ • !Ͱ͢
• ಡΈऔΔόΠτมΘΒͣɺ݁Ռͷग़ྗߦ੍͕ݶ͞ΕΔ͚ͩ BigQueryͷඅ༻ͷ͑ํΛΔ ɾSELECT * FROM xxx ɾSELECT * FROM xxx LIMIT 100
• ΫΤϦݕূ݁Ռͷ֬ೝ • ࣮ߦ͢ΔSQL νΣοΫͯ͘͠ΕΔ ศརͳԿ͔ • ॲཧ͢ΔόΠτΛ ܭࢉͯ͘͠ΕΔͷͰ ࣮ߦ͢ΔΫΤϦͷྉۚ
Λࣄલʹ֬ೝ͢Δ ͜ͱ͕Ͱ͖Δʢखಈʣ BigQueryͷඅ༻ͷ͑ํΛΔ
BigQueryͷඅ༻ͷ͑ํΛΔ https://cloud.google.com/products/calculator/ ྉۚܭࢉπʔϧ͋Δ
ʢܭࢉʣͩΔ͍
ศརͳPlugin
• BigQuery Mate • BigQueryͷWeb UI͔Βར༻͢Δͱ͖ʹͳʹ ͔ͱศར • ChromeͷΈ ศརͳPlugin
https://chrome.google.com/webstore/detail/bigquery-mate/nepgdloeceldecnoaaegljlichnfognh/related
• ը໘͜Μͳײ͡ ศརͳPlugin
• SQLม͑ͯΈΔͱྉ͕ۚ࠶ܭࢉ͞ΕΔ ศརͳPlugin
ศར!!!
• Ҏલɺ৽͍͠UIʹͳͬͨΜ͚ͩͲɺͦ͜Ͱ ͑ͳͦ͞͏(´ɾωɾʆ) • ΞοϓσʔτΛͭ or GASͰܭࢉεΫϦϓτ Λ༻ҙ͢Δ͔ ͕͔ͩ͠͠…
ࡶײ
• BigQuery͜Θͳ͘ͳ͍Α • ࣄલʹγϡϛϨʔγϣϯͯ͠ྉۚܭࢉ͠Α͏ • ࣮ߦ͢ΔSQL͕εΩϟϯ͢Δσʔλྔ ࣄલʹ֬ೝͨ͠΄͏͕͍͍Α ࡶײ
None