Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Webメディアでのdataflow活用

 Webメディアでのdataflow活用

GCPUG Tokyo Dataflow Day May 2017
https://gcpug-tokyo.connpass.com/event/56828/
で発表した資料です。
WebメディアにおけるDataflowとGCPをフル活用したデータ処理基盤について

Takumi Yoshida

May 29, 2017
Tweet

More Decks by Takumi Yoshida

Other Decks in Technology

Transcript

  1. ࣗݾ঺հ • ٢ా ୓࣮ (Takumi Yoshida) • @y_takky2014 https://twitter.com/y_takky2014
 https://github.com/ytakky2014


    
 ৽ଔೖࣾ4೥໨ 
 ٕज़ج൫G
 - DevOpsਪਐ
 - ίϯςφ,GKEͷಋೖ
 - ࣗಈԽਪਐ
 - ։ൃऀدΓ
  2. ϝσΟΞʹ͓͚Δσʔλ׆༻ • ྫ͑͹ • هࣄ಺༰ͷ෼ੳ • ͜͏͢Ε͹όζΓ΍͍͢ 
 • Ϩίϝϯυ

    • Ϣʔβʹऔͬͯ༗ӹͳؔ࿈هࣄΛఏڙ͍ͨ͠
 • ޿ࠂ഑৴ • Ϣʔβʹͱͬͯ༗ӹͳ޿ࠂΛ࠷దͳ৔ॴʹग़͍ͨ͠
  3. :

  4. TIPS2 • ศརͳίϚϯυ • gcloud dataflow jobs list • jobͷ࣮ߦ݁Ռͷ֬ೝ

    • --created-after , --created-before Ͱ࣌ؒߜࠐ • gcloud dataflow jobs list \ 
 --created-after=“2017-05-22 15:00:00” \
 --created-before="2017-05-22 16:00:00" 
 15:00-16:00ͷjob࣮ߦ݁Ռ͕Θ͔Δ
  5. ίετ໘ • DataStore : ¥3,000ఔ౓ • Dataflow : ¥1,100ఔ౓ •

    vCPU Time Batch US: 111.657 ࣌ؒ : ¥700 • RAM Time US: 418.72GB/࣌ؒ : ¥200 • Local Disk Time PD Standard: 27914.631 GB/࣌ؒ: ¥200 • ࢀߟ Πϯελϯεྉۚ • n1-standard-1 US /݄ :$24.27 ≒ 2700ԁఔ౓