Upgrade to Pro — share decks privately, control downloads, hide ads and more …

サーバーレスで始める ゆるふわデータ基盤 - noteの事例 -

Retu Fukui
September 12, 2020

サーバーレスで始める ゆるふわデータ基盤 - noteの事例 -

2020/09/12 JAWS SONIC 2020 & MIDNIGHT JAWS 2020にてnoteにおけるデータ基盤の事例をお話しました。

Retu Fukui

September 12, 2020
Tweet

More Decks by Retu Fukui

Other Decks in Technology

Transcript

  1. ෱Ҫ ྽ | @fukuiretu • noteגࣜձࣾ • ΤϯδχΞ • ϑϩϯτΤϯυ

    / όοΫΤϯυ / 
 ΠϯϑϥͱͳΜͰ΋΍ΔϚϯ • ੨৿ࡏॅ • ϦϞʔτϫʔΧʔ ɾJAWS-UG ੨৿ࢧ෦ॴଐ @fukuiretu @fukuiretu fukuiretu
  2. アジェンダ 1. ܦҢ 2. ߏங 3. ӡ༻ 4. ࠓޙͷ՝୊ɾల๬ 5.

    ·ͱΊ ※AWSʹؔ͢Δొ৔ਓ෺ͷࡉ͔͍આ໌͸୺ંΓ·͢
  3. データ集約 ᶃ ᶄ ᶃ AWS Service ProxyΛར༻ͯ͠௚઀FirehoseʹPut ϝϦοτ: Lambdaෆཁ σϝϦοτ:

    σʔλߏ଄͕ෳࡶʹͳΔͱVTLͰͷϚοϐϯά͕େม ᶄ Firehoseͷड৴σʔλม׵ΦϓγϣϯΛར༻͠ɺ
 1ϨίʔυຖʹվߦίʔυΛೖΕΔ ※Firehoseͷ্ݶʹ஫ҙʢ౦ژϦʔδϣϯ: 1000Ϩίʔυ/s, 1000τϥϯβΫγϣϯ/s, 1MiB/sʣ
  4. データ整形 ᶃ ᶄ ᶃ S3ͷPut EventͰσʔλ੔ܗ༻ͷLambdaΛൃՐ ᶄ ओʹҎԼͷॲཧΛߦ͏ • AthenaͷύʔςΟγϣχϯάͷͨΊʹHiveܗࣜͷS3

    Keyੜ੒ ‣ e.g. content_type=action_logs/year=YYYY/month=MM/day=DD/hour=HH • Referrerͷ෼ղ • UserAgentͷ෼ղ • σʔλܕͷௐ੔