サーバーレスで始める ゆるふわデータ基盤 - noteの事例 -

Transcript

1. αʔόʔϨεͰ࢝ΊΔ
   ΏΔ;Θσʔλج൫
   
   OPUFͷࣄྫ
   
 
 
   +"84
   40/*$
   
   &
   .*%/*()5
   +"84
   
   ෱Ҫ྽

2. ෱Ҫ ྽ | @fukuiretu • noteגࣜձࣾ • ΤϯδχΞ • ϑϩϯτΤϯυ

   / όοΫΤϯυ / 
 ΠϯϑϥͱͳΜͰ΋΍ΔϚϯ • ੨৿ࡏॅ • ϦϞʔτϫʔΧʔ ɾJAWS-UG ੨৿ࢧ෦ॴଐ @fukuiretu @fukuiretu fukuiretu

3. アジェンダ 1. ܦҢ 2. ߏங 3. ӡ༻ 4. ࠓޙͷ՝୊ɾల๬ 5.

   ·ͱΊ ※AWSʹؔ͢Δొ৔ਓ෺ͷࡉ͔͍આ໌͸୺ંΓ·͢

4. 50%0
   ޙೖΕ ΫϦΤΠλʔ͕จষ΍ϚϯΨɺࣸਅɺԻ੠Λ౤ߘ͢Δ ͜ͱ͕Ͱ͖ɺϢʔβʔ͸ͦͷίϯςϯπΛָ͠ΜͰԠ ԉͰ͖ΔϝσΟΞϓϥοτϑΥʔϜ

5. noteͰ࿩୊ΛΑͼ cakesʹ࿈ࡌ͞Εͨޙɺ ॻ੶ԽɺυϥϚԽɻ ిࢠࡶࢽʮจܳΧυΧϫʯͱ noteͰಉ࣌࿈ࡌΛͨ͠ޙɺॻ ੶ԽɺυϥϚԽ note༗ྉߪಡऀݶఆͷ ࿈ࡌΛॻ੶Խ ຖ೔৽ฉͷ࿈ࡌখઆΛ 10೔ޙʹnoteͰ࿈ࡌ

   ͦͷޙɺॻ੶ԽɺөըԽ noteͷਓؾ࿈ࡌΛ ॻ੶Խ noteͰ࿩୊ΛΑΜͩ هࣄΛॻ੶Խ ΫϦΤΠλʔͷ֗ɺnote͔Βੜ·Εͨ࡞඼

6. アジェンダ 1. ܦҢ 2. ߏங 3. ӡ༻ 4. ࠓޙͷ՝୊ɾల๬ 5.

   ·ͱΊ

7. 2018೥ࠒ͔Βσʔλ෼ੳʹ
 ຊࠊΛೖΕ࢝ΊΔ

8. データ基盤構築前のトラッキング⽅法 • ΞϓϦέʔγϣϯ্ʹτϥοΩϯά༻ͷAPI • ΞΫςΟϏςΟܥͷϩά͸͢΂ͯRDBʹอଘ

9. noteの急激な成⻑

10. 成⻑とともに出てきた課題 • ΞϓϦέʔγϣϯٴͼDBͷෛՙ͕๲େʹ • ΫΤϦ݁Ռ͕ฦͬͯͣ͜σʔλநग़͕ࠔ೉

11. 対処療法 • ύʔςΟγϣχϯά͕͞Ε͓ͯΒͣίετ͕๲େʹ ‣ ύϑΥʔϚϯε΋͍·͍ͪ… • ϧʔϧཱ͕֬͞Ε͓ͯΒͣσʔλ͕ࢄࡏ ՝୊ ඞཁʹԠͯ͡S3ʹDBͷσʔλΛΤΫεϙʔτ͠ɺ AthenaͰநग़

12. 解決すべき課題 • ΞϓϦέʔγϣϯٴͼDBͷෛՙ͕๲େʹ • ύʔςΟγϣχϯά͕͞Ε͓ͯΒͣίετ͕๲େʹ • ϧʔϧཱ͕֬͞Ε͓ͯΒͣσʔλ͕ࢄࡏ σʔλج൫ͷधཁ͕ߴ·Δ

13. アジェンダ 1. ܦҢ 2. ߏங 3. ӡ༻ 4. ࠓޙͷ՝୊ɾల๬ 5.

    ·ͱΊ

14. 開発体制

15. ⽅針 ӡ༻ϦιʔεΛ࠷খʹ = ։ൃʹઐ೦

16. どうしたら運⽤リソースを最⼩にできるか • ӡ༻ͷ؆ૉԽ • Φʔτεέʔϧ • Մ༻ੑ ӡ༻ϦιʔεΛ࠷খʹ = ։ൃʹઐ೦

    αʔόʔϨεͷػӡͰ͸??

17. どうしたら運⽤リソースを最⼩にできるか • ӡ༻ͷ؆ૉԽ • Φʔτεέʔϧ • Մ༻ੑ ӡ༻ϦιʔεΛ࠷খʹ = ։ൃʹઐ೦

    αʔόʔϨεͷػӡͰ͸?? αʔόʔϨεΞʔΩςΫνϟͰɺ ϛχϚϜʢΏΔ;Θʣʹελʔτ

18. アーキテクチャの全体像 ։ൃظؒ: ໿3ϲ݄ʢௐࠪɾݕূؚΉʣ

19. データ集約 ᶃ ᶄ ᶃ AWS Service ProxyΛར༻ͯ͠௚઀FirehoseʹPut ϝϦοτ: Lambdaෆཁ σϝϦοτ:

    σʔλߏ଄͕ෳࡶʹͳΔͱVTLͰͷϚοϐϯά͕େม ᶄ Firehoseͷड৴σʔλม׵ΦϓγϣϯΛར༻͠ɺ
 1ϨίʔυຖʹվߦίʔυΛೖΕΔ ※Firehoseͷ্ݶʹ஫ҙʢ౦ژϦʔδϣϯ: 1000Ϩίʔυ/s, 1000τϥϯβΫγϣϯ/s, 1MiB/sʣ

20. データ整形 ᶃ ᶄ ᶃ S3ͷPut EventͰσʔλ੔ܗ༻ͷLambdaΛൃՐ ᶄ ओʹҎԼͷॲཧΛߦ͏ • AthenaͷύʔςΟγϣχϯάͷͨΊʹHiveܗࣜͷS3

    Keyੜ੒ ‣ e.g. content_type=action_logs/year=YYYY/month=MM/day=DD/hour=HH • Referrerͷ෼ղ • UserAgentͷ෼ղ • σʔλܕͷௐ੔

21. アジェンダ 1. ܦҢ 2. ߏங 3. ӡ༻ 4. ࠓޙͷ՝୊ɾల๬ 5.

    ·ͱΊ

22. 利⽤しているツール ߏ੒؅ཧ / σϓϩΠ AWS CDK • CloudWatch Logs •

    CloudWatch Alarm • AWS Chatbot ؂ࢹ

23. 良かった / ⾟かった話 ! ྑ͔ͬͨ " ਏ͔ͬͨ αʔόʔͷ͓कΓ͸΄΅Կ΋ͯ͠ͳ͍ ϝτϦΫεΛΈ֤ͯछαʔϏεͷ্ݶʹ͔͔Βͳ͍͔͚ͩ஫ࢹ AWSͰো֐͕ى͖Δͱ੒͢ज़͕ͳ͍

    e.g. 2020/04/20ʹൃੜͨ͠SQSͷେن໛ো֐

24. 当初の課題は解決できたのか ՝୊: ΞϓϦέʔγϣϯٴͼDBͷෛՙ͕๲େʹ ΞϓϦέʔγϣϯٴͼDBͱ෼཭ͨ͠ͷͰ΄΅ղܾʢҰ෦ҠߦͰ͖͍ͯͳ͍ʣ

25. 当初の課題は解決できたのか ՝୊: ύʔςΟγϣχϯά͕͞Ε͓ͯΒͣίετ͕๲େʹ ύʔςΟγϣχϯάͨ͠ͷͰղܾ ΫΤϦ݁Ռ΋ετϨεແ͘ฦͬͯ͘ΔΑ͏ʹ

26. 当初の課題は解決できたのか ՝୊: ϧʔϧཱ͕֬͞Ε͓ͯΒͣσʔλ͕ࢄࡏ σʔλύΠϓϥΠϯཱ͕֬͞ΕͨͷͰղܾ

27. アジェンダ 1. ܦҢ 2. ߏங 3. ӡ༻ 4. ࠓޙͷ՝୊ɾల๬ 5.

    ·ͱΊ

28. ౰ॳͷ՝୊͸΄΅ղফ͕ͨ͠ɺ
 ৽ͨͳ՝୊΋…

29. 課題1 • ύʔςΟγϣϯ਺ͷ૿ͰΫΤϦͷύϑΥʔϚϯεʹӨڹ • ίετ͔͔Δʢैྔ՝ۚʣ AthenaͷύʔςΟγϣχϯάΛ
 GlueͷΫϩʔϥʔͰੜ੒͢ΔͷΛ΍Ί͍ͨ

30. 課題1の展望 • DDLͰprojection.xxxͱ͍͏ଐੑΛఆٛ͢Δ͚ͩ • ผ్ྉۚ΋͔͔Βͳ͍ Partition ProjectionΛར༻͢Δ

31. 課題2 • όονΠϯϙʔτ͕Ͱ͖ͳ͍෼ίετ૿ • Kinesis Firehoseͷ্ݶʢͲ͜·Ͱ؇࿨ͯ͠΋Β͑Δ͔ෆಁ໌ʣ • Τϥʔ͕ى͖ͨࡍͷϋϯυϦϯάɾϦΧόϦʔ͕೉͍͠ API Gateway

    ͱ Kinesis Firehoseؒʹ
 Ϋογϣϯ͕ͳ͍

32. 課題2の展望 API͸ࣗલͰཱͯͯkinesis-agent(or Fluentd)Ͱ όονΠϯϙʔτ͢Δ

33. 課題3 • ݱঢ়͸ఆظతʹόονͰS3΁Πϯϙʔτ͍ͯ͠Δ ‣ ࣌ؒͱख͕͔͔ؒΔ RDB্ͷσʔλΛAthenaͰΧδϡΞϧʹ ݁߹͍ͨ͠

34. 課題3の展望 ϑΣσϨʔςουɾΫΤϦΛར༻͢Δ ※·ͩpreviewͳͷͰਖ਼࠲଴ػத

35. 課題3の展望 https://aws.amazon.com/jp/blogs/news/query-any-data-source- with-amazon-athenas-new-federated-query/

36. 課題4 σʔλ΢ΣΞϋ΢ε΍Ϛʔτʹ૬౰͢ΔσʔλΛ ༻ҙ͠རศੑΛ޲্͍ͨ͠

37. 課題4の展望 • CTASΛར༻ͨ͠Parquet(ྻࢦ޲ϑΥʔϚοτ)΁ͷม׵ • BigQuery Omniͷར༻

38. アジェンダ 1. ܦҢ 2. ߏங 3. ӡ༻ 4. ࠓޙͷ՝୊ɾల๬ 5.

    ·ͱΊ

39. まとめ ౰ॳͷ՝୊͸΄΅ղফͰ͖ɺ
 ӡ༻ίετ͸αʔόʔϨεʹΑͬͯ ظ଴௨Γେ෯ʹܰݮͰ͖ͨ

40. • αʔϏεن໛ʹΑͬͯྉۚίετ͕௓ͶΔՄೳੑ͋Γ • ো֐࣌͸جຊతʹ͓فΓ͢Δ͔͠ͳ͍ まとめ ͳʹΛ༏ઌ͢΂͖͔Λख़ߟ͢Δ αʔόʔϨεͷτϨʔυΦϑ ʢ൑அࡐྉ: αʔϏεಛੑɺαʔϏεن໛ɺνʔϜͷφϨοδetc..ʣ

41. ͋Γ͕ͱ͏͍͟͝·ͨ͠