リアルタイム分析サービス『たべみる』を支える高可用性アーキテクチャ

「たべみる」は、クックパッドの検索データをウェブから分析できる法人向けのウェブサービスです。 そのアーキテクチャの特徴としてサービスのバックエンドDBとバッチの両方でRedshiftを使っていることが挙げられます。 今回は、Redshiftの可用性を高めるためのクックパッド独自のアーキテクチャについて紹介します。

Transcript

1. ϦΞϧλΠϜ෼ੳαʔϏε ʰͨ΂ΈΔʱΛࢧ͑Δ ߴՄ༻ੑΞʔΩςΫνϟ ΫοΫύουגࣜձࣾ τϨϯυௐࠪϥϘ Ҫ্ ׮೭
2. ࣗݾ঺հ • Ҫ্ ׮೭ • ΫοΫύουגࣜձࣾ • τϨϯυௐࠪϥϘ • ೥ ৽ଔೖࣾ • ڵຯͷ͋Δ͜ͱ • ؔ܎σʔλϕʔεɺσʔλΤϯδχΞϦϯά • ηϚϯςΟοΫ΢Σϒ
3. ຊ೔࿩͢಺༰ • ͨ΂ΈΔͷ঺հ • ͨ΂ΈΔͷΞʔΩςΫνϟ • ΞʔΩςΫνϟͷ໰୊఺ͱରࡦҊ • ࣮ࡍʹߦͬͨରࡦ • ·ͱΊ
4. • ΫοΫύουͷ ݕࡧཤྺΛ࢖ͬͨ ๏ਓ޲͚αʔϏε • ৯඼੡଄ۀ Էചۀ ྲྀ௨ۀ ޲͚ info.tabemiru.com
5. ͨ΂ΈΔͰ Ͱ͖Δ͜ͱɾݟΒΕΔ͜ͱ • ΫοΫύουొ࿥Ϣʔβʔͷݕࡧϩά͔Β ूܭ͞Εͨʮ೥͔Βલ೔·Ͱʯͷ • ୯ޠͷݕࡧස౓ • ୯ޠͷ૊Έ߹Θͤݕࡧස౓ • ࠷ۙݕࡧස౓্͕ঢ͍ͯ͠Δ୯ޠ • ೥ɺϢʔβʔͷ೥୅ɾډॅ஍ҬΛ࣠ͱͨ͠෼ੳ
6. ૊Έ߹Θͤ෼ੳ
7. ͨ΂ΈΔͷϏδωεతͳཁٻɾಛ௃ • ໨ඪԠ౴࣌ؒ
   
   NTFD • ೔ͷฏۉར༻ਓ਺
   ਺ඦਓఔ౓ • σʔλ͸ຖ೔ߋ৽ 
   લ೔ͷݕࡧස౓͕ݟ͑Δ
8. ͨ΂ΈΔͷΞʔΩςΫνϟ • 3FETIJGUͰݕࡧϩάͷूܭɾαϚϥΠζ • 3FETIJGUͰόονॲཧͨ݁͠ՌΛ 8FCΞϓϦέʔγϣϯ͔Β௚઀࢖͏ Users Apps  (EC2) ELB MySQL Treasure  Data (Hadoop) Redshift 夜間バッチ オンライン
9. όονॲཧʹ͍ͭͯ͸ • IUUQXXXTMJEFTIBSFOFUNJOFSPBPLJBUBXTTVNNJUUPLZP
10. ΞʔΩςΫνϟͷ໰୊఺ͱରࡦҊ • 3FETIJGU͕୯Ұো֐఺ʢ410'ʣ • ͭ·Γɺ3FETIJGU͕ࢭ·ΔͱɺαʔϏε͕ࢭ·Δ • 8FCαʔόʔ͸৑௕Խߏ੒ • Մ༻ੑΛߴΊΔରࡦҊ  ෳ਺Ϋϥελʔߏ੒  %ZOBNP%#ͷซ༻ • ϑϩϯτ%#ͱͯ͠ʢશͯͷσʔλΛΩϟογϡ͓ͯ͘͠ʣ  1PTUHSF42-ͷซ༻ • ϑϩϯτ%#ͱͯ͠ • ίʔϧυελϯόΠ%#ͱͯ͠
11. ࣮ࡍʹߦͬͨରࡦ
    ෳ਺Ϋϥελʔߏ ੒ • ن໛ͷখ͍͞ΞϓϦ༻ΫϥελʔΛ৽ઃ • όονͷ݁ՌΛϨϓϦέʔγϣϯ • ΞϓϦ༻Ϋϥελʔ͕མͪͯ΋ɺ όον༻ΫϥελʔΛ࢖͍αʔϏεΛࢭΊͳ͍ Users Apps  (EC2) ELB Redshift for  Apps Redshift for  Batch
12. .VMUJ
    "; ഑ஔ • ෳ਺Ϋϥελʔߏ੒Ͱ๨Εͯ͸͍͚ͳ͍ϙΠϯτ • .VMUJ
    "WBJMBCJMJUZ
    ;POF
    ഑ஔ • ෳ਺ͷΫϥελʔ͕ಉ࣌ʹམͪΔՄೳੑΛԼ͛Δ • ΋͘͠͸ɺଞϦʔδϣϯ΁ͷϨϓϦΛݕ౼͢Δ Availability Zone A Availability Zone B Users Apps  (EC2) ELB Redshift for  Apps Redshift for  Batch
13. ΫϥελʔؒϨϓϦέʔγϣϯ • 4
    ʹ VOMPBEɺ4
    ͔Β DPQZ • ͓͢͢ΊͷΦϓγϣϯ unload (‘select  *  from  stats’)  to  ‘s3://…’  credentials  ‘…’ delimiter  ‘,’  addquotes escape ; copy stats  from  ‘s3://…’  credentials  ‘…’ delimiter  ‘,’  removequotes escape ; Redshift for  Apps Redshift for  Batch S3  Bucket unload copy
14. %ZOBNP%#Λϑϩϯτ%#ͱͯ͠࢖͏ࡦ Ωϟογϡʹώοτ͍ͯ͠ΔݶΓ͸ߴ଎  Ωϟογϡʹώοτͤ͞Δඞཁ͕͋Δ  ώοτ͠ͳ͍৔߹͸3FETIJGU΁௚઀ϦΫΤετ  ʮͨ΂ΈΔʯͷ৔߹ɺϦΫΤετ͸ॏෳ͠ʹ͍͘ ෆ࠾༻
15. 1PTUHSF42-Λซ༻͢Δࡦ  ΫΤϦΛॻ͖׵͑Δඞཁ͕͋ͬͨ  σʔλͷϩʔυ͕஗͍  ߴ଎ͳϩʔυͷͨΊ͚ͩʹ ߴ*014ʢ1*014ʣͳ&#4Λ෇͚Δͷ͸ߴ͍  ෳ਺୆ӡ༻ͷܦࡁతͳίετ  ΞϓϦ༻͸όονॲཧΛߦΘͳ͍ͷͰ খ͍͞ΫϥελʔͰࡁΉ ΠϯσοΫεΛுΕ͹ɺΫΤϦ͸ͦͦ͜͜ͷ଎౓ PostgreSQL PostgreSQL ෆ࠾༻
16. ·ͱΊ • 3FETIJGU
    Λ࢖ͬͨαʔϏεͷͨΊͷ ߴՄ༻ੑΞʔΩςΫνϟΛ঺հ • ෳ਺ΫϥελʔΛ༻͍ͨ)"ߏ੒ • .VMUJ
    ";഑ஔ • VOMPBE
    DPQZ
    Λ࢖ͬͨϨϓϦέʔγϣϯ • ଞͷରࡦҊʹ͍ͭͯ͸ɺݕ౼ࣄ߲Λ঺հ