Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ヘルスビッグデータ分析基盤のデータパイプラインの効率化【DeNA TechCon 2021 Autumn】/techcon2021autumn-07

DeNA_Tech
September 29, 2021
200

ヘルスビッグデータ分析基盤のデータパイプラインの効率化【DeNA TechCon 2021 Autumn】/techcon2021autumn-07

ヘルスケア事業におけるリアルワールドデータの疫学研究・薬剤の臨床開発への利活用は世界的に見てもより加速しています。
データの絶対的なボリュームを増やしながら、データ調達、データベース構築、データ分析にともなう様々な問題をソフトウェアの力で解決すべく、以下を念頭において効率的な開発に取り組んでいます。
「infrastructure as a code」「workflow as a code」
今回はAirflowによるシステムタスクのワークフロー化をメインに、具体的な課題や事例も合わせてご紹介いたします。

DeNA_Tech

September 29, 2021
Tweet

More Decks by DeNA_Tech

Transcript

  1. ஈ஛୩୷஬୯ଠᑁᮉ ቾಀ ୷஬୯ ෪ᳮ ୟஜண ୨ணୠ 2$ ඳช ඀ၷ 2$

    ୷஬୯ ᣰฅ ୷஬୯ ᣋๅ ୷஬୯இ஝୫୩ ୔ணஅங %)ܶ "84 ($1 Ö« fŧŧōĔƎ 2$ ܶ%)ଡῠᏐῡ୷஬୯஋ங୔୪ண
  2. ቾಀ୷஬୯ ౄ௦அ୑୔஛ዝଝଉଘ᠔ẻ ᠊Ⴜଠ୷஬୯૾ቾಀଇାଘ૶ ରଋ  ᴧᛟῠ᭘ಖḴ᥽෻႓ῡ  ஜ୫இ୸  ᐡ᮶๧᮶

     LFODPN  ங୔அ஝ୠ  ୒ணୡ஬୸ ቾಀ᥽૾૴କ଑༂ฅଡ෪଼ᳮଲ୷஬୯૾᠊Ⴜ૴଼ ଅା଻ଠ୷஬୯ୄᒩ឴૽ଖඇᚕ᜷ଝ%8)ଝ෪଼ᳮଲᄰᮉ૾૴ଽ
  3. ᣋๅ୷஬୯ ౄ௦ዝඵ᠔ẻ᠊Ⴜଠඳช඀ၷ୷஬୯ ૾ቾಀଇାରଋ  ᴧᛟῠ᭘ಖḴ᥽෻႓ῡ  ஜ୫இ୸  ᐡ᮶๧᮶ 

    LFODPN  ங୔அ஝ୠ  ୒ணୡ஬୸ ག࿁ଶ᭯᫇ోᐶ૊—૊᠔ẻଠ୷஬୯ ୷஬୯ᣋๅ೿ᓍଝ࿍ഋ૽ଖᒩ឴ଝ୷஬୯ୄဢଃଽᄰᮉ૾૴ଽ
  4. ቾಀ୷஬୯ଠ୧୩୶ஐଛ૸ଉ଺૸ Ɣ ᓍ፠ଠ୷஬୯෪଼ᳮ଱ଠᴛᛟ᥻ૺଽଚોો ż ட஬ୟஅ஝஬ଡ"JSῐPX౶କଘᨅඐටଉ଑૶଺ଟ ż ᷻ᜲ஫ᴛᛟச୭஬୩૾ଜ૶ଠଙ୔ணஅஙଡଙ૿ଽ଒ଃஅ஛எ୽஬୨୹ ż $MPVE$PNQPTFS౶କଘ଱଺૸ Ɣ

    ୷஬୯ଠ෪଼ᳮଲᄃუଶዝ૾༾૶ଠଙᴛᛟඇᚕටଉ଑૶଺ଟ ż ቾಀ೺ଶ෪଼ᳮଲ୷஬୯ଆଚଝᇡณ૾ୁ૽ାଢ๧૶ฅୁ଍ଜଛඇᚕටଙ ૿ଏ૸ ż "JSῐPXଠ୯୩ୟୄᣚ൏ටଙ૿ାଢ୸ஜ஬୩ଉଶଋ૶ଉിᚫ଴௱ൕଝଙ ૿ଘඇᚕටଙ૿ଘોச୛஀ச஬࿾ᄷଜଛᳲᴌଝଜଽଟ
  5. $MPVE$PNQPTFSଚଡ $MPVE$PNQPTFSଡોౄ௦ୄ዆ኆଋଽોஎ୽஬୨୹"QBDIF "JSῐPX୥஬ஃ୩ଙଋ  ட஬ୟஅ஝஬ଠ౬ᇡ  ୩ୡ୨க஬சணୠ  ஒ୻୯சணୠ 

    ᡷᚫ $MPVE$PNQPTFSଠᨅඐටଜଛ଺଼ો୔ணஅங୩୸ஙୟୱஓ ଙଡଜଁட஬ୟஅ஝஬ଝṓ௴ଙ૿ରଋ  "JSῐPXᛋ༕ୄᳲᴌଝ౬ᇡ  ჵൾଜ"JSῐPXୖୗஆ୔ண୯஬அୗ஬୩  ୣஎண୹ங୔ண  "JSῐPX୽୔୶୓ஆ୴஬஛ ෠ᘚ
  6. ୭஬୩ୣ஬୹ᑑᇡ  ࢖ູ"ଠ%-ଡ୷஬୯ஜ୔ୟଙ($4ૼ଺ଥ#JHRVFSZଝ3BXEBUBୄ஝஬୹ଋ ଽରଙଠിᚫ ୭஬୩அ୑୔஛ଠQSF῏YEM@ଜଛ  ູࢗ"ଠ%8)ଡ෪଼ᳮ୅଒᭲ዝ୷஬୯୫୳୸ῠ3BXEBUBῡୄ೺ଝો௟ଖ ଠᣰฅ୷஬୯உ஬୩ῠ୷஬୯୫୳୸ῡୄ౬ᇡଋଽിᚫ ୭஬୩அ୑୔஛ଠQSF῏YEXI@ଜଛ 

    ູ࢘"ଠ%.ଡࢗଠ୷஬୯ୄ೺ଝોᣋๅ୷஬୯ଶ൏᎚#*୴஬஛ଠ୷஬୯ ୫୳୸ୄ౬ᇡଋଽിᚫોର଑୷஬୯ᣋๅଠ஁୔இங୔ண଴ଅଅଝ࿚᭢ଇ ାଽ ୭஬୩அ୑୔஛ଠQSF῏YEN@ଜଛ ቾಀ ୷஬୯ ෪ᳮ ୟஜண ୨ணୠ %2 ඳช ඀ၷ %2 ୷஬୯ ᣰฅ ୷஬୯ ᣋๅ ୷஬୯இ஝୫୩ ୔ணஅங %) "84 ($1 Ö« E¡ %2 ୭஬୩ୣ஬୹ ඳช඀ၷஜ஍୨୸சῠవຳ࿾ᰳ༻ῡ ࢖%- ࢗ%8) ࢘%. ୷஬୯൙ᔲᛟஜ஍୨୸ச ࢖ ࢘ ࢗ ູ"
  7. ᓍ፠୷஬୯ፕዶକଘག༷ଏ૸஫஫஫ Ɣ ୷஬୯ଠ஀஬୨஗ணଡஎ୩୯஬ଙᡷᚫଇାଽ૶ଽ૽଻ો෪଼ᳮ଱፠଒ଃଠിᚫ૾ଙ૿ା ଢ૶૶଺ଟῷ ż ፠ᒛ෪଼ᳮ଱ଡฉଊ%BHῠ5BTLῡଙ໱፱᜷ଝ፠൏଒ଃ෪଼ᳮଳଢ૶૶ଠଙો எ୩୯஬ଙῠ஀஬୨஗ணῡ଒ଃୄቁ࿖ଋାଢᨭ૶૽଻ᑀଓ୅ ż ଙ଴ᚨ࿚ଡῷῷ Ŷ

    ୷஬୯ଠ஀஬୨஗ணଡฉଊ଒૾ો፠ଌାଙᣋๅଇାଽ୷஬୯૾૴ଽ Ŷ ᴛᛟଙ൩፠ୄ଴૸௟Ⴜ෪଼ᳮ଱଑૶ોଜଛଜଛ ż Ὺ஦፠ରଚଳଘിᚫଋା୅ଢ૶૶ଶો୅ῷῷଅାଡጤ᷾૽૽ଽଉṻඇᚕ଒ଜો ଏ૸଒ിᚫଡฉଊ଒૽଻அ୑୔஛ୣ஄஬ଋାଢ૶૶ଶ ǝǛǝǜǛǢȧĎêĭ ǝǛǝǜǛǢȧơêƕō ǝǛǝǜǛǣȧĎêĭ ǝǛǝǜǛǣȧơêƕō ǝǛǝǜǛÛȧĎêĭ ǝǛǝǜǛǢȧơêƕō ǝǛǝǜǛǣȧơêƕō
  8. 9DPN DSPTTDPNNVOJDBUJPOT ࢗ ູ#ଙ஁ங஑஬୯ୱୗ୳ୟ  ࢖ଙშዝୄ෪ᄠ  ࢗଙUBTL@JOTUBODFଝ෪ᄠଉ଑ LFZWBMVFಱୄ᮱࿖ ູ$ଙ౬ᐶ୩ஊ஬୩ଝ୷஬୯෪ᄠ

     ࢘௥᮫ࢗଙ᮱࿖ଉ଑ಱୄ UBTL@JEୄLFZଝቁ࿖ଉଘWBMVF ୄ෪ᄠ ູ%ଡ"JSῐPX+JOKB୶ணஇஜ஬୸ ୄ൙ᛟଉଘWBMVFୄ෪ᄠ ູ# ູ$ ࢖ ࢗ ࢘ ູ%
  9. $MPVE$PNQPTFSୄᴛᛟଉଘ଱ଘ Ɣ அ஛எ୽஬୨୹௢ᒯ Ɣ ட஬ୟஅ஝஬᷻ᜲଝခᄾଙ૿଑ Ɣ వᄛ୷஬୯ᵸଶட஬ୟஅ஝஬૾༗ૺଘ଴ଶକଘᬻଃଽᓛ૾ଉରଋ ᯠẴ  $16ச୭஬୩ୄ౶૸ၺགଜஅ୑୔஛ଠໆᤨῠ[JQῡଜଛଠിᚫଡ஑୔ணിᚫ

    ૽଻ଡ൐଼Ṟଉଘો44)0QFSBUPSଜଛଙ༻ᵄ$16ச୭஬୩ୄ౶૸ଜଛၷཅ૾ ᄰᮉ  ୯୩ୟୄᣚ൏ටଉଘ૶ଽଠଙોଏାଐାଠ୷஬୯இ஝୫୩᷾ଠ࿚ᬻ୩ୡ ୨க஬சணୠଜଛᯠẴ
  10. ஃ୨୽୩ᮉᓥ ᣋๅ୷஬୯஀ୡ୳୸ ǒĸƋ䝣䜯䜲䝹 ୷୓ஜୟ୸ச"័ "័ ေᛢ௟ᵁ JZBNBEB!BDPN ᛢ௴ᨽྶ UIBBOLP!BDPN ǒĸƋ䝣䜯䜲䝹

    ୷୓ஜୟ୸ச#័ IFMFO IFMFO!CDPN UPN UPN!CDPN Ɣ Ẽ࿛සౡଙ୷୓ஜୟ୸சୄ൏൵ଉ୒ୟ୫୩൝ᄤଋଽ Ɣ ᭲ዝ୷୓ஜୟ୸சଝᯞ଱෪଼ᑫḢୄ᮱࿖ଋଽଅଚ଴෺ᧄ Ɣ ୷୓ஜୟ୸சසౡଙ*1୒୹ஜ୩൝Ḣ଴෺ᧄଙ૴ଽ ͉ୱ஬ஐ ေᛢ௟ᵁ JZBNBEB!BDPN ᶌ፮௟ᵁ JTV[VLJ!BDPN "MMPX4PVSDF*1XCVDLFUQPMJDZ ǒĸƋ䝣䜯䜲䝹 ୷୓ஜୟ୸ச"័͉ୱ஬ஐ #័