為替短期予測を支える基盤技術 - データエンジニアミーティング資料

Alpacaデータエンジニアミーティング資料
https://finatext.connpass.com/event/202265/

Transcript

1. STRICTLY CONFIDENTIAL
   σʔλΤϯδχΞ ϛʔτΞοϓࢿྉ
   ҝସ୹ظ༧ଌΛࢧ͑Δج൫ٕज़
   "MQBDB+BQBO
   

   View Slide

2. STRICTLY CONFIDENTIAL 2
   

   View Slide

3. STRICTLY CONFIDENTIAL
   ਓͱ"*ͱͷίϥϘϨʔγϣϯͰ੾Γ։ۚ͘༥ࢢ৔ͷະདྷ
   $MJFOU`T5FTUJNPOJBMGSPN2VBOUT
   ༏ΕͨςΫϊϩδʔ͸ٙ͏༨஍͕ແ͍ɻ
   ͨͩɺͦΕ͚ͩͰ͸ύʔτφʔͱͯ͠ෆे෼ɻ
   ੒ޭ·ͰͷಓͷΓ͸τϥΠΞϯυΤϥʔͷ࿈ଓɻ
   ࢢ৔ͷಾղ͖΁ͷ७ਮͳϞνϕʔγϣϯɺ͖͋ΒΊͳ͍࢟੎ɺͦͯ݁͠Ռ΁
   ͷڧ͍ͩ͜ΘΓɻ
   "MQBDBΛޠΔ࣌ʹͦ͏ͨ͠ཁૉ͸͔ܽͤͳ͍ɻ
   ൴Β͸ਅʹ৴པͰ͖Δूஂͩɻ
   ਓ ˠਓ
   αΠΤϯςΟετΤϯδχΞͷ೥ͷ૿Ճ਺
   ԯԁ
   ૯ௐୡֹ
   $MJFOU`T5FTUJNPOJBMGSPN5SBEFST
   lۚ༥ࢢ৔ͷະདྷ͸"*ͱਓͱͷίϥϘϨʔγϣϯʹͦ͋͜Δzͱ͍͏ͷ͸·
   ͞ʹࢲ΋ڧ͘ڞײ͢ΔίϯηϓτͰ͢ɻੈͷઌΛ͍͘وࣾͷօ༷ʹ͸ͲΜͲ
   Μະདྷ΁޲͔ͬͯਐΜͰ͍ͬͯ௖͖͍ͨɻ
   ίϩφՒͷதͰۚ༥ۀքશମͰࠓ·Ͱग़དྷͳ͍ͱࢥ͍ͬͯͨ͜ͱ͕࣮ࡍʹ΍
   ͬͯΈΔͱग़དྷͯ͠·͏͜ͱ͕୔ࢁग़͖͍ͯͯΔͱײ͍ͯ͡·͢ɻͦͷத
   Ͱ"*ͱਓؒͷίϥϘϨʔγϣϯ΋ӹʑ૿͍͑ͯ͘Ͱ͠ΐ͏͠ɺͦ͏͍͏෦෼
   ͕֤اۀͷڝ૪ݯઘʹͳ͍ͬͯ͘ͷͩΖ͏ͱࢥ͍·͢ɻ
   

   View Slide

4. STRICTLY CONFIDENTIAL
   TIPSUUFSNQSFEJDUPST
   
   "*Λ׆༻ͨ͠ҝସۀ຿ͷࣗಈԽ
   OFVUSBM EPXO
   7JTVBMJTBUJPOPGUIFQSFEJDUJPOPVUQVUT
   5IFBDUVBMQSJDFNPWF
   ༧ଌϞσϧͷ
   ଟذʹ౉ͬͨ׆༻
   ༧ଌϞσϧͷߏங
   #SPLFS
   

   View Slide

5. STRICTLY CONFIDENTIAL
   ಈ࡞͍ͤͨ͞ҝସ୹ظ༧ଌϞσϧͷΠϝʔδ
   Ϛʔέοτͷ9෼ޙͷ஋ಈ͖Λ༧ଌ͢ΔϞσϧ
   ͕ͩɺϚʔέοτ͸΄΅ϥϯμϜ΢ΥʔΫΛ͢
   ΔͷͰɺ࣮ࡍʹ΍ͬͯΈΔͱͱͯ΋೉͍͠ɻ
   ● "*ɾσΟʔϓϥʔχϯάʹ޲͍͍ͯΔͷ
   ͸େྔʹൃੜͨ͠σʔλ͔ΒύλʔϯΛ
   ୳͢࡞ۀ
   ● Ϛʔέοτʹ͓͍ͯ࠷΋େྔʹൃੜͯ͠
   ͍Δσʔλ͸ͳʹ͔ɺͦΕ͕5JDL
   ● େྔͷ5JDLσʔλ͔ΒൃੜύλʔϯΛղ
   ੳ͠ɺͲͷΑ͏ͳύλʔϯ͕ൃੜͨ͠ͱ
   ͖ʹϓϥΠε্͕͕Δ͔ɾԼ͕Δ͔Λσ
   ΟʔϓϥʔχϯάͰֶश
   5JDLσʔλͬͯԿʁ
   5JDLσʔλ͸࠷୹਺NTFDͰൃੜ͢Δۚ༥঎඼
   ͷͦΕҎ্෼ׂͰ͖ͳ͍ϓϥΠεσʔλ
   ը૾ೝࣝ޲͚ͷ$//Λ
   ࣌ܥྻղੳͷωοτϫʔΫͱ֦ͯ͠ு
   σΟʔϓχϡʔϥϧωοτϫʔΫ͕Ϛʔέο
   τͷಛ௃తͳ5JDLͷൃੜύλʔϯΛղੳɺ༧
   ଌΛग़͍ͯ͠Δɻ
   ը૾ೝࣝ
   5JDLൃੜύλʔ
   ϯ
   

   View Slide

6. STRICTLY CONFIDENTIAL
   ҝସ୹ظ༧ଌͷσʔλॲཧͷϙΠϯτ
   処理 キーとなる技術 概要
   データのインポート ● ArgoWorkflow
   ● MarketStore
   データプロパイダーから数百GBのデータ
   がS3に到着、ArgoWorkflowで生データの
   パースからMarketstoreへのインポート、
   検証、データのデリバリまでを実施
   分析と予測モデルの学習 ● ArgoWorkflow
   ● MarketStore
   ● JupyterNotebook
   ● GPUクラスタ
   クレンジング完了後のデータに対して、
   GPUクラスタでArgo Workflowを用いてモ
   デル生成を実施。k8sへ移行したことでリ
   ソース制御が容易となり他のモデル作成
   パイプライン含め数万のjobがk8sによっ
   て順次実行されている
   予測モデルのライブ実行 ● MarketStore
   ● AWS
   ○ Amazon EKS
   ○ SQS
   構築された予測モデルを稼働させる基盤
   。MarketStoreを活用し、為替のデータプ
   ロパイダーがmsec単位で送付するTickの
   データをリアルタイム処理
   

   View Slide

7. STRICTLY CONFIDENTIAL
   ύΠϓϥΠϯͷ࿩ 5JDLཤྺσʔλͷΠϯϙʔτ
   
   • "SHP8PSLGMPXͰੜσʔλͷύʔε͔Β.BSLFUTUPSF΁ͷΠϯϙʔτɺݕ
   ূɺσʔλͷσϦόϦ·ͰΛ࣮ࢪ
   • ҰճͰѻ͏σʔλྔ͸਺ඦ(
   • ׬શʹࣗಈͰ͸ͳ͘खಈͰύϥϝʔλΛௐ੔͠ͳ͍ͱ͍͚ͳ͍ͱ͜Ζ͕
   ࢒͍ͬͯΔͷ͕՝୊
   

   View Slide

8. STRICTLY CONFIDENTIAL
   ύΠϓϥΠϯͷ࿩ ෼ੳͱ༧ଌϞσϧͷֶश
   
   • Ϟσϧͷ࡞੒͸طଘύΠϓϥΠϯΛ"SHP8PSLGMPXͷ্ʹ৐͍ͤͯΔ
   • طଘύΠϓϥΠϯͷεέδϡʔϥʔͱϫʔΧʔ͕ಛ௃ྔੜ੒͔ΒϞσϧֶश·Ͱ
   Λ࣮ߦ
   • ෳ਺ͷ.BSLFUTUPSFΠϯελϯεΛϩʔυόϥϯαͰ੍ޚ͢Δ͜ͱͰɺ๲େͳྔͷಛ
   ௃ྔੜ੒ʹରԠ
   • αΠΤϯςΟετ͸+VQZUFSOPUFCPPLΛΫϥελ಺Ͱىಈͯ͠ɺ࡞੒ͨ͠Ϟσϧʹ
   ରͯ͠γʔϜϨεʹ෼ੳ࡞ۀΛ࣮ࢪՄೳ
   

   View Slide

9. STRICTLY CONFIDENTIAL 9
   Alpacaのサイエンスを支えるCPU/GPUクラスタ基盤
   ● େྔͷ$16(16͕Քಇ͢ΔࣗࣾઃܭͷΫϥ
   ελج൫
   ○ ,TͰ੍ޚ͞Εɺ௒௿ίετӡ༻Λ࣮
   ݱ
   ○ ฒྻֶशʹΑΓେྔͷ%FFQ-FBSOJOH
   ϞσϧΛੜ੒Մೳ
   超低コスト運用を実現
   

   View Slide

10. STRICTLY CONFIDENTIAL
    
    
    ༧ଌϞσϧੜ੒ޙͷύΠϓϥΠϯ ࡞੒ͨ͠༧ଌϞσϧΛ҆ఆӡ༻ͤ͞Δج൫ٕज़
    
    *OQVU 0VUQVU
    1SFEJDUJPO
    424
    %JTQBUDIFS
    3%4
    H31
    $
    -FHFOE
    DBMMFF
    DBMMFS
    #BUDI
    #BUDI
    8FC'SPOUFOE
    *OUFSGBDF
    'JY1SPUPDPM
    ##0
    4FTTJPOT
    
    '93BUF
    ##0
    
    "1*EFMJWFSZ
    44&
    4FSWFS4FOU&WFOUT
    
    "NB[PO
    .2
    '93BUF
    -
    
    044
    .BSLFUTUPS
    F
    ,TTFSWJDF
    1SFEJDUPS
    'JY1SPUPDPM
    -4FTTJPOT
    
    QJQFBEBQUFS
    044
    .BSLFUTUPS
    F
    1SFEJDUPS
    424
    1SPUPDPM
    QJQFGMVFOUE
    QJQFBEBQUFS
    QJQFGMVFOUE
    %JTQBUDIFS
    #BUDI
    8FC'SPOUFOE
    ,TTFSWJDF
    ,TTFSWJDF
    CBDLVQ
    CBDLVQ
    IPVSMZ
    QSJDF
    EVNQFS
    NFUSJDTW
    NFUSJDTW
    DTWEVNQFS
    BEBQUFS BEBQUFS
    424
    1SPUPDPM
    H31$ H31$
    

    View Slide

11. STRICTLY CONFIDENTIAL
    
    
    044ͱͯ͠ߴ଎࣌ܥྻσʔλϕʔε.BSLFU4UPSFΛެ։த
    • "MQBDB+BQBOͱɺถࠃͰ࠷΋੎͍ͷ͋Δถࠃג"1*ূ݊"MQBDB64ͱ"MQBDB+BQBOͷڞಉ։ൃ
    IUUQTHJUIVCDPNBMQBDBIRNBSLFUTUPSF
    • ΦϯϝϞϦઃܭΛ࠾༻ͤͣɺ44%Ͱ࠷΋ύϑΥʔϚϯε͕ग़ΔΑ͏ʹઃܭ
    • ҝସ5JDLͷΑ͏ͳ௒ߴ଎ͳॲཧΛ͸͡Ί͔Β૝ఆ͠ઃܭ
    • ྫ͑͹.POHP%#ͱ͔Λ࢖͏ͱ+40/%BUB'SBNFͰࢮ๢͢ΔɻͦͷίϯόʔτॲཧΛճආ͢ΔͨΊ
    OVNBSSZͷόΠφϦΫΤϦΛ࠾༻ɺ.BSLFU4UPSFଆͰOVNQZόΠφϦΛ%#಺ͷόΠφϦߏ଄͔Βͦͷ
    ··ੜ੒ɺQZUIPOଆ͸H31$ܦ༝Ͱऔಘͨ͠OVNQZόΠφϦΛ%BUB'SBNFͱͯ͠ϩʔυ͢Δ͜ͱͰΦʔ
    όʔϔουΛۃখԽ͢Δɻ (JUIVC˒΋,ʹ౸ୡʂʂ
    ʂ
    

    View Slide

12. STRICTLY CONFIDENTIAL 12
    ࠷ۙͷ.BSLFU4UPSFͷύϫʔΞοϓ
    • H31$ʹରԠ
    • )551ͱൺֱͯ͠ߋʹ"1*ύϑΥʔϚϯε͕վળ
    ෼଍σʔλϨίʔυͷΫΤϦʹ͔͔Δ͕࣌ؒ
    NT )551
    NT H31$
    ͘Β͍͸มΘΔ ߴ଎Խ
    
    • ϨϓϦέʔγϣϯػೳ
    • ෳ਺୆ͷϨϓϦΧʹH31$ TUSFBNΛ࢖ͬͯσʔλΛෳ੡Մೳ
    3FBEύϑΥʔϚϯεͷ޲্Λͭͭ͠ɺ༗ྉͷσʔλఏڙ"1*Λ࢖༻͢ΔϊʔυΛϚελϊʔ
    υʹߜΕΔͱ͍ͬͨϝϦοτ
    • )FMNDIBSUʹରԠ
    • ,VCFSOFUFT্ͰͷNBSLFUTUPSFߏங͕༰қʹ
    • 1SPNFUIFVTʹରԠ
    • ॻ͖ࠐΈॲཧ࣌ؒͳͲ͍͔ͭ͘ͷϝτϦΫεΛ(&5 NFUSJDTͰ
    1SPNFUIFVTαʔόʹFYQPSUͰ͖Δ
    • ࡉ͔ͳύϑΥʔϚϯεվળ
    • DHP HP͔Β$$ͷϥΠϒϥϦΛ࢖༻͢Δύοέʔδ
    ͔Βͷଔۀ
    • όοϑΝΩϟογϡΛσΟεΫʹॻ͖ࠐΉTZODγεςϜίʔϧͷݺͼग़͠λΠϛϯάͷݟ
    ௚͠ͳͲ
    • ϕϯνϚʔΫιϑτΛಉ࣌ʹ։ൃͯ͠ݕূͭͭ͠վળத
    

    View Slide

13. STRICTLY CONFIDENTIAL
    
    
    ࠓޙ׆༂Ͱ͖ΔσʔλΤϯδχΞͷΠϝʔδ
    ҎԼͷ఺͕ॏཁ
    • Ϋϥ΢υٕज़ʹڧ͍ʂ
    • Ϋϥ΢υͷٕज़ΛͲͷ͘Β͍͏·͘׆༻Ͱ͖Δ͔
    • σʔλߏ଄ɾσʔλͷߴ଎ॲཧͳͲʹڧ͍ʂ
    • ٕज़બఆɾΫϥ΢υબఆ͢Δ্ͰσʔλͷऔΓѻ͍ٕज़͕ॏཁɺ΋͠΋ͷ
    ͱ͖ʹࣗ෼Ͱ͔͚Δ͜ͱ͕ڧΈʹͳΔ
    • σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰ࿩ͤΔͱڧ͍ʂ
    • σʔλαΠΤϯενʔϜ͕࡞੒ͨ͠ϞσϧΛಈ͔͢ͱ͍͏໨తʹରͯ͠ɺ
    σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰσΟεΧογϣϯͰ͖Δͱ˕
    ͞ΒʹϓϥεΞϧϑΝͰҎԼͷΑ͏ͳਓࡐΛٻΊ͍ͯ·͢ɻ
    • Ϋϥ΢υΛ׆༻ͭͭ͠΋ɺΤοδͷޮ͍ͨಠٕࣗज़Λࣗ෼ͨͪͰ࡞Γ͍ͨʂ
    • ௒ߴ଎ͳॲཧ͔ͭϛογϣϯΫϦςΟΧϧͳ՝୊ʹ௅ઓ͍ͨ͠
    • σʔλΤϯδχΞͱ͍͏৽͍͠ΩϟϦΞΛࣗ෼Ͱߏங͍ͨ͠
    -JOLFE*Oɺ·ͨ͸8BOUFEMZͰͷԠืΛ͓଴͓ͪͯ͠Γ·͢
    • IUUQTXXXMJOLFEJODPNDPNQBOZBMQBDBKBQBO PSJHJOBM4VCEPNBJOKQ
    • IUUQTXXXXBOUFEMZDPNDPNQBOJFTBMQBDBEC
    

    View Slide

14. STRICTLY CONFIDENTIAL
    

    View Slide