Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Search
tomo
February 19, 2021
Technology
4
3.6k
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Alpacaデータエンジニアミーティング資料
https://finatext.connpass.com/event/202265/
tomo
February 19, 2021
Tweet
Share
More Decks by tomo
See All by tomo
マケデコ プログラミングに頼らないExcelシートと生成AIによる日本株データ分析 発表資料
gamella
1
1.2k
株式のシステムトレード初心者の最初の一歩(評価方法を中心に)
gamella
1
940
アドベントカレンダーのお礼とマーケットAI開発プロジェクトにおけるプロジェクトマネジメントのエッセンス 補講
gamella
1
930
JPX Tokyo Stock Exchange Prediction Award Ceremony 解法総評
gamella
2
2.5k
J-Quants表彰会資料 - 上位入賞者解法総評 #JQuants
gamella
1
3k
LDAを利用した予測モデル構築 - J-Quants ニュース分析チャレンジ!発表資料
gamella
1
24k
Other Decks in Technology
See All in Technology
生成AIとM5Stack / M5 Japan Tour 2025 Autumn 東京
you
PRO
0
200
AIAgentの限界を超え、 現場を動かすWorkflowAgentの設計と実践
miyatakoji
0
130
FastAPIの魔法をgRPC/Connect RPCへ
monotaro
PRO
1
720
Where will it converge?
ibknadedeji
0
170
extension 現場で使えるXcodeショートカット一覧
ktombow
0
210
成長自己責任時代のあるきかた/How to navigate the era of personal responsibility for growth
kwappa
3
260
関係性が駆動するアジャイル──GPTに人格を与えたら、対話を通してふりかえりを習慣化できた話
mhlyc
0
130
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
リーダーになったら未来を語れるようになろう/Speak the Future
sanogemaru
0
280
AIが書いたコードをAIが検証する!自律的なモバイルアプリ開発の実現
henteko
1
330
SOC2取得の全体像
shonansurvivors
1
370
ZOZOのAI活用実践〜社内基盤からサービス応用まで〜
zozotech
PRO
0
170
Featured
See All Featured
Balancing Empowerment & Direction
lara
4
680
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
It's Worth the Effort
3n
187
28k
Bash Introduction
62gerente
615
210k
Embracing the Ebb and Flow
colly
88
4.8k
The Power of CSS Pseudo Elements
geoffreycrofte
79
6k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Transcript
STRICTLY CONFIDENTIAL σʔλΤϯδχΞ ϛʔτΞοϓࢿྉ ҝସظ༧ଌΛࢧ͑Δج൫ٕज़ "MQBDB+BQBO
STRICTLY CONFIDENTIAL 2
STRICTLY CONFIDENTIAL ਓͱ"*ͱͷίϥϘϨʔγϣϯͰΓ։ۚ͘༥ࢢͷະདྷ $MJFOU`T5FTUJNPOJBMGSPN2VBOUT ༏ΕͨςΫϊϩδʔٙ͏༨͕ແ͍ɻ ͨͩɺͦΕ͚ͩͰύʔτφʔͱͯ͠ෆेɻ ޭ·ͰͷಓͷΓτϥΠΞϯυΤϥʔͷ࿈ଓɻ ࢢͷಾղ͖ͷ७ਮͳϞνϕʔγϣϯɺ͖͋ΒΊͳ͍࢟ɺͦͯ݁͠Ռ ͷڧ͍ͩ͜ΘΓɻ
"MQBDBΛޠΔ࣌ʹͦ͏ͨ͠ཁૉ͔ܽͤͳ͍ɻ ൴Βਅʹ৴པͰ͖Δूஂͩɻ ਓ ˠਓ αΠΤϯςΟετΤϯδχΞͷͷ૿Ճ ԯԁ ૯ௐୡֹ $MJFOU`T5FTUJNPOJBMGSPN5SBEFST lۚ༥ࢢͷະདྷ"*ͱਓͱͷίϥϘϨʔγϣϯʹͦ͋͜Δzͱ͍͏ͷ· ͞ʹࢲڧ͘ڞײ͢ΔίϯηϓτͰ͢ɻੈͷઌΛ͍͘وࣾͷօ༷ʹͲΜͲ Μະདྷ͔ͬͯਐΜͰ͍͖͍ͬͯͨɻ ίϩφՒͷதͰۚ༥ۀքશମͰࠓ·Ͱग़དྷͳ͍ͱࢥ͍ͬͯͨ͜ͱ͕࣮ࡍʹ ͬͯΈΔͱग़དྷͯ͠·͏͜ͱ͕ࢁग़͖͍ͯͯΔͱײ͍ͯ͡·͢ɻͦͷத Ͱ"*ͱਓؒͷίϥϘϨʔγϣϯӹʑ૿͍͑ͯ͘Ͱ͠ΐ͏͠ɺͦ͏͍͏෦ ͕֤اۀͷڝ૪ݯઘʹͳ͍ͬͯ͘ͷͩΖ͏ͱࢥ͍·͢ɻ
STRICTLY CONFIDENTIAL TIPSUUFSNQSFEJDUPST "*Λ׆༻ͨ͠ҝସۀͷࣗಈԽ OFVUSBM EPXO 7JTVBMJTBUJPOPGUIFQSFEJDUJPOPVUQVUT 5IFBDUVBMQSJDFNPWF ༧ଌϞσϧͷ
ଟذʹͬͨ׆༻ ༧ଌϞσϧͷߏங #SPLFS
STRICTLY CONFIDENTIAL ಈ࡞͍ͤͨ͞ҝସظ༧ଌϞσϧͷΠϝʔδ Ϛʔέοτͷ9ޙͷಈ͖Λ༧ଌ͢ΔϞσϧ ͕ͩɺϚʔέοτ΄΅ϥϯμϜΥʔΫΛ͢ ΔͷͰɺ࣮ࡍʹͬͯΈΔͱͱ͍ͯ͠ɻ • "*ɾσΟʔϓϥʔχϯάʹ͍͍ͯΔͷ େྔʹൃੜͨ͠σʔλ͔ΒύλʔϯΛ
୳͢࡞ۀ • Ϛʔέοτʹ͓͍ͯ࠷େྔʹൃੜͯ͠ ͍Δσʔλͳʹ͔ɺͦΕ͕5JDL • େྔͷ5JDLσʔλ͔ΒൃੜύλʔϯΛղ ੳ͠ɺͲͷΑ͏ͳύλʔϯ͕ൃੜͨ͠ͱ ͖ʹϓϥΠε্͕͕Δ͔ɾԼ͕Δ͔Λσ ΟʔϓϥʔχϯάͰֶश 5JDLσʔλͬͯԿʁ 5JDLσʔλ࠷NTFDͰൃੜ͢Δۚ༥ ͷͦΕҎ্ׂͰ͖ͳ͍ϓϥΠεσʔλ ը૾ೝ͚ࣝͷ$//Λ ࣌ܥྻղੳͷωοτϫʔΫͱ֦ͯ͠ு σΟʔϓχϡʔϥϧωοτϫʔΫ͕Ϛʔέο τͷಛతͳ5JDLͷൃੜύλʔϯΛղੳɺ༧ ଌΛग़͍ͯ͠Δɻ ը૾ೝࣝ 5JDLൃੜύλʔ ϯ
STRICTLY CONFIDENTIAL ҝସظ༧ଌͷσʔλॲཧͷϙΠϯτ 処理 キーとなる技術 概要 データのインポート • ArgoWorkflow
• MarketStore データプロパイダーから数百GBのデータ がS3に到着、ArgoWorkflowで生データの パースからMarketstoreへのインポート、 検証、データのデリバリまでを実施 分析と予測モデルの学習 • ArgoWorkflow • MarketStore • JupyterNotebook • GPUクラスタ クレンジング完了後のデータに対して、 GPUクラスタでArgo Workflowを用いてモ デル生成を実施。k8sへ移行したことでリ ソース制御が容易となり他のモデル作成 パイプライン含め数万のjobがk8sによっ て順次実行されている 予測モデルのライブ実行 • MarketStore • AWS ◦ Amazon EKS ◦ SQS 構築された予測モデルを稼働させる基盤 。MarketStoreを活用し、為替のデータプ ロパイダーがmsec単位で送付するTickの データをリアルタイム処理
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ 5JDLཤྺσʔλͷΠϯϙʔτ • "SHP8PSLGMPXͰੜσʔλͷύʔε͔Β.BSLFUTUPSFͷΠϯϙʔτɺݕ ূɺσʔλͷσϦόϦ·ͰΛ࣮ࢪ • ҰճͰѻ͏σʔλྔඦ(
• શʹࣗಈͰͳ͘खಈͰύϥϝʔλΛௐ͠ͳ͍ͱ͍͚ͳ͍ͱ͜Ζ͕ ͍ͬͯΔͷ͕՝
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ ੳͱ༧ଌϞσϧͷֶश • Ϟσϧͷ࡞طଘύΠϓϥΠϯΛ"SHP8PSLGMPXͷ্ʹ͍ͤͯΔ • طଘύΠϓϥΠϯͷεέδϡʔϥʔͱϫʔΧʔ͕ಛྔੜ͔ΒϞσϧֶश·Ͱ Λ࣮ߦ
• ෳͷ.BSLFUTUPSFΠϯελϯεΛϩʔυόϥϯαͰ੍ޚ͢Δ͜ͱͰɺେͳྔͷಛ ྔੜʹରԠ • αΠΤϯςΟετ+VQZUFSOPUFCPPLΛΫϥελͰىಈͯ͠ɺ࡞ͨ͠Ϟσϧʹ ରͯ͠γʔϜϨεʹੳ࡞ۀΛ࣮ࢪՄೳ
STRICTLY CONFIDENTIAL 9 Alpacaのサイエンスを支えるCPU/GPUクラスタ基盤 • େྔͷ$16(16͕Քಇ͢ΔࣗࣾઃܭͷΫϥ ελج൫ ◦ ,TͰ੍ޚ͞Εɺίετӡ༻Λ࣮ ݱ
◦ ฒྻֶशʹΑΓେྔͷ%FFQ-FBSOJOH ϞσϧΛੜՄೳ 超低コスト運用を実現
STRICTLY CONFIDENTIAL ༧ଌϞσϧੜޙͷύΠϓϥΠϯ ࡞ͨ͠༧ଌϞσϧΛ҆ఆӡ༻ͤ͞Δج൫ٕज़ *OQVU 0VUQVU 1SFEJDUJPO 424
%JTQBUDIFS 3%4 H31 $ -FHFOE DBMMFF DBMMFS #BUDI #BUDI 8FC'SPOUFOE *OUFSGBDF 'JY1SPUPDPM ##0 4FTTJPOT '93BUF ##0 "1*EFMJWFSZ 44& 4FSWFS4FOU&WFOUT "NB[PO .2 '93BUF - 044 .BSLFUTUPS F ,TTFSWJDF 1SFEJDUPS 'JY1SPUPDPM -4FTTJPOT QJQFBEBQUFS 044 .BSLFUTUPS F 1SFEJDUPS 424 1SPUPDPM QJQFGMVFOUE QJQFBEBQUFS QJQFGMVFOUE %JTQBUDIFS #BUDI 8FC'SPOUFOE ,TTFSWJDF ,TTFSWJDF CBDLVQ CBDLVQ IPVSMZ QSJDF EVNQFS NFUSJDTW NFUSJDTW DTWEVNQFS BEBQUFS BEBQUFS 424 1SPUPDPM H31$ H31$
STRICTLY CONFIDENTIAL 044ͱͯ͠ߴ࣌ܥྻσʔλϕʔε.BSLFU4UPSFΛެ։த • "MQBDB+BQBOͱɺถࠃͰ࠷͍ͷ͋Δถࠃג"1*ূ݊"MQBDB64ͱ"MQBDB+BQBOͷڞಉ։ൃ IUUQTHJUIVCDPNBMQBDBIRNBSLFUTUPSF • ΦϯϝϞϦઃܭΛ࠾༻ͤͣɺ44%Ͱ࠷ύϑΥʔϚϯε͕ग़ΔΑ͏ʹઃܭ
• ҝସ5JDLͷΑ͏ͳߴͳॲཧΛ͡Ί͔Βఆ͠ઃܭ • ྫ͑.POHP%#ͱ͔Λ͏ͱ+40/%BUB'SBNFͰࢮ͢ΔɻͦͷίϯόʔτॲཧΛճආ͢ΔͨΊ OVNBSSZͷόΠφϦΫΤϦΛ࠾༻ɺ.BSLFU4UPSFଆͰOVNQZόΠφϦΛ%#ͷόΠφϦߏ͔Βͦͷ ··ੜɺQZUIPOଆH31$ܦ༝Ͱऔಘͨ͠OVNQZόΠφϦΛ%BUB'SBNFͱͯ͠ϩʔυ͢Δ͜ͱͰΦʔ όʔϔουΛۃখԽ͢Δɻ (JUIVC˒,ʹ౸ୡʂʂ ʂ
STRICTLY CONFIDENTIAL 12 ࠷ۙͷ.BSLFU4UPSFͷύϫʔΞοϓ • H31$ʹରԠ • )551ͱൺֱͯ͠ߋʹ"1*ύϑΥʔϚϯε͕վળ σʔλϨίʔυͷΫΤϦʹ͔͔Δ͕࣌ؒ NT
)551 NT H31$ ͘Β͍มΘΔ ߴԽ • ϨϓϦέʔγϣϯػೳ • ෳͷϨϓϦΧʹH31$ TUSFBNΛͬͯσʔλΛෳՄೳ 3FBEύϑΥʔϚϯεͷ্Λͭͭ͠ɺ༗ྉͷσʔλఏڙ"1*Λ༻͢ΔϊʔυΛϚελϊʔ υʹߜΕΔͱ͍ͬͨϝϦοτ • )FMNDIBSUʹରԠ • ,VCFSOFUFT্ͰͷNBSLFUTUPSFߏங͕༰қʹ • 1SPNFUIFVTʹରԠ • ॻ͖ࠐΈॲཧ࣌ؒͳͲ͍͔ͭ͘ͷϝτϦΫεΛ(&5 NFUSJDTͰ 1SPNFUIFVTαʔόʹFYQPSUͰ͖Δ • ࡉ͔ͳύϑΥʔϚϯεվળ • DHP HP͔Β$$ ͷϥΠϒϥϦΛ༻͢Δύοέʔδ ͔Βͷଔۀ • όοϑΝΩϟογϡΛσΟεΫʹॻ͖ࠐΉTZODγεςϜίʔϧͷݺͼग़͠λΠϛϯάͷݟ ͠ͳͲ • ϕϯνϚʔΫιϑτΛಉ࣌ʹ։ൃͯ͠ݕূͭͭ͠վળத
STRICTLY CONFIDENTIAL ࠓޙ׆༂Ͱ͖ΔσʔλΤϯδχΞͷΠϝʔδ ҎԼͷ͕ॏཁ • Ϋϥυٕज़ʹڧ͍ʂ • Ϋϥυͷٕज़ΛͲͷ͘Β͍͏·͘׆༻Ͱ͖Δ͔
• σʔλߏɾσʔλͷߴॲཧͳͲʹڧ͍ʂ • ٕज़બఆɾΫϥυબఆ͢Δ্ͰσʔλͷऔΓѻ͍ٕज़͕ॏཁɺ͠ͷ ͱ͖ʹࣗͰ͔͚Δ͜ͱ͕ڧΈʹͳΔ • σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰͤΔͱڧ͍ʂ • σʔλαΠΤϯενʔϜ͕࡞ͨ͠ϞσϧΛಈ͔͢ͱ͍͏తʹରͯ͠ɺ σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰσΟεΧογϣϯͰ͖Δͱ˕ ͞ΒʹϓϥεΞϧϑΝͰҎԼͷΑ͏ͳਓࡐΛٻΊ͍ͯ·͢ɻ • ΫϥυΛ׆༻ͭͭ͠ɺΤοδͷޮ͍ͨಠٕࣗज़ΛࣗͨͪͰ࡞Γ͍ͨʂ • ߴͳॲཧ͔ͭϛογϣϯΫϦςΟΧϧͳ՝ʹઓ͍ͨ͠ • σʔλΤϯδχΞͱ͍͏৽͍͠ΩϟϦΞΛࣗͰߏங͍ͨ͠ -JOLFE*Oɺ·ͨ8BOUFEMZͰͷԠืΛ͓͓ͪͯ͠Γ·͢ • IUUQTXXXMJOLFEJODPNDPNQBOZBMQBDBKBQBO PSJHJOBM4VCEPNBJOKQ • IUUQTXXXXBOUFEMZDPNDPNQBOJFTBMQBDBEC
STRICTLY CONFIDENTIAL