Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Search
tomo
February 19, 2021
Technology
4
3.4k
為替短期予測を支える基盤技術 - データエンジニアミーティング資料
Alpacaデータエンジニアミーティング資料
https://finatext.connpass.com/event/202265/
tomo
February 19, 2021
Tweet
Share
More Decks by tomo
See All by tomo
マケデコ プログラミングに頼らないExcelシートと生成AIによる日本株データ分析 発表資料
gamella
1
830
株式のシステムトレード初心者の最初の一歩(評価方法を中心に)
gamella
1
750
アドベントカレンダーのお礼とマーケットAI開発プロジェクトにおけるプロジェクトマネジメントのエッセンス 補講
gamella
1
840
JPX Tokyo Stock Exchange Prediction Award Ceremony 解法総評
gamella
2
2.3k
J-Quants表彰会資料 - 上位入賞者解法総評 #JQuants
gamella
1
2.9k
LDAを利用した予測モデル構築 - J-Quants ニュース分析チャレンジ!発表資料
gamella
1
23k
Other Decks in Technology
See All in Technology
JuliaTokaiとJuliaLangJaの紹介 for NGK2025S
antimon2
1
120
2025年のARグラスの潮流
kotauchisunsun
0
790
今から、 今だからこそ始める Terraform で Azure 管理 / Managing Azure with Terraform: The Perfect Time to Start
nnstt1
0
240
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
12k
シフトライトなテスト活動を適切に行うことで、無理な開発をせず、過剰にテストせず、顧客をビックリさせないプロダクトを作り上げているお話 #RSGT2025 / Shift Right
nihonbuson
3
2.1k
0→1事業こそPMは営業すべし / pmconf #落選お披露目 / PM should do sales in zero to one
roki_n_
PRO
1
1.4k
Building Scalable Backend Services with Firebase
wisdommatt
0
110
Godot Engineについて調べてみた
unsoluble_sugar
0
400
Goで実践するBFP
hiroyaterui
1
120
CDKのコードレビューを楽にするパッケージcdk-mentorを作ってみた/cdk-mentor
tomoki10
0
210
信頼されるためにやったこと、 やらなかったこと。/What we did to be trusted, What we did not do.
bitkey
PRO
0
2.2k
re:Invent2024 KeynoteのAmazon Q Developer考察
yusukeshimizu
1
150
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.1k
How to Ace a Technical Interview
jacobian
276
23k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
The Cost Of JavaScript in 2023
addyosmani
46
7.2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
45
2.3k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Become a Pro
speakerdeck
PRO
26
5.1k
Bash Introduction
62gerente
610
210k
Agile that works and the tools we love
rasmusluckow
328
21k
BBQ
matthewcrist
85
9.4k
Transcript
STRICTLY CONFIDENTIAL σʔλΤϯδχΞ ϛʔτΞοϓࢿྉ ҝସظ༧ଌΛࢧ͑Δج൫ٕज़ "MQBDB+BQBO
STRICTLY CONFIDENTIAL 2
STRICTLY CONFIDENTIAL ਓͱ"*ͱͷίϥϘϨʔγϣϯͰΓ։ۚ͘༥ࢢͷະདྷ $MJFOU`T5FTUJNPOJBMGSPN2VBOUT ༏ΕͨςΫϊϩδʔٙ͏༨͕ແ͍ɻ ͨͩɺͦΕ͚ͩͰύʔτφʔͱͯ͠ෆेɻ ޭ·ͰͷಓͷΓτϥΠΞϯυΤϥʔͷ࿈ଓɻ ࢢͷಾղ͖ͷ७ਮͳϞνϕʔγϣϯɺ͖͋ΒΊͳ͍࢟ɺͦͯ݁͠Ռ ͷڧ͍ͩ͜ΘΓɻ
"MQBDBΛޠΔ࣌ʹͦ͏ͨ͠ཁૉ͔ܽͤͳ͍ɻ ൴Βਅʹ৴པͰ͖Δूஂͩɻ ਓ ˠਓ αΠΤϯςΟετΤϯδχΞͷͷ૿Ճ ԯԁ ૯ௐୡֹ $MJFOU`T5FTUJNPOJBMGSPN5SBEFST lۚ༥ࢢͷະདྷ"*ͱਓͱͷίϥϘϨʔγϣϯʹͦ͋͜Δzͱ͍͏ͷ· ͞ʹࢲڧ͘ڞײ͢ΔίϯηϓτͰ͢ɻੈͷઌΛ͍͘وࣾͷօ༷ʹͲΜͲ Μະདྷ͔ͬͯਐΜͰ͍͖͍ͬͯͨɻ ίϩφՒͷதͰۚ༥ۀքશମͰࠓ·Ͱग़དྷͳ͍ͱࢥ͍ͬͯͨ͜ͱ͕࣮ࡍʹ ͬͯΈΔͱग़དྷͯ͠·͏͜ͱ͕ࢁग़͖͍ͯͯΔͱײ͍ͯ͡·͢ɻͦͷத Ͱ"*ͱਓؒͷίϥϘϨʔγϣϯӹʑ૿͍͑ͯ͘Ͱ͠ΐ͏͠ɺͦ͏͍͏෦ ͕֤اۀͷڝ૪ݯઘʹͳ͍ͬͯ͘ͷͩΖ͏ͱࢥ͍·͢ɻ
STRICTLY CONFIDENTIAL TIPSUUFSNQSFEJDUPST "*Λ׆༻ͨ͠ҝସۀͷࣗಈԽ OFVUSBM EPXO 7JTVBMJTBUJPOPGUIFQSFEJDUJPOPVUQVUT 5IFBDUVBMQSJDFNPWF ༧ଌϞσϧͷ
ଟذʹͬͨ׆༻ ༧ଌϞσϧͷߏங #SPLFS
STRICTLY CONFIDENTIAL ಈ࡞͍ͤͨ͞ҝସظ༧ଌϞσϧͷΠϝʔδ Ϛʔέοτͷ9ޙͷಈ͖Λ༧ଌ͢ΔϞσϧ ͕ͩɺϚʔέοτ΄΅ϥϯμϜΥʔΫΛ͢ ΔͷͰɺ࣮ࡍʹͬͯΈΔͱͱ͍ͯ͠ɻ • "*ɾσΟʔϓϥʔχϯάʹ͍͍ͯΔͷ େྔʹൃੜͨ͠σʔλ͔ΒύλʔϯΛ
୳͢࡞ۀ • Ϛʔέοτʹ͓͍ͯ࠷େྔʹൃੜͯ͠ ͍Δσʔλͳʹ͔ɺͦΕ͕5JDL • େྔͷ5JDLσʔλ͔ΒൃੜύλʔϯΛղ ੳ͠ɺͲͷΑ͏ͳύλʔϯ͕ൃੜͨ͠ͱ ͖ʹϓϥΠε্͕͕Δ͔ɾԼ͕Δ͔Λσ ΟʔϓϥʔχϯάͰֶश 5JDLσʔλͬͯԿʁ 5JDLσʔλ࠷NTFDͰൃੜ͢Δۚ༥ ͷͦΕҎ্ׂͰ͖ͳ͍ϓϥΠεσʔλ ը૾ೝ͚ࣝͷ$//Λ ࣌ܥྻղੳͷωοτϫʔΫͱ֦ͯ͠ு σΟʔϓχϡʔϥϧωοτϫʔΫ͕Ϛʔέο τͷಛతͳ5JDLͷൃੜύλʔϯΛղੳɺ༧ ଌΛग़͍ͯ͠Δɻ ը૾ೝࣝ 5JDLൃੜύλʔ ϯ
STRICTLY CONFIDENTIAL ҝସظ༧ଌͷσʔλॲཧͷϙΠϯτ 処理 キーとなる技術 概要 データのインポート • ArgoWorkflow
• MarketStore データプロパイダーから数百GBのデータ がS3に到着、ArgoWorkflowで生データの パースからMarketstoreへのインポート、 検証、データのデリバリまでを実施 分析と予測モデルの学習 • ArgoWorkflow • MarketStore • JupyterNotebook • GPUクラスタ クレンジング完了後のデータに対して、 GPUクラスタでArgo Workflowを用いてモ デル生成を実施。k8sへ移行したことでリ ソース制御が容易となり他のモデル作成 パイプライン含め数万のjobがk8sによっ て順次実行されている 予測モデルのライブ実行 • MarketStore • AWS ◦ Amazon EKS ◦ SQS 構築された予測モデルを稼働させる基盤 。MarketStoreを活用し、為替のデータプ ロパイダーがmsec単位で送付するTickの データをリアルタイム処理
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ 5JDLཤྺσʔλͷΠϯϙʔτ • "SHP8PSLGMPXͰੜσʔλͷύʔε͔Β.BSLFUTUPSFͷΠϯϙʔτɺݕ ূɺσʔλͷσϦόϦ·ͰΛ࣮ࢪ • ҰճͰѻ͏σʔλྔඦ(
• શʹࣗಈͰͳ͘खಈͰύϥϝʔλΛௐ͠ͳ͍ͱ͍͚ͳ͍ͱ͜Ζ͕ ͍ͬͯΔͷ͕՝
STRICTLY CONFIDENTIAL ύΠϓϥΠϯͷ ੳͱ༧ଌϞσϧͷֶश • Ϟσϧͷ࡞طଘύΠϓϥΠϯΛ"SHP8PSLGMPXͷ্ʹ͍ͤͯΔ • طଘύΠϓϥΠϯͷεέδϡʔϥʔͱϫʔΧʔ͕ಛྔੜ͔ΒϞσϧֶश·Ͱ Λ࣮ߦ
• ෳͷ.BSLFUTUPSFΠϯελϯεΛϩʔυόϥϯαͰ੍ޚ͢Δ͜ͱͰɺେͳྔͷಛ ྔੜʹରԠ • αΠΤϯςΟετ+VQZUFSOPUFCPPLΛΫϥελͰىಈͯ͠ɺ࡞ͨ͠Ϟσϧʹ ରͯ͠γʔϜϨεʹੳ࡞ۀΛ࣮ࢪՄೳ
STRICTLY CONFIDENTIAL 9 Alpacaのサイエンスを支えるCPU/GPUクラスタ基盤 • େྔͷ$16(16͕Քಇ͢ΔࣗࣾઃܭͷΫϥ ελج൫ ◦ ,TͰ੍ޚ͞Εɺίετӡ༻Λ࣮ ݱ
◦ ฒྻֶशʹΑΓେྔͷ%FFQ-FBSOJOH ϞσϧΛੜՄೳ 超低コスト運用を実現
STRICTLY CONFIDENTIAL ༧ଌϞσϧੜޙͷύΠϓϥΠϯ ࡞ͨ͠༧ଌϞσϧΛ҆ఆӡ༻ͤ͞Δج൫ٕज़ *OQVU 0VUQVU 1SFEJDUJPO 424
%JTQBUDIFS 3%4 H31 $ -FHFOE DBMMFF DBMMFS #BUDI #BUDI 8FC'SPOUFOE *OUFSGBDF 'JY1SPUPDPM ##0 4FTTJPOT '93BUF ##0 "1*EFMJWFSZ 44& 4FSWFS4FOU&WFOUT "NB[PO .2 '93BUF - 044 .BSLFUTUPS F ,TTFSWJDF 1SFEJDUPS 'JY1SPUPDPM -4FTTJPOT QJQFBEBQUFS 044 .BSLFUTUPS F 1SFEJDUPS 424 1SPUPDPM QJQFGMVFOUE QJQFBEBQUFS QJQFGMVFOUE %JTQBUDIFS #BUDI 8FC'SPOUFOE ,TTFSWJDF ,TTFSWJDF CBDLVQ CBDLVQ IPVSMZ QSJDF EVNQFS NFUSJDTW NFUSJDTW DTWEVNQFS BEBQUFS BEBQUFS 424 1SPUPDPM H31$ H31$
STRICTLY CONFIDENTIAL 044ͱͯ͠ߴ࣌ܥྻσʔλϕʔε.BSLFU4UPSFΛެ։த • "MQBDB+BQBOͱɺถࠃͰ࠷͍ͷ͋Δถࠃג"1*ূ݊"MQBDB64ͱ"MQBDB+BQBOͷڞಉ։ൃ IUUQTHJUIVCDPNBMQBDBIRNBSLFUTUPSF • ΦϯϝϞϦઃܭΛ࠾༻ͤͣɺ44%Ͱ࠷ύϑΥʔϚϯε͕ग़ΔΑ͏ʹઃܭ
• ҝସ5JDLͷΑ͏ͳߴͳॲཧΛ͡Ί͔Βఆ͠ઃܭ • ྫ͑.POHP%#ͱ͔Λ͏ͱ+40/%BUB'SBNFͰࢮ͢ΔɻͦͷίϯόʔτॲཧΛճආ͢ΔͨΊ OVNBSSZͷόΠφϦΫΤϦΛ࠾༻ɺ.BSLFU4UPSFଆͰOVNQZόΠφϦΛ%#ͷόΠφϦߏ͔Βͦͷ ··ੜɺQZUIPOଆH31$ܦ༝Ͱऔಘͨ͠OVNQZόΠφϦΛ%BUB'SBNFͱͯ͠ϩʔυ͢Δ͜ͱͰΦʔ όʔϔουΛۃখԽ͢Δɻ (JUIVC˒,ʹ౸ୡʂʂ ʂ
STRICTLY CONFIDENTIAL 12 ࠷ۙͷ.BSLFU4UPSFͷύϫʔΞοϓ • H31$ʹରԠ • )551ͱൺֱͯ͠ߋʹ"1*ύϑΥʔϚϯε͕վળ σʔλϨίʔυͷΫΤϦʹ͔͔Δ͕࣌ؒ NT
)551 NT H31$ ͘Β͍มΘΔ ߴԽ • ϨϓϦέʔγϣϯػೳ • ෳͷϨϓϦΧʹH31$ TUSFBNΛͬͯσʔλΛෳՄೳ 3FBEύϑΥʔϚϯεͷ্Λͭͭ͠ɺ༗ྉͷσʔλఏڙ"1*Λ༻͢ΔϊʔυΛϚελϊʔ υʹߜΕΔͱ͍ͬͨϝϦοτ • )FMNDIBSUʹରԠ • ,VCFSOFUFT্ͰͷNBSLFUTUPSFߏங͕༰қʹ • 1SPNFUIFVTʹରԠ • ॻ͖ࠐΈॲཧ࣌ؒͳͲ͍͔ͭ͘ͷϝτϦΫεΛ(&5 NFUSJDTͰ 1SPNFUIFVTαʔόʹFYQPSUͰ͖Δ • ࡉ͔ͳύϑΥʔϚϯεվળ • DHP HP͔Β$$ ͷϥΠϒϥϦΛ༻͢Δύοέʔδ ͔Βͷଔۀ • όοϑΝΩϟογϡΛσΟεΫʹॻ͖ࠐΉTZODγεςϜίʔϧͷݺͼग़͠λΠϛϯάͷݟ ͠ͳͲ • ϕϯνϚʔΫιϑτΛಉ࣌ʹ։ൃͯ͠ݕূͭͭ͠վળத
STRICTLY CONFIDENTIAL ࠓޙ׆༂Ͱ͖ΔσʔλΤϯδχΞͷΠϝʔδ ҎԼͷ͕ॏཁ • Ϋϥυٕज़ʹڧ͍ʂ • Ϋϥυͷٕज़ΛͲͷ͘Β͍͏·͘׆༻Ͱ͖Δ͔
• σʔλߏɾσʔλͷߴॲཧͳͲʹڧ͍ʂ • ٕज़બఆɾΫϥυબఆ͢Δ্ͰσʔλͷऔΓѻ͍ٕज़͕ॏཁɺ͠ͷ ͱ͖ʹࣗͰ͔͚Δ͜ͱ͕ڧΈʹͳΔ • σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰͤΔͱڧ͍ʂ • σʔλαΠΤϯενʔϜ͕࡞ͨ͠ϞσϧΛಈ͔͢ͱ͍͏తʹରͯ͠ɺ σʔλαΠΤϯενʔϜͱಉ͡༻ޠͰσΟεΧογϣϯͰ͖Δͱ˕ ͞ΒʹϓϥεΞϧϑΝͰҎԼͷΑ͏ͳਓࡐΛٻΊ͍ͯ·͢ɻ • ΫϥυΛ׆༻ͭͭ͠ɺΤοδͷޮ͍ͨಠٕࣗज़ΛࣗͨͪͰ࡞Γ͍ͨʂ • ߴͳॲཧ͔ͭϛογϣϯΫϦςΟΧϧͳ՝ʹઓ͍ͨ͠ • σʔλΤϯδχΞͱ͍͏৽͍͠ΩϟϦΞΛࣗͰߏங͍ͨ͠ -JOLFE*Oɺ·ͨ8BOUFEMZͰͷԠืΛ͓͓ͪͯ͠Γ·͢ • IUUQTXXXMJOLFEJODPNDPNQBOZBMQBDBKBQBO PSJHJOBM4VCEPNBJOKQ • IUUQTXXXXBOUFEMZDPNDPNQBOJFTBMQBDBEC
STRICTLY CONFIDENTIAL