Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
これまでの研究経過と希望する研究 / Research Plan for Doctoral C...
Search
Yuuki Tsubouchi (yuuk1)
February 06, 2020
Research
0
290
これまでの研究経過と希望する研究 / Research Plan for Doctoral Course
令和2年度4月期入学 京都大学大学院 情報学研究科
博士後期課程 第2次学力検査 口頭試問
Yuuki Tsubouchi (yuuk1)
February 06, 2020
Tweet
Share
More Decks by Yuuki Tsubouchi (yuuk1)
See All by Yuuki Tsubouchi (yuuk1)
博士論文公聴会: Scaling Telemetry Workloads in Cloud Applications: Techniques for Instrumentation, Storage, and Mining / PhD Defence
yuukit
0
14
博士学位論文予備審査 / Scaling Telemetry Workloads in Cloud Applications: Techniques for Instrumentation, Storage, and Mining
yuukit
1
1.7k
MetricSifter:クラウドアプリケーションにおける故障箇所特定の効率化のための多変量時系列データの特徴量削減 / FIT 2024
yuukit
2
180
工学としてのSRE再訪 / Revisiting SRE as Engineering
yuukit
19
12k
Cloudless Computingの論文紹介
yuukit
2
480
#SRE論文紹介 Detection is Better Than Cure: A Cloud Incidents Perspective V. Ganatra et. al., ESEC/FSE’23
yuukit
3
1.7k
エンジニアのためのSRE論文への招待 / Introduction to SRE Papers for Engineers
yuukit
2
11k
博士課程での研究まとめ 2023年1月版 / Summary of my research in the PhD course
yuukit
1
280
AI時代に向けたクラウドにおける信頼性エンジニアリングの未来構想 / DICOMO2022 6A-1
yuukit
7
3k
Other Decks in Research
See All in Research
[輪講] Transformer Layers as Painters
nk35jk
4
670
Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment
satai
3
120
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
620
20241226_くまもと公共交通新時代シンポジウム
trafficbrain
0
410
メタヒューリスティクスに基づく汎用線形整数計画ソルバーの開発
snowberryfield
3
770
eAI (Engineerable AI) プロジェクトの全体像 / Overview of eAI Project
ishikawafyu
0
380
20241115都市交通決起集会 趣旨説明・熊本事例紹介
trafficbrain
0
1k
o1 pro mode の調査レポート
smorce
0
110
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
1.6k
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
300
Leveraging LLMs for Unsupervised Dense Retriever Ranking (SIGIR 2024)
kampersanda
2
310
Whoisの闇
hirachan
3
290
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
27
1.9k
Building an army of robots
kneath
303
45k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
A Modern Web Designer's Workflow
chriscoyier
693
190k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
The Pragmatic Product Professional
lauravandoore
32
6.4k
Six Lessons from altMBA
skipperchong
27
3.6k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Code Reviewing Like a Champion
maltzj
521
39k
Transcript
͜Ε·Ͱͷݚڀܦաͱر͢Δݚڀ ௶ ༎थ 20202݄6 ྩ24݄ظೖֶ ژେֶେֶӃ ใֶݚڀՊ ത࢜ޙظ՝ఔ ୈֶ̎࣍ྗݕࠪ ޱ಄ࢼ
2 1. ֶ࢜՝ఔɾम࢜՝ఔͰͷݚڀ 2. ر͢Δݚڀͷഎܠͱత 3. ر͢Δݚڀͷ՝ͱํ๏ 4. ظ͞ΕΔݚڀՌ ࣍
1. ֶ࢜՝ఔɾम࢜՝ఔͰͷݚڀ
4 ֶ࢜՝ఔ: SHA-1ܭࢉγεςϜͷߴεϧʔϓοτԽ ɾഎܠ: ετϨʔδ্ͷσʔλอଘྔ͕૿େ͍ͯ͠Δ ɾ: σʔλͷॏෳՕॴΛഉআ͢Δ͜ͱʹΑΓɼσʔλอଘྔΛ ݮՄೳ͕ͩɼॏෳ෦ͷൃݟॲཧ͕ϘτϧωοΫͱͳΔ ɾఏҊ: ෳͷҟͳΔνϟϯΫʹର͢ΔॏෳൃݟॲཧΛSIMDԋࢉثʹ
ΑΓฒྻॲཧ͠ɼߴԽ͢Δ ɾ࣮ݧ: ઌߦख๏ͱൺֱͯ͠ɼ2.0ഒͷεϧʔϓοτ্Λୡͨ͠ ௶༎थ, ҏจ, ஔాਅੜ, ࢁ૱, ദַ, ഡݪ݉Ұ, ॏෳഉআετϨʔδͷͨΊͷ SHA-1ܭࢉγεςϜͷSSE໋ྩʹ ΑΔߴεϧʔϓοτԽ, ిࢠใ௨৴ֶձจࢽ D, 96(10), 2101-2109 2013.
5 म࢜՝ఔ: TCP/IPνΣοΫαϜͷGPUʹΑΔੑೳ্ ɾഎܠ: ίϯϐϡʔλωοτϫʔΫ͕ଳҬԽ͍ͯ͠Δ ɾ: OS෦ͷ௨৴ॲཧͷͨΊͷCPUෛՙ͕ߴ·ͬͯ ͍Δ ɾఏҊ: ௨৴ॲཧͷ͏ͪ௨৴σʔλʹର͢ΔνΣοΫαϜܭࢉΛGPU
ʹҕৡ͢Δ͜ͱʹΑΓɼCPUෛՙΛݮͤ͞Δ ɾ࣮ݧ: CPUʹΑΔνΣοΫαϜΛߦ͏ͱൺֱ͠ɼσʔλసૹε ϧʔϓοτ͕࠷େͰ13%্ ௶༎थ, ୩߶, ୩ޱٛ໌, தതོ, দԬໜొ, TCP/IPελοΫʹ͓͚ΔνΣοΫαϜܭࢉͷ GPU Φϑ ϩʔυʹΑΔ ੑೳ্ख๏, ిࢠใ௨৴ֶձٕज़ݚڀใࠂ, NS, ωοτϫʔΫγεςϜ, 113(244), pp.67-72 2013 10݄.
ཧతʹࢄͨ͠ΞϓϦέʔγϣϯͷ ߴ৴པԽͷͨΊͷΞʔΩςΫνϟʹؔ͢Δݚڀ ത࢜՝ఔͰر͢Δݚڀͷ
2. ر͢Δݚڀͷഎܠͱత
8 WebαʔϏεͷཁٻͷߴԽ ・サービスの信頼性の期待値向上 ・冗⻑性の確保,アクセス増に対するスケーラビリティの向上 ɾ୯ҰͷࣄۀऀʹΑΔෳͷαʔϏεల։ ɾڞ௨෦Λ֤αʔϏεͰڞ༗͢Δ͜ͱͰαʔϏεಉ͕࢜௨৴ ɾ10୯ҐͷظؒͷαʔϏεఏڙ ɾػೳͷՃɼιϑτΣΞͷߋ৽ɼγεςϜߏͷ৽ͳͲΛܧଓ ɾར༻ऀͷ͔ΒΫϥυͷωοτϫʔΫԆΛॖ ɾཧతʹࢄͨ͠ڥʹ͓͚ΔࢄΞϓϦέʔγϣϯઃܭ͕ࠓޙඞ
ཁͱͳΔ => ۭؒతӨڹൣғͷ૿େ => ࣌ؒతӨڹൣғͷ૿େ
9 ཧࢄԽʹؔ͢Δҙࣝ γεςϜͷ෦ঢ়ଶͷѲ ͕͘͠ͳΔ ωοτϫʔΫԆͷ૿Ճ ɾγεςϜʹมߋΛՃ͑Δલ ʹɼϦεΫͷൣғΛݟੵΕ ͳ͘ͳΔ ɾϦεΫ͕ݦࡏԽͨ͠ͱ͖ʹɼ ݪҼͷಛఆ͕͘ͳΔ
ɾ֤ڌʹࢄ͢Δσʔλͷ ಉظ͕ͪ࣌ؒେ͖͘ͳΔ ɾσʔλϕʔε(DBMS)ͷҰ؏ ੑͱੑೳΛཱ྆ͤͮ͞Β͍ ߏཁૉͷ૿Ճ
10 ઌߦݚڀͱ՝: Մ؍ଌੑ ࣌ؒ࣠ํͷՄ؍ଌੑ ۭؒ࣠ํͷՄ؍ଌੑ ɾ࣌ܥྻσʔλϕʔεʹ֤छ ܭଌΛอଘ͢Δ ɾੑೳΛॏࢹ࣮ͯ͠Λ࣌ܥ ྻσʔλʹ࠷దԽ͍ͯ͠Δ ɾطଘͷDBMSΛར༻ͨ͠ޓ
ੑ֦ுੑ͕ࣦΘΕΔ ɾαϒγεςϜؒͷґଘؔΛ ࣗಈͰ͢Δ ɾطଘͷΞϓϦέʔγϣϯίʔ υͷมߋΛͱͳ͏ɼ͋Δ͍ ΞϓϦέʔγϣϯʹ༩͑Δ ੑೳӨڹ͕େ͖͍
11 ઌߦݚڀͱ՝: ੑೳͱσʔλҰ؏ੑ ɾ֤ڌؒͰσʔλΛಉظߋ৽ ɾωοτϫʔΫԆͷେ͖͍ڌ ʹಉظ͕࣌ؒ͞ΕΔ ɾ֤ڌؒͷσʔλΛඇಉظߋ৽ ɾσʔλҰ؏ੑʹର͢ΔΞϓϦ έʔγϣϯ։ൃऀͷൣғ͕ େ͖͘ͳΔ
ऑ͍Ұ؏ੑ(݁Ռ߹ੑ) Ԇͷେ͖ͳڥͰͷੑೳͱσʔλҰ؏ੑͷཱ྆ ڧ͍Ұ؏ੑ
ݚڀͷత ɾత: ཧతʹࢄͨ͠ΞϓϦέʔγϣϯͷ৴པੑ্ ɾ੍: طଘͷΞϓϦέʔγϣϯϛυϧΣΞͷίʔυΛมߋͤͣɼ ੑೳӨڹΛ͋ͨ͑ͳ͍ ɾ3ͭͷݚڀ՝ 1. ࣌ؒ࣠ͷՄ؍ଌੑ: ࣌ܥྻσʔλϕʔεͷੑೳͱޓੑͷཱ྆
2. ۭؒ࣠ͷՄ؍ଌੑ: ґଘؔΛෛՙ͔ͭཏతʹ 3. σʔλͷҰ؏ੑΛอূͭͭ͠ɼԠੑೳΛ࠷େԽ 12
3. ر͢Δݚڀͷ՝ͱํ๏
՝(1) ࣌ؒ࣠ํͷՄ؍ଌੑ ࣌ܥྻσʔλϕʔεʹ͓͚Δੑೳͱ֦ுੑͷཱ྆
15 ఏҊ(1): ՝ͱఏҊ ࣌ܥྻσʔλϕʔεͷ՝ ɾطଘͷDBMSΛར༻ͨ͠ޓ ੑ͕ࣦΘΕΔ ఏҊ ɾ୯ҰͷDBMSΛσʔλߏ୯ҐͰ ղ͠ɼૄ݁߹Խ ɾΠϯϝϞϦͱΦϯσΟεΫͷKVSΛ
֊Խͯ͠ॲཧͱอଘͷޮԽ ɾ֤σʔλߏʹରͯ͠طଘͷDBMS Λར༻Մೳ In-Memory KVS On—Disk KVS Tiering Single DBMS DBMS Index DBMS Log ఏҊΞʔΩςΫνϟ
՝(2) ۭؒ࣠ํʹ͓͚ΔՄ؍ଌੑ ґଘؔΛ͢Δ্Ͱ ཏੑͱΦʔόʔϔουΛཱ྆
17 ఏҊ(2): ιέοτࢹ ґଘؔͷ՝ ɾطଘͷΞϓϦέʔγϣϯ ίʔυͷมߋΛͱͳ͏ɼ ͋Δ͍ΞϓϦέʔγϣϯ ʹ༩͑ΔੑೳӨڹ͕େ͖͍ ఏҊ ɾશαʔό্ͰɼOSΧʔωϧͷTCP
ଓͷऴͰ͋ΔιέοτΛࢹ ɾιέοτࢹϓϩηεΛஔ͢Δͷ ΈͰՄೳ ɾιέοτࢹΞϓϦέʔγϣϯͷ ௨৴ʹׂΓ͜·ͣɼΦʔόϔου Kernel Process TCP Flows . . . User ιέοτࢹ Process
՝(3) ཧࢄڥʹ͓͚Δσʔλϕʔε ͷҰ؏ੑͱੑೳͷཱ྆
19 ఏҊ(3): σʔλͷಉظൣғΛదԠతʹܾఆ σʔλҰ؏ੑͱੑೳͷ՝ ɾ֤ڌؒͰσʔλΛಉظߋ৽ ɾωοτϫʔΫԆͷେ͖ͳڌ ʹಉظॲཧ͕͞ΕΔ ఏҊ ɾಡΈࠐΈॲཧͷΈͷॖʹண͠ɼ தԝͷڌʹॻ͖ࠐΈΛ͚Δ
ɾશڌͰಉظͤͣʹɼதԝͷڌ͔ ΒωοτϫʔΫԆ͕ҰఆΑΓখ ͍͞Ұ෦ͷڌͷΈಉظ ɾΞϓϦέʔγϣϯ୯ҐͷಡΈॻ͖ൺ ʹج͖ͮಉظൣғΛదԠతʹܾఆ Origin தԝͷڌ Replica Τοδͷڌ Replica ಉظൣғ
4. ظ͞ΕΔݚڀՌ
21 ݚڀશମͷظ͞ΕΔߩݙ ɾطଘͷΞϓϦέʔγϣϯίʔυDBMSΛมߋͤͣɼ͔ͭੑೳʹେ ͖ͳӨڹΛ༩͑ͳ͍ͱ͍͏੍ͷͱ 1. ཧࢄΞϓϦέʔγϣϯͷՄ؍ଌੑΛ্Մೳ 2. ؍ଌ݁ՌΛར༻͠ԠੑೳΛ࠷େԽ͢ΔΑ͏ʹదԠతʹ੍ޚՄೳ ɾγεςϜཧऀͷෛ୲Λ૿ͣ͞ʹWebαʔϏεͷ৴པੑΛ্͞ ͤɼਓʑ͕WebαʔϏεΛշద͔ͭ࣋ଓతʹར༻Ͱ͖ΔΑ͏ʹͳΔ