Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゆううきの研究開発まとめ (2019年2月版) / The summary of yuuki'...
Search
Yuuki Tsubouchi (yuuk1)
February 13, 2019
Research
1
4.6k
ゆううきの研究開発まとめ (2019年2月版) / The summary of yuuki's research and development in 02/2019
さくらインターネット研究所 研究会 2019.02.13
これまでの研究開発や開発運用について、さくらインターネット研究所内の研究会で話しました。
研究員 坪内佑樹
Yuuki Tsubouchi (yuuk1)
February 13, 2019
Tweet
Share
More Decks by Yuuki Tsubouchi (yuuk1)
See All by Yuuki Tsubouchi (yuuk1)
MetricSifter:クラウドアプリケーションにおける故障箇所特定の効率化のための多変量時系列データの特徴量削減 / FIT 2024
yuukit
2
91
工学としてのSRE再訪 / Revisiting SRE as Engineering
yuukit
18
10k
Cloudless Computingの論文紹介
yuukit
2
380
#SRE論文紹介 Detection is Better Than Cure: A Cloud Incidents Perspective V. Ganatra et. al., ESEC/FSE’23
yuukit
3
1.4k
エンジニアのためのSRE論文への招待 / Introduction to SRE Papers for Engineers
yuukit
2
10k
博士課程での研究まとめ 2023年1月版 / Summary of my research in the PhD course
yuukit
1
230
AI時代に向けたクラウドにおける信頼性エンジニアリングの未来構想 / DICOMO2022 6A-1
yuukit
7
2.8k
AIOps研究録―SREのための システム障害の自動原因診断 / SRE NEXT 2022
yuukit
10
12k
Interactive AIOps
yuukit
0
2k
Other Decks in Research
See All in Research
SSII2024 [OS2] 画像、その先へ 〜モーション解析への誘い〜
ssii
PRO
1
1.2k
Kaggle役立ちアイテム紹介(入門編)
k951286
13
4.3k
ニューラルネットワークの損失地形
joisino
PRO
32
13k
「人間にAIはどのように辿り着けばよいのか?ー 系統的汎化からの第一歩 ー」@第22回 Language and Robotics研究会
maguro27
0
540
第60回名古屋CV・PRMU勉強会:CVPR2024論文紹介(Vision Transformer)
waka_90b
1
180
LLM based AI Agents Overview -What, Why, How-
masatoto
1
430
Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Process
monochromegane
0
220
SSII2024 [OS1] 画像認識におけるモデル・データの共進化
ssii
PRO
0
490
Weekly AI Agents News!
masatoto
22
19k
大規模言語モデル (LLM) の技術と最新動向
ikuyamada
33
19k
Как стать 10x экспертом
ikurochkin
1
140
自動運転・AIシステムの問題を賢く探す・賢く直す / Smart Search & Repair Techniques for Automated Driving Systems and AI Systems
ishikawafyu
0
210
Featured
See All Featured
Speed Design
sergeychernyshev
22
490
What's in a price? How to price your products and services
michaelherold
243
11k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
We Have a Design System, Now What?
morganepeng
49
7.2k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
7
580
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Designing the Hi-DPI Web
ddemaree
280
34k
A Tale of Four Properties
chriscoyier
156
22k
Embracing the Ebb and Flow
colly
84
4.4k
In The Pink: A Labor of Love
frogandcode
139
22k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
Transcript
͘͞ΒΠϯλʔωοτ גࣜձࣾ (C) Copyright 1996-2019 SAKURA Internet Inc ͘͞ΒΠϯλʔωοτ ݚڀॴ
Ώ͏͏͖ͷݚڀ։ൃ·ͱΊ (20192݄൛) 2019/02/13 ݚڀһ ௶ ༎थ ͘͞ΒΠϯλʔωοτݚڀॴ ݚڀձ 2019.02.13 @yuuk1t / id:y_uuki
2 1. ݚڀςʔϚ 2. େֶɾେֶӃ࣌ͷݚڀ 3. ΤϯδχΞͱͯ͠ͷݚڀ։ൃ 4. ͘͞ΒͰͷݚڀ։ൃ͍͖ͬͯ 5.
·ͱΊ ΞδΣϯμ
1. ݚڀςʔϚ
4 ਓؒͱίϯϐϡʔλʔͷؔੑͱӡ༻ ίϯϐϡʔλʔ γεςϜ Ϣʔβʔ ։ൃӡ༻ऀ ӡ༻ ӡ༻ • ։ൃӡ༻ऀ͚ͷίϯϐϡʔλʔγεςϜଟ͋Γ
Ϣʔβʔͱ։ൃӡ༻ऀͷ۠ผᐆດʹͳ͍ͬͯΔ • ਓؒͱίϯϐϡʔλʔͷؔੑมԽͯ͠”ӡ༻”͕ ଘࡏ͢Δ͜ͱʹมΘΓͳ͍ “ӡ༻”: มߋ => ҭ => ର ݱ࣮ίϯϐϡʔλʔͷมߋ͕ ා͍
5 ݚڀςʔϚ: ӡ༻Λָ͘͢͠Δ ɾίϯϐϡʔλʔγεςϜͷڪාΛͳ͘͠ӡ༻Λָ͠ΊΔΑ͏ʹ͢ Δ ɾָ͘͠ͳ͍ͱਐ·ͳ͍ ɾίϯϐϡʔλʔ͕ਓͷࣄΛୣ͍ͬͯͬͨ͋ͱʹΔͷͷҰͭʹ ίϯϐϡʔλʔͷӡ༻Λָ͠Ή͜ͱͰͳ͍͔
6 ɾා͞ͷݪҼ৴པੑͷԼ ɾ৴པੑΛ੍ޚ͠ɺมߋΛ࠷େԽ͢Δ ɾมߋͰ͖Δ͜ͱָ͍͠ Site Reliability Engineering (SRE) https://blog.yuuk.io/entry/2019/thinking-sre
7 ɾ؍ଌͱ࣮ݧͷϧʔϓΛߴʹճ͠ɺ৴པੑΛ੍ޚͭͭ͠มߋΛ ߴΊΔγεςϜϏδϣϯ Experimentable Infrastructure
8 ɾมߋ͕͍͠ͷσʔλΛͭγεςϜ ɾ͜Ε͔Βਓ͕ؒੜ͢ΔίϯςϯπΑΓ ػց͕ੜ͢Δσʔλ͕ٸ૿ ɾOSϛυϧΣΞͷϨΠϠͷΈͰ͋ΒΏΔ ཁٻΛຬͨ͢ͷࠔ ɾΞϓϦέʔγϣϯӡ༻ٕज़·Ͱ౿ΈࠐΜ ͩਨ౷߹తͳΞϓϩʔν͕ඞཁ Data-Intensive Applications
2. ֶ෦ɾେֶӃ࣌ͷݚڀ
10 ɾେֶֶ෦࣌ ɾॏෳഉআετϨʔδͷͨΊͷSHA-1ܭࢉγεςϜͷSSE໋ྩʹΑΔߴ εϧʔϓοτԽ ɾେֶӃത࢜લظ՝ఔ࣌ ɾTCP/IPελοΫʹ͓͚ΔνΣοΫαϜܭࢉͷGPUΦϑϩʔσΟϯά 2011~2013
11 ϓϩηοαͷΩϟογϡϝϞϦͱSIMDԋࢉ
12 GPGPUͱLinuxΧʔωϧύέοτॲཧ ɾLinuxΧʔωϧͷTCP/IPελοΫॲཧͷ͏ͪɺTCPϔομͷνΣοΫα ϜܭࢉΛGPUʹ·͔ͤͯεϧʔϓοτΛ্ͤ͞Δ ɾGPUͷϝϞϦ্ʹରσʔλ͕ἧͬͯͳ͍ͱGPUͷ࣮ޮޮ͕͍ ɾύέοτ܊Λ1ͭͷετϦʔϜʹ٧ΊࠐΜͰɺGPU্Ͱ·ͱΊͯܭࢉ ͤ͞Δ ɾ1500όΠτఔͷύέοτͰੑೳ͕ͰͣɺJumbo Frame (7000ό
Πτ͙Β͍) ར༻࣌ʹطଘख๏ΑΓεϧʔϓοτ͕ߴ͘ͳΔ
13 ֶ෦ɾେֶӃ࣌ͷৼΓฦΓ ɾϓϩηοαɺฒྻॲཧɺLinuxΧʔωϧɺTCP/IPʹֶ͍ͭͯͨ ɾ͜ͷ͋ͨΓͷॲཧϞσϧͱ࣮ߦ࣌ؒɺϦιʔεফඅͷഽײ͕֮ͳΜͱ ͳ͘Θ͔͍ͬͯΔͱɺ্ҐͷWebαʔόσʔλϕʔεΛѻ͏্Ͱϒ ϥοΫϘοΫε͕গͳ͘ݟ͑ͨ ɾ࣮ࡍʹଘࡏ͠ͳ͍Λղ͍͍ͯΔΑ͏ͳؾ࣋ͪʹͳΔ͜ͱ͋ͬͨ ɾاۀʹೖͬͯɺ࣮ࣾձͷҙࣝΛ࣮ײ্ͨ͠ͰɺݚڀͰ͖ΔͱΑΓ Αͦ͞͏ͩͱߟ͑࢝Ίͨ
14 ͜ͷ͜Ζͷϒϩά ɾ΄ͦ΅ͦͱॻ͍͍ͯͨϒϩά͕ಡ·ΕΔΑ͏ʹ
3. ΤϯδχΞͱͯ͠ͷݚڀ։ൃ
16 ɾαʔόࢹαʔϏεͷߏஙͱӡ༻ ɾϒϩάαʔϏεͳͲɺ౷తͳWebαʔϏεͷߏஙͱӡ༻ ɾશαʔϏεͷΠϯϑϥج൫(ԾԽϓϩϏδϣχϯάͳͲ)ͷ։ൃ ͱӡ༻ ɾϓϩδΣΫτϚωδϝϯτɺνʔϜϏϧσΟϯάɺϝϯλϦϯά ɾγεςϜϏδϣϯ͔ΒΛղܾ͢ΔϙδςΟϒΞϓϩʔνͷ࣮ફ ܦݧͨ͠։ൃɾӡ༻
17 ࣌ܥྻσʔλϕʔεͷߏஙɾӡ༻ɾ։ൃ https://blog.yuuk.io/entry/high-performance-graphite https://blog.yuuk.io/entry/the-rebuild-of-tsdb-on-cloud
18 ϨΨγʔγεςϜͷӡ༻վળ
19 ݚڀ։ൃ࣮ 1.௶༎थ, TimeFuzeΞʔΩςΫνϟߏ - ॲཧͱσʔλͱλΠϚʔΛҰମԽͨ͠σʔ λύΠϓϥΠϯ, ΣϒγεςϜΞʔΩςΫνϟ(WSA)ݚڀձ ୈ1ճ, 201712݄23
2.௶༎थ, αʔόϨε࣌ʹ͓͚ΔϔςϩδχΞε࣌ܥྻσʔλϕʔεΞʔΩςΫ νϟ, ΣϒγεςϜΞʔΩςΫνϟ(WSA)ݚڀձ ୈ2ճ, 201805݄12 3.௶༎थ,ݹխେ, TCPଓͷʹΑΔ؆ུԽ͞ΕͨωοτϫʔΫґଘؔάϥϑ ͷՄࢹԽج൫, ୈ3ճΣϒγεςϜΞʔΩςΫνϟ(WSA)ݚڀձ, 201811݄17 ɾࠃࠪಡ͖จ ɾޱ಄ൃද ௶༎थ,ࡔேਓ,ᖛా݈,দխ,Ѩ෦ത,দຊ྄հ, HeteroTSDB: ҟछࠞ߹Ωʔό ϦϡʔετΞΛ༻͍ͨࣗಈ֊ԽͷͨΊͷ࣌ܥྻσʔλϕʔεΞʔΩςΫνϟ, Πϯ λʔωοτͱӡ༻ٕज़γϯϙδϜจू, 2018, 7-15 (2018-11-29), Dec 2018
20 ɾࠪಡ͖จ 1݅ ɾֶज़ߨԋ x 3݅ ɾࠃൃද x 34݅ ɾύωϧσΟεΧογϣϯ
x 4݅ ɾڝٕ ISUCON ຊઓग़ 2ճ ɾϒϩάଟ ࣮·ͱΊ
21 ɾ։ൃͨ͠༰Λݚڀͱͯ͠Έ͠ɺจߘݚڀձൃද ɾ࣮ࡍͷࣾձͷཁٻʹج͍ͮͨҙࣝΛѻ͑ɺϓϩμΫγϣϯͰಈ ࡞͍ͯ͠ΔͷΛจʹॻ͚Δ ɾҰํͰɺ࣮Ͱظతͳ༏ઌʹͳΓ͕ͪͳͨΊɺݚڀΛҭͯ ͍ͯ͘͜ͱ͍͠ ɾͰ։ൃͨ͠ͷͰϓϩμΫΫγϣϯڥͰීٴͤ͞Δʹɺ ୯Ґͷ͕͔͔࣌ؒͬͨ ΤϯδχΞͱͯ͠ͷݚڀ։ൃৼΓฦΓ
4. ͘͞ΒͰͷݚڀ։ൃ͍͖ͬͯ
23 ɾͱαʔόʔؒͷԆݮ ɾσʔληϯλʔͷτϥϑΟοΫϘϦϡʔϜͷݮ ϢϏΩλεσʔληϯλʔ ɾ౷తͳͷΣϒΞϓϦέʔγϣϯ ɾϦΞϧλΠϜͳ࣌ܥྻσʔλΛऩू͢ΔΞϓϦέʔγϣϯ Potentials ͕ࣗఆ͢ΔApplications Challenges ɾϢϏΩλεDCڥͰͷσʔλͷஔɺసૹԆɺނোΛಁա͢Δ
24 ɾϢϏΩλεσʔληϯλʔߏͷ͏ͪɺData-IntensiveྖҬΛ୲ ɾԆͷେ͖ͳࢄڥͰࢄγεςϜͱͯ͠ͷಁաੑΛ୲อ͢Δ͜ ͱ͕՝ ɾ͋ΒΏΔΞϓϦέʔγϣϯΛมߋͳ͘ϢϏΩλεDC্ͰޮՌతʹಈ ࡞ͤ͞Δ͜ͱ͍͠ ɾ·ͣɺΞϓϦέʔγϣϯΛԾఆͯ͠ɺঃʑʹҰൠԽ͍ͯ͘͠ ɾWordPressͳͲͷ౷తͳWebΞϓϦέʔγϣϯ ɾIoTͳͲͷϦΞϧλΠϜ࣌ܥྻσʔλऩूΞϓϦέʔγϣϯ ݚڀํ
25 ݚڀϚΠϧετʔϯ: จߘۦಈ จߘ ༰ ~4݄ IOT45 σʔλΠϯςϯγϒɾϢϏΩλεDCͷ ઃܭ ~5݄
IOT46 TimeFuzeΞʔΩςΫνϟ ~7݄ DICOMO2019 (COMPSAC 2019) ࣌ܥྻσʔλϕʔε ~8݄ FIT 2019 άϥϑߏՄࢹԽ ~9݄ IOTS2019(ࠪಡ) ↑ͷதͰࣗ৴ͷ͋Δͷ
26 ɾจͷʮ͡ΊʹʯΛॻ͚Δ͜ͱΛϚΠϧετʔϯͱͯ͠ɺ࠷ॳ͔ ΒετʔϦʔΛͭ͘Γͳ͕Βɺݚڀ։ൃ͍ͯ͘͠ ɾͻͱͭͷςʔϚΛҭͯΔ ɾݚڀձจɺࠃࠪಡ͖จɺࠃࡍձٞɺδϟʔφϧΛ௨ͨ͡ ࣭ͷ্ ɾจͷͨΊͷίʔυͰͳ͘ɺ࣮ફͰ͑ΔιϑτΣΞͱͯ͠࡞ ΓࠐΜͰ͍͘ ࠓޙͷల