Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゆううきの研究開発まとめ (2019年2月版) / The summary of yuuki's research and development in 02/2019
Search
Yuuki Tsubouchi (yuuk1)
February 13, 2019
Research
1
4.4k
ゆううきの研究開発まとめ (2019年2月版) / The summary of yuuki's research and development in 02/2019
さくらインターネット研究所 研究会 2019.02.13
これまでの研究開発や開発運用について、さくらインターネット研究所内の研究会で話しました。
研究員 坪内佑樹
Yuuki Tsubouchi (yuuk1)
February 13, 2019
Tweet
Share
More Decks by Yuuki Tsubouchi (yuuk1)
See All by Yuuki Tsubouchi (yuuk1)
エンジニアのためのSRE論文への招待 / Introduction to SRE Papers for Engineers
yuukit
1
5.6k
博士課程での研究まとめ 2023年1月版 / Summary of my research in the PhD course
yuukit
1
160
AI時代に向けたクラウドにおける信頼性エンジニアリングの未来構想 / DICOMO2022 6A-1
yuukit
7
2.6k
AIOps研究録―SREのための システム障害の自動原因診断 / SRE NEXT 2022
yuukit
9
11k
Interactive AIOps
yuukit
0
1.8k
Meltria: マイクロサービスにおける 異常検知・原因分析のための データセットの動的生成システム / Meltria in IOTS2021
yuukit
1
1.4k
AIOpsの研究動向と AIOps向けデータセットの動的生成の研究 / Introducing AIOps and A Dynamic Datasets Generating System
yuukit
1
650
分散アプリケーションの高信頼化のための 運用技術に関する研究 / A Study on Operation Technology for High Reliability of Distributed Applications
yuukit
1
710
ネットワークサービスの依存発見に向いた TCP/UDP通信の低負荷なトレース手法 / Low Overhead TCP-UDP Tracing in Kernel
yuukit
5
3.9k
Other Decks in Research
See All in Research
研究効率化Tips_2024 / Research Efficiency Tips 2024
ryo_nakamura
4
2.3k
Alexander Mielke Hellinger--Kantorovich (a.k.a. Wasserstein-Fisher-Rao) Spaces and Gradient Flows
jjzhu
3
180
Cross-Media Information Spaces and Architectures
signer
PRO
0
120
LiDARセキュリティ最前線
kentaroy47
0
270
動物倫理学ことはじめ:人間以外の動物との倫理的な付き合い方を考える
takeshit_m
0
280
第59回名古屋CV・PRMU勉強会:ICCV2023論文紹介(自己教師あり学習)
naok615
0
310
サウナでのプロジェクションマッピングの可能性の検討 / EC71koizumi
yumulab
0
150
[ICLR'24] Towards Assessing and Benchmarking Risk-Return Tradeoff of OPE
harukakiyohara_
0
180
一般化ランダムフォレストの理論と統計的因果推論への応用
tomoshige_n
10
1.8k
メタ動画データセットによる動作認識の現状と可能性
yuyay
0
170
論文紹介 DISN: Deep Implicit Surface Network for High quality Single-view 3D Reconstruction / DISN: Deep Implicit Surface Network for High quality Single-view 3D Reconstruction
nttcom
0
110
音場再現技術の統一的枠組みと知覚的精度向上
skoyamalab
1
220
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
124
32k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
1
1.3k
The Art of Programming - Codeland 2020
erikaheidi
41
12k
The Illustrated Children's Guide to Kubernetes
chrisshort
29
46k
We Have a Design System, Now What?
morganepeng
42
6.7k
How STYLIGHT went responsive
nonsquared
92
4.8k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
24
2.3k
What the flash - Photography Introduction
edds
64
11k
Side Projects
sachag
451
41k
No one is an island. Learnings from fostering a developers community.
thoeni
14
2.1k
Building Your Own Lightsaber
phodgson
98
5.7k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Transcript
͘͞ΒΠϯλʔωοτ גࣜձࣾ (C) Copyright 1996-2019 SAKURA Internet Inc ͘͞ΒΠϯλʔωοτ ݚڀॴ
Ώ͏͏͖ͷݚڀ։ൃ·ͱΊ (20192݄൛) 2019/02/13 ݚڀһ ௶ ༎थ ͘͞ΒΠϯλʔωοτݚڀॴ ݚڀձ 2019.02.13 @yuuk1t / id:y_uuki
2 1. ݚڀςʔϚ 2. େֶɾେֶӃ࣌ͷݚڀ 3. ΤϯδχΞͱͯ͠ͷݚڀ։ൃ 4. ͘͞ΒͰͷݚڀ։ൃ͍͖ͬͯ 5.
·ͱΊ ΞδΣϯμ
1. ݚڀςʔϚ
4 ਓؒͱίϯϐϡʔλʔͷؔੑͱӡ༻ ίϯϐϡʔλʔ γεςϜ Ϣʔβʔ ։ൃӡ༻ऀ ӡ༻ ӡ༻ • ։ൃӡ༻ऀ͚ͷίϯϐϡʔλʔγεςϜଟ͋Γ
Ϣʔβʔͱ։ൃӡ༻ऀͷ۠ผᐆດʹͳ͍ͬͯΔ • ਓؒͱίϯϐϡʔλʔͷؔੑมԽͯ͠”ӡ༻”͕ ଘࡏ͢Δ͜ͱʹมΘΓͳ͍ “ӡ༻”: มߋ => ҭ => ର ݱ࣮ίϯϐϡʔλʔͷมߋ͕ ා͍
5 ݚڀςʔϚ: ӡ༻Λָ͘͢͠Δ ɾίϯϐϡʔλʔγεςϜͷڪාΛͳ͘͠ӡ༻Λָ͠ΊΔΑ͏ʹ͢ Δ ɾָ͘͠ͳ͍ͱਐ·ͳ͍ ɾίϯϐϡʔλʔ͕ਓͷࣄΛୣ͍ͬͯͬͨ͋ͱʹΔͷͷҰͭʹ ίϯϐϡʔλʔͷӡ༻Λָ͠Ή͜ͱͰͳ͍͔
6 ɾා͞ͷݪҼ৴པੑͷԼ ɾ৴པੑΛ੍ޚ͠ɺมߋΛ࠷େԽ͢Δ ɾมߋͰ͖Δ͜ͱָ͍͠ Site Reliability Engineering (SRE) https://blog.yuuk.io/entry/2019/thinking-sre
7 ɾ؍ଌͱ࣮ݧͷϧʔϓΛߴʹճ͠ɺ৴པੑΛ੍ޚͭͭ͠มߋΛ ߴΊΔγεςϜϏδϣϯ Experimentable Infrastructure
8 ɾมߋ͕͍͠ͷσʔλΛͭγεςϜ ɾ͜Ε͔Βਓ͕ؒੜ͢ΔίϯςϯπΑΓ ػց͕ੜ͢Δσʔλ͕ٸ૿ ɾOSϛυϧΣΞͷϨΠϠͷΈͰ͋ΒΏΔ ཁٻΛຬͨ͢ͷࠔ ɾΞϓϦέʔγϣϯӡ༻ٕज़·Ͱ౿ΈࠐΜ ͩਨ౷߹తͳΞϓϩʔν͕ඞཁ Data-Intensive Applications
2. ֶ෦ɾେֶӃ࣌ͷݚڀ
10 ɾେֶֶ෦࣌ ɾॏෳഉআετϨʔδͷͨΊͷSHA-1ܭࢉγεςϜͷSSE໋ྩʹΑΔߴ εϧʔϓοτԽ ɾେֶӃത࢜લظ՝ఔ࣌ ɾTCP/IPελοΫʹ͓͚ΔνΣοΫαϜܭࢉͷGPUΦϑϩʔσΟϯά 2011~2013
11 ϓϩηοαͷΩϟογϡϝϞϦͱSIMDԋࢉ
12 GPGPUͱLinuxΧʔωϧύέοτॲཧ ɾLinuxΧʔωϧͷTCP/IPελοΫॲཧͷ͏ͪɺTCPϔομͷνΣοΫα ϜܭࢉΛGPUʹ·͔ͤͯεϧʔϓοτΛ্ͤ͞Δ ɾGPUͷϝϞϦ্ʹରσʔλ͕ἧͬͯͳ͍ͱGPUͷ࣮ޮޮ͕͍ ɾύέοτ܊Λ1ͭͷετϦʔϜʹ٧ΊࠐΜͰɺGPU্Ͱ·ͱΊͯܭࢉ ͤ͞Δ ɾ1500όΠτఔͷύέοτͰੑೳ͕ͰͣɺJumbo Frame (7000ό
Πτ͙Β͍) ར༻࣌ʹطଘख๏ΑΓεϧʔϓοτ͕ߴ͘ͳΔ
13 ֶ෦ɾେֶӃ࣌ͷৼΓฦΓ ɾϓϩηοαɺฒྻॲཧɺLinuxΧʔωϧɺTCP/IPʹֶ͍ͭͯͨ ɾ͜ͷ͋ͨΓͷॲཧϞσϧͱ࣮ߦ࣌ؒɺϦιʔεফඅͷഽײ͕֮ͳΜͱ ͳ͘Θ͔͍ͬͯΔͱɺ্ҐͷWebαʔόσʔλϕʔεΛѻ͏্Ͱϒ ϥοΫϘοΫε͕গͳ͘ݟ͑ͨ ɾ࣮ࡍʹଘࡏ͠ͳ͍Λղ͍͍ͯΔΑ͏ͳؾ࣋ͪʹͳΔ͜ͱ͋ͬͨ ɾاۀʹೖͬͯɺ࣮ࣾձͷҙࣝΛ࣮ײ্ͨ͠ͰɺݚڀͰ͖ΔͱΑΓ Αͦ͞͏ͩͱߟ͑࢝Ίͨ
14 ͜ͷ͜Ζͷϒϩά ɾ΄ͦ΅ͦͱॻ͍͍ͯͨϒϩά͕ಡ·ΕΔΑ͏ʹ
3. ΤϯδχΞͱͯ͠ͷݚڀ։ൃ
16 ɾαʔόࢹαʔϏεͷߏஙͱӡ༻ ɾϒϩάαʔϏεͳͲɺ౷తͳWebαʔϏεͷߏஙͱӡ༻ ɾશαʔϏεͷΠϯϑϥج൫(ԾԽϓϩϏδϣχϯάͳͲ)ͷ։ൃ ͱӡ༻ ɾϓϩδΣΫτϚωδϝϯτɺνʔϜϏϧσΟϯάɺϝϯλϦϯά ɾγεςϜϏδϣϯ͔ΒΛղܾ͢ΔϙδςΟϒΞϓϩʔνͷ࣮ફ ܦݧͨ͠։ൃɾӡ༻
17 ࣌ܥྻσʔλϕʔεͷߏஙɾӡ༻ɾ։ൃ https://blog.yuuk.io/entry/high-performance-graphite https://blog.yuuk.io/entry/the-rebuild-of-tsdb-on-cloud
18 ϨΨγʔγεςϜͷӡ༻վળ
19 ݚڀ։ൃ࣮ 1.௶༎थ, TimeFuzeΞʔΩςΫνϟߏ - ॲཧͱσʔλͱλΠϚʔΛҰମԽͨ͠σʔ λύΠϓϥΠϯ, ΣϒγεςϜΞʔΩςΫνϟ(WSA)ݚڀձ ୈ1ճ, 201712݄23
2.௶༎थ, αʔόϨε࣌ʹ͓͚ΔϔςϩδχΞε࣌ܥྻσʔλϕʔεΞʔΩςΫ νϟ, ΣϒγεςϜΞʔΩςΫνϟ(WSA)ݚڀձ ୈ2ճ, 201805݄12 3.௶༎थ,ݹխେ, TCPଓͷʹΑΔ؆ུԽ͞ΕͨωοτϫʔΫґଘؔάϥϑ ͷՄࢹԽج൫, ୈ3ճΣϒγεςϜΞʔΩςΫνϟ(WSA)ݚڀձ, 201811݄17 ɾࠃࠪಡ͖จ ɾޱ಄ൃද ௶༎थ,ࡔேਓ,ᖛా݈,দխ,Ѩ෦ത,দຊ྄հ, HeteroTSDB: ҟछࠞ߹Ωʔό ϦϡʔετΞΛ༻͍ͨࣗಈ֊ԽͷͨΊͷ࣌ܥྻσʔλϕʔεΞʔΩςΫνϟ, Πϯ λʔωοτͱӡ༻ٕज़γϯϙδϜจू, 2018, 7-15 (2018-11-29), Dec 2018
20 ɾࠪಡ͖จ 1݅ ɾֶज़ߨԋ x 3݅ ɾࠃൃද x 34݅ ɾύωϧσΟεΧογϣϯ
x 4݅ ɾڝٕ ISUCON ຊઓग़ 2ճ ɾϒϩάଟ ࣮·ͱΊ
21 ɾ։ൃͨ͠༰Λݚڀͱͯ͠Έ͠ɺจߘݚڀձൃද ɾ࣮ࡍͷࣾձͷཁٻʹج͍ͮͨҙࣝΛѻ͑ɺϓϩμΫγϣϯͰಈ ࡞͍ͯ͠ΔͷΛจʹॻ͚Δ ɾҰํͰɺ࣮Ͱظతͳ༏ઌʹͳΓ͕ͪͳͨΊɺݚڀΛҭͯ ͍ͯ͘͜ͱ͍͠ ɾͰ։ൃͨ͠ͷͰϓϩμΫΫγϣϯڥͰීٴͤ͞Δʹɺ ୯Ґͷ͕͔͔࣌ؒͬͨ ΤϯδχΞͱͯ͠ͷݚڀ։ൃৼΓฦΓ
4. ͘͞ΒͰͷݚڀ։ൃ͍͖ͬͯ
23 ɾͱαʔόʔؒͷԆݮ ɾσʔληϯλʔͷτϥϑΟοΫϘϦϡʔϜͷݮ ϢϏΩλεσʔληϯλʔ ɾ౷తͳͷΣϒΞϓϦέʔγϣϯ ɾϦΞϧλΠϜͳ࣌ܥྻσʔλΛऩू͢ΔΞϓϦέʔγϣϯ Potentials ͕ࣗఆ͢ΔApplications Challenges ɾϢϏΩλεDCڥͰͷσʔλͷஔɺసૹԆɺނোΛಁա͢Δ
24 ɾϢϏΩλεσʔληϯλʔߏͷ͏ͪɺData-IntensiveྖҬΛ୲ ɾԆͷେ͖ͳࢄڥͰࢄγεςϜͱͯ͠ͷಁաੑΛ୲อ͢Δ͜ ͱ͕՝ ɾ͋ΒΏΔΞϓϦέʔγϣϯΛมߋͳ͘ϢϏΩλεDC্ͰޮՌతʹಈ ࡞ͤ͞Δ͜ͱ͍͠ ɾ·ͣɺΞϓϦέʔγϣϯΛԾఆͯ͠ɺঃʑʹҰൠԽ͍ͯ͘͠ ɾWordPressͳͲͷ౷తͳWebΞϓϦέʔγϣϯ ɾIoTͳͲͷϦΞϧλΠϜ࣌ܥྻσʔλऩूΞϓϦέʔγϣϯ ݚڀํ
25 ݚڀϚΠϧετʔϯ: จߘۦಈ จߘ ༰ ~4݄ IOT45 σʔλΠϯςϯγϒɾϢϏΩλεDCͷ ઃܭ ~5݄
IOT46 TimeFuzeΞʔΩςΫνϟ ~7݄ DICOMO2019 (COMPSAC 2019) ࣌ܥྻσʔλϕʔε ~8݄ FIT 2019 άϥϑߏՄࢹԽ ~9݄ IOTS2019(ࠪಡ) ↑ͷதͰࣗ৴ͷ͋Δͷ
26 ɾจͷʮ͡ΊʹʯΛॻ͚Δ͜ͱΛϚΠϧετʔϯͱͯ͠ɺ࠷ॳ͔ ΒετʔϦʔΛͭ͘Γͳ͕Βɺݚڀ։ൃ͍ͯ͘͠ ɾͻͱͭͷςʔϚΛҭͯΔ ɾݚڀձจɺࠃࠪಡ͖จɺࠃࡍձٞɺδϟʔφϧΛ௨ͨ͡ ࣭ͷ্ ɾจͷͨΊͷίʔυͰͳ͘ɺ࣮ફͰ͑ΔιϑτΣΞͱͯ͠࡞ ΓࠐΜͰ͍͘ ࠓޙͷల