ISUCON大反省会 - Speaker Deck

Slide 1

Slide 1 text

ISUCONେ൓লձ 2015/11/13 Mynet Inc. Takashi Abe

Slide 2

Slide 2 text

ͩΕʁ • @takashabe • ISUCON5͸ຊબ9ҐͰࢂഊ͠·ͨ͠ • ΞΠίϯˠ

Slide 3

Slide 3 text

Agenda • ISUCONͱ͸ • ४උ • ܏޲ͱରࡦ • ײ૝

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

“͓୊ͱͳΔWebαʔϏεΛܾΊ ΒΕͨϨΪϡϨʔγϣϯͷதͰݶ ք·Ͱߴ଎ԽΛਤΔνϡʔχϯά ότϧɺͦΕ͕ISUCONͰ͢ɻ” - http://isucon.net/

Slide 6

Slide 6 text

ϨΪϡϨʔγϣϯ • WebΞϓϦέʔγϣϯͷϨεϙϯε݁Ռ͕ม ΘΒͳ͍͜ͱ • ଞνʔϜͷ๦֐Λ͠ͳ͍͜ͱ

Slide 7

Slide 7 text

WebΞϓϦέʔγϣϯͷߏ੒ཁૉ • OS • RHELܥ, Debianܥ • ݴޠ • Perl, Ruby, PHP, Python, go, Scala, Java, Node.js • ϛυϧ΢ΣΞ • MySQL, PostgreSQL, Redis, Memcached • Nginx, Apache, Varnish • ϋʔυ΢ΣΞ • Mem, HDD, SSD

Slide 8

Slide 8 text

ݴޠɺϛυϧ΢ΣΞͷબ୒ • ݴޠ͸ෳ਺ͷࢀߟ࣮૷͔Βࣗ༝ʹબ୒ग़དྷΔ • ݴޠͷ༏ྼ͚ͩͰউ͕ܾͪ·Βͳ͍ • DB, Webαʔόͷࡌͤସ͑΋OK • PostgreSQL -> MySQL • Apache -> Nginx • ͳΜͳΒOSࡌͤସ͑ͯ΋ྑ͍

Slide 9

Slide 9 text

શͯΛͿͬյ͢ݖར͕͋Δ

Slide 10

Slide 10 text

༧બͱຊબ

Slide 11

Slide 11 text

༧બ • ΦϯϥΠϯ • 2ʙ3ਓ1૊ • IaaS • AWS, GCPͳͲ

Slide 12

Slide 12 text

ຊબ • ΦϑϥΠϯ • LINEձ৔ • ༧બΛউͬͨνʔϜ • ΦϯϓϨ্ͷVM͕ఏڙ͞ΕΔ • NHNςίϥε

Slide 13

Slide 13 text

४උ

Slide 14

Slide 14 text

΍ͬͨ͜ͱ • ༧બ2ϲ݄લ͔ΒISUCON෦Λ࡞ͬͯि2Ͱ׆ ಈͨ͠ • աڈ໰Λࢀߟճ౴ʹԊͬͯखΛಈ͔͢ • ౎౓Θ͔Βͳ͍΋ͷΛௐ΂ͨΓ

Slide 15

Slide 15 text

աڈ໰Λղ͘ • MySQL͔ΒRedisʹࡌͤସ͑ • ΦϯϝϞϦ • Apache͔ΒNginxʹࡌͤସ͑ • ΠϕϯτۦಈͰܰྔ • ΫΤϦνϡʔχϯά • indexΛషΔ, index͕࢖ΘΕΔΑ͏ʹҙࣝ • MySQL, Nginxͷύϥϝʔλνϡʔχϯά • ΩϟογϡΛ૿΍͢ • ίʔυ্ͷνϡʔχϯά • ৑௕ͳϧʔϓͷഉআͳͲͳͲ

Slide 16

Slide 16 text

ൿ఻ͷλϨ • ͱΓ͋͑ͣ౤ೖ͢Δ΋ͷ • sshपΓͷઃఆɺzshɺϓϩϑΝΠϦϯάπʔϧ • ࣄલʹ༻ҙͨ͠ઃఆϑΝΠϧ • nginx.conf, my.cnf • αʔόߏ੒ɺαʔϏεಛੑʹΑͬͯ͸ௐ੔͕ඞཁ

Slide 17

Slide 17 text

ௐ΂ͨ͜ͱ΍λϨ͸githubͷ issueͰڞ༗

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

No content

Slide 20

Slide 20 text

܏޲ͱରࡦ

Slide 21

Slide 21 text

༧બ • ্Ґ20νʔϜҐ͕ຊબग़৔Մೳ • 1ҐʹͳΔඞཁ͸ͳ͍ • جຊʹ஧࣮ʹ΍Ε͹ಥഁग़དྷΔ(ଟ෼) • ࣄલʹ༻ҙ͞ΕΔOS, ݴޠ, ΠϯϑϥͳͲͷ৘ ใ͕ެ։͞ΕΔ

Slide 22

Slide 22 text

ISUCON5ͷ༧બ • ࣄલʹ෼͔͍ͬͯͨ͜ͱ • ग़৔νʔϜ270͘Β͍ • Ubuntu • Perl, Ruby, PHP, Python, go, Scala, Java, Node.js͕༻ҙ͞ΕΔ༧ఆ • Node.js͸४උ͕ؒʹ߹Θͣμϝͩͬͨ • Πϯϑϥ͸GCP(ϕʔεΠϝʔδ͕༻ҙ͞Ε͍ͯΔͷͰ֤ࣗ༻ҙ)

Slide 23

Slide 23 text

ΞϓϦέʔγϣϯ • mixiͷΑ͏ͳSNS • ༑ͩͪొ࿥΍଍͋ͱ

Slide 24

Slide 24 text

αʔόߏ੒ • Ubuntu 15.04 • systemd • MySQL • Nginx • 4CPU / 4GB Mem • 1୆

Slide 25

Slide 25 text

ਐΊํ • ϓϩϑΝΠϦϯά • ϘτϧωοΫमਖ਼ • ϓϩϑΝΠϦϯά • ϘτϧωοΫमਖ਼ • … • ࠶ىಈςετ

Slide 26

Slide 26 text

ϓϩϑΝΠϦϯά • NginxͷΞΫηεϩά • kataribe • MySQLͷεϩʔΫΤϦϩά • pt-query-digest

Slide 27

Slide 27 text

ϘτϧωοΫ • ஗͍ϖʔδ • ஗͍ݪҼ • N+1ΫΤϦ • ΫΤϦύϑΥʔϚϯε

Slide 28

Slide 28 text

ϘτϧωοΫͷ௵͠ํ • ݪҼʹΑΔ͕… • N+1ΫΤϦ • ϧʔϓ಺Ͱ౎౓ΫΤϦΛ౤͍͛ͯΔ • joinͳͲͰ1ΫΤϦͰࡁ·ͤΔΑ͏ʹ͢Δ • ΫΤϦࣗମ͕ॏ͍ • औಘ͢ΔσʔλΛݮΒ͢ • LIMIT OFFSETͳΫΤϦΛwhereͰߜΓࠐΉͳͲ

Slide 29

Slide 29 text

࠶ىಈςετ • ڝٕऴྃޙʹӡӦଆͰ࠶ىಈͯ͠࠷ऴείΞ ΛऔΔ • ࠶ىಈޙʹඞཁͳ΋ͷ্ཱ͕͕͍ͪͬͯͳ͍ ͱ٧Ή

Slide 30

Slide 30 text

Ωϟογϡͷ΢ΥʔϜΞοϓ • MySQL(innoDB)͸ΫΤϦ݁ՌΛϝϞϦ্ʹόοϑΝ͠ ͯ͘ΕΔ • ࠶ىಈޙ͸όοϑΝ͕ແ͍ͷͰύϑΥʔϚϯε͕ग़ͳ ͍ • select * from user; • innodb_buffer_pool_dump_at_shutdown, innodb_buffer_pool_load_at_startup

Slide 31

Slide 31 text

ͦΜͳײ͡Ͱண࣮ʹϘτϧωο ΫΛղফ͍͚ͯ͠͹༧બಥഁ Ͱ͖·͢(ؤுΕ͹)

Slide 32

Slide 32 text

ISUCON5ͷຊબ • ෳ਺୆ߏ੒ • ༧બͰߦͬͨΑ͏ͳDBνϡʔχϯά͸طʹ׬ ͍ྃͯ͠Δঢ়ଶ • ֎෦APIʹΞΫηε͢Δ

Slide 33

Slide 33 text

ΞϓϦέʔγϣϯ • Ϣʔβ͕ෳ਺ͷαʔϏε(API)Λొ࿥ͯ͠ɺͦ ͔͜Β݁ՌΛऔಘ͢ΔΑ͏ͳ΍ͭ • API݁ՌΛϕϯνϚʔΫʹฦ͢͜ͱ͕ग़དྷͨ਺ ͰείΞ͕ग़Δ

Slide 34

Slide 34 text

ಛ௃ • ༧બ΄Ͳ୯७Ͱ͸ͳ͍ • αʔϏεಛੑʹ߹ͬͨνϡʔχϯά͕ٻΊΒ ΕΔ

Slide 35

Slide 35 text

APIϦΫΤετͷฒྻԽ • γʔέϯγϟϧͰϦΫΤετ͢ΔͷͰ͸ͳ͘ɺ ฒྻʹϦΫΤετΛૹΔΑ͏ʹ͢Δ • goͱ͔Node.js͕༗རͩͬͨ • ※ ༏উνʔϜ͸Perl

Slide 36

Slide 36 text

API݁ՌͷΩϟογϡ • APIϨεϙϯεΛΩϟογϡͯ͠͠·͏ • Ϩεϙϯε݁Ռ͕සൟʹมΘΔΑ͏ͳ΋ͷ͸ TTLΛ୹͘, ٯʹશ͘มΘΒͳ͍΋ͷ͸௕͘ • ΩϟογϡΛಡΉͱ͖ʹ΋N+1ʹͳΒͳ͍Α ͏ɺmset/mgetΛ࢖͏

Slide 37

Slide 37 text

ෳ਺୆Ͱॲཧ͢Δ • NginxͳͲͰόϥϯγϯάͯ͠3୆શͯͰॲཧ ग़དྷΔΑ͏ʹ͢Δ

Slide 38

Slide 38 text

HTTPϔομΛಡΜͰద੾ͳઃ ఆΛೖΕΔ • Last-Modiﬁed • if-Modiﬁed-SinceϔομΛ෇͚ͯAPIʹ໰͍߹ΘͤΔͱଈ࠲ʹ 304͕ฦͬͯ͘Δ࢓༷ͩͬͨ • ී௨ʹ໰͍߹ΘͤΔͱ಺෦Ͱ500ms sleep͍ͯ͠ΔAPIͩͬͨ • Accept-Encoding: gzip • Nginxͷgzip_staticͰ௨৴ྔΛݮΒͤͨ

Slide 39

Slide 39 text

ຊબͰ͸ΩϟογϡΛҰ෦ઃఆ͠ ͯෳ਺୆ߏ੒ʹ͚ͨͩ͠ͰऴΘͬ ͯ͠·͍ࢂഊ͠·ͨ͠(չ͍͠)

Slide 40

Slide 40 text

ײ૝

Slide 41

Slide 41 text

ྑ͔ͬͨ఺ • νϡʔχϯάͷצॴ͕෼͔ΔΑ͏ʹͳͬͨ • ϛυϧ΢ΣΞͷ࢓૊Έʹৄ͘͠ͳͬͨ • ࣗ෼ͷ࣮ྗͷແ͕͞վΊͯ෼͔ͬͨ • ࠷ߴʹָ͔ͬͨ͠ •

Slide 42

Slide 42 text

ѱ͔ͬͨ఺ • ಛʹແ͠

Slide 43

Slide 43 text

དྷ೥΋(΋͠։࠵͞ΕΕ͹)ੋ ඇࢀՃ͠·͠ΐ͏!!!

Slide 44

Slide 44 text

དྷ೥·Ͱ଴ͯͳ͍ʁ

Slide 45

Slide 45 text

ࣾ಺ISUCON΍Δͧʂʂ̍

Slide 46

Slide 46 text

։࠵೔࣌ͱ͔ • 12্݄०ʙத० • 4࣌ؒ • 1ʙ2ਓ1νʔϜ • ࢀߟ࣮૷༧ఆ:PHP, Ruby, Python, Go, Java, Scala

Slide 47

Slide 47 text

“ISUCONࢀՃલͱࢀՃޙʹ࠷ ΋ଟ͘ͷ΋ͷΛ࣋ͪؼͬͨਓ͜ ͕ͦউऀͱݴ͑ΔͰ͠ΐ͏ɻ” - http://tagomoris.hatenablog.com/entry/2015/07/10/131140