JPNAPユーザー会 / 2015-02-12
pixivにIけるコxbxa配信ϐΫγϒגࣜձࣾ ಓҪढ़հ / MICHII ShunsukeJPNAPϢʔβʔձ2015-02-12
View Slide
ಓҪ ढ़հ / Harukasan• 2012ʹ৽ଔͱͯ͠ΠϯϑϥνʔϜʹଐ• ίϯςϯπ৴Λ͡ΊαʔϏεશମͷج൫Λ୲• αʔό͚ͩͰͳ͘σʔλղੳج൫ͷߏஙͳͲߦ͏• ٕज़ܥࡶࢽͷࣥචͳͲϐΫγϒגࣜձࣾɹΠϯϑϥνʔϜ[email protected]
お絵かきがもっと楽しくなる場所
pixiv (PC) pixiv touch iOS/Android App.࡞׆ಈ(ΠϥετɾϚϯΨɾখઆ)Λத৺ͱͨ͠ ιʔγϟϧωοτϫʔΩϯάαʔϏεhttp://www.pixiv.net/
ߘɾӾཡΛओͱͨ͠ίϛϡχέʔγϣϯධՁϒοΫϚʔΫίϝϯτελϯϓϑΥϩʔ
ެࣜίϯςετؒ50ճҎ্ͷެࣜίϯςετΛ։࠵༏ल࡞ग़൛ԽͳͲ
1日Nアクbィブユーザ,1日N投稿作品,ձһ1,000ສϢʔβʔΛಥഁ02004006008001000120014002007 2008 2009 2010 2011 2012 2013 2014 2015200万ユーザー2010年5月22日400万ユーザー2012年1月28日600万ユーザー2013年1月30日800万ユーザー2013年8月14日1000万ユーザー2014年2月22日(ສਓ)※2015年2月現在登録ユーザー数167万人25,000作品1,350万ユーザー 2015年2月現在
(Gbps)051015202007 2008 2009 2010 2011 2012 2013 2014 2015Ϣʔβʔʹ߹ΘͤτϥϑΟοΫ૿Ճ最大使用帯域, 17.517ps 平均使用帯域, 917ps※2015年2月現在最大使用帯域
࡞׆ಈ͕ΑΓָ͘͠ͳΔ γϣοϓ࡞αʔϏεͷͮ͘ΓΛͬͱָ͘͢͠Δ ΞΠςϜ࡞αʔϏε ࡞׆ಈ͕ΑΓָ͘͠ͳΔؔ࿈αʔϏεNEW!
pixiv Inc.ϐΫγϒגࣜձࣾࣾһ: 80໊ (ΤϯδχΞ: 50໊)ฏۉྸ: 28.7ࡀ※2015年2月現在
Culture• ։͔ΕͨΦϑΟεεϖʔε• ఆظతʹٕज़ษڧձΛ։࠵
pixivにIけるコxbxa配信
pixivͷτϥϑΟοΫׂ߹• ϐΫγϒͷϝΠϯίϯςϯπΠϥετʹը૾• େྔͷը૾σʔλΛԿʹߴʹ৴͢Δ͔HTML/JSON 5%OtherImage90%Traffic: 17Gbps (max)
Agenda• αʔϏεͱΠϯϑϥετϥΫνϟͷ• pixivΛࢧ͑Δίϯςϯπ৴Ϋϥελ• ͜Ε͔Βͷίϯςϯπ৴
サービスと インフラストラクチャの成長
自社 サーhuーム東京 新宿DC福島 白河DCpixivͷΠϯϑϥετϥΫνϟアプリケーション開発・小規模サービス 画像・広告配信• نͷ֦େʹ߹Θͤ3ڌʹ֦େ• ༻్ຖʹ͍͚
• ࣗ࡞αʔό͔ΒσʔληϯλʔҠߦ• ݹ͍αʔό։ൃ༻్ͱͯ͠ར༻pixivͷΠϯϑϥετϥΫνϟ01252503755002007 2008 2009 2010 2011 2012 2013 2014αʔόࣗࣾαʔόϧʔϜ৽॓DCനՏDC
• ࣾʹΞϧϛϥοΫΛઃஔ͠αʔόΛϚϯτ• ϕετΤϑΥʔτճઢͷͨΊ҆ఆͤͣଳҬ͕ṧഭ• ిݯ༰ྔͱޫέʔϒϧΛҾ͖ࠐΈʹݶքࣗࣾαʔόϧʔϜ
自作αʔόͱDCͷϋΠϒϦουߏ社屋サーhーuーム1Gbps ઐ༻ઢ2D.0新宿cータセxターGbps 4GbpsϕετΤϑΥʔτ IDCFόοΫϘʔϯ画像ストvージToッシpクsスタςΩετσʔλ ը૾σʔλ• 2010ʹσʔληϯλʔͷར༻Λ։࢝• ҆ఆͨ͠ճઢΛར༻ͯ͠ը૾σʔλΛ৴アプtケーシrx
• ౦ຊେࡂΛ͖͔͚ͬʹDCͷҠߦΛՃ• ඃࣗମͳ͔ͬͨͷͷओͩͬͨػೳ σʔληϯλʔʹҠ͢͜ͱʹ• ࣗ࡞αʔό͔ΒΑΓߴεϖοΫͳ1UαʔόʹҠߦDCͷҠߦ自社 サーhuーム東京 新宿DC
• ৽॓DCͷϥοΫ͕खڱʹ• Ԇ(౦ژ-ౡؒ ฏۉ3.5ms)• ϑϧϚωʔδυ(ೖؗϨε)ΑΓ֦ுੑΛٻΊͯനՏDCASCII.jp - IDCFͷ“ݺٵ͢Δσʔληϯλʔ”ΛനՏͰମײ͖ͯͨ͠http://ascii.jp/elem/000/000/975/975144/福島 白河DC
• നՏDCʹը૾ΩϟογϡΫϥελΛҠస• 4ຊͷ10GճઢΛෑઃΑΓ֦ுੑΛٻΊͯനՏDC2D.0新宿cータセxター 2D.0白河cータセxター1Gbps x 4画像ストvージToッシpクsスタアプtケーシrx10Gbps x 1 10Gbps x 4IDCFόοΫϘʔϯ IDCFόοΫϘʔϯ౦ژ ౡݝനՏ
0102030402007 2008 2009 2010 2011 2012 2013 2014τϥϑΟοΫͱճઢଳҬ• ʹ߹ΘͤͯඞཁͳճઢଳҬΛ૿ઃ͖ͯͨ͠• ΩϟογϡΫϥελͷಋೖͰεέʔϧ͍͢͠ߏʹ༻ՄೳଳҬ༻ଳҬ10GճઢಋೖനՏDCGbpsτϥϑΟοΫ
·ͱΊ: αʔϏεͷͱΠϯϑϥ• pixivͷϝΠϯτϥϑΟοΫͰ͋Δը૾σʔλΛ৴͢ΔڌΛߏங͖ͯͨ͠• ΩϟογϡΫϥελΛεέʔϧͤ͞Δ͜ͱͰ ࡹ͚ΔτϥϑΟοΫΛεέʔϧ͍͢͠ߏʹ自社 サーhuーム東京 新宿DC福島 白河DCアプリケーション開発・小規模サービス 画像・広告配信
pixivΛࢧ͑Δ ίϯςϯπ৴Ϋϥελ
৴Λࢧ͑ΔΩϟογϡΫϥελ• pixivͷը૾৴Λεέʔϧ͍ͯͨ͘͠Ίʹߏங• ΞϓϦέʔγϣϯͱॲཧΛ• େ༰ྔͷόοΫϘʔϯͱͦΕΛॲཧͰ͖Δ͚ͩͷੑೳΛͭ2D.0新宿cータセxター 2D.0白河cータセxター画像ストvージToッシpクsスタアプtケーシrx10Gbps x4
pixivͷίϯςϯπ৴Ϋϥελ࠷େτϥϑΟοΫ:࠷େϦΫΤετ:Ωϟογϡώοτ:ฏۉԠ࣌ؒ:• pixivͷ90ˋҎ্ͷτϥϑΟοΫΛॲཧ• αʔόʔ40Ͱߏ16Gbps (max)24K Request / sec97%Ҏ্100ms
ΩϟογϡΫϥελͷߏͱ ΩϟογϡώοτmntToッシpcィスクToッシp画像ストvージ50%5%ϝϞϦΛར༻ͨ͠ߴͳΩϟογϡSSDΛར༻ͨ͠େ༰ྔΩϟογϡHDDͷେ༰ྔετϨʔδ100msͰԠ300msҎʹԠ10msҎʹԠ• ϝϞϦͱσΟεΫͷ2ஈΩϟογϡߏ• SSDΛར༻͢Δ͜ͱͰेTBͷΩϟογϡ༰ྔΛ֬อ
ίϯςϯπ৴ΫϥελͷߏcィスクToッシp-p68h9 5A6ffi8 49Av9AcィスクToッシp-p68h9 5A6ffi8 49Av9AmntToッシphsxシxグn:inFuーbィxグn:inFuーbィxグn:inFサムネイu生成:o ChDm79AmntToッシphsxシxグn:inF画像ストvージɾɾɾɾɾɾɾɾɾcィスクToッシp-p68h9 5A6ffi8 49Av9AmntToッシphsxシxグn:inFuーbィxグn:inFemイxシoーcィxグ＆D34sSxeロixコxシスbxトgッシxグ
i1.pixiv.net:DNSϨίʔυi2.pixiv.net:im:.piFiv.n9C. 200 23 - 203.0.113.1im:.piFiv.n9C. 200 23 - 203.0.113.2im:.piFiv.n9C. 200 23 - 203.0.113.3im:.piFiv.n9C. 200 23 - 203.0.113.4Gim:.piFiv.n9C. 200 23 - 203.0.113.1im:.piFiv.n9C. 200 23 - 203.0.113.2im:.piFiv.n9C. 200 23 - 203.0.113.3im:.piFiv.n9C. 200 23 - 203.0.113.4Gim:.piFiv.n9C. 200 23 - 203.0.113.1im:.piFiv.n9C. 200 23 - 203.0.113.2im:.piFiv.n9C. 200 23 - 203.0.113.3im:.piFiv.n9C. 200 23 - 203.0.113.4Gi3.pixiv.net:υϝΠϯγϟʔσΟϯάͱ DNSϥϯυϩϏϯ• DNSϥϯυϩϏϯʹΑΓτϥϑΟοΫΛࢄ• UDPʹΑΔDNSԠ512byte·Ͱ• ը૾IDͷϋογϡ͝ͱʹυϝΠϯΛׂ͢Δ͜ͱͰ DNSϨίʔυαΠζΛݮi.pixiv.net:im:.piFiv.n9C. 200 23 - 203.0.113.1im:.piFiv.n9C. 200 23 - 203.0.113.2im:.piFiv.n9C. 200 23 - 203.0.113.3im:.piFiv.n9C. 200 23 - 203.0.113.4G512byte: 10ݸఔ512byte512byte512byte
• υϝΠϯΛෳʹׂͨ͜͠ͱͰϝϞϦΩϟογϡ ෳʹׂͰ͖Δ• Ωϟογϡώοτ͕एׯ্υϝΠϯγϟʔσΟϯάʹΑΔ ΩϟογϡࢄmntToッシpn:inFmntToッシpn:inFɾɾɾmntToッシpn:inFi1.pixiv.net i2.pixiv.net i4.pixiv.net
nginxʹΑΔϝϞϦΩϟογϡ• ΠϕϯτۦಈΞʔΩςΫνϟʹΑΔߴͳHTTPαʔό• HTTPS௨৴ͷղআ• ϝϞϦΩϟογϡ• ϩʔυόϥϯγϯά• nginxϑΝΠϧΩϟογϡػೳΛ࣋ͭͷͰ tmpfsΛར༻ͯ͠ϝϞϦ্ʹΩϟογϡϑΝΠϧΛอ࣋
ίϯγεςϯτϋογϯάʹΑΔ ϩʔυόϥϯγϯά• URLΛΩʔʹͯ͠ϋογϯά͢Δ͜ͱͰ ಉ͡URLͰಉ͡Ωϟογϡαʔόʹࢄ͢ΔΑ͏ʹ• αʔόͷՃɺআΛߦͬͯϋογϡͷมԽ͕গͳ͍• Ωϟογϡ༰ྔΛ༰қʹεέʔϧΞτͰ͖ΔcィスクToッシp cィスクToッシp cィスクToッシpϋογϡςʔϒϧ ϋογϡςʔϒϧ ϋογϡςʔϒϧ/img/a.jpg /img/a.jpg /img/b.jpg/img/a.jpgͷϦΫΤετ ඞͣ͜ͷαʔόʹ
2ஈΩϟογϡʹΑΔར: ಛఆαʔόʹෛՙ͕ภΔͷΛ͙• ϋογϯάʹΑΔࢄΛߦ͏ͱಛఆαʔόʹෛՙ͕ภΔ• 1ஈʹϝϞϦΩϟογϡ͕͋Δ͜ͱͰΑ͘ϦΫΤετ ͞ΕΔϑΝΠϧෳͷαʔόͰԠग़དྷΔcィスクToッシp/img/a.jpg負荷が集中cィスクToッシp/img/a.jpg1ஈʹΩϟογϡ͕ͳ͍߹cィスクToッシp/img/a.jpgcィスクToッシp/img/a.jpg1ஈʹΩϟογϡ͕͋Δ߹mntToッシp mntToッシp負荷が分散
10Gbps10Gbps 5Gbps10Gbps2ஈΩϟογϡʹΑΔར: αʔόؒτϥϑΟοΫΛݮΒ͢• 1ஈʹΩϟογϡ͕͋Δ͜ͱͰɺόϥϯγϯά͠ͳ͚Ε ͳΒͳ͍ϦΫΤετ͕ݮ• ϩʔΧϧΤϦΞͷτϥϑΟοΫΛ͑Δ͜ͱ͕Ͱ͖ΔcィスクToッシp/img/a.jpgcィスクToッシp/img/a.jpg1ஈʹΩϟογϡ͕ͳ͍߹cィスクToッシp/img/a.jpgcィスクToッシp/img/a.jpg1ஈʹΩϟογϡ͕͋Δ߹mntToッシp mntToッシp同じ容量N帯域が必要 必要帯域が半減
Apache TrafficServerʹΑΔ σΟεΫΩϟογϡ• σΟεΫΩϟογϡʹApache TrafficServer (ATS) Λ༻• ୯ҰΦϒδΣΫτʹΑΔΩϟογϡͳͷͰϑΝΠϧγεςϜͷ inode੍ݶͳͲΛؾʹ͢Δඞཁ͕ͳ͍• SATA SSDΛmdadmʹΑΓRAID0(ετϥΠϐϯά)͢Δ͜ͱͰԠੑΛ্256GB 256GB 256GBSoftware RAID (mdadm)ATS Cache Volume
ಈతαϜωΠϧੜ• Ξοϓϩʔυ࣌ʹඞཁͳαϜωΠϧΛͯ͢ੜ͢Δͱ:• ඇৗʹ͕͔͔࣌ؒΔ• σβΠϯมߋ࣌ʹมߋ͞ΕΔڪΕ͕͋Γ։ൃ্ͷίετʹϦΫΤετ࣌ʹಈతੜ͢Δ͜ͱͰ͜ΕΒͷίετΛݮΦϦδφϧը૾ αϜωΠϧϚελը૾αϜωΠϧը૾ϦΫΤετ࣌Ξοϓϩʔυ࣌ಈతੜ
go-thumberhttps://github.com/pixiv/go-thumber• GoݴޠͰॻ͔ΕͨαϜωΠϧมϓϩΩγ• Φʔϓϯιʔεͱͯ͠ެ։• JPEG-JPEGͷॲཧʹߜΔ͜ͱͰॲཧΛ࠷దԽ• εέʔϦϯάʹFFMPEGͷϥΠϒϥϦΛ༻• ৭ۭؒͳͲΛল͖ߴ͔ͭણࡉͳαϜωΠϧੜ͕Մೳ
·ͱΊ:pixivͷίϯςϯπ৴Ϋϥελ• ΦʔϓϯιʔειϑτΣΞΛ׆༻ͨ͠ ίϯςϯπ৴ΫϥελΛߏங• ΞϓϦέʔγϣϯ͔Β͢Δ͜ͱͰ։ൃίετΛݮ• 2ஈΩϟογϡߏʹΑΓεέʔϧ͍͢͠ߏʹ• ಈతαϜωΠϧੜʹΑΓΞϓϦέʔγϣϯ։ൃίετΛݮ
これからのコンテンツ配信
ΑΓ͍͍͢ίϯςϯπ৴• pixivಛ༗ͷ৴ػೳΛΑΓҰൠతʹ༻Ͱ͖ΔΑ͏ʹ• ΞΫηϧίϯτϩʔϧ• υϝΠϯγϟʔσΟϯά• αϜωΠϧը૾ੜ• HTTPSͰͷ҆ఆͨ͠৴Λ࣮ݱ• HTTP/2ʹΑΔ৴ରԠ
͓ΘΓʹ• 1ͭ1ͭͷ՝Λಓʹղܾ͠ɺΠϯϑϥετϥΫνϟΛ֦େ• ݁Ռͱͯ͠εέʔϧ͍͢͠৴ج൫Λ࣮ݱ• ΑΓ͍͍͢৴Ϋϥελʹ͚ͯվળ͠ଓ͚͍ͯ͘
harukasan
gonkun
hamadakoji
line_developers
ymotongpoo
john_smith
izumin5210
culvert
shimacos
non97
hagevvashi
bengo4com
quramy
edds
rocio
akosma
jcasabona
jnunemaker
jakevdp
maggiecrowley
stephaniewalter
roundedbygravity
jponch
jacobian