PHPConference2013Presentation #phpcon2013

Slide 1

Slide 1 text

ミッションクリティカル&&ハイパフォーマンスシステムにおける技術統合と運用の勘所 @@bbaasshh00CC77 こしばとしあき ((株))VVOOYYAAGGEE GGRROOUUPP,, ((株))ZZuucckkss

Slide 2

Slide 2 text

『古きよき時代から来ました　真面目なSSEE 真面目にSSEE』優等生担当、bbaasshh00CC77ことこしばとしあき基幹業務からBB22CCサービス運営まで、管理・設計・開発・運用を幅広くかつフルスタックに担当株式会社VVOOYYAAGGEE GGRROOUUPP エンジニア　アジャイル戦略室ファウンダー　株式会社ZZuucckkss アドネットワーク事業部関西RRuubbyy会議0055スピーカー((22001133//0088)) 東京RRuubbyy会議1100実行委員長((22001133//0011,,0033)) SShhiibbuuyyaa..rrbb

Slide 3

Slide 3 text

闇PPHHPPMMaattssuurrii22001111首謀者 IUUQUFDIWPZBHFHSPVQDPNBSDIJWFTIUNM

Slide 4

Slide 4 text

広告配信システムというミッションクリティカルかつハイパフォーマンスが要求されるシステムの開発・運用を通じて会得した技術的・チーム的な知見をお話します。 IUUQQIQDPOQIQHSKQX ミッションクリティカル&&ハイパフォーマンスシステムにおける技術統合と運用の勘所

Slide 5

Slide 5 text

l 11.. このようなシステムで PPHHPPがはどのような部分で活躍するのか

Slide 6

Slide 6 text

l 22.. PPHHPPを含めて様々な技術要素を統合した""システム""として成り立たせるためには何が必要か

Slide 7

Slide 7 text

システム

Slide 8

Slide 8 text

スマートフォン向�けクリック課金型アドネットワーク ZZuucckkssアドネットワーク IUUQ[VDLTDPKQTFSWJDFBEOFU

Slide 9

Slide 9 text

スマホ広告大戦争 IUUQTUVETKQ.0#J41300'IUNM

Slide 10

Slide 10 text

22001133年77月新システムにフルリプレース完了

Slide 11

Slide 11 text

特徴

Slide 12

Slide 12 text

✓リアルタイムレポート ✓莫大な配信ボリューム ✓無停止メンテナンス ✓柔軟な改�修対応

Slide 13

Slide 13 text

No content

Slide 14

Slide 14 text

✓インフラ ✓アプリケーション ✓モニタリング

Slide 15

Slide 15 text

インフラ

Slide 16

Slide 16 text

ほぼAAWWSS ((DDNNSSとCCDDNNは他所))

Slide 17

Slide 17 text

鉄板の富豪構成パターン MMuullttii LLooaadd BBaallaanncceerr MMuullttii--DDaattaacceenntteerr MMuullttii--SSeerrvveerr

Slide 18

Slide 18 text

MMaannaaggeemmeenntt CCoonnssoollee IUUQBXTBNB[PODPNKQDMPVEGPSNBUJPO

Slide 19

Slide 19 text

作業の再現性が皆無手順書頼りになる…�

Slide 20

Slide 20 text

の、ようなもの IUUQBXTBNB[PODPNKQDMPVEGPSNBUJPO

Slide 21

Slide 21 text

CClloouuddFFoorrmmaattiioonn IUUQBXTBNB[PODPNKQDMPVEGPSNBUJPO

Slide 22

Slide 22 text

l システム開発や運用保守においては、テスト環境やステージング環境を準備するのが一般的である。これらの環境は常時利用するものではないので、本番環境と同じ台数のサーバーを用意するのはコスト効率が悪い。 IUUQBXTDMPVEEFTJHOQBUUFSOPSHJOEFYQIQ $%14UBDL@%FQMPZNFOUύλʔϯ

Slide 23

Slide 23 text

テンプレート ++ CCLLIIの併用

Slide 24

Slide 24 text

テンプレから変更が少ないネットワーク部分を構築

Slide 25

Slide 25 text

次にCCLLIIでネットワーク上に置く変更激しいもの設置

Slide 26

Slide 26 text

富豪構成らくらく実現

Slide 27

Slide 27 text

インフラまとめ

Slide 28

Slide 28 text

インフラ、変更怖い…� テンプレ化で脱手順書クイックな変更の考慮

Slide 29

Slide 29 text

アプリケーション

Slide 30

Slide 30 text

No content

Slide 31

Slide 31 text

11.. ddllvv((配信)) SSccaallaa 22..99 ++ SSeerrvvlleett 33..00 22.. jjss SSccaallaa 22..99 ++ SSeerrvvlleett 33..00 33.. kksskk((計測)) PPHHPP 55..44 ,, GGaauucchhee 00..99 44.. mmss((管理画面)):: PPHHPP 55..44 ++ SSyymmffoonnyy22

Slide 32

Slide 32 text

開発環境

Slide 33

Slide 33 text

✓テストコード完備 ✓PPuullll RReeqquueesstt運用 ✓継続的インテグレーション完備 ✓ワンクリックデプロイ完備 ✓本番同等検証環境完備

Slide 34

Slide 34 text

ワンクリックデプロイ

Slide 35

Slide 35 text

zzggookkコマンド

Slide 36

Slide 36 text

どの種類のAAPPサーバでも zzggookk ((ssttaarrtt||uuppddaattee||ssttoopp))

Slide 37

Slide 37 text

夜も寝れないこわーいこと

Slide 38

Slide 38 text

サービス停止！ IUUQGBSFBTUWJCFTDPNXQDPOUFOUVQMPBET*%0-JT%&"%QOH

Slide 39

Slide 39 text

配信できない計測できない

Slide 40

Slide 40 text

✓ぼっちで動く ✓レスポンスだけ速攻返却 ✓書き込みを調整

Slide 41

Slide 41 text

ぼっちで動く

Slide 42

Slide 42 text

No content

Slide 43

Slide 43 text

レスポンスだけ速攻返却

Slide 44

Slide 44 text

薄いAAPPと ffaassttccggii__ffiinniisshh__rreeqq uueesstt

Slide 45

Slide 45 text

11.. リクエスト受ける 22.. ffaassttccggii__ffiinniisshh__rreeqquueesstt を呼んでレスポンス返す 33.. AAPPのアクセスログ出力 44.. 別プロセスでログからDDBB 書き込み

Slide 46

Slide 46 text

書き込みを調整

Slide 47

Slide 47 text

フロントが吐いたログをバックが読んでDDBBに書き込む

Slide 48

Slide 48 text

fflluueennttdd IUUQqVFOUEPSH

Slide 49

Slide 49 text

TPVSDF ņUZQFUBJM ņQBUIQBUIUPMPH ņUBH[HPLBE ņLFZTMPH@UZQF WFSTJPO SFRVFTU@UJNF TPVSDF NBUDI[HPLBE ņUZQFFYFD ņDPNNBOEFOWHPTIQBUIUPBQ ņLFZTMPH@UZQF WFSTJPO SFRVFTU@UJNF NBUDI

Slide 50

Slide 50 text

✓事実上リアルタイム処理 ✓パフォーマンス調整 ✓自動リトライ機能 ✓手動リカバリー容易

Slide 51

Slide 51 text

レスポンスを速攻返却

Slide 52

Slide 52 text

例えばPPHHPPをやめる

Slide 53

Slide 53 text

AAPPに囚われない

Slide 54

Slide 54 text

富豪的解決

Slide 55

Slide 55 text

鉄板の富豪構成パターン MMuullttii LLooaadd BBaallaanncceerr MMuullttii--DDaattaacceenntteerr MMuullttii--SSeerrvveerr

Slide 56

Slide 56 text

スケールアウト＋スケールアップ

Slide 57

Slide 57 text

アプリケーションまとめ

Slide 58

Slide 58 text

ワンクリックデプロイ、テスト、CCIIなど活動の基礎必要さを満たす技術を選ぶ富豪的解決の道も大いにあり

Slide 59

Slide 59 text

モニタリング　

Slide 60

Slide 60 text

No content

Slide 61

Slide 61 text

だいたい鉄板

Slide 62

Slide 62 text

✓fflluueennttddでログ収集 ✓GGrroowwtthhFFoorreeccaassttでグラフ化 ✓XXyymmoonnでアラート通知

Slide 63

Slide 63 text

fflluueennttdd IUUQqVFOUEPSH

Slide 64

Slide 64 text

✓インスタンスのログ集約 ✓hhttttppステータス集計 ✓レスポンスタイム集計 ✓CClloouuddWWaattcchhの情報集約 ✓総CCPPUU利用率取得 ✓インスタンス台数取得 ✓などなど

Slide 65

Slide 65 text

GGrroowwtthhFFoorreeccaasstt

Slide 66

Slide 66 text

グラフ事前定義不要

Slide 67

Slide 67 text

XXyymmoonn（旧HHoobbbbiitt）

Slide 68

Slide 68 text

クライアントからppuusshh

Slide 69

Slide 69 text

fflluueennttddのデータも扱いたい IUUQqVFOUEPSH

Slide 70

Slide 70 text

XXyymmoonnサーバにTTCCPP でメッセージ投げ ssttaattuuss ##{{hhoossttnnaammee}}..##{{tteessttnnaammee}} ##{{ccoolloorr}} ##{{ttiimmee}} ##{{bbooddyy}}

Slide 71

Slide 71 text

ӡ༻؂ࢹπʔϧʹ౤͛Δ qVFOUग़ྗϓϥάΠϯ qVFOUQMVHJO YZNPO IUUQSVCZHFNTPSHHFNTqVFOUQMVHJOYZNPO IUUQTHJUIVCDPNCBTI$qVFOUQMVHJOYZNPO

Slide 72

Slide 72 text

モニタリングまとめ

Slide 73

Slide 73 text

手軽に計測手軽に監視足らんなら作って公開

Slide 74

Slide 74 text

スマートフォン向�けクリック課金型アドネットワーク ZZuucckkssアドネットワーク IUUQ[VDLTDPKQTFSWJDFBEOFU

Slide 75

Slide 75 text

✓インフラ ✓アプリケーション ✓モニタリング

Slide 76

Slide 76 text

l 11.. このようなシステムで PPHHPPがはどのような部分で活躍するのか

Slide 77

Slide 77 text

どこでも。あなたがそれが良い選択だと評価できるならば。

Slide 78

Slide 78 text

l 22.. PPHHPPを含めて様々な技術要素を統合した""システム""として成り立たせるためには何が必要か

Slide 79

Slide 79 text

自分たちで検討して、動かして、測定して、評価する。

Slide 80

Slide 80 text

そして、これから ttoo BBee

Slide 81

Slide 81 text

新しい事業を展開より多くのトラフィック

Slide 82

Slide 82 text

もっとシンプルにもっと高速にもっと構成要素を少なく他、色々！

Slide 83

Slide 83 text

目下、大戦争激化中 IUUQTUVETKQ.0#J41300'IUNM

Slide 84

Slide 84 text

変わり続けなければ死ぬ IUUQGBSFBTUWJCFTDPNXQDPOUFOUVQMPBET*%0-JT%&"%QOH

Slide 85

Slide 85 text

変わり続ける事が安定 cchhaalllleennggeerr

Slide 86

Slide 86 text

暁の水平線�に勝利を刻め IUUQXXXRFUJDKQNBJOXQDPOUFOUVQMPBETOFXT@CJT@NBJOKQH DF