ISPがサーバレスに手を出した / ISP Challenges Serverless

by Takeshi "George" Matsuda

Slide 1

Slide 1 text

#serverlessdays #serverlesstokyo #slsisp

Slide 2

Slide 2 text

Copyright © NTT Communications Corporation. All rights reserved. 伊藤良哉 NTTコミュニケーションズ株式会社・OCNの設計 - フレッツIPoE接続設計 - OCN関連アプリケーション開発・対外活動 - JANOG43「OCNネットワークアーキテクチャの変遷と将来」講演 - JANOG44,45 プログラム委員 - CEDEC2019 「ネットワーク事業者と語るゲーム通信」講演

Slide 3

Slide 3 text

Copyright © NTT Communications Corporation. All rights reserved. • IPv6 ISP サービス⽴ち上げ〜運⽤ • IX運⽤ • 国際Tier-1 ISPのサービス戦略 • OCN 設計・開発 • コンシューマ向け（フレッツ）メニューの機能設計 • IPv4, IPv6 共存技術松⽥丈司 Takeshi "George" Matsuda NTT Communications Corp.

Slide 4

Slide 4 text

Copyright © NTT Communications Corporation. All rights reserved. 会社概要⻑距離通信事業⽇本電信電話株式会社 Ø 営業収益 : 13,920億円 <海外展開> Ø 41ヶ国/地域, 110都市に拠点あり Ø ネットワークサービスの提供エリアは190ヶ国/地域以上 Ø アジア最⼤のTier-1 IPバックボーンプロバイダ Ø データセンタは140以上の拠点を世界に展開 <2018年度決算> * すべて再編前の情報 Ø 営業利益 : 1,321億円 Ø 合計 : 約 23,300 ⼈ NTT Ltd. NTT株式会社(NTT, Inc.)

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Copyright © NTT Communications Corporation. All rights reserved. 10 従来⽅式とOCN v6アルファ/バーチャルコネクト IPv4 Network 宅内ルータフレッツ網(IPv6 Only) PPPoEトンネル網終端装置混雑 IPv6 Network IPv4 Network BR OCN IPv6 Internet IPv4 Internet ■従来⽅式 ■v6アルファ ■バーチャルコネクト IPv4 Internet IPv4 over IPv6トンネルフレッツ網(IPv6 Only) OCN PPPoE: Point-to-Point Protocol over Ethernet BR: Border Relay

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Copyright © NTT Communications Corporation. All rights reserved. 12 serverless 適⽤場所・OCNが採⽤しているIPv4 over IPv6⽅式はMAP-E ・MAP-EではIPv4/IPv6変換ルールを通信開始前に取得する必要・MAPルール配信機能をサーバレスアーキテクチャで作った︕ ルール配信機能 ①ルール取得 ④decap ②ルールからIPv4パケットを IPv6ヘッダでencap ⑤IPv4通信 ③IPv4 over IPv6通信宅内ルータ BR ←ここ MAP-E: Mapping of Address and Port Encapsulation BR: Border Relay

Slide 14

Slide 14 text

Copyright © NTT Communications Corporation. All rights reserved. 13 初期アーキテクチャ Azure CDN Azure Storage Azure Function AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Azure Application Insight Amazon CloudWatch 宅内ルータ名前解決

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright © NTT Communications Corporation. All rights reserved. ・社内クラウドを利⽤しない理由 - IPv6対応が… ・⼀から作らない場合の信頼性の担保 - シングルクラウドからマルチクラウドへ・会社としての与信審査 - 初めての取引相⼿だったので… 19 社内基準と通信事業としての基準不稼働率 [分/年] 回線数配信サーバ信頼性 f(x)

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright © NTT Communications Corporation. All rights reserved. 21 IPv6の受難 Azure Function リクエスト宅内ルータ名前解決 AWS Lambda Amazon API Gateway Amazon DynamoDB Azure Storage Amazon Route 53 初期検討構成はこれ IPv6 IPv6

Slide 23

Slide 23 text

Copyright © NTT Communications Corporation. All rights reserved. 22 IPv6の受難 Azure CDN Azure Storage Azure Function AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 リクエスト宅内ルータ名前解決⼊れたくないけど、CDN⼊れました

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright © NTT Communications Corporation. All rights reserved. 28 初期アーキテクチャ再掲 Azure CDN Azure Storage Azure Function AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Azure Application Insight Amazon CloudWatch 宅内ルータ名前解決

Slide 30

Slide 30 text

Copyright © NTT Communications Corporation. All rights reserved. 29 構成変更1 AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Amazon CloudWatch 宅内ルータ名前解決 AWS Lambda Amazon API Gateway Amazon DynamoDB 東京リージョンシンガポールリージョン Amazon SQS AWS単独構成。DB同期はSQS。

Slide 31

Slide 31 text

Copyright © NTT Communications Corporation. All rights reserved. 30 構成変更2 AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Amazon CloudWatch 宅内ルータ名前解決 AWS Lambda Amazon API Gateway Amazon DynamoDB 東京リージョンシンガポールリージョン AWS単独構成。DB同期はGlobal Table。 global table replication

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Copyright © NTT Communications Corporation. All rights reserved. prod local (test, dev) 32 overview AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Amazon CloudWatch 初期アーキテクチャの際はオフライン環境断念 ... sorry! local test plugins CI pipeline test

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Copyright © NTT Communications Corporation. All rights reserved. 36 テスト⾃動化全般 Ref: "Testable Lambda: Working Effectively with Legacy Lambda" by @t_wada https://speakerdeck.com/twada/testable-lambda-working-effectively-with-legacy-lambda?slide=53 ローカルで軽量に⾏えることを意識デプロイして⾏うテストは必要最低限に Large Medium Small

Slide 38

Slide 38 text

Copyright © NTT Communications Corporation. All rights reserved. prod 37 ローカルでのテスト AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Amazon CloudWatch 初期アーキテクチャの際はオフライン環境断念 ... sorry! test CI pipeline local (test, dev) local test plugins

Slide 39

Slide 39 text

Copyright © NTT Communications Corporation. All rights reserved. 38 ローカルでのテスト Size Approach Location Tool Large API call AWS • robot framework Medium local Small Lambda handler に event を直接与えて正常系・異常系を網羅 • mocha • power-assert • serverless framework とプラグインを駆使し、なるべくローカルでテストを済ませる • リファクタリングが圧倒的にやりやすい（安⼼感） plugins • serverless-offline • serverless-dynamodb-local テスト設計概要

Slide 40

Slide 40 text

Copyright © NTT Communications Corporation. All rights reserved. prod local (test, dev) 39 負荷試験・⻑時間試験 AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Amazon CloudWatch 初期アーキテクチャの際はオフライン環境断念 ... sorry! local test plugins CI pipeline test

Slide 41

Slide 41 text

Copyright © NTT Communications Corporation. All rights reserved. 40 負荷試験・⻑時間試験もう1段階のテストテスト設計概要 Size Test Location Tool X-large? 負荷試験・⻑時間試験 AWS • gatling Large API call • robot framework Medium local Small Lambda handler に event を直接与えて正常系・異常系を網羅 • mocha • power-assert

Slide 42

Slide 42 text

Copyright © NTT Communications Corporation. All rights reserved. ⽬標性能 (request/sec) が出るか、⻑時間安定して稼働するかを試験 Gatling の特徴・レポートが充実している・使い⽅も簡単・無償版でも頑張れば scale-out できる・有償版（Gatling FrontLine）もある・https://gatling.io 41 負荷試験・⻑時間試験

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Copyright © NTT Communications Corporation. All rights reserved. prod local (test, dev) 45 CI pipeline AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Amazon CloudWatch 初期アーキテクチャの際はオフライン環境断念 ... sorry! local test plugins CI pipeline test

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Copyright © NTT Communications Corporation. All rights reserved. local test plugins 48 Infra as Code with Serverless Framework 初期アーキテクチャの際はオフライン環境断念 ... sorry! CI pipeline test prod local (test, dev) AWS Lambda Amazon CloudFront Amazon API Gateway Amazon DynamoDB AWS WAF Amazon Route 53 Amazon CloudWatch

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Copyright © NTT Communications Corporation. All rights reserved. Azure は Functions のみ対応。当時は AWS ほど充実した開発環境ではなかった AWS も全構成のコード化は困難 50 Infra as Code with Serverless Framework 例: DynamoDB Global-table の replication group 作成 è `sls deploy` のあとに aws cli でやっている

Slide 52

Slide 52 text

Copyright © NTT Communications Corporation. All rights reserved. 構成変更は "Immutable Infra" を型としてやってきた。みなさんこういう感じでしょうか︖ 51 Infra as Code with Serverless Framework new old (2) ダウンタイムなしでデータ移⾏, 完全同期. Lambda, SQS, S3, Data Pipelineを駆使 (1) 新セットを sls deploy (3) origin を新セットに切替 (4) 旧セットを sls remove

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Copyright © NTT Communications Corporation. All rights reserved. • わたしたち⾃⾝ • これからもどんどんサーバーレスを採⽤していく • 無理はしない（システム全体のサーバーレス化, 等） • テスト⾃動化も緩急つけたい • 技術動向のウォッチ • FaaS ごとのクセ…標準化は難しい︖ Knative や Cloud Run 試していく • IPv6 対応をよろしくお願いします︕ CDNなしでIPv6対応したいなぁ (´・ω・｀) • 仲間を増やしたい • 社内: 全社新⼊社員研修をジャックして布教活動 blog: https://developer.ntt.com/ja/blog/7bd554e6-30df-4c33-9e94-7e4202bdf2c0 講義内容: https://gitpitch.com/nttcom/2019-sw-training?p=faas/presentation • 社外: みなさん仲良くしてください︕ 54 今後の展望

Slide 56

Slide 56 text

Copyright © NTT Communications Corporation. All rights reserved. 55 導⼊障壁は⾼かった（≠技術）正直、いきなり全部できたわけじゃない。イケてない部分はまだ多い（コードのメンテナンス性, 設計やテスト計画の勘所, etc. ）ただ、サーバーレスはネットワークエンジニアにも⼊りやすい領域だった Software-Definedなネットワークへの糧 ISPがサーバーレスに⼿を出してみてよかった︕