$30 off During Our Annual Pro Sale. View Details »

LINEのネットワーク開発プロジェクト / Network Development Project

LINEのネットワーク開発プロジェクト / Network Development Project

LINEのネットワーク開発プロジェクト
市原裕史(LINE株式会社 ITSC Verda室 ネットワーク開発チーム・ソフトウェアエンジニア)
ネットワーク開発チームでは、LINE社内で提供しているプライベートクラウドに関連したネットワーク機能を中心として、LINEのネットワークインフラ全般の開発を実施しています。このセッションでは、我々のチームが現在取り組んでいるいくつかの開発プロジェクトについてご紹介します。

LINE Developers
PRO

August 19, 2020
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1. LINE Developer Meetup #67
    Network Development Project
    Hirofumi Ichihara
    LINE corporation

    View Slide

  2. LINE Developer Meetup #67
    About Me

    Hirofumi Ichihara

    LINE Corporation
    ○ Verda室 ネットワーク開発チーム

    Network Software Developer
    ○ SDN/NFV
    ○ OpenStack Neutron
    ○ Kubernetes
    2

    View Slide

  3. LINE Developer Meetup #67
    Agenda

    Private Cloud Verda

    Network Development Project
    ○ Hyper-scale Internet Gateway
    ○ Fine-grained end-to-end network quality monitoring
    ○ Multi-tenancy Networking with SRv6
    ○ Fabric Load Balancer
    3

    View Slide

  4. LINE Developer Meetup #67
    組織
    4
    ITサービスセンター
    Verda室 XX室 XX室

    NW開発チーム
    プライベートクラウドに関連した
    ネットワーク開発プロジェクトをリード

    View Slide

  5. LINE Developer Meetup #67
    Private Cloud
    5

    View Slide

  6. LINE Developer Meetup #67
    Verda & LINE Infra Scale
    6
    Virtual Machine 55000+
    Baremetal server 20000+
    Hypervisor 2000+
    All Physical Servers 50000+
    Peak of User Traffic 3Tbps+

    View Slide

  7. LINE Developer Meetup #67
    7
    FaaS
    IaaS
    PaaS
    KaaS
    Container Event Stream DBaaS DB Search and Analytics
    VM Identity Network Image DNS Block Storage Object Storage
    Bare
    metal
    Load
    Balancer
    Function

    View Slide

  8. LINE Developer Meetup #67
    なぜプライベートクラウド︖
    8
    ユーザ アプリケーション
    開発者
    インフラ
    開発者
    サービス要望
    サービス提供
    機能要望
    コミュニケーション
    新機能提供
    サービスやアプリケーションの要件に合わせた
    インフラの開発に集中し、迅速に提供が可能
    All emojis designed by OpenMoji – the open-source emoji and icon project. License: CC BY-SA 4.0

    View Slide

  9. LINE Developer Meetup #67
    9
    Network Development Projects の⼀部を紹介
    Server
    Internet
    Server
    NAT
    L4LB
    L7LB
    Monitoring
    Server Server Server
    VM Pod VM VM
    SRv6

    View Slide

  10. LINE Developer Meetup #67
    Hyper-scale Internet Gateway
    Internet
    Server Server Server Server
    VM VM VM VM VM VM
    Server Server Server
    Server Server Server Server Server Server Server
    10

    View Slide

  11. LINE Developer Meetup #67
    Hyper-scale Internet Gateway
    Internet
    Server Server Server Server
    VM VM VM VM VM VM
    Server Server Server
    Server Server Server Server Server Server Server
    11
    Scale out by BGP Anycast + ECMP + PBR + IPIP
    Scale out by BGP Anycast + ECMP + PBR

    View Slide

  12. LINE Developer Meetup #67
    Fine-grained end-to-end
    network quality monitoring
    Server Server Server Server Server Server
    Server Server Server Server Server
    Server
    Server Server
    12
    遅延増加 接続断
    ⾼負荷
    ⾼負荷

    View Slide

  13. LINE Developer Meetup #67
    Multi-tenancy Networking with SRv6
    Full L3 CLOS ネットワーク*
    ● 単⼀の L3 ネットワーク
    ● LINE サービスの多くがこのネットワークを利⽤
    * Excitingly simple multi-path OpenStack networking: LAG-less, L2-less, yet fully redundant
    https://www.slideshare.net/linecorp/excitingly-simple-multipath-openstack-networking-lagless-l2less-yet-
    fully-redundant



    仮想プライベートネットワーク
    ● サービスに応じて柔軟にネットワークを構築
    ● それぞれが独⽴し接続性のない仮想ネットワーク
    13



    View Slide

  14. LINE Developer Meetup #67
    Server
    14
    Multi-tenancy Networking with SRv6
    CLOS Network
    with IPv6
    VM VM VM
    VRF
    VRF
    Server
    VM VM VM
    VRF
    VRF
    SRv6 Header Packet

    View Slide

  15. LINE Developer Meetup #67
    Fabric Load Balancer
    Pod
    Pod
    Pod
    Pod
    Server
    Server
    Server
    Server
    Server
    Server
    Server
    XDP L4LB
    L7LB
    L3 ECMP
    All emojis designed by OpenMoji – the open-source emoji and icon project. License: CC BY-SA 4.0
    15

    View Slide

  16. LINE Developer Meetup #67
    Layer 4 Load Balancer
    16
    Linux
    User land
    L4LB
    Controller
    Linux
    Kernel land
    XDP
    • Consistent hash
    • IPIP
    TCP/IP stack
    NIC driver
    NIC
    Config via BPF MAP

    View Slide

  17. LINE Developer Meetup #67
    Other Projects?
    17
    NWデータプレーンパフォーマンステスト
    CLOSネットワークオーケストレータ
    続きはこのあとの発表で︕

    View Slide

  18. LINE Developer Meetup #67
    Weʼre Hiring!
    ネットワークオーケストレーション ポジション
    https://linecorp.com/ja/career/position/2118
    採⽤イベント カジュアル⾯談Days
    https://line.connpass.com/event/184646/
    18

    View Slide