バリエーションで差をつける。myshoesの新たな挑戦 #cicd_test_night

サイバーエージェントではGitHub Actionsのself-hosted runnerの運用ツールとしてmyshoesというOSSを開発し、社内向けに提供しています。 今回は最近のアップデートと共に、新しいmyshoesの利用事例についてご説明します。

Talked by CI/CD Test Night #6 GitHub Actionsセルフホストランナーのインフラ運用

Transcript

1. バリエーションで差をつける。
   
   
   myshoesの新たな挑戦
   株式会社サイバーエージェント CIU Development div
   

   Nakanishi Kento @whywaita
   
   
   CI/CD Test Night #
   6
   @
   2
   02 3
   /
   0 5
   /
   2 6
   #cicd_test_night
   

   View Slide

2. Nakanishi Kento / whywaita
   • 株式会社サイバーエージェント 2019〜
   
   
   • 業務: CAグループ向けプライベートクラウド開発
   
   
   • IaaS の開発
   
   
   • OSS (myshoes) の開発
   

   & OSSを⽤いたマネージドサービス PdM
   
   
   • 趣味: ポーカー / XREAL Air / ⾃宅インフラ
   

   View Slide

3. View Slide

4. 4
   オススメです
   

   View Slide

5. 5
   閑話休題
   

   View Slide

6. GitHub Actionsの
   

   runner事情
   6
   

   View Slide

7. GitHub Actionsの好きなところ
   • GitHubリポジトリとの連携がスムーズ
   
   
   • ⼀通り⼈間がほしい機能が *だいたい* ある
   
   
   • on.schedule, on.work
   fl
   ow_dispatch, matrix
   …
   
   
   • runner が Virtual Machine (not Container)
   
   
   • docker run が普通にできる
   
   
   • mkmod / dbus が普通にできる
   
   
   • つまり何でも動くということだ
   7
   

   View Slide

8. docker run ができる
   • runner内では dockerd がそのまま動いている
   
   
   • テストに必要なdockerコンテナ
   
   
   • 例: ory/dockertest
   
   
   • MySQL, Redis, minio
   …
   + self build image ok
   
   
   • helm/kind-action
   
   
   • A GitHub Action for Kubernetes IN Docker
   8
   

   View Slide

9. mkmod / dbus が普通にできる
   iSCSI initiator のテストがうごく
   

   

   

   

   9
   https://github.com/lovi-cloud/go-os-brick/blob/master/test/scripts/init.sh
   

   View Slide

10. mkmod / dbus が普通にできる
    LXDを動かしてpacker buildできる
    

    

    

    

    10
    https://github.com/whywaita/actions-runner-images-lxd
    

    View Slide

11. 便利 ✨
    11
    

    View Slide

12. runnerについて
    • 2種類が存在
    
    
    • GitHub-hosted runner
    
    
    • GitHubが管理してくれるrunner
    
    
    • self-hosted runner
    
    
    • ⾃分で管理するrunner
    
    
    • actions/runner をVMにインストール
    12
    

    View Slide

13. runnerについて
    • 2種類が存在
    
    
    • GitHub-hosted runner
    
    
    • GitHubが管理してくれるrunner
    
    
    • self-hosted runner
    
    
    • ⾃分で管理するrunner
    
    
    • actions/runner をVMにインストール
    13
    ⼀⻑⼀短
    

    View Slide

14. GitHub-hosted Runner
    • Pros
    
    
    • 完全マネージド
    
    
    • Cons
    
    
    • スペックが 2Core
    7
    GB 固定
    
    
    • ⾃前でやるよりは⾼い
    14
    

    View Slide

15. self-hosted Runner
    • Pros
    
    
    • ⾃⼰のインフラで実⾏可能 （スペック、IP）
    
    
    • Cons
    
    
    • 冪等性がない
    
    
    • self-hosted⽤terraformを管理する
    

    terraformをself-hostedで動かして……
    15
    

    View Slide

16. そんなときに便利なのが……
    16
    

    View Slide

17. View Slide

18. 18
    とは
    

    View Slide

19. whywaita/myshoes
    • Auto scaling self-hosted runner
    

    for GitHub Actions
    
    
    • runnerには様々な環境のインフラが利⽤可能
    
    
    • OSS: https://github.com/whywaita/
    myshoes
    19
    

    View Slide

20. whywaita/myshoes
    • runnerには様々な環境のインフラが利⽤可能
    
    
    • hashicorp/go-plugin を利⽤
    
    
    • terraformが内部で利⽤しているプラグイン
    
    
    • shoes-aws, shoes-gcp, shoes-openstack, shoes-
    lxd etc etc...
    
    
    • https://github.com/topics/myshoes-provider
    20
    

    View Slide

21. 内部動作 - 追加時
    21
    Cloud Provider
    
    
    • AWS / GCP / Azure
    
    
    • LXD
    
    
    • OpenStack
    
    
    • etc etc
    …
    ② Send a webhook
    

      to myshoes
    ① Request job
    ③ Execute provider
    Virtual Machine
    
    
    with actions/runner
    ④ Create an instance
    ⑤ Register runner
    

    View Slide

22. 内部動作 - 削除時
    22
    Cloud Provider
    
    
    • AWS / GCP / Azure
    
    
    • LXD
    
    
    • OpenStack
    
    
    • etc etc
    …
    ① Get a list of runner
    ③ Execute provider
    Virtual Machine
    
    
    with actions/runner
    ④ Delete an instance
    ② Check to delete runner
    

    View Slide

23. 内部動作 - 追加時
    23
    Cloud Provider
    
    
    • AWS / GCP / Azure
    
    
    • LXD
    
    
    • OpenStack
    
    
    • etc etc
    …
    ② Send a webhook
    

      to myshoes
    ① Request job
    ③ Execute provider
    Virtual Machine
    
    
    with actions/runner
    ④ Create an instance
    ⑤ Register runner
    

    View Slide

24. 内部動作 - 追加時
    24
    Cloud Provider
    
    
    • AWS / GCP / Azure
    
    
    • LXD
    
    
    • OpenStack
    
    
    • etc etc
    …
    ③ Execute provider
    Virtual Machine
    
    
    with actions/runner
    ④ Create an instance
    ② Send a webhook
    

    ① Request job
    ⑤ Register runner
    

    View Slide

25. 内部動作 - shoes provider
    25
    Cloud Provider
    Execute provider
    
    
    (hashicorp/go-plugin)
    Virtual Machine
    
    
    with actions/runner
    shoes-xxx
    Virtual Machine
    
    
    with actions/runner
    Virtual Machine
    
    
    with actions/runner
    Call API
    1
    .Runner Name : runnerに付けるべき名前
    
    
    2
    .Setup Script : actions/runner展開スクリプト
    
    
    3
    .Resource Type : runnerのスペック
    

    View Slide

26. 内部動作 - shoes-aws
    26
    Amazon Web Services
    Execute provider
    
    
    (hashicorp/go-plugin)
    EC
    2
    
    with actions/runner
    shoes-aws
    EC
    2
    
    with actions/runner
    EC
    2
    
    with actions/runner
    Call AWS REST API
    1
    .Runner Name to tag “Name”
    
    
    2
    .Setup Script to cloud-init user-data
    
    
    3
    .Resource Type to AWS Instance Type
    

    View Slide

27. 内部動作 - shoes-lxd
    27
    LXD server
    Execute provider
    
    
    (hashicorp/go-plugin)
    LXD Container
    
    
    with actions/runner
    shoes-lxd
    Call LXD REST API
    LXD Container
    
    
    with actions/runner
    LXD Container
    
    
    with actions/runner
    1
    .Runner Name to Instance name
    
    
    2
    .Setup Script to cloud-init user-data
    
    
    3
    .Resource Type to limits.cpu, limits.memory
    

    View Slide

28. バリエーションが産まれる ✨
    28
    

    View Slide

29. 様々なバリエーション
    • Public Cloudの安価なインスタンス
    
    
    • AWS Spot Instances, GCP Preemptible Instances
    
    
    • Private Cloud, ⾃宅サーバ
    
    
    • LXD, OpenStack
    
    
    • 専⽤ハードウェア対応
    
    
    • GPU, FPGA
    29
    

    View Slide

30. サイバーエージェントにおける
    

    myshoesの活⽤事例
    30
    

    View Slide

31. 31
    プライベートクラウド
    

    View Slide

32. プライベートクラウド
    32
    •社内（CAグループ）向けクラウド基盤
    
    
    •特徴
    
    
    •社内の需要に合わせた物理設計
    
    
    •⼀括購⼊によるコストメリット
    
    
    •安価に計算機資源を利⽤可能
    

    View Slide

33. Cycloud
    33
    •Cy(berAgent)cloud
    
    
    •各種サービスの提供
    
    
    •IaaS / KaaS / PaaS / ML Platform
    
    
    •Cycloud-hosted runner (myshoes)
    

    View Slide

34. 34
    https://www.tomorrow-net.co.jp/case_detail/cyberagent/
    

    View Slide

35. 35
    https://www.cyberagent.co.jp/news/detail/id=
    2 84 8
    4
    

    View Slide

36. 36
    https://isucon.net/archives/
    55 5
    3 3
    0 13
    .html
    

    View Slide

37. プライベートクラウド
    37
    •社内（CAグループ）向けクラウド基盤
    
    
    •特徴
    
    
    •社内の需要に合わせた物理設計
    
    
    •⼀括購⼊によるコストメリット
    
    
    •安価に計算機資源を利⽤可能
    

    View Slide

38. 38
    安価に計算機資源を利⽤可能
    

    ↓
    

    CIサービスの提供に向いている 💯
    

    View Slide

39. サイバーエージェントのCI事情
    • 技術選定は各プロダクトが⾏う
    
    
    • github.com , GitHub Enterprise Server, GitLab
    
    
    • Jenkins, Travis CI, CircleCI, Drone CI, Bitrise
    
    
    • エンタープライズ契約を⾏うことも
    

    ex:) CircleCI Enterprise
    
    
    • GitHub Actionsもbeta時代から⼀部プロダクトで導⼊
    39
    

    View Slide

40. サイバーエージェントのCI事情
    • Circle CI Enterprise からGitHub Actionsへの移⾏需要
    
    
    • Enterprise 契約の終了
    
    
    • コストメリットの低下
    
    
    • サポートコストの増加
    
    
    • Cycloudの安価な計算機資源が利⽤できるのでは？
    
    
    → myshoesの開発へ
    40
    

    View Slide

41. サイバーエージェント では
    • myshoesをマネージドサービスとして提供
    
    
    • Cycloudユーザでも⾮ユーザでも利⽤可
    
    
    • GHES, GHEC, github.com 全対応
    
    
    • 社内のほぼ全てのユースケースに対応
    
    
    • マルチテナントとして提供
    41
    

    View Slide

42. サイバーエージェントにおけるmyshoes構成
    • whywaita/myshoes + shoes-lxd-multi
    
    
    • LXD (LinuX Container Daemon)
    
    
    • マルチテナント提供: myshoes-controller
    
    
    • MySQL Cluster (with orchestrator)
    
    
    • Docker Registry v
    2
    , LXD image server
    42
    

    View Slide

43. Kubernetes Cluster
    サイバーエージェントにおけるmyshoes構成
    43
    myshoes-proxy
    
    
    (Global IP)
    github.com
    
    
    GHES
    User
    Tenant A
    Tenant B
    webhook
    myshoes REST API
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    k
    8
    s Service
    k
    8
    s Service
    for Service X
    for Service Y
    k
    8
    s Service
    Tenant C
    k
    8
    s Service
    

    View Slide

44. 既存 Cycloud
    サイバーエージェントにおけるmyshoes構成
    44
    Tenant A
    Tenant B
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    k
    8
    s Service
    k
    8
    s Service
    for Service X
    for Service Y
    k
    8
    s Service
    Tenant C
    k
    8
    s Service
    Service VM
    Service VM
    Service VM
    既存 Cycloud ユーザは
    

    ⾃テナントのVMとの接続が可能
    

    他テナントのVMとの接続は不可
    

    View Slide

45. サイバーエージェントにおけるmyshoes仕様
    • Cycloud VMをStadiumとしGitHub-hostedよりも安価に提供
    
    
    • LXDイメージはGitHub-hostedとほぼ同じイメージを利⽤
    
    
    • https://github.com/whywaita/actions-runner-images-lxd
    
    
    • runnerスペック 2Core
    2
    0
    GB ~
    1
    6
    Core
    1 60
    GB
    
    
    • 起動時間は約1分程度
    
    
    • 詳細は https://speakerdeck.com/whywaita/cadc
    2 0
    2 2
    -github-actions-runner-myshoes
    45
    

    View Slide

46. サイバーエージェントでの規模感
    • Stadium台数: 約80台 (
    1 6
    c
    160
    gb)
    
    
    • 導⼊数: 約50チーム / プロダクト
    
    
    • Linux版GAから: 1年8ヶ⽉
    
    
    • 1⽇の実⾏job数: 約1万個
    
    
    • 常時500〜700インスタンスぐらい
    46
    

    View Slide

47. サイバーエージェントでの規模感
    47
    

    View Slide

48. サイバーエージェントでの規模感
    mysql> SELECT SUM(TIMESTAMPDIFF(second, started_at, ended_at)) FROM
    job_logging WHERE started_at IS NOT NULL;
    +--------------------------------------------------+
    | SUM(TIMESTAMPDIFF(second, started_at, ended_at)) |
    +--------------------------------------------------+
    | 460269137 |
    +--------------------------------------------------+
    1 row in set (2.03 sec)
    48
    

    View Slide

49. サイバーエージェントでの規模感
    mysql> SELECT SUM(TIMESTAMPDIFF(second, started_at, ended_at)) FROM
    job_logging WHERE started_at IS NOT NULL;
    +--------------------------------------------------+
    | SUM(TIMESTAMPDIFF(second, started_at, ended_at)) |
    +--------------------------------------------------+
    | 460269137 |
    +--------------------------------------------------+
    1 row in set (2.03 sec)
    49
    4億秒 🎉
    

    View Slide

50. サイバーエージェントに
    
    
    おけるmyshoes
    

    新たなるバリエーションの
    登場
    50
    

    View Slide

51. View Slide

52. 🍎
    52
    

    View Slide

53. Cycloud-hosted runner (myshoes)
    
    
    macOS runner
    
    
    became General Availability! 🎉
    53
    

    View Slide

54. macOS runner
    • ⾃社DCにMac miniを設置
    
    
    • M
    2
    Mac mini (2023) を採⽤
    
    
    • テナント毎にMac miniを割当、提供
    
    
    • macOS runner 仮想化には UTM を採⽤
    
    
    • https://mac.getutm.app
    54
    

    View Slide

55. macOS runner
    • Linux版と同じ仕様
    
    
    • jobを検知し都度VMを作成
    
    
    • OSは actions/runner-images ベース
    55
    

    View Slide

56. Kubernetes Cluster
    サイバーエージェントにおけるmyshoes構成 (今まで)
    56
    myshoes-proxy
    
    
    (Global IP)
    github.com
    
    
    GHES
    User
    Tenant A
    Tenant B
    webhook
    myshoes REST API
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    k
    8
    s Service
    k
    8
    s Service
    for Service X
    for Service Y
    k
    8
    s Service
    Tenant C
    k
    8
    s Service
    

    View Slide

57. Kubernetes Cluster
    サイバーエージェントにおけるmyshoes構成 (今まで)
    57
    Tenant A
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    for Service X
    shoes-lxd-multi
    shoes-lxd-multi-server
    ① Execute
    ② RPC call
    ③ Schedule
    

    View Slide

58. Kubernetes Cluster
    サイバーエージェントにおけるmyshoes構成 (これから)
    58
    Tenant A
    Stadium VM
    Stadium VM
    Stadium VMs
    
    
    LXD (listen
    8
    44 3
    )
    Stadium VM
    Stadium VM
    Mac mini x N
    for Service X
    shoes-label-router
    shoes-lxd-multi-server
    ① Execute
    ② RPC call
    ③ Schedule
    shoes-macos-server
    

    View Slide

59. shoes-label-router
    • myshoes provider
    
    
    • runs-on の記述を元に処理を実⾏
    
    
    • Linux or macOS (RPC calls先を決定)
    
    
    • resource_type
    
    
    • OS version
    

    59
    runs-on: myshoes_linux_large_22.04
    runs-on: myshoes_macos_large_12
    

    View Slide

60. shoes-label-router
    • myshoes provider
    
    
    • runs-on の記述を元に処理を実⾏
    
    
    • Linux or macOS (RPC calls先を決定)
    
    
    • resource_type
    
    
    • OS version
    

    60
    runs-on: myshoes_linux_large_22.04
    runs-on: myshoes_macos_large_12
    ユーザは runs-onを
    
    
    変えるだけでOK!
    

    View Slide

61. macOS runner 利⽤状況 / 今後の展望
    • 複数のプロダクトで利⽤開始
    
    
    • iOS向けアプリビルドがメイン
    
    
    • 仮想化周りのアップデートはあるかも
    
    
    • GitHubはankaを使っているっぽい？[1]
    
    
    • OSS化も……
    61
    [
    1
    ]: https://github.com/actions/runner-images/blob/
    

    b
    8
    9
    2
    aebfe
    8
    a
    9
    c
    861
    adb
    84 7
    2
    a
    8
    e
    0499 1 5
    aad
    8441 1
    /
    

    images/macos/templates/macOS-
    1 3
    .arm
    6 4
    .anka.pkr.hcl
    

    View Slide

62. 今後の展望
    62
    •whywaita/myshoes として
    
    
    •GitHubが何かやってきそうなので (Job server)
    

    その対応
    
    
    •社内向けサービスとして
    
    
    •runner起動⾼速化
    
    
    •物理サーバ提供
    

    View Slide

63. まとめ
    63
    •whywaita/myshoes のご紹介
    
    
    •サイバーエージェントにおける取り組みのご紹介
    
    
    •myshoes + LXD で社内向けに提供しています
    
    
    •macOS runner始めました 🍎🏃
    
    
    •M
    2
    Mac miniベースに提供開始
    
    
    •We are hiring!
    

    View Slide

64. Q?
    64
    

    View Slide