受託開発でGitLab CI を活用していく

Slide 1

Slide 1 text

受託開発でGitLab CI を活⽤していく 2024/3/27 株式会社Future Techno Developers 中川聡也

Slide 2

Slide 2 text

謝辞本日は登壇の機会をいただき、ありがとうございます。  まず初めに、主催者の皆様、参加者の皆様  そして資料提供いただきましたGitLab 様に  心から感謝申し上げます。  1

Slide 3

Slide 3 text

サーバーレス：Serverless/Cloudﬂare/Momento /TiUG ゲーム‧アプリ：IGDA Japan / Japan Android Group Cloud Native：OCha Cafe! 他も顔出してます。どこかであったら声かけてください！まずは⾃⼰紹介 @xiombatsg  2 何をしている⼈？商品開発をしているお客様を技術⾯でご⽀援チーム構築のご⽀援(Platform Engineer,SRE…) どんなジャンル？ゲーム/Webサービス/CG/組み込み/etc… どんなコミュニティに顔を出している？ Cloudﬂare UG 東京, TiUGの運営に参画中川聡也 Satoya Nakagawa https://zenn.dev/nakagawa_satoya

Slide 4

Slide 4 text

事業紹介 3 プロジェクト⽀援事業 Webサイト運営事業ソフトウェア開発事業 Web診断事業当社サービス代理店‧顧客ご紹介企業様お客様保守担当メンバー‧パートナー弊社は「ソフトウェア商品開発をサポートする」企業です

Slide 5

Slide 5 text

最近こんなチラシを作りましたシステム開発でいつもプロジェクトが炎上してしまうと困っていませんか？プロジェクト開発に知⾒のあるエンジニアが、課題管理やスムーズな進捗管理などを⾒直し、解決に向けてアドバイスします！

Slide 6

Slide 6 text

【宣伝】TiUG Meetup #1 https://tiug.connpass.com/event/310114/ NewSQL データベース TiDBのUser Groupが開始されます。ハイブリッド開催で、オフライン、オンラインどちらもまだ枠があります触ったことがない⽅などにも楽しめる内容になっています！

Slide 7

Slide 7 text

【宣伝】Cloudflare Meet-up Tokyo Vol.4 4/1 から始まるDeveloper week のre:Cap イベントです。毎年⾯⽩いアップデート内容があります。今回も期待⼤です！是⾮参加お願いします！ https://cfm-cts.connpass.com/event/313277/

Slide 8

Slide 8 text

本題

Slide 9

Slide 9 text

今⽇話すことアジェンダ 8 GitLabの有料機能の話も少し触れますが、 CIは無料で使⽤することができます。 01 そもそもCI/CDって？ 02 GitLab CI概要 03 GitLab CI のセットアップ 04 弊社の活⽤事例 05 まとめ

Slide 10

Slide 10 text

GitLab CIは持って帰ってもらいたいこと 01 SaaS版もSelf版,Shared,Speciﬁc Runnerを組み合わせることができる 02 ドキュメントはクリエーションラインさんの翻訳を読もう 03 CI スクリプトは簡単 04 SASTなどコード品質チェックは標準で提供されている 9 05 CLIは便利

Slide 11

Slide 11 text

そもそもCI/CDって？

Slide 12

Slide 12 text

CI/CDとは? ● Continuous Integration (CI) チームから提供されたコードを共有リポジトリに統合します ● Continuous Delivery ソフトウェアが⾃動的に本番環境にリリースされます ● Continuous Deployment 変更を本番環境にプッシュします

Slide 13

Slide 13 text

なぜ CI/CDを使うと良いの? CIが統合のトラブルを軽減問題が⼩さなうちに解消し、複雑化させない CIでチームの開発を加速させる開発者間の信頼を⾼め、ボトルネックを減らす CIがエラーを素早く検出記憶に残っているうちにエラーを修正できる CDはすべての変更をリリース可能にする各リリースのリスクが低下し、予測可能なものになる CDは価値を素早く、より多く提供するお客様の関⼼事を素早くフィードバック 02 01 05 04 03 CI/CDは、全ての部⾨間のコラボレーションを促進し、コードの作成と管理を容易にするだけでなく、次のような具体的なメリットがあります。

Slide 14

Slide 14 text

Deploy & Operate Plan & Create Integrate & Verify Monitor & Improve 1つのワークフローで開発者、セキュリティ、各運⽤チームを統合

Slide 15

Slide 15 text

要するにCIツールとは 1. エラー検知を早くして 2. デプロイのトラブルを削減し 3. チームの⽣産性を向上し 4. 継続デリバリーを可能にし 5. お客様に早期に価値を提供することができる 14 02 01 05 04 03

Slide 16

Slide 16 text

GitLab CI に⼊る前に GitLabって？

Slide 17

Slide 17 text

16 Built from the ground up as a single application 200% faster DevSecOps lifecycle Secure Manage Plan Create Verify Package Release Configure Monitor Defend ✔ Single Conversation ✔ Single Data Store ✔ Single Permission Model ✔ Single Interface ✔ Governance & Security ✔ Team Collaboration ✔ Lifecycle Analytics Developers Product Management Quality Assurance Security Operations Infrastructure Collaborate Automate

Slide 18

Slide 18 text

17 計画から展開、監視、監査まで全てカバー - 既存のツールと共存可 Manage Plan Create Verify Package Secure Release Configure Monitor Protect

Slide 19

Slide 19 text

18 DevOpsの4フェーズ

Slide 20

Slide 20 text

19 DevOpsの基礎固めコミュニティサポート DevOpsの高度化迅速なサポート体制無償版究極のDevOps-DevSecOps 迅速なサポート体制プレミアムウルティメイトコードレビューの迅速化高度なCD/CD 企業版アジャイル管理リリースのコントロール自社運用の冗長性を強化コードレビューの迅速化高度なCD/CD 企業版アジャイル管理リリースのコントロール自社運用の冗長性を強化セキュリティテスト高度化セキュリティリスク管理コンプライアンスポートフォリオ管理バリューストリーム管理効率性とコントロールを強化セキュリティ/コンプライアンス対策/計画管理を強化

Slide 21

Slide 21 text

Plan⾦額 20 弊社はPremiumを使用しています

Slide 22

Slide 22 text

GitLab CI 概要

Slide 23

Slide 23 text

CI/CDパイプラインの概要 1 2

Slide 24

Slide 24 text

GitLabパイプライングラフ ● パイプラインで達成したいことを定義ランナーによる実⾏ステージでの実⾏ ● ジョブを実⾏するタイミングと⽅法を定義コードをコンパイルした後にテストを実⾏するステージがあります ● 各ステージのジョブが並⾏して実⾏されるステージ内のすべてのジョブが成功した場合、パイプラインは次のステージに移動しますステージ内のジョブが⼀つでも失敗すると、次のステージは（通常は）実⾏されません

Slide 25

Slide 25 text

GitLab パイプラインを起動する⽅法 ● GitLabリポジトリにコードをプッシュする ● UIから⼿動で実⾏する ● 後で実⾏するようにスケジュールする ● 上流パイプラインによって「トリガー」される ● APIを使⽤して「トリガー」付きでパイプラインを起動

Slide 26

Slide 26 text

Shared Runner と Specifi Runner インスタンス環境 Speciﬁc Runner インスタンスにインストールして使⽤するRunner 物理マシンやジョブの実⾏が⻑い時などに利⽤ Shared RunnerではできないDockerを使わないRunner もある SaaS環境 Shared Runner GitLab 社が⽤意しているSaaS上で動くRunner 物理マシンを⽤意する必要がないコンピュート時間課⾦で利⽤可能(Free Tierあり）テストなどの⽐較的反復するJobはShared Runner 実⾏時間が⻑い、物理マシンにデプロイするなどはSpeciﬁc Runner の使い⽅が個⼈的におすすめです。

Slide 27

Slide 27 text

GitLab CI のセットアップ SaaS版でお話ししますが、Self managed 版も基本は⼀緒です。

Slide 28

Slide 28 text

1.GitLab のアカウントを作成する下記の2種類の⽅法で可能です 1. Google アカウントなどID連携 2. メールアドレスでの連携 Self-managedでは LDAP やKerberos 、独⾃のOAuth2プロバイダ連携も使⽤可能です。

Slide 29

Slide 29 text

プロジェクトを作成 CIを試すだけならテンプレートプロジェクトが便利です例：dotnetのテンプレートプロジェクトで作成 .gitlab-ci.ymlをルートに配置

Slide 30

Slide 30 text

.gitlab-ci.ymlを配置する ① DockerImageを指定(Docker HubにあるものでOK） ②パイプラインステージ名を定義(名前は⾃由） ③ジョブを定義 - stage は実⾏するstageを指定する - script は実⾏したいshellコマンド - artifacts はビルド⽣成物を定義(後ほどダウンロードできるようになる） ① ② ③ docker compose に慣れていると似たような記法なので導⼊のハードルはそれほどありませんでした

Slide 31

Slide 31 text

CI Runner を配置試すだけであれば Shared Runner が簡単で良いです (free版でも400分枠があります）弊社では基本 Shared Runner を使⽤し、特定環境のデプロイ時にのみRunnerをインストールしています。

Slide 32

Slide 32 text

CI を実行この⽅法以外にも実⾏⽅法は⾊々あります。 (MergeRequest,Webhook などなど）

Slide 33

Slide 33 text

さらにこんなこともできます

Slide 34

Slide 34 text

.gitlab-ci.yml を共通化して管理社内の CIカタログプロジェクトはCIカタログを参照 ※お客様先で誤動作防⽌ ※必要であれば、CIカタログも提供します(実績なし） gitlab.comに公開している CIカタログ ※少しずつ整備中弊社の場合(弊社HP Nuxt3 Cloudflare Pages の例)

Slide 35

Slide 35 text

社内カタログをさらに共通の設定やlinterなどはincludeで Nuxt3 に関連するところだけJobを記述共通変数の定義 SASTなどGitlab が提供しているCIのinclude stageの定義

Slide 36

Slide 36 text

CIカタログちょっとだけ 2023 Advent Calender の時期(2023年12⽉) 2024年 3⽉26⽇現在(126件) まだホビーが多いが、着実に増えてきている

Slide 37

Slide 37 text

SASTちょっとだけコード品質チェック結果などを出してくれる SASTとは Gitlab が提供しているコード品質チェックテンプレート

Slide 38

Slide 38 text

GitLab CLI はおすすめインストール手順：https://gitlab.com/gitlab-org/cli/-/blob/main/docs/installation_options.md GitLab CLI のインストールをおすすめしてます。＜できること＞ 1. CI Lint (CIスクリプトの構⽂チェックができる） 2. CI Trace ローカルでCI実⾏ログが⾒れる) 3. CI View (CI実⾏状態をCLIで可視化) 4. CI Trigger (CI をマニュアル実⾏）などなど

Slide 39

Slide 39 text

glab ci view の例カーソルを移動して、各JOBのログの実⾏状態を確認することが可能

Slide 40

Slide 40 text

Test結果も見れます。 JUnit ファイルを出力すると Merge Requestの画⾯でも確認できますレビュー時によく使ってます

Slide 41

Slide 41 text

良さそうなことだけじゃなくて

Slide 42

Slide 42 text

GitLab CI ちょっと残念なこと 1. ⾮エンジニアに触らせるには、UIが残念 a. エンジニアがメインで触るチームなら問題ない b. ダッシュボードを別で作るのもあり 2. Jobを分割して実⾏をすると、毎Job DockerImageのダウンロードされて、遅い a. 実⾏時間が短いJobはまとめる b. Speciﬁc Runner にする(Shell Executer があるのでこちらは早い）

Slide 43

Slide 43 text

GitLab CI ちょっと残念なこと 3. ⽇本語ドキュメントがない a. クリエーションラインさんが⽇本語翻訳しています。そちらを⾒ましょう 4. Jobを分割して実⾏をすると、毎Job DockerImageのダウンロードされて、遅い b. 実⾏時間が短いJobはまとめる c. Speciﬁc Runner にする(Shell Executer があるのでこちらは早い）

Slide 44

Slide 44 text

そもそもなんでGitLab CI？

Slide 45

Slide 45 text

そもそも何でGitLab CI? 44 昔はビルド、デプロイなどを⼀つでやっていたけどビルドタイミングもデプロイタイミングも変わってきた Jobの実⾏タイミングを細かく定義ができる Jobを並⾏で実⾏できる

Slide 46

Slide 46 text

そもそも何でGitLab CI? 45 NAT越えのハードルがある案件があり、対策をとれるものがないか検討していた GitLab CI はPull型のため NAT越えを考慮しなくても Jobが実⾏できた

Slide 47

Slide 47 text

そもそも何でGitLab CI? 46 Jenkinsはメモリ使⽤量が多く、軽量インスタンスにするのがむずかしい GitLab CI Runner はメモリ使⽤量が軽量 (ジョブの内容は別）

Slide 48

Slide 48 text

そもそも何でGitLab CI? 47 元々GitLabを使っていた統合できる GitLab好きよし！ GitLab CIにしよう！

Slide 49

Slide 49 text

とはいえ全プロジェクトで統合するにはハードルがまだまだあり・・・お客様 ● 管理しているリポジトリがある ● 本番環境はお客様先 ● 納品はお客様先リポジトリ次ページ以降で弊社でよくやっている構成を紹介します結論：なるべく弊社側のリポジトリに取り込んで頑張る弊社 ● 作業時は⾃社のリポジトリにしたい (BPも多い） ● CI ツールを常に実⾏したい

Slide 50

Slide 50 text

弊社の活⽤事例

Slide 51

Slide 51 text

弊社環境（GitLab.com）お客様環境ケース1　レビュサーバ環境へのデプロイインスタンス環境（EC2など）コンテナ環境（ECSなど） CI Trigger テスト/ビルド Docker Image ビルドリポジトリ GitLab Project Shared Runner Container Registry お客様環境でデプロイリポジトリミラー Speciﬁc Runner デプロイ Runner をインスタンスにインストールしておいて、デプロイに必要なコマンドの実⾏などを⾏っています。 git からの pull,マイグレーションなどビルドした artifact の取得など CI のパイプライントリガで ECS環境にデプロイします Container Registry で作ったイメージをデプロイしますデプロイ

Slide 52

Slide 52 text

弊社環境（GitLab.com）お客様環境ケース２　Webフロントのデプロイドキュメント環境（GitLab Pages） Webフロント環境確認（Cloudflare Pages）リポジトリ GitLab Project お客様環境でデプロイリポジトリミラー Specific Runner CI Trigger テスト/ビルド Shared Runner デプロイレビュブランチ毎にデプロイ本番サイトもCloudflare 上であれば同じ構成にしています Pages Job OpenAPI や Docusaurus をデプロイ

Slide 53

Slide 53 text

弊社環境（GitLab.com）ケース３　オンプレ環境へのデプロイ本番環境（Windows Serverなど） GitLab Project Speciﬁc Runner CI Trigger テスト/ビルド Shared Runner デプロイ Runner をインスタンスにインストールしておいて、デプロイに必要なコマンドの実⾏などを⾏っています。 git からの pull,マイグレーションなどビルドした artifact の取得など Pull型のRunner特性を活かして、お客様のオンプレサーバーに Runner をインストールし、 Job を登録してデプロイ

Slide 54

Slide 54 text

弊社環境（GitLab.com）ケース４　アプリのビルドゲームビルドPC環境 GitLab Project Speciﬁc Runner CI Trigger テスト Shared Runner ビルドビルド時間が⻑いものは専⽤のビルドPCを⽤意してビルドモバイルアプリビルドRunner Shared Runner GitLab で Android/iOS ビルド向けに Fastlane を使ったビルド環境が提供されている Windows アプリビルド Runner Shared Runner GitLab で Windowsビルド環境が提供されている

Slide 55

Slide 55 text

こういうこともやってますテスト用DBとの接続はサービスの機能を使用 ● GitLab CI には Docker Executer を使⽤してジョブ中に使⽤できる DB を構築することができます。 ● 弊社では MySQL が多いですが、 PostgresSQL や Redis のサービスもあります

Slide 56

Slide 56 text

まとめ

Slide 57

Slide 57 text

今後個人的に期待すること 1. CIカタログが GitHub Marketplace のようになる 2. 各社のCIスクリプトノウハウが共有される世界 3. IDE Extenstion にCI 機能を追加される 4. CI トリガーに Epicやissue,Wikiなどプロジェクト以外のものでもトリガーできるようになる a. 現在はWebHookを使っていく必要がある

Slide 58

Slide 58 text

GitLab CIはまとめ 01 SaaS版もSelf版,Shared,Speciﬁc Runnerを組み合わせることができる 02 ドキュメントはクリエーションラインさんの翻訳を読もう 03 CI スクリプトは簡単 04 SASTなどコード品質は標準で提供されている 57 05 CLIは便利