DockerでProtobufをコンパイルしたい！

DockerでProtobufをコンパイルしたい！ logica Twitter: @logica_dev GitHub: logica0419 Zenn: logica0419

軽く自己紹介 20B、学部新3年ヒヨッコWebエンジニア(学習始めてからまだ1年弱位) 今年はtraQのフルスタックなメンテナーだった最近Goでサーバーばっか書いてるたまにReact + TSでクライアントも書く最近はgRPC、Kubernetes、イベント駆動アーキテクチャ辺りがマイブーム春休みにやってたこと
KLab様とpixiv様のインターンに連続して参加していた(だいぶ体力がヤバい) 3/31まで続くので死なないように頑張ります何個かブログを書いていた

Dockerの説明は割愛まあ簡単に言うとパソコンの中で仮想のパソコンを立ち上げられるやつ ↑を実現する技術の中でもトップレベルに軽いアプリケーションを動かすとき、すごく管理がしやすい結論: Dockerはいいぞ

昨年12月のこと traPで冬ハッカソンがあった自分は5人チームでWebアプリケーションを作ることにサーバー・インフラを担当することになった自分含めたサーバーサイド二人で技術スタックを選んでいた時相方「gRPCっての面白そうだから使ってみたい」自分「おｋ」 Protocol Buffersの世界に入門したちなみにgRPCはクライアント
- サーバー通信には向かなかったので、ハッカソンではProtocol Buffersのみ使用 ※ gRPCでも今回の話はほぼ共通 REST APIとWebSocketに乗っけた

Protocol Buffersとは公式ページ: https://developers.google.com/protocol-buffers 通称Protobuf Googleが開発した公式ページの紹介文をふんわり翻訳すると言語に依存しないプラットフォームに依存しない前方互換・後方互換を保ったまま
構造化されたデータをシリアライズするための拡張可能なメカニズム

??????????????

シンプルに理解しよう構造化されたデータとは JSONとかRDBの中身とか「配列と連想配列から構成されたデータ」といえる？ API通信で情報を送るとき、整頓したデータが送れるので非常に扱いやすい REST APIなどでよくJSONスキーマが使われる所以 ↑Protobufはちょうど「JSONスキーマ」の部分に相当する概念！

シンプルに理解しよう Protobufとは主にネットワークを介したAPI通信に使われる多くのAPI通信で application/json が担っている部分を、より軽量により安全により簡単により広域で
扱うために開発された技術ということさえ押さえられれば今回の話は理解できます

Jsonと比較して特徴を理解する

より軽量 JSON JSON文字列(text) <-> インメモリデータ(言語によるデータ型) の変換 Protobuf バイナリ <-> インメモリデータ(言語によるデータ型)
の変換バイナリへエンコードされる連想配列のキー名など、最低限の伝達を担保するのに不必要な情報をギリギリまで削っているので、JSONよりもわずかに軽い

より安全スキーマの型安全性が、デフォルトでわかりやすく確保できる！ Proto言語 Protobufのデータ構造を定義する言語これが「Protobuf」と呼ばれることもあって紛らわしい「message」という単位でスキーマを定義フィールドにはID・名前・型をつける「repeated」prefixで配列になる書きやすい・わかりやすい
YAML・JSONに比べてより言語ライク

より簡単 / より広域 Protobufは、Proto言語で書かれた定義ファイルからスキーマに対応するクラス・構造体バイナリへのエンコード・バイナリからのデコードをする関数を自動生成(コンパイル)して使う(バイナリの中身が共通化される) Protoc(Protobuf Compiler)を使って、数多くの言語実装をコンパイルできるデフォルト
- C++ / C# / Java / JS / Kotlin / Objective-C / Python / Ruby アドオンを入れると - Go / Dart / C / PHP / Rust / Scala / TSなどなど API通信をする双方のサービスで、どちらも同じProto言語定義からコンパイルすればよいので、スキーマ駆動な開発がしやすい！

より簡単 / より広域 JSONだったら... JSON文字列へのエンコード・デコードは言語頼り完全に共通化されてはいないスキーマ駆動にしたい場合、SwaggerやらOpenAPIが主流でもYAMLは長いしダルい Protobufは、コンパイル環境を整え、コンパイルされる関数の使い方さえ押さえてしまえば、すごく手軽にスキーマ駆動な開発が始められる

Protobuf is 神 ...だけど、Gitリポジトリに入れようとしたとき少し悩ましいことがある

自動生成コードのGitリポジトリ上での扱い自動生成コードやライブラリのローカルキャッシュ(node_modules) 別のファイルから一意的に状態が復元できる無駄な容量を食う・生成すると無駄なDiffが増える・生成し忘れが発生するなどの理由で、一部の例外を覗いてGitリポジトリに含めるのは好ましくない Protobufの自動生成コードもこれにあたると自分は考えるでも、ビルド時には必要なんとかしてビルドするタイミングでコンパイルしないといけない！コンパイルに必要なもの Protocのバイナリ
アドオン

CI / CDワークフロー上でのコンパイル CI 自分の場合クライアント: TypeScript サーバー: Go GitHub
Actionsを使う場合、 arduino/setup-protoc が使える有志が用意してくれた、actions内でProtocバイナリを用意してくれるjob アドオン TSはnpmのパッケージをインストールするだけ Goの場合 go install で入れられる 🎉解決🎉

CI / CDワークフロー上でのコンパイル CD 自分の場合 Dockerでビルドし、ghcrに上げる ProtobufのコンパイルをどこでするかプログラムのビルドをDockerのフロー内でするなら、Protobufのコンパイルもそうあった方が美しい Dockerのフロー内で用意するもの
Protocのバイナリアドオン

DockerでProtobufをコンパイルしたい！こっからはGoに注目して話を進めます基本的にNode環境上ででTSにコンパイルするのも同じ

二つの大きな壁個人的にめっちゃ苦しめられた壁が二つあった 1. Distroの壁 2. CPUアーキテクチャの壁

Distroの壁公式から出されている protoc イメージみたいなのが無い自分でやるしかない... pull時間の短縮のため、軽量なイメージをベースとしたかった golang:1.*.*-alpine を使用とりあえず、バイナリ取ってきてPATH通せばええやろ！

できたDockerfile

イメージの中でコンパイル詳細は省くが、 RUN protoc --go_out=proto protobuf/*.proto でできるはず log ... #8
0.379 /bin/sh: protoc: not found

イメージの中でコンパイル PATHが通ってないだけかもしれない... フルパスで指定すれば... RUN /temp/protobuf/bin/protoc --go_out=proto protobuf/*.proto log ... #8
0.480 /bin/sh: /temp/protobuf/bin/protoc: not found

ちなみに ls したらちゃんと指定した場所にDLされていた which protoc ではちゃんと /temp/protobuf/bin/protoc が返ってくる

何がいけなかったのか調べたら... ProtobufのコアがC++で書かれていたことが大きな理由だったことが判明した配布バイナリのビルドがGNU C Library(glibc)に強く依存している Alpine Linuxはこの環境がない(muslってやつを使ってる) 対応してない
= 認識されなかったと推定できる

解決策調べた限りでは 1. alpineのパッケージマネージャー、apkからインストール 2. ソースからビルド 3. alpineをあきらめる

apkからメリット手軽、コマンド一つで入る速いデメリットちょっとバージョンが古い現在最新版は3.19.4 更新が去年10月... Protobufの更新と対応してない

ソースからビルド必要パッケージをインストールして、alpine上でビルドすればalpine上で動く公式で説明があるのでやりやすい https://github.com/protocolbuffers/protobuf/blob/master/src/README.md メリット alpineを捨てずに最新版が取ってこれる一番usageとして綺麗かな～(個人的な感想) デメリット (多分)Dockerビルドが遅いソースからビルドする時間かかるので...

alpineをあきらめる debianにすれば行けるらしい

alpineをあきらめるビルドが通った!!!!!

CPUアーキテクチャの壁手元でのビルドは通った問題は、GitHub Actionsでビルドをしたときに起こった

マルチCPUアーキテクチャサポート先輩がやっていたので、マルチCPUアーキテクチャ向けにビルドをしていた Actionsの設定 ... - name: Build and push uses:
docker/build-push-action@v2 with: context: . push: true platforms: linux/amd64, linux/arm64 tags: `タグ名` 結果 > [linux/arm64 builder 8/8] protoc ... protoc: not found

またお前か

敗因を探せ！ > [linux/arm64 builder 8/8] protoc ... protoc: not found

正解 wget "https://.../protoc-3.19.4-linux-x86_64.zip" の x86_64 でした AMD64向けバイナリだからARM64で動くわけがない > [linux/arm64 builder
8/8] protoc ... <- 毎回armだったので、arch怪しそうの顔になる protoc: not found CPUアーキテクチャの理解がおざなりなままマルチアーキテクチャ向けビルドをしたツケが回ってきた

ARMにも対応させる ARM64用のバイナリ(aarch_64)があるので、対応は可能どう切り替えようか？

TARGETARCH ARG (BuildKitを使用している時のみ)あらかじめ定義されたARG変数として使える TARGETPLATFORM ビルド結果のプラットフォーム linux/amd64、 linux/arm/v7、 windows/amd64 など TARGETARCH
TARGETPLATFORM のアーキテクチャー部分これ使えば、ビルドするアーキテクチャに合わせて変えられる！ただ、 amd64 / arm64 の形なので x86_64 と aarch_64 に直す必要が

shell芸で筋肉解決

これでマルチアーキテクチャ向けビルドも通るめでたしめでたし

今後の展望汎用イメージを作って公開したい以前一瞬作ったけど、マルチアーキテクチャ向けビルドで引っかかって「ダメだ！」ってなって削除してしまったソースからビルドで作れば、軽量な汎用イメージも夢じゃない管理がめんどいので、dependabotからのアップデートを完全に自動化したい Actions芸頑張ります...

ありがとうございました～参考文献 Protocol Buffers - https://developers.google.com/protocol-buffers Alpine Linux 上で gRPC
を使ってはまった話 - https://qiita.com/takkeybook/items/5eae085d902957f0fe5b "protoc: not found" on an Alpine-based Docker container running Protocol Buffers - https://stackoverflow.com/questions/64447731/protoc-not-found- on-an-alpine-based-docker-container-running-protocol-buffers protoc(Alpine Linux Packages) - https://pkgs.alpinelinux.org/package/edge/main/x86/protoc

DockerでProtobufをコンパイルしたい！

DockerでProtobufをコンパイルしたい！

logica / Takuto Nagami

More Decks by logica / Takuto Nagami

Other Decks in Technology

Featured

Transcript