Nekko Cloud、 これまでとこれから ～学生サークルが作る、 小さなクラウド

2024/2/13 Developers Summit 2025にて登壇した際の資料です。
Nekko Cloudを共に作っている、いるまる / ちょこざい と3人で登壇しました。

Transcript

1. Nekko Cloud、 これまでとこれから ～学生サークルが作る、 小さなクラウド ネットワークコンテンツ研究会 Nekko Cloudチーム
2. Nekko Cloudチーム
3. 「メンバーの自宅サーバーをVPN で繋いで、プライベートクラウド 作ろう！」っていうチーム 自称「マルチリージョンプライベートクラウド」
4. Nekko Cloudチーム • 学生サークルのプライベートクラウド開発チーム • 現在約10人 • 千葉工大所属の学生が多い クラウドを 作る・使う・得た知見を共有する！
5. 過去 始めたきっかけ, 立ち上げ 菊池 兼矢 𝕏: @6ftAS GitHub: @irumaru
6. きっかけ クラウド開発に興味があり，個人でプライベートクラウドを 自宅で作っていた 目的: 1. クラウド開発の勉強 2. 個人で使うアプリケーション (ファイルサーバーなど) の 実行環境や開発環境 Proxmox VE 仮想化基盤 Ceph ストレージ基盤 mariadb データベース Kubernetes コンテナ基盤
7. きっかけ 個人開発(1人)では，できることに限りがあった 1. 冗長化 2. サービスを増やす 3. システムの保守(アップデート・物理マシンの清掃) → 大変 (ほしい機能だけど興味の薄い部分はある) → 人手が欲しい&みんなでやったらなんか楽しそう！
8. きっかけ/需要調査 クラウド作っているサークルを大学内で調査 → 2023年3月時点ではなし サークル作ってみよう！ サークル立ち上げのアンケート→
9. きっかけ/サークルを作る！ • 所属している技術系サークル ”ネットワークコンテンツ研究会”に新部門を設立 • プライベートクラウドを開発するチームを作る
10. 方針 • 物理サーバをメンバーの自宅(リージョン)に分散して配置 • VPNでリージョン間オーバーレイネットワークを構築 • 上記のリソース上でプライベートクラウドを開発！ ◦ k8s ◦ Ceph ◦ Proxmox VE など... クラウドを 作る・使う・得た知見を共有する！
11. 現在 今のNekko Cloudの姿 井上 裕介 𝕏: @cyokozai0 GitHub: @cyokozai
12. 我々のプライベートクラウドの要件 dev環境: メンバーが自由に開発・検証に使える • 部員が自由にVMを 作って・使って・壊せる 開発環境 prod環境: サークル内で利用するサービスを動かす • 外部からのアクセス可能 • 自動デプロイ 現在稼働中のサービス: NextCloud, Growi, Keycloak, Kubernetes, …
13. Nekko Cloudの構成 マルチリージョン プライベートクラウド 3拠点間をVPNで繋ぎクラスタを構築 • コアネットワーク • IaaS基盤 (Proxmox VE) • コンテナ基盤 (Kubernetes) • ストレージ基盤 (Ceph)
14. Nekko Cloudの構成 コアネットワーク • 地理的に離れた3拠点を繋ぐVPN • ソフトウェアルータVyOSを使用 • NTT NGN網内折り返しによる 高速通信 → 拠点間RTT 約5ms で通信可能
15. Nekko Cloudの構成 IaaS基盤 (Proxmox VE) • Nekko CloudのVM基盤 • Proxmox VE 8.2.7 • 自由にVMを使える
16. Nekko Cloudの構成 コンテナ基盤 (Kubernetes) • IaaS基盤上に作成したクラスタ • コンテナのデプロイ • サービスの外部公開
17. Nekko Cloudの構成 ストレージ基盤 (Ceph) • 現在開発中 • データの冗長性を担保 (リージョンが落ちてもアクセス可能に) • 大容量・高パフォーマンス (予定)
18. Ansible • ソフトウェアルータVyOSの 設定を自動化 • 最適化(Cloud-init対応, etc…) されたVMテンプレート構築 インフラ構築の最適化 手作業による人的ミスを減らし 操作内容の冪等性を確保する
19. VMを手軽に作る・壊す Service Discovery • VMに一意にアクセスするため固有のドメインを割り振る Terrakko • Discordからチャット感覚でVMを作成・変更・削除
20. 未来 Kubernetesを地盤とする 「逆転した」クラウド 永見 拓人 𝕏: @logica0419 GitHub: @logica0419
21. 今の構成をおさらい • Proxmox VE(IaaS)の 上にKubernetes(PaaS) が乗っている • VMとコンテナによる 「二重の仮想化」が 行われている
22. 「二重の仮想化」がもたらす弊害 • 大規模な環境では基本的に便利 • 我々のような小規模な環境では面倒ごとが増える ◦ Proxmox VEとKubernetes、どちらにも詳しくないと 管理ができない ▪ 管理人数が圧倒的に足りない ◦ 認証認可・監視など、欲しい要素を別々に用意 しないといけない
23. IaaSとPaaSの立場を逆転させる • Kubernetesの管理下でVMを動かす！ ◦ 「KubeVirt」というOSSを使えば、VMをPodのように 扱うことが可能 • これを使えば、ベアメタルKubernetesを中心に全てを 構築することが可能
24. 何より、こんなことが 出来たら面白い！ Linux開発者の名言、「Just for Fun」の精神で 開発を進めています
25. さらにその先へ: 共通認証認可基盤 • 共通認証認可基盤プロジェクト: Kikkoff ◦ メンバーポータル 兼 OIDC Provider • メンバーポータルとして ◦ Discordのみで認証する ◦ ロール付け等、独立したメンバー管理機構 • OIDC Providerとして ◦ 部内アプリケーションの認証手法を統一する
26. 認証の「プロキシ」イメージ • これによって、 ◦ Discordの認証でありながら ◦ OIDCを使った認証情報の伝播ができる！
27. まとめ
28. まとめ • Nekko Cloudは、「複数人でクラウドを使う・作る」と いう楽しさを共有するために始まった • より便利なクラウド環境を目指し、今までに様々な施策 を行ってきた • これからは、単純なOSSの組み合わせではない、我々 だけの強みを探求していきたい
29. ありがとうございました
30. Nekko Cloud、 これまでとこれから ～学生サークルが作る、 小さなクラウド ネットワークコンテンツ研究会 Nekko Cloudチーム