Nekko Cloud、これまでとこれから～学生サークルが作る、小さなクラウド

Nekko Cloud、これまでとこれから～学生サークルが作る、小さなクラウドネットワークコンテンツ研究会 Nekko Cloudチーム

Nekko Cloudチーム

「メンバーの自宅サーバーをVPN で繋いで、プライベートクラウド作ろう！」っていうチーム自称「マルチリージョンプライベートクラウド」

Nekko Cloudチーム • 学生サークルのプライベートクラウド開発チーム • 現在約10人 • 千葉工大所属の学生が多いクラウドを作る・使う・得た知見を共有する！

過去始めたきっかけ, 立ち上げ菊池兼矢 𝕏: @6ftAS GitHub: @irumaru

きっかけクラウド開発に興味があり，個人でプライベートクラウドを自宅で作っていた目的: 1. クラウド開発の勉強 2. 個人で使うアプリケーション (ファイルサーバーなど) の
実行環境や開発環境 Proxmox VE 仮想化基盤 Ceph ストレージ基盤 mariadb データベース Kubernetes コンテナ基盤

きっかけ個人開発(1人)では，できることに限りがあった 1. 冗長化 2. サービスを増やす 3. システムの保守(アップデート・物理マシンの清掃) → 大変
(ほしい機能だけど興味の薄い部分はある) → 人手が欲しい&みんなでやったらなんか楽しそう！

きっかけ/需要調査クラウド作っているサークルを大学内で調査 → 2023年3月時点ではなしサークル作ってみよう！サークル立ち上げのアンケート→

きっかけ/サークルを作る！ • 所属している技術系サークル ”ネットワークコンテンツ研究会”に新部門を設立 • プライベートクラウドを開発するチームを作る

方針 • 物理サーバをメンバーの自宅(リージョン)に分散して配置 • VPNでリージョン間オーバーレイネットワークを構築 • 上記のリソース上でプライベートクラウドを開発！ ◦ k8s ◦
Ceph ◦ Proxmox VE など... クラウドを作る・使う・得た知見を共有する！

現在今のNekko Cloudの姿井上裕介 𝕏: @cyokozai0 GitHub: @cyokozai

我々のプライベートクラウドの要件 dev環境: メンバーが自由に開発・検証に使える • 部員が自由にVMを作って・使って・壊せる開発環境 prod環境: サークル内で利用するサービスを動かす •
外部からのアクセス可能 • 自動デプロイ現在稼働中のサービス: NextCloud, Growi, Keycloak, Kubernetes, …

Nekko Cloudの構成マルチリージョンプライベートクラウド 3拠点間をVPNで繋ぎクラスタを構築 • コアネットワーク • IaaS基盤 (Proxmox
VE) • コンテナ基盤 (Kubernetes) • ストレージ基盤 (Ceph)

Nekko Cloudの構成コアネットワーク • 地理的に離れた3拠点を繋ぐVPN • ソフトウェアルータVyOSを使用 • NTT NGN網内折り返しによる
高速通信 → 拠点間RTT 約5ms で通信可能

Nekko Cloudの構成 IaaS基盤 (Proxmox VE) • Nekko CloudのVM基盤 • Proxmox
VE 8.2.7 • 自由にVMを使える

Nekko Cloudの構成コンテナ基盤 (Kubernetes) • IaaS基盤上に作成したクラスタ • コンテナのデプロイ • サービスの外部公開

Nekko Cloudの構成ストレージ基盤 (Ceph) • 現在開発中 • データの冗長性を担保 (リージョンが落ちてもアクセス可能に) •
大容量・高パフォーマンス (予定)

Ansible • ソフトウェアルータVyOSの設定を自動化 • 最適化(Cloud-init対応, etc…) されたVMテンプレート構築インフラ構築の最適化手作業による人的ミスを減らし
操作内容の冪等性を確保する

VMを手軽に作る・壊す Service Discovery • VMに一意にアクセスするため固有のドメインを割り振る Terrakko • Discordからチャット感覚でVMを作成・変更・削除

未来 Kubernetesを地盤とする「逆転した」クラウド永見拓人 𝕏: @logica0419 GitHub: @logica0419

今の構成をおさらい • Proxmox VE(IaaS)の上にKubernetes(PaaS) が乗っている • VMとコンテナによる「二重の仮想化」が行われている

「二重の仮想化」がもたらす弊害 • 大規模な環境では基本的に便利 • 我々のような小規模な環境では面倒ごとが増える ◦ Proxmox VEとKubernetes、どちらにも詳しくないと管理ができない ▪
管理人数が圧倒的に足りない ◦ 認証認可・監視など、欲しい要素を別々に用意しないといけない

IaaSとPaaSの立場を逆転させる • Kubernetesの管理下でVMを動かす！ ◦ 「KubeVirt」というOSSを使えば、VMをPodのように扱うことが可能 • これを使えば、ベアメタルKubernetesを中心に全てを構築することが可能

何より、こんなことが出来たら面白い！ Linux開発者の名言、「Just for Fun」の精神で開発を進めています

さらにその先へ: 共通認証認可基盤 • 共通認証認可基盤プロジェクト: Kikkoﬀ ◦ メンバーポータル兼 OIDC Provider
• メンバーポータルとして ◦ Discordのみで認証する ◦ ロール付け等、独立したメンバー管理機構 • OIDC Providerとして ◦ 部内アプリケーションの認証手法を統一する

認証の「プロキシ」イメージ • これによって、 ◦ Discordの認証でありながら ◦ OIDCを使った認証情報の伝播ができる！

まとめ

まとめ • Nekko Cloudは、「複数人でクラウドを使う・作る」という楽しさを共有するために始まった • より便利なクラウド環境を目指し、今までに様々な施策を行ってきた • これからは、単純なOSSの組み合わせではない、我々
だけの強みを探求していきたい

ありがとうございました

Nekko Cloud、これまでとこれから～学生サークルが作る、小さなクラウドネットワークコンテンツ研究会 Nekko Cloudチーム

Nekko Cloud、これまでとこれから～学生サークルが作る、小さなクラウド

Nekko Cloud、これまでとこれから～学生サークルが作る、小さなクラウド

logica / Takuto Nagami

More Decks by logica / Takuto Nagami

Other Decks in Technology

Featured

Transcript