自宅サーバ環境の紹介

自宅ネットワーク・サーバ環境の構成と、それに対する基本的な考え、現状構成しているシステムの概要図などを載せています。

Transcript

1. BLUECORE.NET Home IT infrastructure hobbyist 自宅環境の紹介 BLUECORE.NETはこの環境をベースとして稼働しています。 BLUECORE.NET Administrator/localYouser 2018.09.21
2. Home IT infrastructure hobbyist -BLUECORE.NET 自己紹介  ろーかるゆーざー(localYouser：40歳  20年前からこのHandle Nameであり、某社とは一切関連がございません。  九州在住のITオンプレ専門インフラエンジニア（？）をやっています。  Mastodonアカウントは、@localadms@social.bluecore.net  Webサイトは https://www.bluecore.net  肝っ玉が小さいので、検証しないと不安でしょうがないと言う 性格が高じ、自宅に検証機器を入れるようになる  気づけばこんなことに・・・と言う状態  電気代は冬は月額20,000円前後、夏は30,000円超え・・・ 地方の一ユーザとしての意味
3. Home IT infrastructure hobbyist -BLUECORE.NET 物理構成に関する記述
4. Home IT infrastructure hobbyist -BLUECORE.NET 基本方針  極力電気代のかからない構成を目指せ  電気を食う箇所の冗長化はしない  電気を食わない箇所の冗長化はあり(ポート冗長化等)  UPSは瞬電対策  電圧変動も視野に入れている  1つのハードにありったけを詰め込む  デバイス増＝コストがかかる  極力ハードウェアは集約する  ラックマウント2CPUサーバにありったけのメモリを積んでいる(136GB RAM)
5. Home IT infrastructure hobbyist -BLUECORE.NET 保有している機材等 【自宅】 【実家】
6. Home IT infrastructure hobbyist -BLUECORE.NET 物理構成(自宅)
7. Home IT infrastructure hobbyist -BLUECORE.NET 物理構成(実家)
8. Home IT infrastructure hobbyist -BLUECORE.NET ハードウェア一式(自宅) 機材区分 機種名 数量 備考 L2-SW LSW3-GT-5NS 1 ノンインテリジェンススイッチ。ONUと接続 M/C D-Link DMC700C 1 1000BASE-T⇔1000BASE-SXメディアコンバータ L2-SW H3C S5100-24P-EI 1 24ポートインテリジェンスL2スイッチ、部屋跨ぎスイッチ L3-SW H3C LS3610 1 24ポートインテリジェンスL2スイッチ、Homenoc外接 Router Fujitsu Si-R570 1 GbE搭載ルーター、NGNへ接続 Router Mikrotik Routerboard RB2011-UiAS 1 GbE/SFP搭載ルーター、Homenoc-IPv6外接、Interlink外接 Router YAMAHA RTX-3000 1 拠点間VPNルーター Router Cisco C1812J-K9/D384 1 IHANetルーター Router NEC Univerge IX2015 1 100Mbpsルーター、NGNへ接続 L2-SW Juniper EX2200-48t-4g 1 コアL2スイッチ、機器に対する接続全般を対応 L3-SW Cisco C3750-24TS-E 1 コアL3スイッチ、ルーティングを対応、GbEポート使用 Server Fujitsu PRIMERGY RX300 S6 1 ESXiサーバ#1 Server Hp ProLiant ML110 Gen6 1 ESXiサーバ#2 NAS Infotrend EonNAS200 pro 1 バックアップ用NAS UPS APC Smart-UPS 1400 1 900W/1,400VA出力 100V駆動 Wifi AsusTek RT-AC1200HP 1 2.4GHz/5GHz両対応。アクセスポイントとして使用
9. Home IT infrastructure hobbyist -BLUECORE.NET ハードウェア一式(実家) 機材区分 機種名 数量 備考 Router YAMAHA RTX-3000 1 外接ルーター兼VPNルーター L2-SW NETGEAR GS724T 1 コアL2スイッチ。インテリジェンススイッチ。 Server Fujitsu PRIMERGY TX140 1 ESXi#3 Server Fujitsu PRIMERGY TX120 S2 1 ESXi#4 NAS NETGEAR ReadyNAS RN104 1 二次バックアップストレージ UPS APC SmartUPS 750SMT 1 それなりに新しいUPS。シリアル接続で制御。 Wifi TPLink AC750 1 無線は802.11n対応だが、有線I/Fが100Mbps・・(´・ω・｀)
10. Home IT infrastructure hobbyist -BLUECORE.NET システム構成に関する記述
11. Home IT infrastructure hobbyist -BLUECORE.NET 基本方針  知りたいと思った技術はとりあえず触ってみる  極力知ったかぶりを減らしたい  弄りたいと思ったらまず弄ってみれ  チューニングポイントとか理解できたり、技術情報をまとめられたりできたらラッキー  完璧に作ろうと思うな  まずは動かせるようになれ  動かせるようになったら運用してみて、それから改善ポイントを洗い出せ  ただ、大事なデータのロストだけは避けろ  あえて専門外に取り組む  仕事に特化した技術なら、仕事を通じてある程度どうにかなる  話をつなぐことのできる技術者を目指す
12. Home IT infrastructure hobbyist -BLUECORE.NET システム全体概要 統合監視 認証 運用端末 ログ分析 パッチ管理 構成管理 SNS (RevProxy) コンテナ Master コンテナ Worker1 コンテナ Worker2 コンテナ Worker3 コンテナ Worker4 分散ストレージ4 分散ストレージ3 分散ストレージ1 分散ストレージ2 隔地用 ファイルサーバ Firewall IPS/IDS 脆弱性 スキャナ 脆弱性 スキャナ ルーター 時刻同期&名前解決 コンテナインフラ 生活環境 管理環境 セキュリティ その他の技術 Weblog Web/AP/DB SNS/AP (Production) Dashboard Internal-dns (kube-dns) SNS/DB (Production) Internal SDN (project calico) 分散ストレージ ファイルサーバ
13. Home IT infrastructure hobbyist -BLUECORE.NET 論理構成
14. Home IT infrastructure hobbyist -BLUECORE.NET 自宅コンテナ環境 Ceph-01 Ceph-02 Ceph-03 Ceph-04 admin osd(HDD) mon admin osd(HDD) mon admin osd(HDD) mon admin osd(HDD) StoragePool Master 40GiB sns-ap libra 300 GiB NFS コンテナ向け SDN Ceph用 内部NW (GbE) サーバ用物理NW (GbE) RevProxy Repo AP-DATA DB-DATA Worker#4 Worker#3 Worker#2 Worker#1 Pleroma環境(2コンテナ) Mastodon環境 (15コンテナ) BLOG環境 (3コンテナ) ルート リフレクタ Sophos UTM9 WAF/NAT 20GiB 20GiB 20GiB 5GiB osd(SSD) osd(SSD)
15. Home IT infrastructure hobbyist -BLUECORE.NET ブログサイトの構成 Internet 【2018年9月頃の構成】 AzureCDN (Verizon Premium) ROUTE53 DNS WWW1 WWW1 WEB Container DB Container NFS RBD-Block Private Repositry Log/Search Server Monitoring Server TLS Reverse Proxy TLS Sophos UTM9 WAF/NAT CDN
16. Home IT infrastructure hobbyist -BLUECORE.NET 統合監視・ジョブ管理 Hinemos Manager Ansible Server Hinemos Agent インストール Playbookの実行 死活監視 性能監視 リソース使用量監視 ログ監視 ジョブ実行司令 死活監視 性能監視 リソース使用量監視 通知メール送信 Servers Mail Server Networks
17. Home IT infrastructure hobbyist -BLUECORE.NET Elasticsearchを使ったログ分析基盤 LOG LOG領域 NFSストレージからログ データを取り込み&ログ変 換してelasticsearchへ引 き渡し 各種ネットワークログの遠 隔転送(syslog) elasticsearchに取り込ま れたインデックス情報をブ ラウザUIで可視化/分析 LOG LOG LOG Indexes rsyslog cluster (3nodes)
18. Home IT infrastructure hobbyist -BLUECORE.NET DNS/NTP名前解決経路(内部⇒外部) DNS/NTPサーバ (CentOS7) DRサーバ (CentOS7) ドメインコントローラ (Active Directory) DNS DNS DNS DNS HQ 災対 Windows DNS pdns-recursor pdns-recursor Internet Quad9 DNS DNS ドメインコントローラ (Active Directory) Windows DNS DNS DNS
19. Home IT infrastructure hobbyist -BLUECORE.NET 新自宅メールサーバ構成 AADサーバ メールプロキシ (Antispam/Antivirus) 各種サーバ群 クライアント端末 通知メールの送信 メールの閲覧 メールの送信 カレンダーの利用 メールの中継 メールの閲覧 メールの送信 カレンダーの利用 Internet Gateway ADサーバ ＆DNSサーバ Office365上で 連携 Password Hash 同期 AzureADとの 同期中継 SPFレコード修正 CNAMEレコード追加 MXレコード修正
20. Home IT infrastructure hobbyist -BLUECORE.NET Exchange Onlineとオンプレアーカイブ基盤 MailBox DRサーバ NFS NAS UTM(IPSのみ) 外接ルーター 子ドメインの作成 必要Aレコード/MXレコード等の追加 子ドメインでのメール受信設定 ジャーナルアカウント作成 POP3サービスの作成 メールフローの作成 O365->オンプレ コネクタの作成 NATの作成
21. Home IT infrastructure hobbyist -BLUECORE.NET AWS/自宅間の連携  予め作られたVPCを利用して、自宅内VPNへ接続をしている  VPN接続はStatic  VPC上にAmazon Workspacesを接続しており、遠隔端末として使用 Amazon VPC* AWS Directory Service Amazon WorkSpaces Internet Gateway VPN Gateway VPN Connection Customer Gateway Onpremise Servers