KDDI共同講演：@niftyメール基盤移行プロジェクト - NIFTY Tech Day 2023

Transcript

1. Copyright ©NIFTY Corporation All Rights Reserved. ＜KDDI共同講演＞ @niftyメール基盤移行プロジェクト KDDI株式会社 プラットフォームエンジニアリング部 足立 貴昭 ニフティ株式会社 会員システムグループ 三国 彰
2. 2 Copyright 2023 KDDI © 2023 KDDI  足立 貴昭(アダチ タカアキ)  KDDI株式会社  技術統括本部 エンジニアリング推進本部  プラットフォームエンジニアリング部  ビジネスソリューショングループ  経歴  2013年 KDDI入社  ～2016年 EPCコア設備の開発/検証  2017年～ メール設備の保守/運用  2020年～ メール設備の開発/運用(DevOps)  2021年10月～ @niftyメール基盤移行プロジェクト担当  その他  週末は草野球に興じている 自己紹介
3. 自己紹介 Copyright © NIFTY Corporation All Rights Reserved. 3 ▪氏名 三国 彰（ミクニ アキラ） ▪所属 ニフティ株式会社 システム統括部 会員システムグループ ▪経歴 1996年4月 ニフティ入社 ニフティマネジャー部配属 （途中省略） 2021年3月～ メールシステム担当
4. 目次 Copyright © NIFTY Corporation All Rights Reserved. 4 背景 KDDIメールシステムについて 基盤移行について ディスカッション メールシステムの移行方法 システム構成 ビフォーアフター
5. Copyright ©NIFTY Corporation All Rights Reserved. 背景
6. ニフティ社メールサービスの現状と歴史 Copyright © NIFTY Corporation All Rights Reserved. 6 メールアカウント数：約250万アカウント 1日あたりの流量：着信 約2,000万通、送信 約40万通 SNSが普及した現在でも、多くのお客様に利用されています。 インターネットに初めてメールを送ってから、今年で31年です。 １９８７年 パソコン通信「NIFTY-Serve」開始 １９９４年 インターネット接続サービス開始 １９９２年 インターネット実験開始 １９９９年 Infowebと統合し「@nifty」へ
7. 課題 Copyright © NIFTY Corporation All Rights Reserved. 7 長年の積み重ねで構築された独自ソフトウェア 老朽化したハードウェアのリプレース 長年サービス提供している過程でシステムもつぎはぎとなっており、 様々な課題を抱えていました。 大規模災害への備え
8. 課題① 長年の積み重ねで構築された独自ソフトウェア Copyright © NIFTY Corporation All Rights Reserved. 8 システム全体の把握が困難 ・長年改修されていないモジュールの中身を理解している担当者はごく一部 ・理解者を増やして改修しようと思ってもC言語の壁がある ・改造されたsendmailなんかもある ・実行モジュールやライブラリはあるが、ソースが見つからないケースも… 一般的な仕様とのギャップ ・例えば空白の入ったフォルダを作成できないなどの独自仕様がある ・改善したくても影響範囲の調査が困難 @niftyメールシステムは規模が大きく、また年代も大きさもさまざまな 機能で構成されています。 システムの改善や最適化が高コストとなってしまうため、 最低限の改修とシステム運用保守に終始
9. 課題② 老朽化したハードウェアのリプレース Copyright © NIFTY Corporation All Rights Reserved. 9 多くのメールサーバーは仮想マシンですが、ストレージやネットワー クは物理機器で構成されています。 ストレージ Scality Inc. が開発したSDS(Software Defined Storage)にて、 大規模ストレージを構築 ネットワーク ストレージ容量：約3PB、サーバー台数：約70台 HDD本数：約800本、コピー数：3冗長 数十台のネットワーク機器（ルーター、スイッチ等）
10. 課題② 老朽化したハードウェアのリプレース Copyright © NIFTY Corporation All Rights Reserved. 10 ライフサイクルの異なるHWが同一システム上に共存 HWのリプレースは、調達のリードタイムを含めて1年近くの期間 を要する リプレースが終わったら、 また次のリプレースが始まる無限ループ 2012-2015年頃に導入した機器が老朽化しており、全般的なリプ レースが必要な状況 ストレージ ネットワーク
11. 課題解決に向けて Copyright © NIFTY Corporation All Rights Reserved. 11 HWのみリプレースして継続する（延命策） 自社内で大幅なシステム刷新を行う 他社に委託する（他社メール基盤への移行） どのような手段で課題を解決すべきか、社内で検討を重ねました。
12. 課題解決に向けて Copyright © NIFTY Corporation All Rights Reserved. 12 どのような手段で課題を解決すべきか、社内で検討を重ねました。 HWのみリプレースして継続する（延命策） 自社内で大幅なシステム刷新を行う KDDIに委託する（KDDIメール基盤への移行）
13. 選定理由 Copyright © NIFTY Corporation All Rights Reserved. 13 携帯キャリアとして膨大なアカウントを抱えたメールシステムを運用 している実績（信頼性） 大規模災害に備えたエリア冗長 大規模システムの移行実績（実現性） 下記のような理由でKDDIメール基盤への移行を選定しました。 KDDIメール基盤について、次のパートで詳しくご説明頂きます。 ニフティ社員は付加価値向上に専念
14. Copyright ©NIFTY Corporation All Rights Reserved. KDDIメールシステムについて
15. 15 Copyright 2023 KDDI © 2023 KDDI 障害に備えた設備構成を実現するための重い設備投資 日々進化するウィルス、迷惑メールなど脅威への対策 開発・運用要員の確保 サービス運用や障害対応などに対するノウハウの蓄積 様々な課題に対して、KDDIが持つ豊富な知見や実績から 最適なソリューションをご提案 メールシステムが抱える課題
16. 16 Copyright 2023 KDDI © 2023 KDDI 障害に備えた設備構成を実現するための重い設備投資 日々進化するウィルス、迷惑メールなど脅威への対策 開発・運用要員の確保 サービス運用や障害対応などに対するノウハウの蓄積 様々な課題に対して、KDDIが持つ豊富な知見や実績から 最適なソリューションをご提案 KDDIが考えるご提案 1.品質：キャリア品質のシステム設計・サポート 2.構築コスト：システム基盤統一によるコスト最適化 3.運用面：保守運用要員の見直し・再配置 4.ノウハウ：豊富なユーザ基盤に基づく知見
17. 17 Copyright 2023 KDDI © 2023 KDDI 1.キャリア品質のシステム設計・サポート 東西2拠点で冗長化した高可用性を持つシステム設計 KDDI メールシステム基盤 メールシステム （西日本サイト） メールシステム （東日本サイト） KDDI サーバNW 東西冗長構成 スマートフォン タブレット PC ニフティ社 SOシステム サイト内サーバ 2重化以上 サイト内サーバ 2重化以上 ▪メールシステム ネットワークは2冗長以上。 メール本体のストレージは4冗長。 ニフティ関連サーバは計300台以上。
18. 18 Copyright 2023 KDDI © 2023 KDDI 1.キャリア品質のシステム設計・サポート ストレージ4冗長 KDDIにおいても Scality RING を採用 ▪ストレージ規模 Before 容量：約3PB サーバ台数：約70台 HDD：約800本 コピー数：3冗長 After 容量：約4PB サーバ台数：約44台 HDD：約1,250本 コピー数：4冗長 ※東西それぞれ2コピーずつ
19. 19 Copyright 2023 KDDI © 2023 KDDI 1.キャリア品質のシステム設計・サポート 東西2拠点で冗長化した高可用性を持つシステム設計 ▪高可用性 単一障害はサービス影響なし。 大規模障害時は、 片方のサイトへ切替え事業継続。 自動化による早期復旧を具備。 KDDI メールシステム基盤 メールシステム （西日本サイト） メールシステム （東日本サイト） KDDI サーバNW 東西冗長構成 スマートフォン タブレット PC ニフティ社 SOシステム サイト内サーバ 2重化以上 サイト内サーバ 2重化以上
20. 20 Copyright 2023 KDDI © 2023 KDDI 1.キャリア品質のシステム設計・サポート 十分な実績を持つ監視部門による、高品質なサポート 万全の監視体制 ▪監視体制 キャリアメール(au)なども 担う熟練者が 24H/365日体制で監視。 ▪大規模障害への備え 監視拠点も東西に分散。 片側が機能不全に陥っても 他方サイトに機能を切替え サービス・監視継続。
21. 21 Copyright 2023 KDDI © 2023 KDDI 2.システム基盤統一によるコスト最適化 共通システム基盤 A社 B社 関連会社を含めた大規模なシステム基盤 KDDIサービス仕様に合わせることでコスト低減 自社(au)、関連会社を含む 約5,000万のユーザを担う 大規模なシステム基盤 ・・ ・ ニフティ社 システム システム基盤統一により 新規構築よりも開発に係る コストを低減 豊富な構築実績 最適コストでデリバリ 他社 システム
22. 22 Copyright 2023 KDDI © 2023 KDDI 3.保守運用要員の見直し・再配置 運用体制を弊社へアウトソースいただくことにより、 新規事業へリソースを最適配置可能 ベンダー 保守 運用 監視 開発 ベンダー 効率化 保守 運用 監視 開発 ベンダー ニフティ社 保守体制 KDDI 保守体制 弊社にて請負 他の事業へ 要員を再配置 ⇩ 新規売上創出 × •名 × ▲名 × ▪名 請負件数の増加により、弊社保守部隊の 効率化を実現し、更なるコスト削減を実施
23. 23 Copyright 2023 KDDI © 2023 KDDI 4.豊富なユーザ基盤に基づく知見 KDDIの実績や知見を活かしたサポート 各種ノウハウのご提供 フィルタ機能 ホワイトリスト ブラックリスト スパムチェック ウィルスチェック メール振り分け (WebMail利用時) メール転送 メールBOX ▪フィルタ情報の移行 従来ニフティの フィルタ優先度に合わせ 柔軟に設計カスタマイズ。 ▪機械学習 アンチスパムソフトに加え KDDI独自分析のフィルタ機能
24. 24 Copyright 2023 KDDI © 2023 KDDI 余談）迷惑メールフィルタの実績 百万通/日 検知率(%) 9月下旬から10月初頭、 迷惑メールが増加傾向。 いずれも 拒否 判定。 通過数(=迷惑メールでは ない件数）は横ばい。 40% 0% 20% 10% 30% 12 0 16 8 4
25. 25 Copyright 2023 KDDI © 2023 KDDI 4.豊富なユーザ基盤に基づく知見 KDDIの実績や知見を活かしたサポート 各種ノウハウのご提供 システム移行 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム メールデータコピー Step1 アカウント情報コピー Step2-a. 取得ルート切り替え Step2-b. 送信ルート切り替え Step2-c. 受信ルート切り替え Step3 メールを新システムへコピー メール取得ルート メール送信ルート メール受信ルート アカウントコピー システム移行詳細は 次章で説明します ▪メールデータ移行 標準IMAPコマンド。 オプションでPOPUID引継ぎ。 自社キャリアメール(au)含め、 5,000万アカウント以上の実績
26. Copyright ©NIFTY Corporation All Rights Reserved. 基盤移行について ・システム構成 ビフォーアフター ・メールシステムの移行方法
27. Copyright ©NIFTY Corporation All Rights Reserved. システム構成 ビフォーアフター
28. 移行前の構成 Copyright © NIFTY Corporation All Rights Reserved. 28 お客様 送信[SMTP] 受信[SMTP] メールボックス ストレージ メール 情報 メタ情報 インターネット 取得[POP/IMAP] Webメール 顧客管理
29. 移行後の構成 Copyright © NIFTY Corporation All Rights Reserved. 29 お客様 送信[SMTP] 受信[SMTP] メールボックス ストレージ メール 情報 メタ情報 取得[POP/IMAP] Webメール 顧客管理 顧客管理 顧客情報同期 インターネット
30. 移行後の構成 Copyright © NIFTY Corporation All Rights Reserved. 30 お客様 送信[SMTP] 受信[SMTP] メールボックス ストレージ メール 情報 メタ情報 取得[POP/IMAP] Webメール 顧客管理 顧客管理 顧客情報同期 インターネット メール配送に関わる機能は、ほぼ全てKDDI基盤に移行
31. 移行後の構成 Copyright © NIFTY Corporation All Rights Reserved. 31 お客様 送信[SMTP] 受信[SMTP] メールボックス ストレージ メール 情報 メタ情報 取得[POP/IMAP] Webメール 顧客管理 顧客管理 顧客情報同期 インターネット 顧客管理のマスタはニフティ 旧来の顧客管理の仕組みを維持しながら、 キューイングを介した連携システムを新たに構築
32. Copyright ©NIFTY Corporation All Rights Reserved. メールシステムの移行方法
33. 33 Copyright 2023 KDDI © 2023 KDDI メール基盤移行の流れ  STEP1. アカウント情報コピー  STEP2-a. 取得ルート切替  STEP2-b. 送信ルート切替  STEP2-c. 受信ルート切替  STEP3. メールデータコピー 取得 送信 受信 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム メールデータコピー アカウントコピー 1 2 3 外部MTA 利用者
34. 34 Copyright 2023 KDDI © 2023 KDDI STEP1. アカウント情報コピー 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム アカウントコピー 1 メール基盤移行  アカウント情報を 引継ぐには A. ファイルでのコピー コピー中に差分が出るため システム停止が必要。 t t’ 取得 送信 受信 外部MTA 利用者
35. 35 Copyright 2023 KDDI © 2023 KDDI STEP1. アカウント情報コピー 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム アカウントコピー 1 メール基盤移行  アカウント情報を 引継ぐには B. SO同期連携 ★ニフティ 管理システムから 双方に同じ情報を連携。 システム停止不要。 SO : サービスオーダー 取得 送信 受信 外部MTA 利用者
36. 36 Copyright 2023 KDDI © 2023 KDDI STEP2-a. 取得ルート切替 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム 2 メール基盤移行  DNSレコード変更 KDDI設備を経由し ニフティ設備へコマンドを プロキシーし、 クライアントへ応答。 取得 送信 受信 外部MTA 利用者
37. 37 Copyright 2023 KDDI © 2023 KDDI STEP2-b. 送信ルート切替 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム 2 メール基盤移行  DNSレコード変更 KDDI設備から送信開始。 システム間を経由して 送信済みメールを保存。 取得 送信 受信 外部MTA 利用者
38. 38 Copyright 2023 KDDI © 2023 KDDI STEP2-c. 受信ルート切替 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム 2 メール基盤移行  DNSレコード変更 KDDI設備で外部受信し 迷惑メール判定した結果を フラグ付けしてからリレー。 取得 送信 受信 外部MTA 利用者
39. 39 Copyright 2023 KDDI © 2023 KDDI STEP3. メールデータコピー 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム メールデータコピー 3 メール基盤移行  アカウント単位で移行 オンラインでデータコピー。 IMAP FETCHで得た情報を 新BOXに格納。 全メールコピー後、 取得/送信/受信ルートを 一括切替。 取得 送信 受信 外部MTA 利用者
40. 40 Copyright 2023 KDDI © 2023 KDDI STEP3. メールデータコピー 既存 BOX KDDI ニフティ フロント 設備 新BOX フロント設備 ユーザ 情報 ユーザ 情報 顧客管理 システム メール基盤移行 約250万アカウント、 計105億通のメールを 約3か月半で移行 移行完了！ 取得 送信 受信 外部MTA 利用者
41. Copyright ©NIFTY Corporation All Rights Reserved. ディスカッション
42. Copyright ©NIFTY Corporation All Rights Reserved. 移行で苦労したこと
43. ご清聴ありがとうございました Copyright © NIFTY Corporation All Rights Reserved. 43