NIFTY Tech Day 2022 安心・安全な@niftyメールサービスの裏側

NIFTY Tech Day 2022 セッション資料

大規模なシステム運用の裏側や迷惑メール対策をはじめとした、お客様に安心してサービスをご利用いただくための取り組みについて語ります。

本セッションのアーカイブ動画：
https://youtu.be/7Oc-cHQoT6o

NIFTY Tech Day 2022 アーカイブ動画一覧：
https://www.youtube.com/playlist?list=PLYJnnMO84Y4ScTbh4EB5F-xVwgmPv_cM3

Transcript

1. Copyright ©NIFTY Corporation All Rights Reserved. 安心・安全な@niftyメール サービスの裏側 安定したサービス提供に向けた 取り組みについて
2. 自己紹介 Copyright © NIFTY Corporation All Rights Reserved. 加藤 健太 会員システムグループ 第三開発チーム メール運用サブチーム 2011年ニフティ株式会社に新卒入社 鈴木 雅也 会員システムグループ 第三開発チーム メール開発サブチーム ここ暫くメール一筋 スプラトゥーン3 ウデマエS+ 2018年ニフティ株式会社に中途入社 2
3. おわりに 目次 Copyright © NIFTY Corporation All Rights Reserved. 安定したサービス提供に向けた取り組みにつ いて はじめに @niftyメールの今後 @niftyメールの現状 SMTP受信 セキュリティ対策 SMTP送信 セキュリティ対策 大規模ストレージの安定運用 3
4. Copyright ©NIFTY Corporation All Rights Reserved. はじめに @niftyメールの現状について
5. メール利用の現状 Copyright © NIFTY Corporation All Rights Reserved. 電子メールは、ＳＮＳが広く普及した現在でも、インター ネット利用の主要な目的の１つとなっています。 インターネットの利用目的・用途 （出典）総務省「通信利用動向調査」 https://www.soumu.go.jp/johotsusintokei/statistics/statistics05.html 5
6. ニフティにおける現状 Copyright © NIFTY Corporation All Rights Reserved. メールアカウント数：約250万アカウント 1日あたりの流量：着信 2,000万通、送信 40万通 ニフティにおいても同様で、多くのお客様に利用されて います。 ニフティの主力事業であるプロバイダーサービスを利用 せず、メールサービスのみを利用されているお客様も多 数いらっしゃいます。 6
7. メールサービスの歴史 Copyright © NIFTY Corporation All Rights Reserved. １９８７年　パソコン通信「NIFTY-Serve」開始 • 現在でも使用されている「nifty.com」ドメインに １９９９年　Infowebと統合し「@nifty」へ １９９４年　インターネット接続サービス開始 • 会員同士でやり取りできる電子メール機能を提供 • インターネットとのメールの送受信が可能に • 当時のメールアドレスは「niftyserve.or.jp」ドメイン パソコン通信時代も含めると、３０年を超える歴史を持っ ています。 7
8. メールサービスの歴史 Copyright © NIFTY Corporation All Rights Reserved. 追加のメールアカウント セカンドメール、サンリオキャラクターアドレス など 迷惑メール対策機能 迷惑メールフィルター、未登録アドレスブロック など セキュリティ対策機能 メールウイルスチェック、 @nifty セキュア・プライバシー for Mail（本年8月開始） など インターネットとのメール送受信が可能になって以降、 様々なオプション機能を提供しています。 8
9. お客様 メールシステムの構成 Copyright © NIFTY Corporation All Rights Reserved. 送信 [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 9
10. お客様 メールシステムの構成（着信の流れ） Copyright © NIFTY Corporation All Rights Reserved. 送信 [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 10
11. お客様 メールシステムの構成（送信の流れ） Copyright © NIFTY Corporation All Rights Reserved. 送信 [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 11
12. お客様 メールシステムの構成（取得の流れ） Copyright © NIFTY Corporation All Rights Reserved. 送信 [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 12
13. Copyright ©NIFTY Corporation All Rights Reserved. 安定したサービス提供に向け た取り組みについて SMTP受信のセキュリティ対策について SMTP送信のセキュリティ対策について 大規模ストレージ安定運用の話
14. Copyright ©NIFTY Corporation All Rights Reserved. SMTP受信の セキュリティ対策について
15. お客様 メールシステムの構成 Copyright © NIFTY Corporation All Rights Reserved. 送信 [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 15
16. • フィッシングメールとは • 送信者を偽って電子メールを送信し、公式サイトに似せた偽サイトに誘導し て、IDやパスワード等を盗み出す詐欺手口の一つ。 近頃のフィッシングメールとの闘い Copyright © NIFTY Corporation All Rights Reserved. 国内のフィッシング情報の届け出件数 多くはSMSや電子メールによるもの （出典）フィッシング対策協議会「フィッシングレポート2022」 https://www.antiphishing.jp/report/phishing_report_2022.pdf 16
17. ニフティ社を騙ったニフティ会員宛のメールも増加 近頃のフィッシングメールとの闘い Copyright © NIFTY Corporation All Rights Reserved. • 届いたフィッシングメールの傾向 • 複数の国内外IPからの送信/IPレピュテーションスコアは正常/徐々 に送信/fromアドレスや文面等もコロコロ変わる/同一IPから正規メー ルも届く。。 実際に届いたフィッシングメール ↓ 17
18. • ニフティで提供する迷惑メールフィルター • 2つのフィルターで成り立つ • ベンダー製品のフィルター • 高精度で高速にSPAMやPhishingを検知するアンチスパムエ ンジンを搭載 • しかし、時々迷惑メール判定されない場合がある。 • ニフティ独自フィルター • ニフティオリジナルのフィルター • 上記すり抜けを補う役割 迷惑メールフィルターの強化 Copyright © NIFTY Corporation All Rights Reserved. 18
19. 迷惑メールフィルターの強化 Copyright © NIFTY Corporation All Rights Reserved. • ニフティ独自フィルター • 迷惑メールの特徴を定義に追加することで、迷惑メール 判定のスコアを調整可能な機能 • ハニーポット用アカウントや、Webメールの通報機能から得られ たフィッシングの特徴を都度反映し、迷惑メール判定のスピード や精度向上に努めている • 送信ドメイン認証技術（SPF/DKIM/DMARC等）も駆使 19
20. 迷惑メールフィルター未利用のお客様への対処 Copyright © NIFTY Corporation All Rights Reserved. • ニフティ社からの正規お知らせメールには、Webメール上 でニフティロゴを表示 別途、メーラーでも判別可能にすべく今後BIMI導入も検討中 ※BIMIはこれから普及する見込み 20
21. Copyright ©NIFTY Corporation All Rights Reserved. SMTP送信の セキュリティ対策について
22. お客様 メールシステムの構成 Copyright © NIFTY Corporation All Rights Reserved. 送信 [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 22
23. • 大量送信とは？ • 大量のメール（通常では考えられない通数のメール）が、お客様端 末からの接続により、@niftyメールシステムから送信されること。 大きな問題の1つ：大量送信問題 Copyright © NIFTY Corporation All Rights Reserved. • 特徴 • 第三者にSMTP認証のID・PWを悪用されて、不正に送信されている （過去実績ベース）。 • メールソフトからの送信、Webメールからの送信、両方で発生 • 内部宛（ニフティ宛）だけではなく、外部宛へも多く送信される。 23
24. • @niftyメール設備の負荷が急増する 正規のお客様のメール送信に支障がでる 放置するとどうなるのか？ Copyright © NIFTY Corporation All Rights Reserved. • 世の中的に、@niftyメール送信サーバのIPレピュテーショ ンスコアが悪くなる。もしスパムメールの送信元と判断さ れたブラックリストデータベース※に載ってしまうと。。 正規のお客様が送信したメールが、 リストを参照した企業や学校宛に届かなくなる ※Barracuda/spamhaus/sorbs/spamcop/uceprotect/spamrats/etc… 24
25. • 流量制御 • 単位時間あたりの送信通数等が一定数を超えると自動 で送信制御 • 一時的に送信可能通数等を極端に制御（一定時間経過後自動 解除） • 繰り返される場合等、悪質なケースは送信不可措置へ • OSSのMTA＋ニフティ独自制御システム • その他の対策も講じているが、正直、いたちごっこ。。 主な対策例 Copyright © NIFTY Corporation All Rights Reserved. 25
26. Copyright ©NIFTY Corporation All Rights Reserved. 大規模ストレージ 安定運用の話
27. お客様 メールシステムの構成 Copyright © NIFTY Corporation All Rights Reserved. 送信 [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 27
28. Copyright © NIFTY Corporation All Rights Reserved. • ストレージ容量：約3PB • サーバ台数：約70台 ✔ HDD本数：約800本 ストレージの規模感 Scality RING で巨大なストレージプールを構築 28
29. Copyright © NIFTY Corporation All Rights Reserved. • Scality Inc. (以下、Scality社) が開発したSDS (Software Defined Storage)。 • 汎用x86サーバを用いて、ペタバイト規模にス ケール可能なストレージクラスタを構築可能。 • 旧来のNFS/SMBのようなファイルストレージとして のインターフェースや、Amazon S3互換のオブ ジェクトストレージとしてのインターフェースも提 供。 Scality RINGとは （出典）Scality RING https://www.scality.com/ja/ring/ 特徴を抜粋 29
30. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGとは （出典）クラウド Watch「NVCが扱う大容量ストレージ構築ソフト「Scality RING」がニフティに採用」 https://cloud.watch.impress.co.jp/docs/news/513448.html 30
31. REST Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 Storage Layer Connector Layer Client Application 31
32. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 160bit のキーの両端を時計回りにつないで論理的に 円環状の空間を実現。 32
33. • bizstorenode (以下、 node) というプロセスが 複数存在。 Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 bizstorenode bizstorenode ・・・ bizstorenode bizstorenode ・・・ bizstorenode bizstorenode ・・・ 0EEEEE…00 EEEEEE…00 633333…00 1CCCCC…00 AAAAAA…00 D55555…00 • 各 node に 160bit の キーが割り当てられてい る。 33
34. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 円環状のキースペースに沿って論理的に配置。 (この例では 3台×6node＝18node) 34
35. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 1つ手前の node にアサインされているキー + 1 〜 自身に割り当てられているキーまでが担当範囲。 【担当範囲】 0EEEEE…01 〜 1CCCCC…00 35
36. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 • ポリシーベースのレプリケーション • 弊社では3コピーのオブジェクトを保存するように設定 • 各々のオブジェクトは同一サーバ上の node に偏らないように配置さ れる 36
37. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 オブジェクトのコピーが欠けてしまっても・・・ 37
38. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 セルフヒーリング機能により自動復旧 🙌 38
39. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 既存のRINGに新しいノードを追加したい…！ • キーをアサイン • RINGにJOIN 39
40. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 自動的にリバランシングが行われる。 • nodeのキーの担当範囲の更新 • オブジェクトの移動 例えば、 「060000…00」という キーのオブジェクトが 存在した場合、担当 nodeが青→黄色に変 わる。 実データも黄色のnode を持つサーバのHDDに 移動する。 40
41. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 ストレージサーバ の入れ替えを シームレスにダウンタイム0で実現可能！ ストレージ運用で苦労するポイントといえば ハードウェア入れ替え時のデータ移行 🤮 41
42. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 分散ハッシュテーブル (DHT) Chord アルゴリズム これらを支える技術 ※ 非常にわかりやすいスライド ChordアルゴリズムによるDHT入門 https://www.slideshare.net/did2/chorddht 42
43. Copyright © NIFTY Corporation All Rights Reserved. ストレージの安定運用の秘訣 @niftyメールのストレージの安定運用は Scality RINGによって支えられている💪 43
44. Copyright © NIFTY Corporation All Rights Reserved. 運用上苦労するポイントはないの？ • HWのライフサイクルに合わせたリプレースが必 要。 ◦ 弊社では初期導入以来、RINGの容量拡張のため比 較的短いスパンでHWを追加してきた。 ◦ ライフサイクルの異なるHWが同一RING上に共存。 ◦ HWのリプレース対応は、調達のリードタイムも然り、 1年近くの期間を要する。 44
45. Copyright © NIFTY Corporation All Rights Reserved. 運用上苦労するポイントはないの？ 󰳕「HWのリプレースが終わった」 🙎「HWのリプレースが終わるとどうなる？」 󰳕「知らんのか」 󰳕「HWのリプレースが始まる」 45
46. Copyright © NIFTY Corporation All Rights Reserved. 運用上苦労するポイントはないの？ HWのライフサイクル (約5年) を見据え、適切にキャ パシティを見積もってHWを購入するのが理想…。 (とはいえ現実的には難しいことも・・・😢) 46
47. Copyright ©NIFTY Corporation All Rights Reserved. おわりに @niftyメールの今後について
48. 今後について Copyright © NIFTY Corporation All Rights Reserved. ニフティでは現在、メールサービスのリニューアルを計 画しています。 @niftyメール リニューアルのお知らせ https://mail.nifty.com/cs/mail-info/detail/220616000098/1.htm メール配送システムのエリア冗長 　自然災害を考慮した基盤強化 独自システムの刷新 　メンテナンス性の向上 48
49. 今後の@niftyメールにも どうぞご期待ください Copyright © NIFTY Corporation All Rights Reserved. 49