Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NIFTY Tech Day 2022 安心・安全な@niftyメールサービスの裏側

NIFTY Tech Day 2022 安心・安全な@niftyメールサービスの裏側

NIFTY Tech Day 2022 セッション資料

大規模なシステム運用の裏側や迷惑メール対策をはじめとした、お客様に安心してサービスをご利用いただくための取り組みについて語ります。

本セッションのアーカイブ動画:
https://youtu.be/7Oc-cHQoT6o

NIFTY Tech Day 2022 アーカイブ動画一覧:
https://www.youtube.com/playlist?list=PLYJnnMO84Y4ScTbh4EB5F-xVwgmPv_cM3

ニフティ株式会社

November 22, 2022
Tweet

More Decks by ニフティ株式会社

Other Decks in Technology

Transcript

  1. Copyright ©NIFTY Corporation All Rights Reserved. 安心・安全な@niftyメール サービスの裏側 安定したサービス提供に向けた 取り組みについて

  2. 自己紹介 Copyright © NIFTY Corporation All Rights Reserved. 加藤 健太

    会員システムグループ 第三開発チーム メール運用サブチーム 2011年ニフティ株式会社に新卒入社 鈴木 雅也 会員システムグループ 第三開発チーム メール開発サブチーム ここ暫くメール一筋 スプラトゥーン3 ウデマエS+ 2018年ニフティ株式会社に中途入社 2
  3. おわりに 目次 Copyright © NIFTY Corporation All Rights Reserved. 安定したサービス提供に向けた取り組みにつ

    いて はじめに @niftyメールの今後 @niftyメールの現状 SMTP受信 セキュリティ対策 SMTP送信 セキュリティ対策 大規模ストレージの安定運用 3
  4. Copyright ©NIFTY Corporation All Rights Reserved. はじめに @niftyメールの現状について

  5. メール利用の現状 Copyright © NIFTY Corporation All Rights Reserved. 電子メールは、SNSが広く普及した現在でも、インター ネット利用の主要な目的の1つとなっています。

    インターネットの利用目的・用途 (出典)総務省「通信利用動向調査」 https://www.soumu.go.jp/johotsusintokei/statistics/statistics05.html 5
  6. ニフティにおける現状 Copyright © NIFTY Corporation All Rights Reserved. メールアカウント数:約250万アカウント 1日あたりの流量:着信

    2,000万通、送信 40万通 ニフティにおいても同様で、多くのお客様に利用されて います。 ニフティの主力事業であるプロバイダーサービスを利用 せず、メールサービスのみを利用されているお客様も多 数いらっしゃいます。 6
  7. メールサービスの歴史 Copyright © NIFTY Corporation All Rights Reserved. 1987年 パソコン通信「NIFTY-Serve」開始 •

    現在でも使用されている「nifty.com」ドメインに 1999年 Infowebと統合し「@nifty」へ 1994年 インターネット接続サービス開始 • 会員同士でやり取りできる電子メール機能を提供 • インターネットとのメールの送受信が可能に • 当時のメールアドレスは「niftyserve.or.jp」ドメイン パソコン通信時代も含めると、30年を超える歴史を持っ ています。 7
  8. メールサービスの歴史 Copyright © NIFTY Corporation All Rights Reserved. 追加のメールアカウント セカンドメール、サンリオキャラクターアドレス

    など 迷惑メール対策機能 迷惑メールフィルター、未登録アドレスブロック など セキュリティ対策機能 メールウイルスチェック、 @nifty セキュア・プライバシー for Mail(本年8月開始) など インターネットとのメール送受信が可能になって以降、 様々なオプション機能を提供しています。 8
  9. お客様 メールシステムの構成 Copyright © NIFTY Corporation All Rights Reserved. 送信

    [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 9
  10. お客様 メールシステムの構成(着信の流れ) Copyright © NIFTY Corporation All Rights Reserved. 送信

    [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 10
  11. お客様 メールシステムの構成(送信の流れ) Copyright © NIFTY Corporation All Rights Reserved. 送信

    [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 11
  12. お客様 メールシステムの構成(取得の流れ) Copyright © NIFTY Corporation All Rights Reserved. 送信

    [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 12
  13. Copyright ©NIFTY Corporation All Rights Reserved. 安定したサービス提供に向け た取り組みについて SMTP受信のセキュリティ対策について SMTP送信のセキュリティ対策について

    大規模ストレージ安定運用の話
  14. Copyright ©NIFTY Corporation All Rights Reserved. SMTP受信の セキュリティ対策について

  15. お客様 メールシステムの構成 Copyright © NIFTY Corporation All Rights Reserved. 送信

    [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 15
  16. • フィッシングメールとは • 送信者を偽って電子メールを送信し、公式サイトに似せた偽サイトに誘導し て、IDやパスワード等を盗み出す詐欺手口の一つ。 近頃のフィッシングメールとの闘い Copyright © NIFTY Corporation

    All Rights Reserved. 国内のフィッシング情報の届け出件数 多くはSMSや電子メールによるもの (出典)フィッシング対策協議会「フィッシングレポート2022」 https://www.antiphishing.jp/report/phishing_report_2022.pdf 16
  17. ニフティ社を騙ったニフティ会員宛のメールも増加 近頃のフィッシングメールとの闘い Copyright © NIFTY Corporation All Rights Reserved. •

    届いたフィッシングメールの傾向 • 複数の国内外IPからの送信/IPレピュテーションスコアは正常/徐々 に送信/fromアドレスや文面等もコロコロ変わる/同一IPから正規メー ルも届く。。 実際に届いたフィッシングメール ↓ 17
  18. • ニフティで提供する迷惑メールフィルター • 2つのフィルターで成り立つ • ベンダー製品のフィルター • 高精度で高速にSPAMやPhishingを検知するアンチスパムエ ンジンを搭載 •

    しかし、時々迷惑メール判定されない場合がある。 • ニフティ独自フィルター • ニフティオリジナルのフィルター • 上記すり抜けを補う役割 迷惑メールフィルターの強化 Copyright © NIFTY Corporation All Rights Reserved. 18
  19. 迷惑メールフィルターの強化 Copyright © NIFTY Corporation All Rights Reserved. • ニフティ独自フィルター

    • 迷惑メールの特徴を定義に追加することで、迷惑メール 判定のスコアを調整可能な機能 • ハニーポット用アカウントや、Webメールの通報機能から得られ たフィッシングの特徴を都度反映し、迷惑メール判定のスピード や精度向上に努めている • 送信ドメイン認証技術(SPF/DKIM/DMARC等)も駆使 19
  20. 迷惑メールフィルター未利用のお客様への対処 Copyright © NIFTY Corporation All Rights Reserved. • ニフティ社からの正規お知らせメールには、Webメール上

    でニフティロゴを表示 別途、メーラーでも判別可能にすべく今後BIMI導入も検討中 ※BIMIはこれから普及する見込み 20
  21. Copyright ©NIFTY Corporation All Rights Reserved. SMTP送信の セキュリティ対策について

  22. お客様 メールシステムの構成 Copyright © NIFTY Corporation All Rights Reserved. 送信

    [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 22
  23. • 大量送信とは? • 大量のメール(通常では考えられない通数のメール)が、お客様端 末からの接続により、@niftyメールシステムから送信されること。 大きな問題の1つ:大量送信問題 Copyright © NIFTY Corporation

    All Rights Reserved. • 特徴 • 第三者にSMTP認証のID・PWを悪用されて、不正に送信されている (過去実績ベース)。 • メールソフトからの送信、Webメールからの送信、両方で発生 • 内部宛(ニフティ宛)だけではなく、外部宛へも多く送信される。 23
  24. • @niftyメール設備の負荷が急増する 正規のお客様のメール送信に支障がでる 放置するとどうなるのか? Copyright © NIFTY Corporation All Rights

    Reserved. • 世の中的に、@niftyメール送信サーバのIPレピュテーショ ンスコアが悪くなる。もしスパムメールの送信元と判断さ れたブラックリストデータベース※に載ってしまうと。。 正規のお客様が送信したメールが、 リストを参照した企業や学校宛に届かなくなる ※Barracuda/spamhaus/sorbs/spamcop/uceprotect/spamrats/etc… 24
  25. • 流量制御 • 単位時間あたりの送信通数等が一定数を超えると自動 で送信制御 • 一時的に送信可能通数等を極端に制御(一定時間経過後自動 解除) • 繰り返される場合等、悪質なケースは送信不可措置へ

    • OSSのMTA+ニフティ独自制御システム • その他の対策も講じているが、正直、いたちごっこ。。 主な対策例 Copyright © NIFTY Corporation All Rights Reserved. 25
  26. Copyright ©NIFTY Corporation All Rights Reserved. 大規模ストレージ 安定運用の話

  27. お客様 メールシステムの構成 Copyright © NIFTY Corporation All Rights Reserved. 送信

    [SMTP] 受信 [SMTP] メールボッ クス ストレージ メール 情報 メタ情報 インターネット 取得 [POP/IMAP] Web メール 27
  28. Copyright © NIFTY Corporation All Rights Reserved. • ストレージ容量:約3PB •

    サーバ台数:約70台 ✔ HDD本数:約800本 ストレージの規模感 Scality RING で巨大なストレージプールを構築 28
  29. Copyright © NIFTY Corporation All Rights Reserved. • Scality Inc.

    (以下、Scality社) が開発したSDS (Software Defined Storage)。 • 汎用x86サーバを用いて、ペタバイト規模にス ケール可能なストレージクラスタを構築可能。 • 旧来のNFS/SMBのようなファイルストレージとして のインターフェースや、Amazon S3互換のオブ ジェクトストレージとしてのインターフェースも提 供。 Scality RINGとは (出典)Scality RING https://www.scality.com/ja/ring/ 特徴を抜粋 29
  30. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGとは (出典)クラウド

    Watch「NVCが扱う大容量ストレージ構築ソフト「Scality RING」がニフティに採用」 https://cloud.watch.impress.co.jp/docs/news/513448.html 30
  31. REST Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要

    Storage Layer Connector Layer Client Application 31
  32. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 160bit

    のキーの両端を時計回りにつないで論理的に 円環状の空間を実現。 32
  33. • bizstorenode (以下、 node) というプロセスが 複数存在。 Copyright © NIFTY Corporation

    All Rights Reserved. Scality RINGのアーキテクチャ概要 bizstorenode bizstorenode ・・・ bizstorenode bizstorenode ・・・ bizstorenode bizstorenode ・・・ 0EEEEE…00 EEEEEE…00 633333…00 1CCCCC…00 AAAAAA…00 D55555…00 • 各 node に 160bit の キーが割り当てられてい る。 33
  34. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 円環状のキースペースに沿って論理的に配置。

    (この例では 3台×6node=18node) 34
  35. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 1つ手前の

    node にアサインされているキー + 1 〜 自身に割り当てられているキーまでが担当範囲。 【担当範囲】 0EEEEE…01 〜 1CCCCC…00 35
  36. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 •

    ポリシーベースのレプリケーション • 弊社では3コピーのオブジェクトを保存するように設定 • 各々のオブジェクトは同一サーバ上の node に偏らないように配置さ れる 36
  37. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 オブジェクトのコピーが欠けてしまっても・・・

    37
  38. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 セルフヒーリング機能により自動復旧

    🙌 38
  39. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 既存のRINGに新しいノードを追加したい…!

    • キーをアサイン • RINGにJOIN 39
  40. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 自動的にリバランシングが行われる。

    • nodeのキーの担当範囲の更新 • オブジェクトの移動 例えば、 「060000…00」という キーのオブジェクトが 存在した場合、担当 nodeが青→黄色に変 わる。 実データも黄色のnode を持つサーバのHDDに 移動する。 40
  41. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 ストレージサーバ

    の入れ替えを シームレスにダウンタイム0で実現可能! ストレージ運用で苦労するポイントといえば ハードウェア入れ替え時のデータ移行 🤮 41
  42. Copyright © NIFTY Corporation All Rights Reserved. Scality RINGのアーキテクチャ概要 分散ハッシュテーブル

    (DHT) Chord アルゴリズム これらを支える技術 ※ 非常にわかりやすいスライド ChordアルゴリズムによるDHT入門 https://www.slideshare.net/did2/chorddht 42
  43. Copyright © NIFTY Corporation All Rights Reserved. ストレージの安定運用の秘訣 @niftyメールのストレージの安定運用は Scality

    RINGによって支えられている💪 43
  44. Copyright © NIFTY Corporation All Rights Reserved. 運用上苦労するポイントはないの? • HWのライフサイクルに合わせたリプレースが必

    要。 ◦ 弊社では初期導入以来、RINGの容量拡張のため比 較的短いスパンでHWを追加してきた。 ◦ ライフサイクルの異なるHWが同一RING上に共存。 ◦ HWのリプレース対応は、調達のリードタイムも然り、 1年近くの期間を要する。 44
  45. Copyright © NIFTY Corporation All Rights Reserved. 運用上苦労するポイントはないの? 󰳕「HWのリプレースが終わった」 🙎「HWのリプレースが終わるとどうなる?」

    󰳕「知らんのか」 󰳕「HWのリプレースが始まる」 45
  46. Copyright © NIFTY Corporation All Rights Reserved. 運用上苦労するポイントはないの? HWのライフサイクル (約5年)

    を見据え、適切にキャ パシティを見積もってHWを購入するのが理想…。 (とはいえ現実的には難しいことも・・・😢) 46
  47. Copyright ©NIFTY Corporation All Rights Reserved. おわりに @niftyメールの今後について

  48. 今後について Copyright © NIFTY Corporation All Rights Reserved. ニフティでは現在、メールサービスのリニューアルを計 画しています。

    @niftyメール リニューアルのお知らせ https://mail.nifty.com/cs/mail-info/detail/220616000098/1.htm メール配送システムのエリア冗長  自然災害を考慮した基盤強化 独自システムの刷新  メンテナンス性の向上 48
  49. 今後の@niftyメールにも どうぞご期待ください Copyright © NIFTY Corporation All Rights Reserved. 49