Tweet
Tweet

Slide 1

Slide 1 text

www.vadesecure.com Go言語で作る あなただけのメールサーバー Vade Japan 平野 善隆 自由自在に カスタマイズ！

Slide 2

Slide 2 text

2 www.vadesecure.com 自己紹介 名前 平野 善隆 所属 Vade Japan 株式会社 (Hornetsecurity) Principal Messaging Engineer 好きな メール、DNS、Python、Go 技術 AWS、Serverless 趣味 長距離の自転車大会(1,200kmとか、2,000kmとか) バンド演奏 主な活動 M3AAWG JPAAWG 迷惑メール対策推進協議会 Audax Randonneurs Nihonbashi

Slide 3

Slide 3 text

3 www.vadesecure.com メールとの関わり 1990 パソコン通信などでメールに触れる 199x ドメインを取得して近所のISPに個人のサーバーを置かせても らって運用開始 2000 外人さんの多い会社に転職したのでメールの漢字にふりがなを 付けたりして遊ぶ (のちのhiragana.jp) 個人のサーバーをちゃんとしたデータセンターに移動。 imail.ne.jpというドメインを取って一攫千金を夢見るが挫折 2004 メールの会社に入社 以降 スパムフィルタ、誤送信防止製品の開発やサービスの立ち上げ。 PPAPの礎を築く。 2023 別のメール会社に転職

Slide 4

Slide 4 text

4 www.vadesecure.com Vade とは 設 立 2009年、フランス共和国リールにて設立 2024年 3月 ドイツ Hornetsecurityのグループとなる 2017年に日本市場に参入。日本国内にスレッドセンター設立 約600名 ※Hornetsecurityグループ ドイツ、フランス、アメリカ、カナダ、スペイン、イギリス、イタリア、北マケドニア、日本 拠 点 社員数 国 内 Vade フランス オフィス外観 エンドユーザ 約75,000社 ／ パートナー 12,000社 顧客数

Slide 5

Slide 5 text

HORNETSECURITY WORLDWIDE – SWARM MEETS WORLD

Slide 6

Slide 6 text

本社はリール(Lille)の近くのエム(Hem) 6 ここ パリ 約200km パリにもオフィスはあります

Slide 7

Slide 7 text

現存する世界最古の自転車大会 パリ・ブレスト・パリ 7 ここ パリ 約200km 往復1,200km ブレスト

Slide 8

Slide 8 text

リールよりもさらにベルギー寄り 8 ここ リールの街

Slide 9

Slide 9 text

社内の風景 9

Slide 10

Slide 10 text

社内の風景 10

Slide 11

Slide 11 text

ちゃんと仕事もしてます 11

Slide 12

Slide 12 text

業務終了後 ベルギーをサイクリング 12

Slide 13

Slide 13 text

13 www.vadesecure.com • Webやメールの開発環境 • MTA Bulderとは • 何ができるの? • さまざまな特長 • まとめ もくじ

Slide 14

Slide 14 text

www.vadesecure.com WEBやメールの開発環境

Slide 15

Slide 15 text

15 www.vadesecure.com Webの開発フレームワーク Webサーバー アプリケーション サーバー データベース Apache Nginx ・・・ Ruby on Rail Django Spring Laravel ・・・ 便利なライブラリ その他 HTTP

Slide 16

Slide 16 text

16 www.vadesecure.com メールの開発フレームワーク メールサーバー データベース Sendmail Postfix Qmail Exim ・・・ 別のメールサーバ メールボックス SMTP SMTP SMTP, LMTP Milter

Slide 17

Slide 17 text

17 www.vadesecure.com メールの開発フレームワーク (Cnt’d) 受信 データベース 別のメールサーバ メールボックス SMTP SMTP SMTP, LMTP Milter Queue 配送 何もできない 少し 設定できる メールサーバー

Slide 18

Slide 18 text

18 www.vadesecure.com VadeのMTA Builder 受信 データベース 別のメールサーバ メールボックス SMTP SMTP SMTP, LMTP Go言語で 自由に カスタマイズ Queue 配送 Go言語で 自由に カスタマイズ 自由に チューニング MTA Builder 便利なライブラリ 便利なライブラリ

Slide 19

Slide 19 text

www.vadesecure.com MTA Builderとは

Slide 20

Slide 20 text

20 www.vadesecure.com メールサーバを柔軟にカスタマイズするためのフレームワーク • 動作環境 : Linux 物理サーバーでもコンテナでも動きます • 開発言語 : Go言語 MTA Builderとは メールの受信や配送、その他重要な部分は MTA Builderが面倒を見ます 利用者は、ビジネスロジック(Policy)の開発に集中できます

Slide 21

Slide 21 text

www.vadesecure.com 21 MTA Builderのアーキテクチャ • 最新のプロトコルに対応(SPF, DKIM, DMARC, DANE, MTA-STS, ARC) • Policy開発用のテンプレートの提供 • 仮想キュー • クラスタ化されたレピュテーション • Cloud Ready

Slide 22

Slide 22 text

22 www.vadesecure.com いったい 何ができるの？ なんでもできます！ それ、何もできないって 言ってるようなもんよね でも自分で全部作らなきゃでしょ？

Slide 23

Slide 23 text

©2017 – Vade Secure ひな形はすでに用意してあります • SMTP認証 • Delivery profiles • DKIM検証・署名 • RBL • LDAP • Lists (local, redis...) • Queue • SPF • FCrDNSチェック On the roadmap: • 分散Queue • BIMI • Reputation • Vade Filter engine • DMARC • SRS • ARC • 分散Reputation • LDAP • MTA-STS • DANE • SQL...

Slide 24

Slide 24 text

www.vadesecure.com 具体的な実装例

Slide 25

Slide 25 text

25 www.vadesecure.com 25 # pctl policy rule insert -m spf -p checkMailFrom -r checkMailFrom -s MailFrom SPFチェックを追加 コマンドで サンプルコード を追加

Slide 26

Slide 26 text

26 www.vadesecure.com • 同時接続数が5を越えたら すぐに受け付けずに 応答を3秒間遅らせる • 同時接続数や応答の遅延時間は 変更できるようにしたい 同時接続を制限したい メールサーバー

Slide 27

Slide 27 text

27 www.vadesecure.com 27 # pctl policy rule insert -s Banner -r Conn_simultaneous -m rules -p concurrentConnections 同時接続数制限を追加

Slide 28

Slide 28 text

28 www.vadesecure.com 28 スパム・ウィルスフィルタを追加

Slide 29

Slide 29 text

29 www.vadesecure.com • 1時間の接続数が 500を越えたら 421エラーを返す • 1日の接続数が 10000を越えたら 421エラーを返す • 同時接続数や応答の遅延時間は 変更できるようにしたい 時間単位の接続数を制限したい メールサーバー メールサーバー メールサーバー 1時間で合計500 1日で合計10000

Slide 30

Slide 30 text

30 www.vadesecure.com 30 時間単位の接続数を制限

Slide 31

Slide 31 text

31 www.vadesecure.com メールサーバー • 特定の人からのメールを ブロックする • スパムフォルダに入れる とかではなく、 User Unknownで拒否する 嫌いな人をブロックしたい ×

Slide 32

Slide 32 text

32 www.vadesecure.com 32 嫌いな人をブロックする

Slide 33

Slide 33 text

33 www.vadesecure.com • バックアップ用のサーバーへメールのコピーを送る • フィッシングのURLを検知する • 転送時にARCヘッダを付ける • 上司を自動でCc/Bccに入れる • ChatGPTで本文を要約して、メールの先頭に付ける • 添付ファイルを社内のファイルサーバーに置く • 添付ファイルをzip暗号化して、パスワードを後で送る • 英語のメールを日本語に翻訳して添付する • 送信時にセキュアマトリックスで認証する • 他社のスパム・ウィルスフィルタと連携する • メールが来たらコーヒーをいれる その他なんでもできます

Slide 34

Slide 34 text

34 www.vadesecure.com • GoLangを利用して自由にポリシーを作ることができる • Buld, Test, Deployなど強力なコマンドラインの提供 • バージョン管理も内蔵 • ポリシーを簡単に設定するために多くのモジュールを提供 • なんでもできます。可能性は無限大 • 高速で安定した動作 • ポリシーはコンパイルされ、本番環境ではソースは見えない • 水平方向のスケール MTA / Policy Engine : まとめ

Slide 35

Slide 35 text

www.vadesecure.com 仮想Queueと配送

Slide 36

Slide 36 text

36 www.vadesecure.com • email, domain, IP, headerなど様々な要素でVIP, Normal/Clean/Dirty、など のQueueを作って自由に振り分けできる • 高速動作 • VMでもDockerでもどこでも動作可能 • どんなストレージで動作可能 (SSDs, Fast HDDs, key value store..) • RestAPI Management インターフェースによる柔軟な操作 MTA / キューと配送

Slide 37

Slide 37 text

37 www.vadesecure.com • 大量送信するユーザーからのメール はゆっくり配送する • 一般のユーザーからのメールは普通 にすぐに配送する 通常のメールとスパム判定されそうなものを分ける メールサーバー Queue Queue 配送 ゆっくり 配送

Slide 38

Slide 38 text

www.vadesecure.com 分散レピュテーション

Slide 39

Slide 39 text

39 www.vadesecure.com Inbound traffic Outbound traffic 分散レピュテーション APIを通してアクセス可能 全MTA横断的な クラスタリング 受信MTAでの レピュテーション Sender Domain Ips/AS Subject Recipient Behavior 送信MTAでの レピュテーション Sender Domain Ips/AS Subject Recipient Behavior

Slide 40

Slide 40 text

40 www.vadesecure.com • 学習 受送信のトラフィックのあらゆる情報を集計可能。時系列の時間単位とカウンター: • 送信者や受信者のメールアドレスやドメイン毎に集計 • IPアドレスやAS毎に集計 • 件名やヘッダなどなんでも • 不審な行動を特定 (大量のスパム、宛先、不明なドメイン、IPなどなど) • アクション: • 5xxエラーや4xxエラーを返す • トラフィックを制限してメールボムなどの攻撃を防ぐ (例: X msg/5min/hour/day) • スパムとタグ付け • 乗っ取りアカウントとして特定し報告する • 特定のリストやClass of Serviceと紐付ける (UCE, VIP, Clean/normal/dirty traffic) • RestAPI を使ってなんでもできます 分散レピュテーションの機能

Slide 41

Slide 41 text

41 www.vadesecure.com • “上位の攻撃者”を計算する設計 (E.G.: top senders, top IPs, top spammers...) • 時系列データ (単位時間の集計) と カウンター • どんなアクションも可能 (tempfail, tarpit, 待たせる, 無視する, 流量制限) • 乗っ取りアカウント/メールアドレス/IPの特定 • よくある DDOS, メールボム, 大量のスパム などを阻止 • 外部連携: Go言語で自由に書けるので外部のデータベースやレポートツー ル、SOCへのエスカレーション、などあらゆるものと連携可能 • RestAPI: 更にRestAPIにより柔軟な設計が可能 MTA / レピュテーション : まとめ

Slide 42

Slide 42 text

www.vadesecure.com Cloud Ready / DevOps Ready

Slide 43

Slide 43 text

www.vadesecure.com Supported Environments Run on Most x86-64 Linux: • CentOS/RHEL based > 7.4 • Debian > 8 • Ubuntu > 18.04 • RockyLinux > 8.4 Limited Dependency: • Openssh-client • Git • libc • Bash-completion Multi Architecture: • Mono Site • Multi Site, Geo distributed, Cloud Any Architecture: • BareMetal servers • Virtual Machines • Containers (preferred) with Docker, Kubernetes AnyWhere: • Private Cloud (containers or VMs) • Public Clouds: • Amazon: AWS, VM or compatible w/EKS • Google: GCP, VM or compatible w/GKE • Microsoft: Azure, VM or compatible w/AKS • Compatible with most public clouds • Onsite Servers/VMs/Containers

Slide 44

Slide 44 text

44 www.vadesecure.com コマンドひとつでBuild、Deployまで可能 44 SMTP REST POLICY SMTP REST CLUSTERING POLICY CONTROL POLICY MODULES POLICY MODULES POLICY TEMPLATES CUSTOM POLICIES CUSTOM POLICIES CUSTOM POLICIES クラスタ環境に MTA+PolicyをDeploy Policy設計 Build, Test & Ship Local PCTL 環境 Local or Remote Mail server

Slide 45

Slide 45 text

www.vadesecure.com CI/CD でも利用しやすい設計

Slide 46

Slide 46 text

www.vadesecure.com モニタリング / オブザーバビリティ

Slide 47

Slide 47 text

www.vadesecure.com 47 モニタリングやアラートも簡単 (Greylogを使った例)

Slide 48

Slide 48 text

www.vadesecure.com 48 モニタリングやアラートも簡単 (Greylogを使った例)

Slide 49

Slide 49 text

www.vadesecure.com 49 モニタリングやアラートも簡単 (SPAM率と量)

Slide 50

Slide 50 text

www.vadesecure.com 50 モニタリングやアラートも簡単 (Feedback Loopの統計)

Slide 51

Slide 51 text

51 www.vadesecure.com • オンプレでもクラウドでも利用可能 • どんなプラットフォームでも実行可能: BareMetal servers, VMs or Containers • 柔軟な自動デプロイ (全てスクリプト化可能) • CI/CD 環境を活用した高速なリリースプロセス • Go言語のテストフレームワークを利用した自動テスト (UAT/E2E) • 監視環境を簡単に構築 (Monitoring/Alerting/Logging) • RestAPIによる柔軟な運用 MTA / 開発 : まとめ

Slide 52

Slide 52 text

52 www.vadesecure.com • Go言語でなんでも書けます。なんでもできます！ • Milterではできないこともたくさんできます • めんどくさいところはVade MTA Builderが全部やります まとめ