Email hosting service with golang.

Slide 1

Slide 1 text

1 ホスティングにおけるメールサービスの運用と Go Go Conference'19 Summer in Fukuoka GMOペパボ株式会社ホスティング事業部インフラチーム rhykw

Slide 2

Slide 2 text

2 本日の内容 • メールサービスの裏側 • メールサービスの敵 • nginxをmail proxy serverとして使う • PostfixとSMTP Access Policy Delegation

Slide 3

Slide 3 text

3 ホスティングとは？ホスティングサーバ（レンタルサーバー、共用サーバーとも）とは、複数のユーザーが利用するサーバーのことで、WebサイトやWebアプリケーションをインターネットで一般公開するために使われる。ホスティングサービスとはサーバの利用者自身でサーバの運営・管理をしなくてもいいように、有料または無料でサーバ機のHDDの記憶スペースや情報処理機能などを利用させるサービスを言う。(Wikipediaより引用)

Slide 4

Slide 4 text

4 メールサービスの裏側 SMTP(MX) Server Anti Virus Anti Spam Mail Server Load balancer POP/IMAP Proxy SMTP Server Anti Virus Anti Spam POP/IMAP Proxy SMTP Server Anti Virus Anti Spam SMTP(MX) Server Anti Virus Anti Spam Mail Server Mail Server

Slide 5

Slide 5 text

5 メールサービスの裏側 POP/IMAP Proxy SMTP Server Anti Virus Anti Spam Mail Server Database SMTP(MX) Server Anti Virus Anti Spam ೝূ৘ใɾ઀ଓઌ ೝূ৘ใ ഑ૹઌ

Slide 6

Slide 6 text

6 メールサービスの敵 • ひとことで言うとSPAM

Slide 7

Slide 7 text

7 メールサービスの敵 • ひとことで言うとSPAM • 契約者がメールの大量配信を行うケースもあるが圧倒的に多いのは「乗っ取り」

Slide 8

Slide 8 text

8 メールサービスの敵 • ひとことで言うとSPAM • 契約者がメールの大量配信を行うケースもあるが圧倒的に多いのは「乗っ取り」 • 脆弱なパスワードのアカウントが狙われる

Slide 9

Slide 9 text

9 メールサービスの敵 • ひとことで言うとSPAM • 契約者がメールの大量配信を行うケースもあるが圧倒的に多いのは「乗っ取り」 • 脆弱なパスワードのアカウントが狙われる • info@example.jpのパスワードがinfoとか • qwerty1234 みたいなパスワードとか

Slide 10

Slide 10 text

10 メールサービスの敵 • ひとことで言うとSPAM • 契約者がメールの大量配信を行うケースもあるが圧倒的に多いのは「乗っ取り」 • 脆弱なパスワードのアカウントが狙われる • info@example.jpのパスワードがinfoとか • qwerty1234 みたいなパスワードとか • 攻撃の多くは日本国外から

Slide 11

Slide 11 text

11 メールサービスの敵 SPAMメールの送信を許してしまうとBlockList(BlackList とも)に登録され、メールの到達率の低下(=サービス品質の低下)を招く

Slide 12

Slide 12 text

12 メールの治安を回復したい!!

Slide 13

Slide 13 text

13 ホスティングにおけるメールサービスの治安と Go Go Conference'19 Summer in Fukuoka

Slide 14

Slide 14 text

14 いかにして治安を取り戻すか • 脆弱なパスワードをなくす。

Slide 15

Slide 15 text

15 いかにして治安を取り戻すか • 脆弱なパスワードをなくす。啓蒙大事。 → ユーザーの行動に依存

Slide 16

Slide 16 text

16 いかにして治安を取り戻すか • 脆弱なパスワードをなくす。啓蒙大事。 → ユーザーの行動に依存 • 不審なログイン試行を適切にブロックする • 国内からの利用がメインのアカウントにおいては国外からの接続を拒否すると効果があるのでは？

Slide 17

Slide 17 text

17 nginxをmail proxy serverとして使う POP/IMAP Proxy SMTP Server Anti Virus Anti Spam メールソフトが接続する部分に nginx を採用した

Slide 18

Slide 18 text

18 nginxをmail proxy serverとして使う nginx • nginx自体は直接DBと通信するような認証の仕組みを持たない • nginxのmail proxyで認証を橋渡しするのが「ngx_mail_auth_http_module」 Auth Server MySQL Postfix ユーザー(メールソフト)

Slide 19

Slide 19 text

19 nginxをmail proxy serverとして使う • nginxとAuth Server間はHTTPで通信 • 認証はリクエストもレスポンスもHTTPヘッダで • 単一のURLに対するGETリクエストなんだ、簡単じゃん!!

Slide 20

Slide 20 text

20 Auth Serverの設計 HTTP Server: RESTfulなAPIの開発ではechoとかGinとか使うけど正直今回はそこまで大袈裟なものは要らない。標準パッケージでも事足りそう。 →近くの席の人が gorilla/mux 使っていたので自分も gorilla/mux を選択。 https://github.com/gorilla/mux (★9,475)

Slide 21

Slide 21 text

21 Auth Serverの設計 DB周り: (開発当初)発行するクエリが1クエリしかなかった。のでORM使うほどでもないかなぁと思い標準パッケージ database/sql を選択。

Slide 22

Slide 22 text

22 Auth Serverの設計なんだ、簡単じゃん!! ??

Slide 23

Slide 23 text

23 Auth Serverの設計 > 認証はリクエストもレスポンスも HTTP ヘッダでこれが曲者

Slide 24

Slide 24 text

24 Auth Serverの設計 type AuthRequest struct { Method string `json:"method"` Protocol string `json:"protocol"` User string `json:"user"` Pass string `json:"password"` Salt string `json:"salt"` LoginAttempt int `json:"login_attempt"` ClientIP net.IP `json:"clinet_ip"` ClientHost string `json:"client_host"` } ... var authReq AuthRequest if err := json.Unmarshal(jsonBytes, &authReq); err != nil { // Τϥʔॲཧ } 普通はこんな感じで書く？

Slide 25

Slide 25 text

25 Auth Serverの設計 func (a *AuthRequest) New(r *http.Request) *AuthRequest { a.Method = r.Header.Get("Auth-Method") a.Protocol = r.Header.Get("Auth-Protocol") a.User = r.Header.Get("Auth-User") a.Pass = r.Header.Get("Auth-Pass") a.Salt = r.Header.Get("Auth-Salt") a.LoginAttempt, _ = strconv.Atoi(r.Header.Get("Auth-Login-Attempt")) a.Client.IP = net.ParseIP(r.Header.Get("Client-Ip")) a.Client.Host = r.Header.Get("Client-Host") return a } json形式のAPIならjson.Unmarshalで済むところが面倒くさい感じに... 何か良い方法ないですかねー？

Slide 26

Slide 26 text

26 Auth Serverの設計 Goでは周辺ライブラリも充実しており、前述の「国外からの接続を拒否」なども容易。この手の処理でお馴染みのMaxMind DBも oschwald/maxminddb-golang でサクッと使える。 https://dev.maxmind.com/geoip/geoip2/downloadable/ https://github.com/oschwald/maxminddb-golang

Slide 27

Slide 27 text

27 PostfixとSMTP Access Policy Delegation • SMTPの特定の命令について拒否・許可を行うための機構がPostfixに組み込まれている。 • Postfixはこの判断を外部サーバに移譲出来るように作られている。

Slide 28

Slide 28 text

28 Policy Delegationがあると何が嬉しいか？ • SMTPの命令毎にフック出来る • 例えば End of DATAのタイミングで、一定期間内の累積送信通数をチェックして大量送信を抑制する、など

Slide 29

Slide 29 text

29 PostfixとSMTP Access Policy Delegation • PostfixとPolicy Serverのやり取りはいたってシンプル。 • 一連のやり取りは、`name=value` 属性が改行で区切られ、空行で終端される。 http://www.postfix.org/SMTPD_POLICY_README.html

Slide 30

Slide 30 text

30 Policy Serverの設計なんだ簡単じゃん!! と言いたいところですが... まだ完成しておりません。

Slide 31

Slide 31 text

31 おまけ(監視周りの話) Prometheus+GrafanaでパフォーマンスをモニタリングするなどGoが大活躍

Slide 32

Slide 32 text

32 まとめ • ユーザーがメールソフトで接続する smtp/ pop/imap のフロントサーバにnginxを採用 • nginxのmail proxyで認証を橋渡しするのが「ngx_mail_auth_http_module」 • 自前で認証の仕組みを作らないといけないが大きな自由度が得られる • 大量のリクエストを捌く力とデプロイの容易さから認証サーバの開発にGoを採用

Slide 33

Slide 33 text

33 まとめ • MTAには使い慣れたPostfixを採用 • PostfixはSMTP Access Policy Delegationという機構がある • SMTPの各命令段階でフックし、配送を拒否したり配送ルートを変えたりすることが可能 • ここでもリクエストを捌く力とデプロイの容易さからPolicy Delegationサーバの開発にGo を採用

Slide 34

Slide 34 text

34 ご静聴ありがとうございました