Email hosting service with golang.

Transcript

1. 1 ホスティングにおける メールサービスの運用と Go Go Conference'19 Summer in Fukuoka GMOペパボ 株式会社 ホスティング事業部インフラチーム rhykw
2. 2 本日の内容 • メールサービスの裏側 • メールサービスの敵 • nginxをmail proxy serverとして使う • PostfixとSMTP Access Policy Delegation
3. 3 ホスティングとは？ ホスティングサーバ（レンタルサーバー、共用サー バーとも）とは、複数のユーザーが利用するサーバー のことで、WebサイトやWebアプリケーションをイ ンターネットで一般公開するために使われる。ホスティ ングサービスとはサーバの利用者自身でサーバの運営・ 管理をしなくてもいいように、有料または無料でサー バ機のHDDの記憶スペースや情報処理機能などを利 用させるサービスを言う。(Wikipediaより引用)
4. 4 メールサービスの裏側 SMTP(MX) Server Anti Virus Anti Spam Mail Server Load balancer POP/IMAP Proxy SMTP Server Anti Virus Anti Spam POP/IMAP Proxy SMTP Server Anti Virus Anti Spam SMTP(MX) Server Anti Virus Anti Spam Mail Server Mail Server
5. 5 メールサービスの裏側 POP/IMAP Proxy SMTP Server Anti Virus Anti Spam Mail Server Database SMTP(MX) Server Anti Virus Anti Spam ೝূ৘ใɾ઀ଓઌ ೝূ৘ใ ഑ૹઌ
6. 6 メールサービスの敵 • ひとことで言うとSPAM
7. 7 メールサービスの敵 • ひとことで言うとSPAM • 契約者がメールの大量配信を行うケースもあ るが圧倒的に多いのは「乗っ取り」
8. 8 メールサービスの敵 • ひとことで言うとSPAM • 契約者がメールの大量配信を行うケースもあ るが圧倒的に多いのは「乗っ取り」 • 脆弱なパスワードのアカウントが狙われる
9. 9 メールサービスの敵 • ひとことで言うとSPAM • 契約者がメールの大量配信を行うケースもあ るが圧倒的に多いのは「乗っ取り」 • 脆弱なパスワードのアカウントが狙われる • info@example.jpのパスワードがinfoとか • qwerty1234 みたいなパスワードとか
10. 10 メールサービスの敵 • ひとことで言うとSPAM • 契約者がメールの大量配信を行うケースもあ るが圧倒的に多いのは「乗っ取り」 • 脆弱なパスワードのアカウントが狙われる • info@example.jpのパスワードがinfoとか • qwerty1234 みたいなパスワードとか • 攻撃の多くは日本国外から
11. 11 メールサービスの敵 SPAMメールの送信を許して しまうとBlockList(BlackList とも)に登録され、メールの 到達率の低下(=サービス品質 の低下)を招く
12. 12 メールの 治安を 回復したい!!
13. 13 ホスティングにおける メールサービスの治安と Go Go Conference'19 Summer in Fukuoka
14. 14 いかにして治安を取り戻すか • 脆弱なパスワードをなくす。
15. 15 いかにして治安を取り戻すか • 脆弱なパスワードをなくす。啓蒙大事。   → ユーザーの行動に依存
16. 16 いかにして治安を取り戻すか • 脆弱なパスワードをなくす。啓蒙大事。   → ユーザーの行動に依存 • 不審なログイン試行を適切にブロックする • 国内からの利用がメインのアカウントにおい ては国外からの接続を拒否すると効果がある のでは？
17. 17 nginxをmail proxy serverとして使う POP/IMAP Proxy SMTP Server Anti Virus Anti Spam メールソフトが接続する部分に nginx を採用した
18. 18 nginxをmail proxy serverとして使う nginx • nginx自体は直接DBと通信するような認証の 仕組みを持たない • nginxのmail proxyで認証を橋渡しするのが 「ngx_mail_auth_http_module」 Auth Server MySQL Postfix ユーザー(メールソフト)
19. 19 nginxをmail proxy serverとして使う • nginxとAuth Server間はHTTPで通信 • 認証はリクエストもレスポンスもHTTPヘッ ダで • 単一のURLに対するGETリクエスト なんだ、簡単じゃん!!
20. 20 Auth Serverの設計 HTTP Server: RESTfulなAPIの開発ではechoとかGinとか使 うけど正直今回はそこまで大袈裟なものは要ら ない。標準パッケージでも事足りそう。 →近くの席の人が gorilla/mux 使っていたので 自分も gorilla/mux を選択。 https://github.com/gorilla/mux (★9,475)
21. 21 Auth Serverの設計 DB周り: (開発当初)発行するクエリが1クエリしかなかっ た。のでORM使うほどでもないかなぁと思い 標準パッケージ database/sql を選択。
22. 22 Auth Serverの設計 なんだ、簡単じゃん!! ??
23. 23 Auth Serverの設計 > 認証はリクエストも レスポンスも HTTP ヘッダで これが曲者
24. 24 Auth Serverの設計 type AuthRequest struct { Method string `json:"method"` Protocol string `json:"protocol"` User string `json:"user"` Pass string `json:"password"` Salt string `json:"salt"` LoginAttempt int `json:"login_attempt"` ClientIP net.IP `json:"clinet_ip"` ClientHost string `json:"client_host"` } ... var authReq AuthRequest if err := json.Unmarshal(jsonBytes, &authReq); err != nil { // Τϥʔॲཧ } 普通はこんな感じで書く？
25. 25 Auth Serverの設計 func (a *AuthRequest) New(r *http.Request) *AuthRequest { a.Method = r.Header.Get("Auth-Method") a.Protocol = r.Header.Get("Auth-Protocol") a.User = r.Header.Get("Auth-User") a.Pass = r.Header.Get("Auth-Pass") a.Salt = r.Header.Get("Auth-Salt") a.LoginAttempt, _ = strconv.Atoi(r.Header.Get("Auth-Login-Attempt")) a.Client.IP = net.ParseIP(r.Header.Get("Client-Ip")) a.Client.Host = r.Header.Get("Client-Host") return a } json形式のAPIならjson.Unmarshalで済むところが 面倒くさい感じに... 何か良い方法ないですかねー？
26. 26 Auth Serverの設計 Goでは周辺ライブラリも充実しており、前述の「国 外からの接続を拒否」なども容易。 この手の処理でお馴染みのMaxMind DBも oschwald/maxminddb-golang でサクッと使え る。 https://dev.maxmind.com/geoip/geoip2/downloadable/ https://github.com/oschwald/maxminddb-golang
27. 27 PostfixとSMTP Access Policy Delegation • SMTPの特定の命令について拒否・許可を行う ための機構がPostfixに組み込まれている。 • Postfixはこの判断を外部サーバに移譲出来る ように作られている。
28. 28 Policy Delegationがあると何が嬉しいか？ • SMTPの命令毎にフック出来る • 例えば End of DATAのタイミングで、一定期 間内の累積送信通数をチェックして大量送信 を抑制する、など
29. 29 PostfixとSMTP Access Policy Delegation • PostfixとPolicy Serverのやり取りはいたっ てシンプル。 • 一連のやり取りは、`name=value` 属性が改 行で区切られ、空行で終端される。 http://www.postfix.org/SMTPD_POLICY_README.html
30. 30 Policy Serverの設計 なんだ簡単じゃん!! と言いたいところですが... まだ完成しておりません。
31. 31 おまけ(監視周りの話) Prometheus+Grafanaでパフォーマンスをモニ タリングするなどGoが大活躍
32. 32 まとめ • ユーザーがメールソフトで接続する smtp/ pop/imap のフロントサーバにnginxを採用 • nginxのmail proxyで認証を橋渡しするのが 「ngx_mail_auth_http_module」 • 自前で認証の仕組みを作らないといけないが 大きな自由度が得られる • 大量のリクエストを捌く力とデプロイの容易 さから認証サーバの開発にGoを採用
33. 33 まとめ • MTAには使い慣れたPostfixを採用 • PostfixはSMTP Access Policy Delegationと いう機構がある • SMTPの各命令段階でフックし、配送を拒否 したり配送ルートを変えたりすることが可能 • ここでもリクエストを捌く力とデプロイの容 易さからPolicy Delegationサーバの開発にGo を採用
34. 34 ご静聴ありがとうございました