Cixs #00

永遠に滅びない古代兵器のお話

Transcript

1. 古代兵器SMTPに今時素⼿で挑む話 〜バウンスの闇と戦え！〜 中国インフラ交流勉強会 株式会社サーバーワークス 久保 智夫
2. ⾃⼰紹介 久保 智夫 株式会社サーバーワークス CI部 技術三課 課⻑ (⼤阪オフィス) SMTP歴15年(ムダに⻑いが⼤して詳しくない) 今⽇の会場を提供頂いている会社の元従業員(3年前まで、8年ほど) AWSの会社にいるけど頭の作りは基本的に物理 Twitter: @bokucurry (注：意識低いネタorクソリプしか呟きません) 2
3. SMTPとバウンス
4. メールが届く仕組み 4 送信者 (Sender) 受信者 (Recipient) 送信側 メールサーバ (MTA) 送信側DNS キャッシュ サーバ ISP ISP 送信側 メールサーバ (MSA) 受信側 メールサーバ (MTA) 受信側DNS コンテンツ サーバ 受信側 メールサーバ (MDA) 受信側 メールサーバ (MRA) @example.com @company.com メーラ (MUA) メーラ (MUA) To:xxx From:xxx Subject:xxx (Reply-to:xxxx) ヘッダ(From,To) 基本的に受信者のメーラで の表⽰にしか使われない ※Reply-toは相⼿⽅からの 返信先アドレスとして、送 信側メーラが挿⼊。通常は ヘッダFromと同じ値 エンベロープ(From,To) MTA間での配送時にオジリ ナルの配送元・先を識別す る情報として使われる Envelope-from: kubo@example.com Envelope-to: takada@company.com To:xxx From:xxx Subject:xxx (Reply-to:xxxx)
5. バウンスとは SMTPではバケツリレー式にメールを中継する お隣から受け取ったものの、次のお隣に中継できないこともある 中継できなかったことを送信者にお知らせするのがバウンス バウンスは程度によって⼆種類ある ハードバウンス(恒久的に配送不能) ソフトバウンス(⼀時的に配送不能) 5
6. バウンスの闇 バウンスが発⽣する原因の多くはUser Unknown バウンス⼤量発⽣＝宛先をロクに精査していない、と思われがち つまり、スパマーであると判定されやすい 6
7. スパマーとみなされたら最後 相⼿先によってはあなたのMTAのIPアドレスをIPブラックホール リスト登録窓⼝に通報する 登録されると、リストを共有するメールセキュリティ製品等でIP レピュテーションを受けることがある ある⽇突然、⾃社からのメールが受け取ってもらえない、という 事態に(汚れたIPアドレス) 7
8. ちなみにAmazon SESでは… バウンスレートがある程度⾼くなると、脅さ警告される それでも改善しないと、SESの送信が停められる 最悪の場合、アカウントが停⽌される 8 Hello, We are reaching out to inform you that the Amazon SES sending for AWS account XXXXXXXXXXXX, which lists you as a contact or owner, has been put on probation in AWS region US West (Oregon) because it has triggered alarms for excessive bounces. You may still send mail with the account, but if the problem is not fixed by the time you finish using your probation volume, your ability to send email with Amazon SES may be suspended. Your probation volume is the next 120,000 emails you send. We will be happy to work with you on this issue. Please reply to this email (ses-enterprise@amazon.com) or reach out to your Technical Account Manager. The details of the issue are as follows: Your current bounce rate is 35.18%. This is measured over the last 3,602 eligible emails you sent, spanning over approximately the last 32 days. We expect our senders' bounce rates to remain below 5%. Senders with a bounce rate exceeding 10% risk suspension. Note that the bounce rate includes only hard bounces, and excludes bounces to domains you have verified. At the end of the probation, if your bounce rate has not returned to acceptable levels, your ability to continue sending email with Amazon SES may be suspended. If your bounce rate improves to acceptable levels and maintains that status, you will be notified when the probation is lifted. For guidance on reducing your bounce rate, please see the Amazon SES Bounce FAQ: http://docs.aws.amazon.com/ses/latest/DeveloperGuide/e-faq-bn.html Sincerely,
9. なのでバウンス対策をしよう バウンスを発⽣させないことが⼀番⼤事 どの宛先に送信したメールがバウンスしたのか把握し、 繰り返さないことが⼤事 9
10. バウンス対策の難しさ
11. 誰あてのメールがバウンスした？ 宛先のMDAまでの経路上にあるメールサーバのどれかから送られる バウンスの配送先アドレスの決定には “Return-PATH” というヘッダが⽤い られる Return-Pathヘッダは送信元メールサーバが付加する 基本的にEnvelope-fromと同じアドレスが⼊る ※メーラー(MUA)で返信先として⽤いられる “Reply-To” ヘッダは送信元の MUAが付加する 11
12. バウンス対策の悩ましいところ バウンスに決まった書式はない バウンスメールのSMTPヘッダには、元のメールが誰宛であったかを⽰す情 報は含まれない 多くの場合は本⽂(BODY)に含まれる。が、本⽂のフォーマットはメール サーバによってマチマチで、解析・⾃動抽出は⼀筋縄ではいかない 12
13. 実際のバウンスの例 13 <本⽂> <ヘッダ(⼀部省略)>
14. そんなおれたちの救世主VERP
15. VERPとは？ Variable Envelope Return Path(可変エンベロープリターンパス) 送信MTAで、Envelope FromとEnvelope Toアドレスからなる拡張アドレ スを(必然的に宛先毎に変えて)Return-Pathヘッダに挿⼊ 受信側はReturn-Pathアドレスに対してバウンスを投げる 送信側はバウンスを受け取ったエイリアスアドレスから、バウンスした宛先 アドレスを抽出できる みんな⼤好きqmailの拡張アドレスの仕組みを応⽤している 15
16. VERPを利⽤したバウンスアドレス抽出 16 送信者 (Sender) 受信者 (Recipient) 送信側 メールサーバ (MTA) ISP ISP 送信側 メールサーバ (MSA/MRA) 受信側 メールサーバ (MTA) 受信側 メールサーバ (MRA) @example.com メーラ (MUA) メーラ (MUA) Envelope-from: kubo@example.com Envelope-to: takada@company.com Envelope-from: kubo@example.com Envelope-to: takada@company.com Return-path : kubo+takada=company.com@example.com @company.com 受取不能 バウンス発⽣ Envelope-from: mailer-daemon@company.com Envelope-to: kubo+takada=company.com@example.com 予め定義したデリミタを使 い、toからオリジナルの宛 先アドレスを抽出 ↓ 配達不能アドレスとして利 ⽤可能
17. 拡張アドレスの仕組み 拡張アドレスのルール [SenderLocal]@[SenderDomain] ◀送信元アドレス [RecipientLocal]@[RecipientDomain] ◀送信先アドレス でメールを送信すると、エイリアスは以下のようになる [SenderL]+[RecipientL]=[RecipientD]@[SenderD] 例)okan@ofukuro.comからoton@oyaji.comに送った場合 拡張アドレスは okan+oton=oyaji.com@ofukuro.com ただしデリミタは”+””=”以外にもRFC5322で許可されている⽂字ならば使えるはず 送信時に指定も可能、postfixなら”default_verp_delimiter”でデフォルト値を指定可 能 17
18. VERPを使うには？ 送信側での対応が必要 Postfixだとv1.1からサポートしているらしい Amazon SESでも対応しているらしい http://docs.aws.amazon.com/ja_jp/ses/latest/DeveloperGuide/email- format.html SMTP的にはEHLOへのSMTP応答にXVERPが含まれていれば利⽤可能 エンベロープ⼊⼒時にmail from:<sender> XVERP と宣⾔すればOK 18
19. VERP対応なメールを送信しよう telnetで叩いたらこんな感じ 19 220 mail.hogehoge.com ESMTP Postfix EHLO hogehoge.com 250-mail.hogehoge.com 250-PIPELINING 250-SIZE 10240000 250-VRFY 250-ETRN 250-AUTH PLAIN LOGIN 250-XVERP 250-ENHANCEDSTATUSCODES 250-8BITMIME 250 DSN (SMTP-AUTH略) MAIL FROM:<tomoo@hogehoge.com> XVERP 250 2.1.0 Ok RCPT TO:<kubo@fugafuga.jp> 250 2.1.5 Ok
20. VERP対応なメールを受信した ヘッダはこんな感じ(⼀部略) 20 Delivered-To: kubo@fugafuga.com Received: by 10.107.142.212 with SMTP id q203csp1498916iod; Fri, 16 Jun 2017 04:12:09 -0700 (PDT) X-Received: by 10.84.238.141 with SMTP id v13mr12418765plk.162.1497611529499; Fri, 16 Jun Return-Path: <tomoo+kubo=fugafuga.com@hogehoge.com> Received: from mail.hogehoge.com (ec2-XX-XX-XX-XX.ap- northeast-1.compute.amazonaws.com. [XX.XX.XX.XX]) by mx.google.com with ESMTP id g12si1632377pla.295.2017.06.16.04.12.09 for <kubo@fugafuga.com>;
21. おっと喜ぶのはまだ早い じゃあバウンスを受け取るには…？ 21
22. バウンスを受け取るには相応の⼯夫が必要 送信側(バウンスを受け取る側)で バウンスのEnvelope-toアドレス宛のメールを受け取る ※本来ならばそのローカルパートを持ったアカウントは存在しない 拡張アドレス Envelope-toアドレスから元のメールの送信元アカウントを抽出し、バウンスを 配達する 同時に抽出した元のメールの宛先アドレスを、何らかの⽅法で保存や通知 22
23. ちなみにAmazon SESだと
24. バウンスの検知は少し楽 バウンスをSNS(Simple Notification Service)トピックに通知 SNSトピックの通知はSMSや任意のEmail、Lambdaファンク ション等が選択可能 ただしこちらもその後のハンドリングは送信者任せ 24
25. 雑なまとめ
26. 雑なまとめ バウンス処理⼤事 でもバウンス処理⾯倒 VERP使えばバウンスアドレスの収集は楽になる Amazon SES使うと多少は楽になる 収集した後はうまくやってね♥ 26
27. 27 ご清聴ありがとうございました