SendGrid Night #4 Case Study on Cyta.jp

Transcript

1. Copyright 2016 Coach United Inc. All Rights Reserved. ＜SendGridユーザー事例＞ 習い事サービス

   コーチ・ユナイテッド株式会社 技術責任者 富田陽介 2016.5.19 SendGrid Night #4 の場合

2. Copyright 2016 Coach United Inc. All Rights Reserved. 本日のメニュー •

   自己紹介 • サービスとメールの関わり • 事例紹介 ◦ Event Webhook でアドレスメンテナンス ◦ Parse Webhook で受信メール→画像アップロード ◦ Bulk Email Service(X-SMTPAPI) で一括配信 • まとめ

3. Copyright 2016 Coach United Inc. All Rights Reserved. 自己紹介

4. Copyright 2016 Coach United Inc. All Rights Reserved. SendGrid でググると、こうなる

   ９位 ※ 2016/5/16 時点の順位です

5. Copyright 2016 Coach United Inc. All Rights Reserved. こちらの記事の著者です http://tech.cunited.jp/post/96318734265/ses-sendgrid-mandrill-mailgun

6. Copyright 2016 Coach United Inc. All Rights Reserved. サイタという、 習い事サービスをつくっています

   富田 陽介 「それはやばいですね」と言っているように見える近影 SendGridユーザーが語る！メール大量配信のここが落とし穴 - ASCII.jp http://ascii.jp/elem/000/001/124/1124296/ より引用 通信会社 → 開発会社 → フリー.. サイタCTO(2014/1〜) 中央線〜渋谷などに出没 役者 → 演劇好き tmtysk

7. Copyright 2016 Coach United Inc. All Rights Reserved. サービスとメールの関わり

8. Copyright 2016 Coach United Inc. All Rights Reserved. 数字で見る、メール利用状況 7,500

   ~ 10,000 mails/day 60% が Gmail 95% がリマインダー系 44% がHTMLメール

9. Copyright 2016 Coach United Inc. All Rights Reserved. 習い事を探している人が サイタのWebサイトに辿り着きます

   http://cyta.jp

10. Copyright 2016 Coach United Inc. All Rights Reserved. Webサイトからレッスンを申し込みます

11. Copyright 2016 Coach United Inc. All Rights Reserved. (オンラインではなく、) オフラインでレッスンが実施されます

12. Copyright 2016 Coach United Inc. All Rights Reserved. レッスン実施に至るまでには、 様々な誘惑がありますが..

    えっ、 レッスン今日だっけ？ なんか眠いし、 行くのやめよう.. 次のレッスン予定 調整面倒だな.. 行くかどうかは、 明日考えよう..

13. Copyright 2016 Coach United Inc. All Rights Reserved. レッスンが実際に おこなわれる事が重要！

14. Copyright 2016 Coach United Inc. All Rights Reserved. レッスン実施までを支える リマインドメール＆カスタマサポート体制

15. Copyright 2016 Coach United Inc. All Rights Reserved. (参考) 個別サポートの様子

    申し込んだ体験レッスンの日程、連絡こないなあ .. 体験レッスン日程に関するご連絡のメールがお届けできませんでした。 迷惑メール設定や、ご登録のメールアドレス変更など、 お心当たりはありませんか？ Bounce発生!

16. Copyright 2016 Coach United Inc. All Rights Reserved. 行動を起こしてもらうためのメール ！

    今日はレッスンですよ！ 明日はレッスンですよ！ 日程調整のお返事してね！

17. Copyright 2016 Coach United Inc. All Rights Reserved. サービス運用担当者は、悩む すぐに届いてるの？

    確かに届いてるの？

18. Copyright 2016 Coach United Inc. All Rights Reserved. 事例紹介

19. Copyright 2016 Coach United Inc. All Rights Reserved. 配送エラー対応＆アドレス管理機能を移行 •

    Return-Path で Bounce を受け取り、 返信先アドレスパターンから「どれが送れてないの？」を判断 → 内容に応じて、個別にサポート＆アドレスメンテナンス • Deferred は特定のドメイン宛で発生しやすい時間帯がある → 傾向の分析とチューニングに苦労.. SendGrid導入前 Bounce Rate管理は既にやっている。 業務フローを変えずに、運用負荷を下げられないか？

20. Copyright 2016 Coach United Inc. All Rights Reserved. Event Webhook

    で メールアドレスをメンテナンス SendGrid移行まで • SMTP サーバを SendGrid に向けるだけではダメだった → Return-Path を上書きされてしまう • Event Webhook で配信結果を Webhook で受けとれる → 通知にメールを識別するためのIDを仕込み、自働化 業務フローをまったく変えずに、MTA を移行できた！ Deferred 後の再送処理, Bounce Rate 監視(の視覚化)もやってくれてHappy！

21. Copyright 2016 Coach United Inc. All Rights Reserved. (参考) SMTP拡張ヘッダに

    Event Webhookに含める個別IDを仕込む

22. Copyright 2016 Coach United Inc. All Rights Reserved. (参考) Invalid

    に入ってしまったアドレスを ダッシュボード(管理画面)からリセット

23. Copyright 2016 Coach United Inc. All Rights Reserved. (参考) Bounce

    Rateを含む配送状況の確認

24. Copyright 2016 Coach United Inc. All Rights Reserved. メール受信で起動する機能の移行 •

    dot-qmail で受信メールを Parse して添付画像アップロード • 利用はさほど多くないが、ロイヤルユーザが使っている • 単一サーバで運用しており、可用性を高めたいものの、 そこまで運用コストはかけられない SendGrid導入前 機能は残したまま、運用コストを下げられないか？

25. Copyright 2016 Coach United Inc. All Rights Reserved. Parse Webhook

    で 画像添付メールによる画像アップロードに対応 変更コストをほとんどかけずに、移行できた！ qmail サーバのお守りから解放された！ • メール受信処理用の MX を SendGrid に向けるだけ • 受信メールを multipart/form-data な HTTP POST に変換してくれる • 生 message をそのまま body に POST してくれるオプションも (multipart/form-data の ‘email’ 値として POST される) • 既存実装を、ほぼそのまま転用し、受け取り時の処理に結合 SendGrid移行まで

26. Copyright 2016 Coach United Inc. All Rights Reserved. (参考) 生メッセージを

    HTTPで受け取るように設定

27. Copyright 2016 Coach United Inc. All Rights Reserved. スポットで発生していた配送遅延への対策 •

    すべてのメールを順次処理(配送キューのみ別管理)で配送していた • メールマガジン配送や月次タスクのリマインダーメールで、 メールサーバ負荷が増大 → 配送遅延状況を監視し、都度チューニング SendGrid導入前 スポットで発生する配信増タスクに対しても、 配送遅延を起こさずに運用できないか？

28. Copyright 2016 Coach United Inc. All Rights Reserved. Bulk Email

    Service で 一括配信処理を順次配信処理から切り出し • テンプレートと Substitution(変数) を指定してリクエスト一発で大量配信 • 一括配送であっても個別に配送ログが必要だが、 メッセージ内容まではEvent Webhookでも受け取れない → 配信キューに入れる時点で一通ずつレンダリングしてログ • それでも都度配信よりは圧倒的に速い SendGrid移行まで 遅延アラートが激減！ 一括配信するときも、(サーバ運用面では)躊躇することが無くなった！

29. Copyright 2016 Coach United Inc. All Rights Reserved. (参考) 既存の順次配信処理とは別に

    一括配信処理の機構を追加開発 ↑ 新規 ↓ 既存

30. Copyright 2016 Coach United Inc. All Rights Reserved. まとめ

31. Copyright 2016 Coach United Inc. All Rights Reserved. まとめ •

    オフラインのサービスにおいて、メール通知は、 ユーザーに「行動を起こしてもらう」ために有効 • 業務を作りこんでしまったオンプレ運用メールサーバも 要求を妥協させることなく、柔軟＆段階的に移行できた • むしろ、まだ活用し切れてない..！ 「ちゃんと届けなきゃ」の守りに入っちゃってる • メールサーバの「お守り」から解放されれば、 メールをもっと「攻め」に使えるはず！ → とくに統計系/バルク配信の機能を、もっと活用したい

32. Copyright 2016 Coach United Inc. All Rights Reserved. 技術情報まとめサイトもご参考ください http://cunited.github.io