そんなことあるんだ AWS

awswakaran.tokyo #1 で用いたスライドを一部修正したものになります。
間違えたことを言ってたら私を殴ってください。
PDF 化の影響で若干画像がズレてますがご愛嬌でよろしくおねがいします。

Transcript

1. そんなことあるんだ AWS 2019/07/22 #awswakaran_tokyo オタク
2. 　　「awswakaran.tokyo ってのをやるんですけど喋りませんか」 おれ「はい」 　　「名前どうしますか、後から変更出来るんで仮置きで大丈夫です」 おれ「じゃあ一旦オタクで」 　　「OK」 おれ「ヨッシャ」 →そして当日へ…… 前日譚
3. - 前日譚 - アジェンダ(イマココ) - お前誰？ - この話の目的 - Route53 で取得した .jp ドメインの移管ロックを有効にしたかった話 - Terraform で管理していた ACM の DNS 検証用の CNAME レコードの Terraform State がある日突然ぶっ壊れた話 アジェンダ
4. - @ksakahieki - Ｋ坂ひえき - オタク - 好きなサービス - DynamoDB - Aurora - CodeBuild - 一番好きなサービス - AWS Support お前誰？
5. よろしくおねがいします。
6. @みなさん AWS わかるって言えますか？
7. Amazon EC2 のことわかりますか？
8. Amazon Kinesis Video Streams のことわ かる人いますか？
9. Amazon QLDB のことわか る人いますか？？？
10. AWS Ground Station の 使い方わかる人います か？？？
11. 俺は知らん！！！
12. なので AWS わかるっ て絶対言いたくない
13. - でも実際に使うサービスって一部じゃん？ - でも各サービスごとになんかよくわからないめ ちゃくちゃ細かい色々なアレがあるじゃないで すか - 「そうなんだ……」ってなるやつ - それについての話をします 今日話すこと
14. - とりあえず触ってみたら細かい部分で困ることよく あるじゃないですか - そういうので怖気づいて「AWSよくわからないし 怖い」ってなる人を少しでも減らしたい - 「そうなんだ……」「そんなことあるんだ」を増や して経験値を溜めていきたい どうして？
15. Route53 で取得した .jp ドメインの移管ロック を有効にしたかった話
16. こんな感じのドメインを持っていました。 - awswakaran.jp - awswakaru.jp あらすじ
17. 2019年4月5日……
18. 2019年4月5日……
19. - ドメイン移管申請が行われてから10日以内に登 録者からの返答がなかった場合、自動承認され てしまうというフローが原因 - とはいえ移管ロックしとけばいい - こわいですね、確認しましょう ドメイン移管申請こわい
20. :innocent:
21. とりあえずドキュメント読みましょう
23. いけそう
24. 有効にしてみましょう
26. - Route53 のレジストラはほぼ Gandi - .com, .org, .net は Amazon Registrar, Inc. - Gandi は2文字 TLD のドメイン移管ロックをサ ポートしていない - こたえ
27. そうなんだ……
28. - AWS の日本語ドキュメントが間違えていることも 時にはある - 直って欲しい！！！ - Route53 で取得した .jp ドメインは移管ロック出 来ない - 気をつけましょうとしか…… 教訓
29. - 英語ドキュメントでは `Not Supported` (よくある) - (AWS の方からご指摘)日本語ドキュメントは補足であり、英語ドキュメントが正 です オチ
30. 待ってくれ
32. ！！！
33. 有効に出来ないのに有効になってる
34. - 過去に移管ロック出来ないはずのドメインがロックを取得出来 てしまった時期があるらしい？(AWS Forums情報) - 有効と表示されていても、移管ロック無効と同等の振る舞いを する - 有効→無効の操作は不可能 - サポートに問い合わせたら表示上も無効にできる様子 なぜか有効になっているやつ
35. - Route53 で .jp ドメインの移管ロックは使えない - Route53 の後ろには Gandi がいる - でも Route53 で .jp ドメインの移管ロックが有効になってし まっている場合が時にはある - 有効と表示されていても移管ロックは無効 - 有効と表示されてしまっているものがあればサポートへ まとめ
36. そんなことあるんだ……
37. Terraform で管理していた ACM の DNS 検証 用の CNAME レコードの Terraform State が ある日突然ぶっ壊れた話
38. - AWS Certificate Manager(ACM) で SSL/TLS 証明書を発行していた - ACM のドメイン所有権の検証を CNAME レコード を用いた DNS 検証でやっていた - 永遠に自動更新されて最高に便利 ACM で DNS 検証
39. こういうやつ
40. - AWS Certificate Manager(ACM) で SSL/TLS 証明書を発行していた - ACM のドメイン所有権の検証を CNAME レコード を用いた DNS 検証でやっていた - 永遠に自動更新されて最高に便利 - 証明書、CNAME レコード共に Terraform で管 理して平和に過ごしていた…… ACM で DNS 検証
41. - これを以下のような構成で用いていた - awswakaran.com - *.awswakaran.com ACM で DNS 検証
42. それは2019年5月15日に突然起こった…
43. ！！！Terraform の運用完全停止！！！
44. - IAM User を追加する素朴な変更を Terraform に加えようとし た - 突然「ACM の DNS 検証用に作っていた CNAME レコード に差分あるから変更するよ！！」って Terraform が言い 始めた - 想定外の差分が発生し、一旦 Terraform の操作を禁止 なにがおこった
45. ヒリつき始める現場……
46. とはいえ Terraform の変更を反映 (`terraform apply`)しなければ問題にはな らない
47. - ACM の DNS 検証に作っていた CNAME レコードの順番が突 然変わってしまった - 順番はランダムなので、Terraform を実行するたびに実行 結果が変わる - Route53 Record のリソース変更は Destroy & Create (一度削除した後に作り直す) - → つまり Terraform がリソースを破壊して作り直した り、そうじゃなかったりというガチャが発生 - それも us-east-1 リージョン限定で 状況整理
48. - とにもかくにも aws-cli で API を叩いてみるしか無い…… - 色々調べた結果、ACM の `describe-certificate` って API が返す値の、 `DomainValidationOptions` ってアトリ ビュートの配列の中身が、ある日を境に順不同になるよう になっていた 原因調査
49. 1回め 2回め 原因調査
50. 1回め 2回め 原因調査
51. 1回め 2回め 原因調査
52. TODO: 君の名は
53. ひとまず何が起こっているかは理解した ……が、依然として対策は無い……
54. - terraform-provider-aws 上に Issue は存在しているが、あま り議論は活発ではなく……
55. 何も出来ないまま翌朝を迎える……
56. おや……
57. ap-northeast-1 でも同様の現象が発生してい るな……？
58. ざわつき始める Issue…
59. - AWS 側で何かが変更されて、明らかに挙動が変わっている - us-east-1 で起こった現象が翌日に ap-northeast-1 でも 発生している - Issue を見るに、ヨーロッパリージョンでも発生 - どう見ても北バージニアで実験→全世界本番リリースが行 われているな？？？ そろそろ抱いてきた確信
60. そして2週間が経ち……
61. 焦れる人々の声…… おそらくここにいた人達は、 関連する Terraform リポジトリ の運用が停止してたのでは。 自分の場合はモノリシック リポジトリで運用してたので 完全停止してしまった。
62. そして5月30日……
63. 解消
64. これで15日ぶりにようやく `terraform apply` が出来る（≒安心してインフラに変 更を加えられる）ぞ！！！
65. やったね
66. とはいえ……
67. ACM の API がいつまでも順序保証をしてく れるとは限らない……
68. Terraform 側でソートを挟む PR は(一旦問題 が解消したという理由で)未だ merge されず ……(2019/07/22時点) https://github.com/terraform-providers/terraform-provider-aws/pull/8708
69. 頑張れ Terraform！！ (正確には terraform-provider-aws)
70. - ACM のとある API の返り値の順番が変更された - はじめは北バージニア、そして全世界へとデプロイされて いった - 全世界の Terraformer たちが騒いだ結果、AWS 側で暫 定的に修正が行われた - Terraform 側でソートを噛ませる実装は未だに merge さ れず…… - これのせいでお互いに二の足を踏んだ感がある - 寛大な措置をありがとう AWS まとめ
71. そんなことあるんだ……(2)
72. - AWS には細かい挙動のアレコレがいっぱいあって「そうなんだ」ってなる - AWS のドキュメントは間違っている事もあるし、ドキュメントに書かれていない挙動 もたくさんあって「そんなことあるんだ」ってなる - 「そんなことあるんだ」が増えてくると、AWS の細かい気持ちがわかってくる - みんなでどんどん「そんなことあるんだ」を集めていきましょう まとめ
73. おわり