プロジェクト管理とサーバーレスとテスト

Backlogを使ったプロジェクト管理をする際、初期にすることは決まってます。Wikiやチケットなど。そのあたりを自動化したり、その自動化したコードをテストしたりというお話し。
※内容は2017/09/06時点のものです

Transcript

1. プロジェクト管理とサーバーレスとテスト さばわの「わ」#3 Osaka Member of Serverworks Co.,Ltd. Presents 株式会社 サーバーワークス 技術３課 森 ⼤樹
2. Who am I ? ◦ 株式会社サーバーワークス 技術３課 グッド・ルッキング・エンジニア ◦ 元アプリケーションエンジニア ◦ 呼称：「本物の⼤樹」 →経理課の「元祖 ⼤樹」と対決中 ◦ AWS Lambda(Python) ◦ ⼤阪⽣まれ⼤阪育ちの後厄（お祓い済） • 森 ⼤樹 (2017年01⽉JOIN)
3. 本⽇のお題
4. 今⽇のお題 l「プロジェクト管理とサーバーレスとテスト」 4
5. 今⽇のお題 l「プロジェクト管理とサーバーレスとテスト」 l背景 l プロジェクト管理ツール： 5
6. 今⽇のお題 l「プロジェクト管理とサーバーレスとテスト」 l背景 l プロジェクト管理ツール： lプロジェクトの情報をWikiに記載 6
7. 今⽇のお題 l「プロジェクト管理とサーバーレスとテスト」 l背景 l プロジェクト管理ツール： lプロジェクトの情報をWikiに記載 lプロジェクト毎に同じWikiを書くのが⾯倒 7
8. 今⽇のお題 l「プロジェクト管理とサーバーレスとテスト」 l背景 l プロジェクト管理ツール： lプロジェクトの情報をWikiに記載 lプロジェクト毎に同じWikiを書くのが⾯倒 lじゃ、⾃動で作ればいいんじゃね？ 8
9. 今⽇のお題 l「プロジェクト管理とサーバーレスとテスト」 l背景 l プロジェクト管理ツール： lプロジェクトの情報をWikiに記載 lプロジェクト毎に同じWikiを書くのが⾯倒 lじゃ、⾃動で作ればいいんじゃね？ lうんうん。そうだね。 9
10. backlogのWikiをコピーしたい
11. backlogのWikiをコピーしたい lbacklogのAPIでコピー 11
12. backlogのWikiをコピーしたい lbacklogのAPIを使う 12
13. backlogのWikiをコピーしたい 13
14. backlogのWikiをコピーしたい 14
15. backlogのWikiをコピーしたい 15
16. ちなみに、backlogのAPIは... 16
17. ちなみに、backlogのAPIは... 17
18. ちなみに、backlogのAPIは... 18 ͷ"1*
19. backlogのWikiをコピーしたい lbacklogのAPIでコピー 19
20. backlogのWikiをコピーしたい lbacklogのAPIでコピー lコピーを⾃動的に実⾏したい 20
21. backlogのWikiをコピーしたい lbacklogのAPIでコピー lコピーを⾃動的に実⾏したい lAPIがあるので、URLを作ればOK!! 21
22. backlogのWikiをコピーしたい lbacklogのAPIでコピー lコピーを⾃動的に実⾏したい lAPIがあるので、URLを作ればOK!! l ということは、AWS Lambda(Python)を使おう！ 22
23. backlogのWikiをコピーしたい lbacklogのAPIでコピー lコピーを⾃動的に実⾏したい lAPIがあるので、URLを作ればOK!! l ということは、AWS Lambda(Python)を使おう！ 23 でも、課題がある。
24. backlogのWikiをコピーしたい 〜課題〜
25. backlogのWikiをコピーしたい 〜課題〜 l処理の設計 25
26. backlogのWikiをコピーしたい 〜課題〜 l処理の設計 lWikiページを取得（複数） lbacklogのAPIを呼び出すためのURL作成 lAPIを呼び出して、Wikiページを作成 26
27. backlogのWikiをコピーしたい 〜課題〜 l処理の設計 lWikiページを取得（複数） lbacklogのAPIを呼び出すためのURL作成 lAPIを呼び出して、Wikiページを作成 27 処理時間オーバー（５分）
28. backlogのWikiをコピーしたい 〜課題〜 l 処理時間オーバーを回避 lLambda Functionを分ける l分けたLambda Functionを順次呼び出す 28
29. backlogのWikiをコピーしたい 〜課題〜 l 処理時間オーバーを回避 lLambda Functionを分ける l分けたLambda Functionを順次呼び出す 29 １ファンクションの時間を短縮
30. backlogのWikiをコピーしたい 〜課題〜 l 処理時間オーバーを回避 lLambda Functionを分ける l分けたLambda Functionを順次呼び出す 30
31. backlogのWikiをコピーしたい 〜課題〜 l 処理時間オーバーを回避 lLambda Functionを分ける l分けたLambda Functionを順次呼び出す 31 AWS Step Functionsがあるじゃないか！
32. AWS Step Functionsのおさらい
33. AWS Step Functionsのおさらい 33 l先⽇、ヤマムギで話したAWS Step Functionsの話 https://speakerdeck.com/daikimori/aws-step-functionsfalseiroha
34. AWS Step Functionsのおさらい 34 l先⽇、ヤマムギで話したAWS Step Functionsの話 後ほど、⾒てくださいね。 https://speakerdeck.com/daikimori/aws-step-functionsfalseiroha
35. AWS Step Functionsのおさらい 35 l先⽇、ヤマムギで話したAWS Step Functionsの話 l要点 l Lambda Functionをワークフローで定義 l なお、ワークフローは可視化される l シーケンシャル／分岐／並列処理できる l 実⾏結果も可視化
36. backlogのWikiをコピーしたい 〜構成〜
37. backlogのWikiをコピーしたい 〜構成〜 l実際の構成を考えてみた。 lサーバーワークスではQuestetraでbacklogのプロジェ クト作成をお願いすることになっており、 HTTP/HTTPSによるAPIの呼び出しができる l条件として、Questetraでbacklogのプロジェクト作成 は⾃動で⾏われ、APIで利⽤するプロジェクトIDは取 得可能 37
38. backlogのWikiをコピーしたい 〜構成〜 38
39. backlogのWikiをコピーしたい 〜構成〜 39 QuestetraからAPI Gatewayを 呼び出す パラメータとして、 プロジェクトIDを渡す
40. backlogのWikiをコピーしたい 〜構成〜 40 API Gatewayから呼び出され、 backlogのGitからWikiページ のファイルを取得し、S3へ 対象ファイルをPUT、 STEP Functionsを呼び出す。
41. backlogのWikiをコピーしたい 〜構成〜 41 最初のLambdaでWikiページを 追加するLambdaを並列に呼び 出すStep Functionsを作成。
42. backlogのWikiをコピーしたい 〜構成〜 42 ⻘枠のStep Functionsを実⾏
43. backlogのWikiをコピーしたい 〜構成〜 43 S3からWikiページダウンロード して、backlogのAPIを呼び出し、 Wikiページを作成
44. backlogのWikiをコピーしたい 〜構成〜 44 ⻘枠のStep Functionsを削除
45. backlogのWikiをコピーしたい 〜構成〜 45 なんかサーバーレスな感じ
46. backlogのWikiをコピーしたい 〜実装〜
47. backlogのWikiをコピーしたい 〜実装〜 47
48. backlogのWikiをコピーしたい 〜実装〜 lAPI Gateway 48 項⽬ 値 メソッド POST 統合タイプ Lambda関数 Lambdaプロキシ統合の使⽤ True Lambdaリージョン ap-northeast-1 Lambda関数 <<作成した関数名>>
49. backlogのWikiをコピーしたい 〜実装〜 49
50. backlogのWikiをコピーしたい 〜実装〜 lLambda(前処理) 50 処理概要 Wikiページをbacklog GitからClone Wikiページのパス情報をリストに格納 WikiページをS3にアップロード
51. backlogのWikiをコピーしたい 〜実装〜 lLambda(前処理)/wikiページをbacklog GitからClone 51 class BacklogWikiCopyPreProcessing:↲ @staticmethod↲ def gitClone(backlog, s3):↲ github_repo = backlog['github_repo']↲ clone_dir = '/tmp/temp'↲ sshbucket = backlog['sshkey']['bucketname']↲ sshkeyfile = backlog['sshkey']['keyfile']↲ s3.download(sshbucket, sshkeyfile, '/tmp/id_rsa')↲ ↲ cmd = "chmod 600 /tmp/id_rsa"↲ output = subprocess.check_output(cmd.split(" "))↲ dulwich.client.get_ssh_vendor = git.KeyParamikoSSHVendor↲ repo = dulwich.porcelain.clone(github_repo, clone_dir)↲ class S3Access:↲ def download(self, bucketname, key, downloadPath):↲ self.s3.download_file(bucketname, key, downloadPath)↲
52. backlogのWikiをコピーしたい 〜実装〜 lLambda(前処理)/wikiページのパス情報をリストに格納 52 # -*- coding: utf-8 -*-↲ import os↲ import fnmatch↲ ↲ class FileSearchWithExtension:↲ @staticmethod↲ def search(basepath, extension):↲ list = []↲ searchfile = "*." + extension↲ for dirpath, dirs, files in os.walk(basepath):↲ for name in files:↲ if fnmatch.fnmatch(name, searchfile):↲ list.append(os.path.join(dirpath, name))↲ return list↲
53. backlogのWikiをコピーしたい 〜実装〜 lLambda(前処理)/wikiページをS3にアップロード 53 class BacklogWikiCopyPreProcessing:↲ @staticmethod↲ def uploadWikiPage(projectId, s3, bucketname, wikiList):↲ wikiInfoList = []↲ for wikiPage in wikiList:↲ wikiInfo = s3.upload(wikiPage, bucketname, projectId, '/tmp/temp/')↲ wikiInfoList.append(wikiInfo)↲ return wikiInfoList↲ class S3Access:↲ def upload(self, filepath, bucketname, leadkey, excludePath):↲ if excludePath is None:↲ filename = filepath↲ else:↲ filename = filepath.replace(excludePath)↲ if filename.startswith('/'):↲ filename = filename[1:]↲ if leadkey is None:↲ filename = filename↲ elif leadkey = '':↲ filename = filename↲ else:↲ filename = leadkey + '/' + filename↲ self.s3.upload_file(filepath, bucketname, filename)↲ s3fileInfo = { 'bucket': bucketname, 'filename': filename }↲ return s3fileInfo↲
54. backlogのWikiをコピーしたい 〜実装〜 54
55. backlogのWikiをコピーしたい 〜実装〜 lLambda(Step Functions作成) 55 処理概要 States/Pallarel/Branch句を作成 定義を作成し、Step Functionsを作成
56. backlogのWikiをコピーしたい 〜実装〜 l Lambda(StepFunctions作成)/States/Pallarel/Branch句を作成 56 def main(event, context):↲ projectId = event['projectId']↲ wikiInfoList = event['wikiInfoList']↲ functionName = 'BacklogWikiCopyMain'↲ ↲ lambda = Lambda()↲ lambdaArn = lambda.getArn(functionName)↲ roleName = 'BacklogWikiSFRole'↲ iam = IAMResource()↲ roleArn = iam.getRoleArn(roleName)↲ ↲ name = "parallelExec"↲ definition = createDefinition(projectId, wikiInfoList, lambdaArn)↲ stateMachineArn = createStepFunctions(name, definition, roleArn)↲ return { "stateMachineArn": stateMachineArn, "projectId": projectId }↲ ↲
57. backlogのWikiをコピーしたい 〜実装〜 l Lambda(StepFunctions作成)/States/Pallarel/Branch句を作成 57 def createDefinition(projectId, wikiInfoList, lambdaArn):↲ definition["Comment"] = projectId↲ definition["StartAt"] = projectId↲ definition["States"] = createStates(projectId, wikiInfoList, lambdaArn)↲ return definition↲ ↲ def createStates(projectId, wikiInfoList, lambdaArn):↲ statesData[projectId] = createParallel(projectId, wikiInfoList, lambdaArn)↲ return statesData↲ def createParallel(prijectId, wikiInfoList, lambdaArn):↲ i = 0↲ branches = []↲ for wikiInfo in wikiInfoList:↲ branch = createBranch(projectId, i, wikiInfo, lambdaArn)↲ branches.append(branch)↲ i += 1↲ parallelData["Type"] = "Parallel"↲ parallelData["Branches"] = branches↲ parallelData["End"] = true↲ return parallelData↲
58. backlogのWikiをコピーしたい 〜実装〜 l Lambda(StepFunctions作成)/States/Pallarel/Branch句を作成 58 def createBranch(projectId, count, wikiInfo, lambdaArn):↲ stateName = str(projectId) + str(count)↲ ↲ stateDetail["Type"] = "Task"↲ stateDetail["Resource"] = lambdaArn↲ dictWikiInfo = json.loads(wikiInfo)↲ dictWikiInfo["projectId"] = projectId↲ jsonWikiInfo = json.dumps(dictWikiInfo)↲ stateDetail["InputPath"] = jsonWikiInfo['filename']↲ stateDetail["End"] = true↲ ↲ stateData[stateName] = stateDetail↲ ↲ branchData["StartAt"] = stateName↲ branchData["States"] = stateData↲ ↲ return branchData↲
59. backlogのWikiをコピーしたい 〜実装〜 l Lambda(StepFunctions作成)/States/Pallarel/Branch句を作成 59 { "Comment": "backlog Wiki Copy", "StartAt": "PROJECT_ID", "States": { "PROJECT_ID": { "Type": "Parallel", "Next": "Final State", "Branches": [ ], "End": true }, "Final State": { "Type": "Pass", "End": true } } } { "StartAt": "PROJECT_ID0", "States": { "PROJECT_ID0": { "Type": "Task", “Resource”: ”<<Lambda関数のARN>>", "InputPath": "PROJECT_ID/Home.md", "End": true } } },...... Wikiのページ数分存在する
60. backlogのWikiをコピーしたい 〜実装〜 l Lambda(StepFunctions作成)/定義を作成し、Step Functionsを作成 60 def createStepFunctions(pName, pDefinition, pRoleArn):↲ stateMachineArn = StepFunctions.createStateMachine(pName, pDefinition, pRoleArn)↲ return stateMachineArn↲ class StepFunctions:↲ @staticmethod↲ def createStateMachine(pName, pDefinition, pRoleArn):↲ sfn = boto3.client('stepfunctions')↲ response = sfn.create_state_machine(name=pName, definition=pDefinition, roleArn=pRoleArn)↲ stateMachineArn = response['stateMachineArn']↲ return stateMachineArn↲
61. backlogのWikiをコピーしたい 〜実装〜 61
62. backlogのWikiをコピーしたい 〜実装〜 l Lambda(StepFunctions実⾏） 62 def createStepFunctions(pName, pDefinition, pRoleArn):↲ stateMachineArn = StepFunctions.createStateMachine(pName, pDefinition, pRoleArn)↲ return stateMachineArn↲ class StepFunctions:↲ @staticmethod↲ def createStateMachine(pName, pDefinition, pRoleArn):↲ sfn = boto3.client('stepfunctions')↲ response = sfn.create_state_machine(name=pName, definition=pDefinition, roleArn=pRoleArn)↲ stateMachineArn = response['stateMachineArn']↲ return stateMachineArn↲
63. backlogのWikiをコピーしたい 〜実装〜 l Lambda(StepFunctions開始） 63 def main(event, context):↲ pStateMachineArn = event["stateMachineArn"]↲ pProjectId = event["projectId"]↲ ↲ response = StepFunctions.startExecution(pStateMachineArn, pProjectId)↲ ↲ return event↲ class StepFunctions:↲ @staticmethod↲ def startExcecution(pStateMachineArn, pProject):↲ sfn = boto3.client('stepfunctions')↲ response = sfn.start_execution(stateMachineArn=pStateMachineArn, name=pProject)↲ return response↲
64. backlogのWikiをコピーしたい 〜実装〜 64
65. backlogのWikiをコピーしたい 〜実装〜 lLambda(Wikiコピー) 65 処理概要 S3から対象のWikiページをダウンロード APIを呼び出すため、URL作成 APIを呼び出し
66. backlogのWikiをコピーしたい 〜実装〜 l Lambda(Wikiコピー）/ S3から対象のWikiページをDL 66 def downloadWikiPage(bucketname, filename):↲ downloadfile = "/tmp/wikifile/"↲ downloadpath = downloadfile + filename↲ dirpath = os.path.dirname(downloadpath)↲ if not os.path.exists(dirpath):↲ os.makedirs(dirpath)↲ s3 = S3Access()↲ s3.download(bucketname, filename, downloadpath)↲
67. backlogのWikiをコピーしたい 〜実装〜 l Lambda(Wikiコピー）/ APIを呼び出すため、URL作成 67 def createUrlAndParam(bucketname, filename):↲ backlogurl = “https://<<スペース名>>.backlog.jp"↲ apiurl = "/api/v2/wikis"↲ #APIKeyは共通的な物をとる必要あり。⼀旦、森のを使う↲ apikeybase = "?apiKey="↲ apikey = ”<<backlogのAPIキー>>"↲ #↲ baseurl = backlogurl + apiurl + apikeybase + apikey↲ return base url
68. backlogのWikiをコピーしたい 〜実装〜 l Lambda(Wikiコピー）/ APIを呼び出し 68 def main(event, content):↲ bucketname = event['bucket']↲ filename = event['filename']↲ downloadWikiPage(bucketname, filename) ↲ baseurl = createUrlAndParam(bucketname, filename) ↲ projectId = event["projectId"]↲ name = readFirstLine(downloadpath)↲ content = readFile(downloadpath)↲ httpheader = { "Content-Type":"application/x-www-form-urlencoded" }↲ ↲ param = {}↲ param["projectId"] = projectId↲ param["name"] = name↲ param["content"] = content↲ HttpPost.post(baseurl, param, httpheader) ↲
69. backlogのWikiをコピーしたい 〜実装〜 69
70. backlogのWikiをコピーしたい 〜実装〜 lLambda(Step Functions削除/S3バケット削除) 70 def main(event, context):↲ bucketname = 'backlogwikibase'↲ pStateMachineArn = event["stateMachineArn"]↲ pProjectId = event['projectId']↲ ↲ #S3のbucketのフォルダ(projectId)配下のファイルを削除↲ s3 = S3Access()↲ s3.deleteobjects(bucketname, pProjectId)↲ ↲ #step functionsを削除↲ response = StepFunctions.deleteStateMachine(pStateMachineArn)↲
71. backlogのWikiをコピーしたい lLambda(Step Functions削除/S3バケット削除) 71 class StepFunctions:↲ @staticmethod↲ def deleteStateMachine(pStateMachineArn):↲ sfn = boto3.client('stepfunctions')↲ response = sfn.delete_state_machine(stateMachineArn=pStateMachineArn)↲ return response↲
72. backlogのWikiをコピーしたい lLambda(Step Functions削除/S3バケット削除) 72 class S3Access:↲ def deleteobjects(self, bucketname, prefix=None):↲ keys = self.listobjects(bucketname, prefix)↲ objs = []↲ for key in keys:↲ obj = {}↲ obj['Key'] = key↲ objs.append(obj)↲ deleteobj = {}↲ deleteobj['Objects'] = objs↲ deleteobj['Quiet'] = True↲ ↲ response = self.s3.delete_objects(Bucket=bucketname, Delete=deleteobj)↲
73. backlogのWikiをコピーしたい lLambda(Step Functions削除/S3バケット削除) 73 class S3Access:↲ def listobjects(self, bucketname, prefix=None):↲ if prefix is None:↲ response = self.s3.list_objects(Bucket=bucketname)↲ else:↲ response = self.s3.list_objects(Bucket=bucketname, Prefix=prefix)↲ #for 'Contents' in response: # 該当する key がないと response に 'Contents' が含まれない↲ # keys = [content['Key'] for content in response['Contents']]↲ keys = []↲ for contents in response['Contents']:↲ keys.append(contents['Key'])↲ return keys↲
74. Lambda + Step Functionsでハマったとこ
75. Lambda + Step Functionsでハマったとこ lパラメータの渡し⽅ 75
76. Lambda + Step Functionsでハマったとこ lパラメータの渡し⽅ lURLパラメータで渡した値の取得⽅法 76
77. Lambda + Step Functionsでハマったとこ lパラメータの渡し⽅ lURLパラメータで渡した値の取得⽅法 l event[“queryStringParameters”][“projectId”] 77
78. Lambda + Step Functionsでハマったとこ lパラメータの渡し⽅ lURLパラメータで渡した値の取得⽅法 l event[“queryStringParameters”][“projectId”] lStep Functionsのパラメータの渡し⽅ l 「InputPath」を使う 78
79. backlogのWikiをコピーしたい 〜実装〜 79
80. Lambda + Step Functionsでハマったとこ lパラメータの渡し⽅ lURLパラメータで渡した値の取得⽅法 l event[“queryStringParameters”][“projectId”] lStep Functionsのパラメータの渡し⽅ l 「InputPath」を使う lLambdaから呼ぶ場合は、Boto3のAPIを利⽤ lsfn.start_execution(stateMachineArn='string', input=ʻstringʼ) lStep FunctionsのState Machine構造でInputPath 80
81. Lambda + Step Functionsでハマったとこ 81
82. Lambda + Step Functionsでハマったとこ l パラメータの渡し⽅ l URLパラメータで渡した値の取得⽅法 l event[“queryStringParameters”][“projectId”] l Step Functionsのパラメータの渡し⽅ l 「InputPath」を使う l Lambdaから呼ぶ場合は、Boto3のAPIを利⽤ l sfn.start_execution(stateMachineArn='string', input=ʻstringʼ) lStep FunctionsのState Machine構造でInputPath l Step FunctionsのState Machine 構造の作成 82
83. 最後に、テスト
84. テスト対象は... AWSリソース 作成したコード 84
85. テスト対象は... (テストツール) AWSリソース awspec (https://github.com/k1LoW/awspec) 作成したコード moto (https://github.com/spulec/moto) unittest (Python標準ライブラリ:https://docs.python.jp/3/library/unittest.html) 85
86. テスト対象 〜 awspec 〜 86
87. テスト対象 〜 awspec 〜 87 AWSリソースをテストするライブラリ 作りはRuby(Rspecがベース) 現環境からリバースでコードを作れる YAMLを読み込ませて静的コードを使ってテストも可能 オリジナルコンセプトは弊社・照井が作ったもの
88. テスト対象 〜 awspec 対象リソース 〜 acm / alb / alb_listener / alb_target_group / ami / autoscaling_group / cloudformation_stack / cloudfront_distribution / cloudtrail / cloudwatch_alarm / cloudwatch_event / cloudwatch_logs / customer_gateway / directconnect_virtual_interface / dynamodb_table / ebs / ec2 / ecr_repository / ecs_cluster / ecs_container_instance / ecs_service / ecs_task_definition / efs / eip / elasticache / elasticache_cache_parameter_group / elasticsearch / elastictranscoder_pipeline / elb / iam_group / iam_policy / iam_role / iam_user / internet_gateway / kms / lambda / launch_configuration / nat_gateway / network_acl / network_interface / rds / rds_db_cluster_parameter_group / rds_db_parameter_group / route53_hosted_zone / route_table / s3_bucket / security_group / ses_identity / sqs / subnet / vpc / vpn_connection / vpn_gateway / waf_web_acl / account 88
89. テスト対象 〜 awspec 例 〜 89 properties['Resources']['EC2Instances'].each do |ec2| describe ec2(ec2['name']) do it { should exist } its(:ebs_optimized) { should eq ec2['ebs_optimized'] } its(:source_dest_check) { should eq ec2['source_dest_check'] } its(:key_name) { should eq ec2['key_name'] } its(:instance_type) { should eq ec2['instance_type'] } its(:image_id) { should eq ec2['image_id'] } it { should have_tag('Name').value(ec2['tags'][0]['Name']) } it { should have_tag('AUTO_START').value(ec2['tags'][1]['AUTO_START']) } 〜〜略〜〜 end 参考URL： http://blog.serverworks.co.jp/tech/2017/09/01/awspec20170901/ #「name」で指定されたEC2インスタンスが存在確認 # EC2インスタンスに設定されたキー確認 # インスタンスタイプ確認 # AMI-ID 確認 # Nameタグの確認
90. テスト対象 〜 awspec 注意点 〜 全リソースが対象でない 対象リソースでも全ての項⽬が対象ではない IAM Userのアクセスキーとシークレットアクセスキーが必要 IAM Userに付与するIAMポリシーはReadOnlyAccess権限 EC2インスタンスを利⽤の場合は、ReadOnlyAccess権限を付与 作業が終わったら、IAM Userを削除するのがオススメ 90
91. テスト対象 〜 moto 〜 91
92. テスト対象 〜 moto 〜 92 AWSサービスを簡単に模倣できるライブラリ 対象はpython ほかの⾔語でmotoを使いたい場合は、Standaloneモー ドもある
93. テスト対象 〜 moto 対象リソース 〜 API Gateway / Autoscaling / Cloudformation / CloudWatch / Data Pipeline / DynamoDB / EC2 (AMI / EBS / Instances / SecurityGroups / Tags) / ECS / ELB / EMR / Glacier / IAM / Lambda / Kinesis / KMS / RDS / Redshift / Route53 / S3 / SES / SNS / SQS / STS / SWF 93
94. テスト対象 〜 moto 例 〜 94 @mock_s3↲ def test_s3_download(self):↲ #初期化↲ bucketname = 'buckettest20170714'↲ prefix = 'project001'↲ downloadPath = '/tmp/test.md.tmp'↲ #テスト対象↲ s3 = S3Access()↲ #テスト準備↲ s3test = boto3.client('s3')↲ s3test.create_bucket(Bucket=bucketname)↲ s3test.put_object(Bucket=bucketname, Key=prefix)↲ s3test.upload_file('./test.md', bucketname, prefix + '/test.md')↲ #テスト実施↲ s3.download(bucketname, prefix + '/test.md', downloadPath)↲ #テスト結果確認↲ ##元ファイル読み込み↲ beforeStr = self.__readTestMd('./test.md')↲ ##ダウンロードファイル読み込み↲ afterStr = self.__readTestMd(downloadPath)↲ ##assert↲ assert beforeStr == afterStr↲ 初期化 バケット名、プレフィックス、 ローカルダウンロードパスを初期化 テストの前処理 テスト実施するための仮想状態を作る バケット名、プレフィックス、 ローカルダウンロードパスを初期化 テストの結果の確認 バケット名、プレフィックス、 ローカルダウンロードパスを初期化
95. テスト対象 〜 moto 注意点 〜 全リソースが対象でない 対象リソースでも全ての項⽬が対象ではない 95
96. テスト対象 〜 unittest 〜 96
97. テスト対象 〜 unittest 〜 97 Python標準ライブラリのユニットテストフレームワーク 対象はpython 参考URL Python 3.6 https://docs.python.jp/3/library/unittest.html Python 2.7 https://docs.python.jp/2.7/library/unittest.html
98. テスト対象 〜 unittest の 注意点 〜 関数単位に実施する IN/OUTを決めておく ロジックに合わせず、仕様に合わせて作る 実装が終わったら実⾏して、正常性を⾒る 98
99. テスト対象 〜 unittest 例 〜 99 @staticmethod↲ def uploadWikiPage(projectId, s3, bucketname, wikiList):↲ wikiInfoList = []↲ for wikiPage in wikiList:↲ wikiInfo = s3.upload(wikiPage, bucketname, projectId, '/tmp/temp/')↲ wikiInfoList.append(wikiInfo)↲ return wikiInfoList↲ テスト対象のメソッド
100. テスト対象 〜 unittest 例 〜 10 @mock_s3↲ def testUploadWikiPage001(self):↲ try:↲ #テスト準備↲ projectId = "testfolder"↲ bucketname = "buckettest20170714"↲ s3test = boto3.client('s3')↲ s3test.create_bucket(Bucket=bucketname)↲ filelist = []↲ filelist.append("./testfolder/testFile001.txt")↲ filelist.append("./testfolder/testFile002.txt")↲ filelist.append("./testfolder/testFile005.txt")↲ filelist.append("./testfolder/testfolder01/testfile010.txt")↲ s3 = S3Access()↲ #実⾏↲ wikiInfoList = BacklogWikiCopyPreProcessing.uploadWikiPage(projectId, s3, bucketname, filelist)↲ #結果確認↲ ##⽐較結果作成↲ for file in filelist:↲ responseData = { "bucket": bucketname, "filename": file.replace("./", "") }↲ assert responseData in wikiInfoList↲ except Exception as e:↲ print e↲
101. テストツールのおさらい AWSリソース awspec (https://github.com/k1LoW/awspec) 作成したコード moto (https://github.com/spulec/moto) unittest (Python標準ライブラリ:https://docs.python.jp/3/library/unittest.html) 10
102. 個⼈的意⾒ 10
103. 個⼈的意⾒ 10 テストは本当に⼤事
104. 個⼈的意⾒ 10 テストは本当に⼤事 無駄なテストは必要ない
105. 個⼈的意⾒ 10 テストは本当に⼤事 無駄なテストは必要ない テスト⼯数が⼀番削減されやすいけど⼀番重要
106. 個⼈的意⾒ 10 テストは本当に⼤事 無駄なテストは必要ない テスト⼯数が⼀番削減されやすいけど⼀番重要 設計：実装：テスト＝３：４：３
107. 個⼈的意⾒ 10 テストは本当に⼤事 無駄なテストは必要ない テスト⼯数が⼀番削減されやすいけど⼀番重要 設計：実装：テスト＝３：４：３ テストファーストな仕組みが⼤切
108. まとめ
109. まとめ 109 backlogのWikiをサーバーレスな感じで作った ちなみに、APIにはチケット作成やプロジェクト作 成などもあるので、Step Functions + Lambdaで ⼀連の流れとして作成が可能 これでbacklogを使ったプロジェクト管理が楽に テストは本当に⼤事
110. 最後に
111. サーバーワークスは... JOINしていただける⽅を絶賛募集中(※) エンジニア／営業／営業アシスタントを募集 東京／⼤阪／名古屋／福岡／仙台 リモートでの仕事もOK！！w (※)切腹の強要はされません。ご安⼼ください。 (※)切腹は代表のギャグですのであしからず。
112. サーバーワークスは... JOINしていただける⽅を絶賛募集中(※) エンジニア／営業／営業アシスタントを募集 東京／⼤阪／名古屋／福岡 リモートでの仕事もOK！！w (※)切腹の強要はされません。ご安⼼ください。 (※)切腹は代表のギャグですのであしからず。 ߹ݴ༿͸ʮ୤ൡʯ
113. ご静聴ありがとうございました 113 Thanx.