HIGOBASHI.AWS 第10回「サーバーレスとデータ分析 ~AWS Lambdaを活用して効率化しよう~」

LambdaでNumpy,Sicpy, OpenCVを使う方法や、Lambda Layerの話をしました

Transcript

1. )*(0#"4)*"84 
   ੢ଜ
   ༞ೋ αʔόʔϨεͱσʔλ෼ੳ
   d"84
   -BNCEBΛ׆༻ͯ͠ޮ཰Խ͠Α͏d
2. ࣗݾ঺հ
    w੢ଜ
   ༞ೋ 
   wαʔόʔϨε։ൃ෦
   wݩ৘γε
   wೖࣾ೥ϲ݄
   w"84ྺ೥ϲ݄
   w౦ژ͔Βେࡕʹ6λʔϯస৬
   wલ৬͸*41ͷձࣾͰސ٬γεςϜอक
3. 
    AWS Lambda 使ったことある人✋
4. 
    numpy,scipy,pandasとかで データ分析してる人✋
5. ࠓճͷ಺༰ͷ૝ఆ͢Δλʔήοτ
    ॳ৺ऀ޲͚Ͱ͢
   -BNCEB࢖ͬͨ͜ͱͳ͍͚Ͳ࢖ͬͯΈ͍ͨ
   σʔλ෼ੳͷલॲཧͱָ͔͍ͨ͠
   ຖճಉ͡ॲཧ͍ͯ͠ΔͷͰޮ཰Խ͍ͨ͠
6. ໨࣍
    wαʔόʔϨεͱ͸
   w"84
   -BNCEBͱ͸
   wϥΠϒϥϦΛؚΉ"84
   -BNCEBͷσϓϩΠ
   wπʔϧΛ࢖ͬͯσϓϩΠΛָʹ͢Δ
   w৽ػೳʮ-BNCEB
   -BZFSTʯΛ࢖ͬͯ޻਺࡟ݮ
   wσϞ
   w·ͱΊ
7. 
    サーバーレスとは
8. ௒ͬ͘͟Γઆ໌͢Δͱ
    ϚωʔδυαʔϏε
   04΍.8ͳͲӡ༻؅ཧपΓ͸ϕϯμ͕࣮ࢪ
   ׬શैྔܕͷ՝ۚ
   ࢖ͬͨ෼͚ͩͷ՝ۚ
   ߴՄ༻ੑ
   ৑௕ԽɺεέʔϧΞοϓΛؾʹ͠ͳ͍͍ͯ͘
9. 
    AWS Lambdaとは
10. "84
    -BNCEBͷಛ௃
     αʔόʔ؅ཧͤͣίʔυΛ࣮ߦͰ͖Δɹɹ ίϯϐϡʔςΟϯάαʔϏε
    ΠϕϯυυϦϒϯ
    ࣗಈతʹεέʔϧ
    ϛϦඵ୯Ґͷ՝ۚ
    ෳ਺ͷϥϯλΠϜΛαϙʔτɿ1ZUIPO΋ରԠ
11. 
     どんな場面で使えるか
12. Ϣʔεέʔε
     σʔλॲཧ
    όονॲཧʢ෼Ҏ಺ʣ
    ϦΞϧλΠϜϑΝΠϧॲཧ
    நग़ɺม׵ɺϩʔυ
    όοΫΤϯυ
    *P5όοΫΤϯυ
    ϞόΠϧόοΫΤϯυ
    ΢ΣϒΞϓϦέʔγϣϯ https://aws.amazon.com/jp/lambda/
13. 
     データ分析時の データの前処理に使えそう
14. 
     AWS Lambdaの料金
15. ׬શͳैྔ՝ۚ
     ϦΫΤετճ਺ʹର͢Δ՝ۚ
    ݄ສ
    ݅·Ͱ͸ແྉ
    ສ
    ݅͋ͨΓ
    ࣮ߦ࣌ؒʹର͢Δ՝ۚ https://aws.amazon.com/jp/lambda/pricing/ ϝϞϦʢ.#ʣ ݄ͷແྉ࿮ʢඵ਺ʣ ϛϦඵ୯ҐͷՁ֨ʢ64%ʣ                ʜ ʜ ʜ
16. 
     AWS Lambda (ϚωʔδυαʔϏε)ʹ͸ ੍ݶ͕͋Δ ϋϚΓϙΠϯτ
17. ओཁͳ੍ݶ
     Ϧιʔε ੍ݶ λΠϜΞ΢τ TFD ෼ σϓϩΠύοέʔ δ .# [JQѹॖࡁɺ௚઀Ξοϓϩʔυ
    .# ίϯιʔϧΤσΟλ
    .# ϨΠϠʔ ϝϞϦ .#͔Β.#·Ͱ UNQετϨʔδ .# https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/limits.html
18. 
     AWS Lambdaで NumPy・SciPyを使ってみる
19. 
     ライブラリを含めた Lambdaのデプロイがめんどう はじめにぶつかる壁
20. ϥΠϒϥϦΛؚ·ͳ͍৔߹
     ίʔυ؅ཧͱ͔ແࢹ͢Ε͹ɺϚωίϯ্Ͱ ׬݁Մೳ
21. ϥΠϒϥϦΛؚΊΔ৔߹
     ϥΠϒϥϦ΋ؚΊͯ[JQʹݻΊͯσϓϩΠ ͢Δඞཁ͕͋Δ
    ίʔυΛमਖ਼͢Δͨͼʹ[JQʹݻΊͯɹɹ σϓϩΠ͢Δඞཁ͕͋Δ
    
22. 
     zipに固めるところで 気をつけるポイント
23. ؾΛ͚ͭΔϙΠϯτ
    ͦͷ̍
     JNQPSU͢Δࡍͷύεʹ஫ҙ
    [JQΛ࡞Δલʹ
    ύοέʔδ௚ԼʹϥΠϒϥϦϑΝΠϧΛஔ͘ ͳͲͯ͠σϓϩΠޙͰ΋ϋϯυϥ͔Βɹɹɹ ϥΠϒϥϦΛݺͼग़ͤΔΑ͏ʹ޻෉͕ඞཁ pip install -r requirements.txt -t . ex) -t ͰϥΠϒϥϦͷΠϯετʔϧઌΛࢦఆ https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/lambda-python-how-to-create-deployment-package.html
24. ؾΛ͚ͭΔϙΠϯτ
    ͦͷ̎
     ͭͷσϓϩΠύοέʔδʹ༰ྔ੍ݶ͕͋Δ ʢݱࡏɺ.#ʣ
    σʔλॲཧʹΑ͘࢖ΘΕΔϥΠϒϥϦ͸༰ྔ͕ େ͖ΊͳͷͰ࠷దԽ͕ඞཁ https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/limits.html $ mkdir numpy $ pip install numpy -t numpy $ du -sh numpy 82M numpy ex) numpy ͷ༰ྔΛ֬ೝ
25. ؾΛ͚ͭΔϙΠϯτ
    ͦͷ
     04ґଘ͕͋ΔϥΠϒϥϦ͸"NB[POɹ -JOVY؀ڥͰϏϧυͨ͠ϑΝΠϧΛ[JQʹ ؚΊΔ
    -BNCEBؔ਺ͷ࣮ߦ؀ڥͱ΄΅ಉ౳ͷ %PDLFSΠϝʔδΛ࢖ͬͯϏϧυ docker run --rm -v $(pwd):/var/task -w /var/task lambci/lambda:build-python3.6 \ pip install -r requirements.txt -t ${OUTPUT_DIR} ex) dockerΛ࢖ͬͯϏϧυ͢ΔεΫϦϓτྫͷൈਮ
26. 
     毎回手動ではしんどいので　　 パッケージの作成を自動化したい 芽生える気持ち
27. 
     スクリプト作ってもいいですが メンテとか管理したくない もっとスマートにしたい 次に芽生える気持ち
28. 
     ツールを使って面倒なところは　 ツールに任せましょう 解決案
29. ࠓճ࢖༻͢Δπʔϧ
     4FSWFSMFTT
    'SBNFXPSL
    ͱϓϥάΠϯͷ
    4FSWFSMFTT
    1ZUIPO
    3FRVJSFNFOUT https://github.com/UnitedIncome/serverless-python-requirements
30. Ͳ͏΍ͬͯ࢖͏ͷ͔
     TFSWFSMFTTZNMʹઃఆΛهࡌ͢Δ͚ͩ
    ίϚϯυҰͭͰύοέʔδͱσϓϩΠ·Ͱ࣮ࢪ
    custom: pythonRequirements: dockerizePip: non-linux slim: true zip: true plugins: - serverless-python-requirements $ sls deploy dockerͰϏϧυ ࠷దԽͯ͠༰ྔ࡟ݮ zipѹॖ཰ߴΊ༰ྔ࡟ݮ
31. Ͳ͏΍ͬͯ࢖͏ͷ͔
     ੍ݶ಺ͰOVNQZ TDJQZΛύοέʔδ
    Serverless: Uploading CloudFormation file to S3... Serverless: Uploading artifacts... Serverless: Uploading service .zip file to S3 (42.02 MB)... Serverless: Validating template... Serverless: Updating Stack... Serverless: Checking Stack update progress... ......... https://dev.classmethod.jp/cloud/serverless-framework-lambda-numpy-scipy/ ৄࡉ͸ԼهϒϩάΛࢀর
32. 
     実際使ってみると ちょっと使い勝手悪い できたけど、ただ。。
33. ࢖͍উख͕ѱ͍ͳͱײͨ͡ͱ͜Ζ
     ͪΐͬͱͨ͠ίʔυमਖ਼ͷͨͼʹύοέʔ δΛ࡞Δॲཧ͕ೖͬͯσϓϩΠʹ͔͔࣌ؒ Δ
    Ϛωʔδϝϯτίϯιʔϧ͔Βίʔυͷ֬ ೝ΍मਖ਼͕Ͱ͖ͳ͍ʢύοέʔδαΠζ͕ .#Ҏ্ͷͱ͖දࣔ͞Εͳ͍ʣ
34. 
     AWS Lambdaの新機能 「Lambda Layers」
35. -BNCEB
    -BZFSTͱ͸
     ڈ೥ͷ݄SF*OWFOU
    ൃද͞Εͨػೳ
    ෳ਺ͷ-BNCEBؔ਺Ͱڞ༗͢ΔΧελϜίʔυ ΍ϥΠϒϥϦΛϨΠϠͱͯ͠࡞੒Ͱ͖
    ଞͷ-BNCEBؔ਺͔ΒϨΠϠͱͯ͠ར༻Ͱ͖Δ ϥΠϒϥϦͳͲΛϨΠϠʹ͓͚ͯ͠͹ σϓϩΠύοέʔδʹؚΊͳͯ͘΋Α͍
36. 
     ライブラリをLayerにして デプロイパッケージを軽量化
37. 
     そもそも、NumPy・SciPyは AWSよりLayerが提供されている
38. "84ΑΓఏڙ͞ΕΔϨΠϠ
     ϨΠϠʔબ୒ը໘ΑΓ͸͡Ί͔Βબ୒Ͱ͖Δ
39. 
     Pandasなど自分でLayerを デプロイするときは Lambdaと同じでめんどう
40. 
     Layerのデプロイも Serverless Frameworkと プラグインを使えば簡単
41. Ͳ͏΍Δʁ
     ྲྀΕͷ֓ཁ
    w-BZFS༻ͱ-BZFSΛར༻͢Δ-BNCEB༻Ͱ෼͚Δ
    w-BZFSΛσϓϩΠ͢ΔͱࣗಈͰ$GOͷ0VUQVUʹ "3/͕ઃఆ͞ΕΔ
    w-BZFSΛར༻͢Δ-BNCEBͰ͸0VUQVUΛࢀর͠ ͯσϓϩΠ͢Δ͜ͱͰɺඥ͚ͮͯσϓϩΠͰ͖Δ
42. -BZFS༻ͷTFSWFSMFTTZNMʢશͯʣ
     service: layer provider: name: aws runtime: python3.7 deploymentBucket: name: layer-test-dev-serverless-demo package: exclude: - "**" custom: pythonRequirements: usePipenv: true dockerizePip: true layer: description: opencv plugins: - serverless-python-requirements ϥΠϒϥϦΛLayerͱͯ͠σϓϩΠ
43. σϓϩΠํ๏
     ؔ਺Λࢦఆ͠ͳͯ͘΋σϓϩΠՄೳ
    
    TMT
    EFQMPZͰ-BZFSΛσϓϩΠՄೳ
    0VUQVUʹ-BZFSͷ"3/ͱόʔδϣϯؚ͕·ΕΔ
44. -BZFSΛར༻͢Δ-BNCEB
     DGOͷ0VUQVUΛࢀর͢ΔػೳΛར༻ functions: hello: handler: handler.hello layers: - ${cf:layer-dev.PythonRequirementsLambdaLayerQualifiedArn} ex) serverless.ymlͷҰ෦ൈਮ Layer͕ඥ෇͍ͨঢ়ଶͰσϓϩΠ
45. 
     デモ
46. 
     外部ライブラリ OpenCVを使って顔検出する Lambda（Layer機能使用）
47. ߏ੒ਤ
     AWS Lambda Amazon Simple Storage Service (S3) ᶃը૾Ξοϓϩʔυ ᶄτϦΨʔ࣮ߦ ᶅը૾ॲཧͨ͠ը૾อଘ
48. ݟͯ΄͍͠ϙΠϯτ
     4ʹϑΝΠϧΛΞοϓσʔτ͢Δͱࣗಈ࣮ߦ
    -BNCEBͰ0QFO$7͕͏͍͍ͯ͝Δ
    αʔόʔϨεߏ੒
    Ϛωίϯ͔Βίʔυͷ֬ೝͰ͖Δ
    σϓϩΠ࣌ʹ͸σϓϩΠύοέʔδ༰ྔ
49. 
     まとめ
50. ·ͱΊ
     w"84
    -BNCEB͸σʔλ෼ੳͷલॲཧʹ࢖͑ͦ͏
    w࢖ͬͨ෼͚ͩͷ՝ۚͳͷͰ௿ίετ
    wϥΠϒϥϦΛؚΊͨσϓϩΠ͸πʔϧΛ࢖ͬͯ ָΛ͠Α͏
    w-BZFSΛ׆༻ͯ͠ɺΑΓ࢖͍উखΑ͘͠Α͏
    w؆୯ʹσʔλॲཧͷ࢓૊ΈΛ࡞ΕΔ
51. 
     さいごに
52. 
     Lambdaをうまく使って コストや作業の効率化 してみませんか