サーバーレスアーキテクチャで作ったIoTのバックエンドシステムで遭遇したエラーと対処法

Developers.IO 2019 in Nagoyaで発表した資料です

Transcript

1. αʔόʔϨεͰ࡞ͬͨ
   *P5ͷόοΫΤϯυγεςϜͰ
   ૺ۰ͨ͠Τϥʔͱରॲ๏ $9ࣄۀຊ෦
   ੢ଜ
   ༞ೋ
2. #cmdevio2019
3. εϥΠυ͸ޙͰೖख͢Δ͜ͱ͕ग़དྷ·͢ͷͰ ൃදதͷ಺༰ΛϝϞ͢Δඞཁ͸͋Γ·ͤΜɻ ࣸਅࡱӨΛ͢Δ৔߹͸ ϑϥογϡɾγϟολʔԻ͕ग़ͳ͍Α͏ʹ͝഑ྀ͍ͩ͘͞ Attention
4. ࣗݾ঺հ
    2019 APN AWS Top Engineersೝఆ AWSೝఆ 2017/5 ΫϥεϝιουJoin ౦ژ͔ΒେࡕʹUλʔϯస৬ ೖࣾ࣌͸৘γεॴଐ ೖࣾલ͸ISPͷձࣾͰӡ༻อक ܦྺ ੢ଜ ༞ೋ(28) CXࣄۀຊ෦ॴଐ େࡕΦϑΟεࡏ੶
5. ൃද಺༰
    αʔόʔϨεͳIoTγεςϜΛ ӡ༻͍ͯ͠·ͨ͠ ͦ͜Ͱɺૺ۰ͨ͠Τϥʔͱରॲ๏ͱ ͔ͦ͜ΒֶΜͩ͜ͱΛڞ༗͠·͢
6. ຊൃදͷର৅ऀɾ໨త
    ର৅ऀ
   w"84
   *P5΍-BNCEBͰͲ͏͍͏ͱ͜ΖʹؾΛ͚ͭͨΒ͍͍͔ɹ ஌Γ͍ͨਓ
   w*P5ɺαʔόϨεΛ͜Ε͔Β΍͍͖͍ͬͯͨਓ
   ໨త
   w-BNCEB
   "84
   *P5ͷϋϚΓͦ͏ͳಛੑΛ஌ͬͯ΋Β͏
   w͜Ε͔Β*P5΍αʔόʔϨεΛ΍Δਓͷࢀߟʹ
7. ΞδΣϯμ
    wαʔόʔϨεͱ͸
   w"84
   *P5
   $PSFͷ֓ཁ
   wΞʔΩςΫνϟͷઆ໌
   wΤϥʔ͔ΒֶΜͩͭͷ͜ͱ
   wͲΜͳΤϥʔʹૺ۰͔ͨ͠
   w·ͱΊ NJO NJO NJO NJO NJO NJO
8. 
    αʔόʔϨεͱ͸
9. 
    ར༻ऀଆ͕αʔόʔͷଘࡏΛ ҙࣝ͠ͳͯ͘ྑ͍ ΞʔΩςΫνϟ
10. αʔόʔϨεͷಛ௃
     wΫϥ΢υϕϯμʔʹΑΔɹ ϚωʔδυαʔϏε
    wαʔϏεͷӡ༻؅ཧ͸͢΂ͯɹ Ϋϥ΢υϕϯμʔʹ͓·͔ͤ
    w04΍ϛυϧ΢ΣΞͷύον͸ ࣗಈͰదԠ w׬શैྔ՝ۚ
    wΞΠυϧ࣌ؒʹ՝ۚ͞Εͳ͍
    wϓϩάϥϜ͕࣮ߦ͞Εͨ࣌ؒʹର͠ ͯ՝ۚ
    wߴՄ༻ੑ
    wΫϥ΢υϕϯμʔଆͰউखʹ৑௕Խ
    wࣗಈతʹεέʔϧΞοϓ
11. 
     AWS Lambda
12. "84
    -BNCEBͷಛ௃
     wΠϕϯτυϦϒϯ
    wࣗಈతʹεέʔϧ
    wϛϦඵ୯Ґͷ՝ۚ αʔόʔϨε։ൃͷίΞαʔϏε αʔόʔΛ؅ཧͤͣʹϓϩάϥϜ͕࣮ߦͰ͖Δ ίϯϐϡʔςΟϯάαʔϏε wߴ͍ࣗ༝౓ͱॊೈੑ
    w༷ʑͳݴޠʹରԠʢ/PEFKT
    1ZUIPO
    +BWB
    (P
    FUDʣ
    wଟ͘ͷ"84αʔϏεͱ࿈ܞՄೳ
13. "84
    -BNCEBͷྉۚ
     wϦΫΤετճ਺ʹର͢Δ՝ۚ
    w݄ສ݅·Ͱ͸ແྉɺສ݅͋ͨΓ ౦ژϦʔδϣϯ
    w࣮ߦ࣌ؒʹର͢Δ՝ۚ ϝϞϦ(MB) ݄ͷແྉ࿮(ඵ਺) 100ϛϦඵ୯ҐͷՁ֨(USD) 128 3,200,000 0.000000208 192 2,133,333 0.000000313 256 1,600,00 0.000000417 ... ... ... ݸਓϨϕϧͰར༻͢Δ෼ʹ͸΄΅ྉۚ͸͔͔Βͳ͍ͷͰؾܰʹར༻Ͱ͖Δ
14. αʔόʔϨε։ൃͱ͸
     αʔόʔϨε։ൃ͸ Lambda΍ϚωʔδυαʔϏεΛ ૊Έ߹ΘͤͯγεςϜΛ ߏங͍͖ͯ͠·͢
15. αʔόʔϨεͷϝϦοτ
     wίετͷ࠷దԽ͕ਤΕΔ
    wӡ༻ෛՙͷ௿ݮ
    wΞϓϦͷ࣮ߦ؀ڥ͕͙͢ʹखʹೖΔ
    wؾܰʹࢼͤΔ
16. 
     AWS IoT Coreͷ֓ཁ
17. "84
    *P5
    $PSFͷ֓ཁ
     w༷ʑͳσόΠεͱ"84ΛηΩϡΞʹ઀ଓ
    wσόΠεσʔλʹର͢Δॲཧ΍ΞΫγϣϯΛ࣮ߦՄೳ
    wσόΠεΛϦϞʔτͰ੍ޚɾ؅ཧ͢Δ͜ͱ͕Մೳ
    wෳ਺ͷػೳ͔Βߏ੒͞ΕΔϚωʔδυαʔϏε https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-2016-aws-iot
18. "84
    *P5
    $PSFͷશମ૾
     https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-2016-aws-iot
19. "84
    *P5
    $PSFͷྉۚͷ֓ཁ
     wैྔ՝ۚɺ࠷௿ར༻ྉۚͳ͠
    w઀ଓ࣌ؒɿ64%
    ઀ଓ
    
    ສ෼͋ͨΓ
    wϝοηʔδɿԯ݅·Ͱ64% ສ݅͋ͨΓ
    wϨδετϦɺσόΠεγϟυ΢ɿ64% ສ݅͋ͨΓ
    wτϦΨʔϧʔϧɺ࣮ߦΞΫγϣϯɿ64%ɹɹɹɹɹɹ τϦΨʔ͞Εͨϧʔϧ
    
    ສ݅͋ͨΓ࣮ߦ͞ΕͨΞΫ γϣϯ
    
    ສ݅͋ͨΓ https://aws.amazon.com/jp/iot-core/pricing/ ※౦ژϦʔδϣϯͰͷྉۚମܥ
20. "84
    *P5
    $PSFͷݟੵΓπʔϧ
     wެࣜͰݟੵΓπʔϧʢΤΫηϧʣ͕ఏڙ https://aws.amazon.com/jp/iot-core/pricing/
21. 
     ΞʔΩςΫνϟͷઆ໌
22. ΞʔΩςΫνϟͷུ֓ਤͷઆ໌
     AWS IoT Core IoT thing Lambda IoT rule Kinesis Data Streams DynamoDB Kinesis Data Firehose Amazon S3 Lambda DynamoDB IoT rule IoT rule Amazon Athena ొ࿥ॲཧ Πϕϯτอଘ ϩάอଘ σόΠεɿՈͷதʹ͋Γෳ਺ͷσόΠε͕ͭͳ͕ΔϋϒσόΠε ϓϩτίϧɿHTTPS HTTP
 protocol γεςϜɿσʔλΛ஝ੵ͢ΔγεςϜ
23. 
     Τϥʔ͔ΒֶΜͩ5ͭͷ͜ͱ
24. Τϥʔ͔ΒֶΜͩͭͷ͜ͱ
     w"1*͕ඇಉظλΠϓ͔ಉظλΠϓ͔ҙࣝ
    w4%,ʹ͓͚ΔλΠϜΞ΢τ஋ɺϦτϥΠઃఆΛ๨Εͣઃఆ
    w,JOFTJT -BNCEBͷϦτϥΠํ๏ʹ͍ͭͯཧղ
    w-BNCEBΤϥʔ࣌௨஌͢Δ࢓૊Έͱ93BZΛಋೖ͓ͯ͘͠
    w"84αϙʔτʹ໰͍߹ΘͤͰ͖Δ؀ڥΛ੔͓͑ͯ͘
25. 
     ͲΜͳΤϥʔʹૺ۰͔ͨ͠
26. Τϥʔ͔ΒֶΜͩͭͷ͜ͱ
     w"1*͕ඇಉظλΠϓ͔ಉظλΠϓ͔ҙࣝ
    w4%,ʹ͓͚ΔλΠϜΞ΢τ஋ɺϦτϥΠઃఆΛ๨Εͣઃఆ
    w,JOFTJT -BNCEBͷϦτϥΠํ๏ʹ͍ͭͯཧղ
    w-BNCEBΤϥʔ࣌௨஌͢Δ࢓૊Έͱ93BZΛಋೖ͓ͯ͘͠
    w"84αϙʔτʹ໰͍߹ΘͤͰ͖Δ؀ڥΛ੔͓͑ͯ͘
27. ૺ۰ͨ͠৔໘
     σόΠεاۀ ʮAPIίʔϧͯ͠΋Τϥʔ͕ ฦͬͯ͘Δͱ͖͕͋Δʯ
28. ݪҼ
     AWS IoTͷAPI͸ ඇಉظॲཧͷͨΊ ޙଓͷॲཧ͕׬ྃ͢Δલʹ ࣍ͷϦΫΤετ͕དྷ͍ͯͨ
29. w͜ͷॲཧͷޙ͸ɺ͜ͷॲཧͱ͍͏࿈ଓతͳϦΫΤετ ϦΫΤετ಺༰
     IoT hardware AWS IoT Core DynamoDB Lambda API Gateway ᶄϨεϙϯε 200ok ᶃϦΫΤετ ᶅ࣮ߦϦΫΤετ ᶆॲཧ࣮ߦத ᶇϦιʔεऔಘϦΫΤετ ᶈॲཧະ׬ྃͷͨΊΤϥʔ
30. ରࡦ
     wγʔέϯγϟϧͳॲཧͷͱ͖ൃੜ
    w"84
    *P5͔Β0,͕ฦ͖ͬͯͯ΋ɺ"84
    *P5ʹඥͮ͘ -BNCEBͷॲཧ͕׬͍ྃͯ͠Δͱ͸ݶΒͳ͍
    wޙଓͷॲཧ͕ΤϥʔͱͳΔ͜ͱ͕͋Δ σόΠεଆͰϦτϥΠॲཧΛೖΕ͓ͯ͘͜ͱ
31. wσόΠεଆ͕ϦτϥΠॲཧΛೖΕͯ΋Β͏ ରࡦ
     IoT hardware AWS IoT Core DynamoDB Lambda API Gateway ᶄϨεϙϯε 200ok ᶃϦΫΤετ ᶅ࣮ߦϦΫΤετ ᶆॲཧ࣮ߦத ᶇϦιʔεऔಘϦΫΤετ ᶈॲཧະ׬ྃͷͨΊΤϥʔ ᶉϦτϥΠ
32. Τϥʔ͔ΒֶΜͩͭͷ͜ͱ
     w"1*͕ඇಉظλΠϓ͔ಉظλΠϓ͔ҙࣝ
    w4%,ʹ͓͚ΔλΠϜΞ΢τ஋ɺϦτϥΠઃఆΛ๨Εͣઃఆ
    w,JOFTJT -BNCEBͷϦτϥΠํ๏ʹ͍ͭͯཧղ
    w-BNCEBΤϥʔ࣌௨஌͢Δ࢓૊Έͱ93BZΛಋೖ͓ͯ͘͠
    w"84αϙʔτʹ໰͍߹ΘͤͰ͖Δ؀ڥΛ੔͓͑ͯ͘
33. ૺ۰ͨ͠৔໘
     كʹLambda͕λΠϜΞ΢τ͢Δ
34. ͲΜͳݱ৅͔
     w௨ৗ਺ඵͰऴΘΔॲཧ͕ɺ͋Δͱ͖ҟৗʹॲཧ͕͔͔࣌ؒΓ λΠϜΞ΢τΤϥʔ͢Δͱ͖͕͋Δ
    wස౓͸ҰिؒʹҰճ͋Δ͔ͳ͍͔
    w-BNCEBͰઃఆͰ͖ΔλΠϜΞ΢τ஋͸໰୊ͳ͍
35. ݪҼ
     Lambda͔ΒผAWSαʔϏεʹ ௨৴͢Δͱ͖ͷωοτϫʔΫΤϥʔ
36. wΤϥʔͰ઀ଓཱ͕֬Ͱ͖ͣɺॲཧ͕ਐ·ͣλΠϜΞ΢τ
    w93BZʹΑΔՄࢹԽʹΑͬͯݪҼಛఆ ݪҼ
     DynamoDB Lambda ωοτϫʔΫΤϥʔ
37. ରࡦ
     w"84
    4%,ʹ͸λΠϜΞ΢τ஋ͱϦτϥΠճ਺͕ઃఆͰ͖Δ
    wͦΕͧΕॳظ஋͕ઃఆ͞Ε͍ͯΔ AWS SDK ࠷େࢼߦճ਺ ઀ଓλΠϜΞ΢τ ιέοτλΠϜΞ΢τ Python(Boto3) αʔϏεʹΑΓҟͳΔ 60ඵ 60ඵ JavaScript/Node.js αʔϏεʹΑΓҟͳΔ ֘౰ͳ͠ 120ඵ Java 3 10ඵ 50ඵ .NET 4 100ඵ 300ඵ Go 3 ֘౰ͳ͠ ֘౰ͳ͠ https://aws.amazon.com/jp/premiumsupport/knowledge-center/lambda-function-retry-timeout-sdk/ λΠϜΞ΢τ஋Λมߋ͠ద੾ʹϦτϥΠ͞ΕΔΑ͏ʹઃఆมߋ
38. CPUPͷઃఆྫ
     wDPOOFDU@UJNFPVU
    
    ઀ଓΛཱ֬͢Δ·Ͱͷ଴ػ࣌ؒ
    wSFBE@UJNFPVU
    
    ཱ֬ͨ͠઀ଓ͔ΒϨεϙϯε·Ͱͷ଴ػ࣌ؒ
    wNBY@BUUFNQUT
    
    ϦτϥΠճ਺ import boto3 from botocore.config import Config config = Config(connect_timeout=5, read_timeout=5, retries={'max_attempts': 10}) DYNAMODB = boto3.resource('dynamodb', config=config) ઃఆྫʣ઀ଓλΠϜΞ΢τɺιέοτλΠϜΞ΢τɿ5ඵɹϦτϥΠճ਺ɿ10ճ
39. Τϥʔ͔ΒֶΜͩͭͷ͜ͱ
     w"1*͕ඇಉظλΠϓ͔ಉظλΠϓ͔ҙࣝ
    w4%,ʹ͓͚ΔλΠϜΞ΢τ஋ɺϦτϥΠઃఆΛ๨Εͣઃఆ
    w,JOFTJT -BNCEBͷϦτϥΠํ๏ʹ͍ͭͯཧղ
    w-BNCEBΤϥʔ࣌௨஌͢Δ࢓૊Έͱ93BZΛಋೖ͓ͯ͘͠
    w"84αϙʔτʹ໰͍߹ΘͤͰ͖Δ؀ڥΛ੔͓͑ͯ͘
40. ૺ۰ͨ͠৔໘
     Τϥʔͨ͠Lambda͕ ͣͬͱϦτϥΠ͠ଓ͚Δ
41. ঢ়گ
     w,JOFTJT
    %BUB
    4USFBNTͱ-BNCEB͕࿈ܞͨ͠ߏ੒
    wଞ͸Τϥʔ͕ൃੜͯ͠΋ͣͬͱϦτϥΠ͢Δ͜ͱ͸ͳ͍
    w,JOFTJT಺ͷଞͷσʔλ͸ॲཧ͞ΕͣΩϡʔʹͨ·Γଓ͚Δ Kinesis Data Streams AWS IoT Core DynamoDB IoT hardware Lambda
42. ݪҼ
     ετϦʔϜϕʔεͷΠϕϯτιʔεͷͱ͖ LambdaͷϦτϥΠ͸ σʔλͷ༗ޮظݶ͕੾ΕΔ·Ͱ ܁Γฦ͢࢓༷ͷͨΊ
43. -BNCEBͷಛੑ
     Lambdaʹ͸ෳ਺ͷݺͼग़͠λΠϓ͕͋Δ
44. -BNCEBͷݺͼग़͠
     w-BNCEB͸τϦΨʔʹΑͬͯݺͼग़͠λΠϓ͕ҟͳΔ
    wλΠϓ
    wಉظݺͼग़͠ɿ"1*( σϑΥϧτಈ࡞ ɺ4%,ͳͲ͔Β-BNCEBىಈ
    wετϦʔϜɿ,JOFTJT
    %BUB
    4USFBNT
    %ZOBNP%#
    4USFBNT
    wϙʔϦϯάɿ424
    wඇಉظݺͼग़͠ɿ4ɺ4/4ɺ$8ͳͲɻϦτϥΠ͸ࣗಈతʹճɺ஗Ԇ͋Γ
    wݺͼग़͠λΠϓʹΑͬͯϦτϥΠͷ࢓ํ΋ҟͳΔ
45. ಉظݺͼग़͠ʢετϦʔϜʣͷϦτϥΠͷڍಈ
     wσʔλͷ༗ޮظݶ͕੾ΕΔ·ͰϦτϥΠ
    wϦΫΤετͷॱংΛ୲อ͢Δ࢓૊ΈΛ΋ͭͨΊ
    wࣦഊͨ͠ॲཧ͕੒ޭ͢Δ·Ͱ৽͍͠ϨίʔυͷಡΈࠐΈ͕ɹ ϒϩοΫ͞ΕΔ
    w,JOFTJT
    %BUB
    4USFBNTɿσϑΥϧτ࣌ؒɺ࠷େ೔
    w%ZOBNP%#ɿ࣌ؒ
46. ରࡦ
     ႈ౳ੑΛߟྀͨ͠ίʔυʹमਖ਼
47. Τϥʔ͔ΒֶΜͩͭͷ͜ͱ
     w"1*͕ඇಉظλΠϓ͔ಉظλΠϓ͔ҙࣝ
    w4%,ʹ͓͚ΔλΠϜΞ΢τ஋ɺϦτϥΠઃఆΛ๨Εͣઃఆ
    w,JOFTJT -BNCEBͷϦτϥΠํ๏ʹ͍ͭͯཧղ
    w-BNCEBΤϥʔ࣌௨஌͢Δ࢓૊Έͱ93BZΛಋೖ͓ͯ͘͠
    w"84αϙʔτʹ໰͍߹ΘͤͰ͖Δ؀ڥΛ੔͓͑ͯ͘
48. ૺ۰ͨ͠৔໘
     αʔόʔϨεͳγεςϜͰΤϥʔ͕ ൃੜͨ͠ͱ͖ͷݪҼಛఆ͕େม
49. ΤϥʔͷݪҼಛఆ͸େม
     wෳ਺ͷ-BNCEB͕͋Δͱɺ͍ͭɺͲ͜Ͱҟৗ͕ى͖͍ͯΔ͔ൃݟ͕େม
    wݕ஌͢Δ࢓૊Έ͸αʔυύʔςΟαʔϏεΛ࢖Θͳͯ͘΋ɹɹɹɹɹɹ $MPVE8BUDIͰ͋Δఔ౓͸ΧόʔՄೳ
    wڽͬͨ͜ͱΛ͢Δͱ-BNCEBΛ࢖͏ඞཁ͕Ͱͯ͘Δ CloudWatch Alarmͷઃఆͱ CloudWatchͰఏڙ͞ΕΔμογϡϘʔυͰ࠷௿ݶͷ͜ͱ͸Ͱ͖Δ
50. -BNCEBΤϥʔΛ௨஌͢Δ࢓૊Έ
     Lambda͕Τϥʔͨ͠Β௨஌͕ඈͿΑ͏ʹΞϥʔϜ࡞੒Ͱ͖Δ ΞΧ΢ϯτϨϕϧͰͷΤϥʔঢ়گ͕Θ͔ΔμογϡϘʔυ͕ఏڙ͞Ε͍ͯΔ
51. ศརͳμογϡϘʔυ͕ఏڙ͞Ε͍ͯΔ
     γεςϜʹҟৗ͕͋ͬͨͱ͖ɺίίΛݟΔͱྑͦ͞͏
52. Τϥʔͨ͠-BNCEBΛಛఆͨ͠ޙͷमਖ਼΋େม
     w-BNCEB͸ෳ਺"84αʔϏεͱ࿈ܞ͢Δ͜ͱ͕ଟ͘ɺ
    
    
    
    
    
    Ͳ͜ͷॲཧΛमਖ਼ͨ͠Βྑ͍͔ͷΘ͔Βͳ͘ͳΔ
    w93BZͳͲͷ಺෦ͷॲཧΛՄࢹԽ͢ΔτϨʔγϯάαʔϏε Λಋೖ͓ͯ͘͠ AWS X-Ray
53. 93BZΛಋೖ͢ΔϝϦοτ
     w-BNCEB಺෦ͷॲཧΛՄࢹԽͯ͘͠ΕΔ
    wͲ͜ͷॲཧʹ໰୊͕͋Δ͔ͷमਖ਼Օॴͷख͕͔͔Γʹ
54. Τϥʔ͔ΒֶΜͩͭͷ͜ͱ
     w"1*͕ඇಉظλΠϓ͔ಉظλΠϓ͔ҙࣝ
    w4%,ʹ͓͚ΔλΠϜΞ΢τ஋ɺϦτϥΠઃఆΛ๨Εͣઃఆ
    w,JOFTJT -BNCEBͷϦτϥΠํ๏ʹ͍ͭͯཧղ
    w-BNCEBΤϥʔ࣌௨஌͢Δ࢓૊Έͱ93BZΛಋೖ͓ͯ͘͠
    w"84αϙʔτʹ໰͍߹ΘͤͰ͖Δ؀ڥΛ੔͓͑ͯ͘
55. ૺ۰ͨ͠৔໘
     ϚωʔδυαʔϏεͷ ࢓༷ͷ೺Ѳ͕େม
56. ࢓༷ͷ೺Ѳ͸ࠔ೉
     wϩδοΫҎ֎ͷΤϥʔͷݪҼ͸αʔϏε࢓༷ͷߟྀ࿙Ε͕େ൒
    wυΩϡϝϯτ͸ॆ࣮͍ͯ͠Δ͕ɺ๲େͰ͢΂ͯΛ೺Ѳ͢Δͷ͸ࠔ೉
    w"84͸೔ʑΞοϓσʔτ͞Ε͍ͯΔ
    wαʔϏε಺෦ͷॲཧ͕มΘͬͨӨڹ΋͋Δ
    w-BNCEBͷ࣮૷͕ѱ͍ͷ͔ɺαʔϏε࢓༷ͳͷ͔Λ੾Γ෼͚Δ͜ͱ͕ॏཁ ϚωʔδυαʔϏεΛ׆༻ͨ͠γεςϜΛӡ༻͢Δࡍ͸ AWSαϙʔτ͸ඞਢ
57. "84αϙʔτ
     w໰͍߹Θͤ͢Δʹ͸༗ྉϓϥϯΛબ୒͢Δඞཁ͕͋Δ
    w"84ͷύʔτφʔاۀͷαʔϏεΛ͏·͘׆༻͠અ໿͠Α͏ AWSΤϯλʔϓϥΠζ૬౰ͷAWSαϙʔτΛແྉఏڙ AWSར༻අҰ཯5%OFF
58. 
     ·ͱΊ
59. *P5αʔόʔϨεͰؾΛ͚ͭΔ͜ͱ
     w"1*͕ඇಉظλΠϓ͔ಉظλΠϓ͔ҙࣝ
    w4%,ʹ͓͚ΔλΠϜΞ΢τ஋ɺϦτϥΠઃఆΛ๨Εͣઃఆ
    w,JOFTJT -BNCEBͷϦτϥΠํ๏ʹ͍ͭͯཧղ
    w-BNCEBΤϥʔ࣌௨஌͢Δ࢓૊Έͱ93BZΛಋೖ͓ͯ͘͠
    w"84αϙʔτʹ໰͍߹ΘͤͰ͖Δ؀ڥΛ੔͓͑ͯ͘