EveryLittleTips:Icebergとs3テーブル のパフォーマンス調査で相談されたこと

後輩から質問を受けた際のIceBerg、GlueCatalogそれぞれの理解、さらに評価コードの記載で注意することなどを解説しました。（DBと言ってしまったけどすみません、GlueデータをS3Tablesへのせるときのパフォーマンスについてのお話です）

こちらの記事も参考にしていますのでぜひDiveDeepに共有：
https://aws.amazon.com/jp/blogs/big-data/manage-concurrent-write-conflicts-in-apache-iceberg-on-the-aws-glue-data-catalog/

Transcript

1. ͓ʔ͖ͭ ʢ-5෼ʴ2"෼ʣ
   &WFSZ-JUUMF5JQT*DFCFSHͱTςʔϒϧ ͷύϑΥʔϚϯεௐࠪͰ૬ஊ͞Εͨ͜ͱ ~BigData-JAWS #34 Apache Iceberg LTେձ ॳ৺ऀ͔Β༗ࣝऀʹ~ ٧·ͬͨɾղܾͨ͠ܥᶃ CEKBXT
   ɹ ޙഐ͔Β࣭໰Λड͚ͨࡍͷ*DF#FSHɺ(MVF$BUBMPHͦΕͧΕͷཧղɺ͞ΒʹධՁίʔυͷهࡌͰ஫ҙ͢Δ͜ͱͳͲΛղઆ͠·ͨ͠ɻʢ%#ͱݴͬͯ͠·͚ͬͨͲ͢Έ·ͤΜɺ(MVFσʔλΛ45BCMFT΁ͷͤΔͱ͖ͷύϑΥʔϚϯεʹ͍ͭͯͷ͓࿩Ͱ͢ʣ
   ͪ͜Βͷهࣄ΋ࢀߟʹ͍ͯ͠·͢ͷͰͥͻ%JWF%FFQʹڞ༗ɿIUUQTBXTBNB[PODPNKQCMPHTCJHEBUBNBOBHFDPODVSSFOUXSJUFDPO fl JDUTJOBQBDIFJDFCFSHPOUIFBXTHMVFEBUBDBUBMPH
2. +"846(
   ॳ৺ऀ
   ʮΘ͔Βͳ͍͜ͱΛҰาਐΊΔॳ৺ऀक़Λ։࠵͍ͯ͠·͢ʯ ͓ʔ͖ͭͰ͢ ϓϩϑΟʔϧɿ ͲΜͳͻͱ: Type: ͓͠͝ͱ::SIer::ΤόϯδΣϦετ Properties: ͖͢ͳΫϥ΢υ: AWS
 ͖͢ͳίϛϡχςΟ: JAWS-UGॳ৺ऀ🔰 ͖͢ͳݴ༿: ʮΘ͔Βͳ͍͜ͱΛΘ͔Βͳ͍ͱ͍͑Δͷ΋ٕज़ʂʯ ... ͖͢ͳ͜ͱ: Type: ि຤::ΞΫςΟඒxςΟ::झຯ Properties: ަྲྀܥ: Ωϟϯϓ ༊͠ܥ: α΢φͱમ౬ ֶशܥ: མޠ ࣗݾ঺հ ͓͠͝ͱͰ͸٬༷ʹ
   ʮΞϓϦͱΠϯϑϥͷؾ࣋ͪͷΘ͔ΔΤϯδχΞͱͯ͠ɹͱɹΫϥ΢υɹɹɹ
   ɹɹɹɹY%FW0QT
   ΤΫθΫςΟϒϑΣϩʔͱ͍͏͓࢓ࣄΛ͍ͯ͠·͢ɻʯ
3. ߏ଄Խ͞ΕΔ్தͷσʔλ /BNF͓ʔ͖ͭͰ͢ ͓ʔ͖ͭ: ͲΜͳͻͱ: Type: ͓͠͝ͱ::SIer::ΤόϯδΣϦετ Properties: ͖͢ͳΫϥ΢υ: AWS
 ͖͢ͳίϛϡχςΟ: JAWS-UGॳ৺ऀ🔰 ͖͢ͳݴ༿: ʮΘ͔Βͳ͍͜ͱΛΘ͔Βͳ͍ͱ͍͑Δͷ΋ٕज़ʂʯ ... ͖͢ͳ͜ͱ: Type: ि຤::ΞΫςΟඒxςΟ::झຯ Properties: ަྲྀܥ: Ωϟϯϓ ༊͠ܥ: α΢φͱમ౬ ֶशܥ: མޠ %PDVNFOU'PSNBU .FUBؾ࣋ͪ .FUBݱ࣮ .&5"σʔλɿ ঺հ಺༰
   
4. ͋Δ೔ग़ࣾͨ͠ ɹɹɹɹɹɹ ～ Ԍ্ͷͳ͍ະདྷΛɹΈΜͳͰͭ͘Ζ͏ ～
5. 4͜Μͳ͜ͱ͕͋ͬͨɿ ઌഐʮ*DF#FSHͷௐࠪͯͯ͠ɺ45BCMFʹ͍ͭͯੑೳධՁͯͯ͠ʙʯ
   *DFCFSHͷσʔλॻ͖ࠐΈʢDPNNJU͢Δߦҝʣͬͯॲཧͱͯ͠ॏ͍ͨ΋ͷͰ͔͢ʁ ࣭͝໰Ͱ͢ɻ
   ݱࡏ4*DFCFSH 4
   5BCMFT ͷσʔλొ࿥ύϑΥʔϚϯεΛݕূ͓ͯ͠Γ·͢ɻ
   ొ࿥ʹ͋ͨͬͯ͸"1*Λ࢖ͬͨొ࿥Λ࣮ࢪ͍ͯ͠Δɻ
   ొ࿥ޙτϥϯβΫγϣϯDPNNJUͷߦҝʹ͕͔͔͍࣌ؒͬͯΔΑ͏ʹײ͡·͢ɻ
   ʮ΍ͬͯΈͨʯʮ͕͔࣌ؒΔͬΆ͍Αɻʯ͝ҙݟ͍͚ͨͩΕ͹޾͍Ͱ͢ɻ
   
   ˞ιʔεͷҰ෦ൈਮͷྲྀΕΛڞ༗͠·ͬ͢͢ɻ ͔͜͠ɹ͓ʔ݄͞ΜͷޙഐΑΓ
6. ૉఢʂ Θ͔Βͳ͍͜ͱΛΘ͔Βͳ͍ͱ͍͑Δٕज़
7. ૉఢʂ ϙΠϯτɿɹ·ͣࣗ෼ͳΓͷߟ࡯΍άά͔ͬͯΒ࣭໰ͯ͠Δ౒ྗΛ͔͍͍ͨ ͦ͏ͩΜͷͬͪΌ͓͏
8. 4͜Μͳ͜ͱ͕͋ͬͨɿ <΍Γ͍ͨ͜ͱ>
   ̍ߦ͝ͱʹσʔλΛ௥Ճ͠ɺ45BCMFTʹσʔλΛొ࿥͍ͨ͠ USZ
   \
   
   <.&.0>͔Β͸ฉ͖͍ͨ͜ͱͰ͸ͳ͍ͨΊɺলུ͍͖ͤͯͨͩ͞·͢ɻ
   
   <41&$>
   
   
   Χλϩάͷઃఆ
   (MVFΛ࢖༻͢Δྫ
   
   QSPQFSUJFTʹQVU͠·͢ɻVSJ΍Ϧʔδϣϯ΍Βॾʑɻ
   
   DBUBMPHΛॳظԽ
   
   *DF#FSHςʔϒϧΛಡΈࠐΉ
   
   *DF#FSHςʔϒϧʹॻ͖ࠐΉσʔλͷ-JTU࡞੒
   
   4্ͷύε΁1BSRVFUϑΝΠϧͱͯ͠%BUB8SJUFSͰॻ͖ग़͠ %BUB8SJUFSΛ࢖͍ऴΘͬͨΒ$MPTF
   
   ॻ͖ग़ͨ͠ϑΝΠϧΛςʔϒϧʹ੒ޭ͢Δ·Ͱίϛοτ
   XIJMF
   USVF
   \
   
   <41&$>ม਺zzUBCMF͸*DF#FSHςʔϒϧͷఆٛ৘ใʢϝλσʔλʣΛ֨ೲ͍ͯ͠·͢ɻ
   
   
   
   ߦ໨ͱߦ໨߹Θͤͯɺ໿ ～ ϛϦඵ͔͔Δͷͬͯ*DF#FSHςʔϒϧͩͱΘΓ͔͋͠Δ΋ͷͰ͔͢ʁ
   
   
   
   ߦ໨ͷߦҝ͕ॲཧͱͯ͠ॏ͍ͨ΋ͷͰ͢ʂͱௐ΂Δͱग़ͯ͘ΔͷͰ͕͢ɺ
   USZ
   \
   <%&#6(>
   ˒
   
   ͦɺͦ͏ͳͷʁͱΘ͔͓ͬͯΒͣɺ஌͍ͬͯΔํ͕ڭ͑ͯ΄͍͠Ͱ͢ɻ
   UBCMFSFGSFTI 
   UBCMFOFX"QQFOE BQQFOE'JMF EBUB'JMF DPNNJU 
   CSFBL
   ^
   DBUDI
   $PNNJU'BJMFE&YDFQUJPO
   F
   \
   <41&$>
   DPNNJU͕੒ޭ͢Δ·Ͱ೪ΔʢDPNNNJUͷ࣌ؒܭଌ͕໨తͳͷͰʣ
   ^
   ^
   ^
   DBUDI
   &YDFQUJPO
   F
   \
   
   <41&$>
   ܭଌதʹʰ$PNNJU'BJMFE&YDFQUJPOʱҎ֎֎ͷΤϥʔ͕ൃੜͨ͠৔߹͸ࢭΊΔ
   UISPX
   F
   ^
9. 5Ͳ͏͍͏ΞυόΠεͨ͠ɿ ಛੑͱ޲͖ෆ޲͖ʹ͖ʹͳͬͨͷͰɺʮຊਓʹ֬ೝʯͯ͠ΈΔɻ ɾ̴̨̩̰̱̻̏͂ͷ৔߹͸ɺ̧̥̖̦̪̩̚ͱ͍͏ϑΝΠϧ͕
   ɹͨ͘͞Μ࡞ΒΕΔ৔߹ʹ࠷΋ҖྗΛൃش͢Δɻ
   ɾ̴̴̶̞̲̗́ɹ͸ָ؍ฒߦ੍ޚʹ͍ͭͯ֬ೝ͠Α͏ɻ
   
   ΋͔͢͠ΔͱɹίϯϑϦΫτˍϦτϥΠ͕ൃੜͯ͠ΔΜ͡Όͳ͍Ͱ͔͢Ͷɻ
   ɾ(MVF͸࠷େ଎౓Ͱ$PNNJU͠ʹߦ͘ͷʹ൓ͯ͠*DF#FSH͸
   ɹָ؍ͰฒߦʹେྔͷॲཧΛͤ͞ΔͷͰɹॻ͖ࠐΈ΍$PNNJU͕஗͍
   ɹʢੑೳͰ͸ͳ͍͸ͣɿ͓Μ΀ΕͩͱΘ͔Βͳ͍͚Ͳʣ
   ɾ5Y଴ͪ΍ΤϥʔɾϦτϥΠ͕ൃੜͨ͠Γ͢Δεϩοτঢ়ଶʹͳͬͯͳ͍͔ɻ
10. 5 ूܭ͍ͨ͠ " ࢯ໊ ॅॴ झຯ ͠͝ͱ ͓ʔ͖ͭ Α͜͸· ͖ΌΜ΀ ͯ͠Δ ɿ ɿ ɿ ɿ ਆಸ઒ݝʹॅΜͰΔਓҰཡཉ͍͠ʮۀ຿͍ͨ͠ʯ ؔ౦ʹॅΜͰΔαϥϦʔϚϯ͸ͲΕ͘Β͍͍ͦ͏͔ʮ෼ੳ͍ͨ͠ʯ
11. 4͜Μͳ͜ͱ͕͋ͬͨɿ <ؾʹͳͬͨ͜ͱ>
    ̍ߦ͝ͱʹσʔλΛ௥Ճ͠ɺίϛοτΛߦ͍ͬͯΔɻʢ%#ॲཧతൃ૝ʣ USZ
    \
    
    <.&.0>͔Β͸ฉ͖͍ͨ͜ͱͰ͸ͳ͍ͨΊɺলུ͍͖ͤͯͨͩ͞·͢ɻ
    
    <41&$>
    
    
    Χλϩάͷઃఆ
    (MVFΛ࢖༻͢Δྫ
    
    QSPQFSUJFTʹQVU͠·͢ɻVSJ΍Ϧʔδϣϯ΍Βॾʑɻ
    
    DBUBMPHΛॳظԽ
    
    *DF#FSHςʔϒϧΛಡΈࠐΉ
    
    *DF#FSHςʔϒϧʹॻ͖ࠐΉσʔλͷ-JTU࡞੒
    
    4্ͷύε΁1BSRVFUϑΝΠϧͱͯ͠%BUB8SJUFSͰॻ͖ग़͠ %BUB8SJUFSΛ࢖͍ऴΘͬͨΒ$MPTF
    
    ॻ͖ग़ͨ͠ϑΝΠϧΛςʔϒϧʹ੒ޭ͢Δ·Ͱίϛοτ
    XIJMF
    USVF
    \
    
    <41&$>ม਺zzUBCMF͸*DF#FSHςʔϒϧͷఆٛ৘ใʢϝλσʔλʣΛ֨ೲ͍ͯ͠·͢ɻ
    
    
    
    ߦ໨ͱߦ໨߹Θͤͯɺ໿ ～ ϛϦඵ͔͔Δͷͬͯ*DF#FSHςʔϒϧͩͱΘΓ͔͋͠Δ΋ͷͰ͔͢ʁ
    
    
    
    ߦ໨ͷߦҝ͕ॲཧͱͯ͠ॏ͍ͨ΋ͷͰ͢ʂͱௐ΂Δͱग़ͯ͘ΔͷͰ͕͢ɺ
    USZ
    \
    <%&#6(>
    ˒
    
    ͦɺͦ͏ͳͷʁͱΘ͔͓ͬͯΒͣɺ஌͍ͬͯΔํ͕ڭ͑ͯ΄͍͠Ͱ͢ɻ
    UBCMFSFGSFTI 
    UBCMFOFX"QQFOE BQQFOE'JMF EBUB'JMF DPNNJU 
    CSFBL
    ^
    DBUDI
    $PNNJU'BJMFE&YDFQUJPO
    F
    \
    <41&$>
    DPNNJU͕੒ޭ͢Δ·Ͱ೪ΔʢDPNNNJUͷ࣌ؒܭଌ͕໨తͳͷͰʣ
    ^
    ^
    ^
    DBUDI
    &YDFQUJPO
    F
    \
    
    <41&$>
    ܭଌதʹʰ$PNNJU'BJMFE&YDFQUJPOʱҎ֎֎ͷΤϥʔ͕ൃੜͨ͠৔߹͸ࢭΊΔ
    UISPX
    F
    ^
12. ① 10,000݅ॻ͖ࠐΈͷ૯ॲཧ࣌ؒ(commitස౓ผ) ② 1ճͷcommitʹ͔͔Δ࣌ؒ(িಥͷ༗ແͰൺֱ) 1 DPNNJUࣗମ͸͍ܰ ࣮σʔλ͸طʹ1BSRVFUͰ4΁ॻ͖ࡁΈɻ DPNNJU͸ϝλσʔλੜ੒ʴΧλϩάͷϙΠϯλ ߋ৽ͷΈɻ 2 ස౓͕࣌ؒΛࢧ഑͢Δ DPNNJUճ਺͚ͩϝλσʔλੜ੒ʗ(MVF
    6QEBUF5BCMF͕ੵ্͕Δ
    όονԽ͢Ε͹ઢܗʹ୹ॖͰ͖Δɻ 3 ฒߦিಥͰϦτϥΠʂ 0$$ʹΑΓ$PNNJU'BJMFE&YDFQUJPOˠϦτϥ Πɻࢦ਺όοΫΦϑͰϨΠςϯγ͕௓Ͷ্͕Δɻ ˞
    ਺஋͸ڍಈΛઆ໌͢Δࢀߟ஋ɻ࣮ଌͰ͸ͳ͘ɺ؀ڥɾσʔλαΠζɾฒߦ౓ɾϝλσʔλංେ౓Ͱେ͖͘มಈ͠·͢ɻ *DFCFSHͷDPNNJUස౓ͱύϑΥʔϚϯε DPNNJUࣗମ͸͍ܰॲཧɻ࣌ؒΛࢧ഑͢Δͷ͸ʮස౓ʯͱʮฒߦ౓ʹΑΔিಥϦτϥΠʯ
13. ͳ͔ͥɿɹɹ ʮ࠷৽ϝλσʔλΛಡΈࠐΈɺͲͷόʔδϣϯΛϕʔεʹ͢Δ͔ܾఆ
    ˠ
    มߋ͕࠷৽ςʔϒϧͱޓ׵ ͔֬ೝ
    ˠ
    ৽ϝλσʔλੜ੒
    ˠ
    Χλϩά΁ίϛοτɻίϛοτ͕ࣦഊͨ͠Βखॱ
    
    ͔ΒϦτϥΠʯ
    ࢀߟɿIUUQTBXTBNB[PODPNKQCMPHTCJHEBUBNBOBHFDPODVSSFOUXSJUF DPO fl JDUTJOBQBDIFJDFCFSHPOUIFBXTHMVFEBUBDBUBMPH
    ָ؍ฒߦॲཧ
    Λߦ͏ͱ
14. ͳ͔ͥɿɹɹ ָ؍ฒߦॲཧ
    Λߦ͏ͱ
15. ͳ͔ͥɿɹɹ ʮ࠷৽ϝλσʔλΛಡΈࠐΈɺͲͷόʔδϣϯΛϕʔεʹ͢Δ͔ܾఆ
    
    ˣ
    
    มߋ͕࠷৽ςʔϒϧͱޓ׵͔֬ೝ
    
    ˣ
    
    ৽ϝλσʔλੜ੒
    ˣ
    Χλϩά΁ίϛοτ
    ˣ
    ίϛοτ͕ࣦഊͨ͠Βखॱ
    
    ͔ΒϦτϥΠʯ ָ؍ฒߦॲཧΛߦ͏ͱ ࢀߟɿIUUQTBXTBNB[PODPNKQCMPHTCJHEBUBNBOBHFDPODVSSFOUXSJUFDPO fl JDUTJOBQBDIFJDFCFSHPOUIFBXTHMVFEBUBDBUBMPH
16. ͳ͔ͥɿɹɹ ָ؍ฒߦॲཧ
    Λߦ͏ͱ
17. Ͳ͏͢Δͷ͔ɿɹ ɹ $PNNJU͕̍݅͝ͱͷ৚͕݅͋Δલఏ͔΋͠Εͳ͍͚Ͳ
    ಘҙͰͳ͍΋ͷʹෆಘҙͳ͜ͱΛͤͯͯ͞ॏ͍Մೳੑ͕͋Γ·͢ɻ
    ڐ༰͞ΕΔͳΒɹσʔλͷճ਺ΛԿճ͔ʹ෼͚ͯ
    $PNJU͢Δ΋͘͠͸τϥϯβΫγϣϯλΠϛϯάΛ
    ࠶ݕ౼Έ͍ͨͳ͜ͱΛೖΕͯΈΔͷ͍͔͕Ͱ͠ΐ͏͔
    
18. Ͳ͏ͨ͠Β͍͍͔ ͍ͭ͘΋ͷςʔϒϧΛ(MVFͰΈͯͨΓɺෳ਺ϓϩηεͰಉ࣌ʹ$PNNJUͨ͠Γ͢ΔͱϦτϥΠ΍
    ࡞ۀ͕͓ΘΒͳ͘ͳΓͲΜͲΜ஗͘ͳΔͨΊɻ
    ϦτϥΠԿճ໨ͱ͍͏ͷΛ-PHʹ
    ग़ͯ͠ݕূ͠ίʔυΛݟ௚͢ɻ
    
19. "ରॲͲ͏͍͏ߦಈΛͨ͠ɿ ֬ೝͯ͠ɺ࠶ݕূͨ͠ʢΞϓϩʔνͱ݁ՌΛ࠶ߟͨ͠ʣ ͝ճ౴͋Γ͕ͱ͏͍͟͝·͢ɻ
    ɹॲཧ͕ॏ͍ͷͰ͸ͳ͘ɺ୯७ʹϦτϥΠ͍ͯ͠Δ͔Βίϛοτ͢Δઃܭ͕ॏ͍ͨͱ͍͏݁ՌʹͳΔΜͰ͢Ͷ
    
    ͱ͍͏͜ͱ͸ࢀߟαΠτ΋౿·͑ΔͱɺˣͰ೪ͬͨ݁Ռ͕͔͔͍࣌ؒͬͯΔ͚ͩɻɻɻPS[
    
    ^
    DBUDI
    $PNNJU'BJMFE&YDFQUJPO
    F
    \
    
    DPNNJU͕੒ޭ͢Δ·Ͱ೪ΔʢDPNNNJUͷ࣌ؒܭଌ͕໨తͳͷͰʣ
    ^
    
20. "ରॲͲ͏͍͏ߦಈΛͨ͠ɿ ֬ೝͯ͠ɺ࠶ݕূͨ͠ʢΞϓϩʔνͱ݁ՌΛ࠶ߟͨ͠ʣ ͝ճ౴͋Γ͕ͱ͏͍͟͝·͢ɻ
    ɹॲཧ͕ॏ͍ͷͰ͸ͳ͘ɺ୯७ʹϦτϥΠ͍ͯ͠Δ͔Βίϛοτ͢Δઃܭ͕ॏ͍ͨͱ͍͏݁ՌʹͳΔΜͰ͢Ͷ
    
    ͱ͍͏͜ͱ͸ࢀߟαΠτ΋౿·͑ΔͱɺˣͰ೪ͬͨ݁Ռ͕͔͔͍࣌ؒͬͯΔ͚ͩɻɻɻPS[
    
    ^
    DBUDI
    $PNNJU'BJMFE&YDFQUJPO
    F
    \
    
    DPNNJU͕੒ޭ͢Δ·Ͱ೪ΔʢDPNNNJUͷ࣌ؒܭଌ͕໨తͳͷͰʣ
    ^
     ̍ճ͝ͱ59ߦΘͳ͍ॲཧʹͨ͠
    ʢͦΜͳͷͰ͍͍ͷʁʣ
    ͱ͓΋͏͚Ͳ
    ࢖͍ํ΍ߏ଄ΛΓ͔͍͓ͯ͘͠ͱ
    Ԡ༻ͱ5*QT͕͏·Εͯ
    ݁Ռੑೳʹͭͳ͕Δ
21. 8IBU`T/&95ɿ ڞ༗͠Α͏ɹ065165͠Α͏ ܅ͷϋϚΓ͸ɺօ΋ϋϚΔ
22. re: Invent 2024ͰֶΜͩ͜ͱ Share ɹ͓ʔ͖ͭɹ lessons
23. 8"ͷ͢ʍΊɿ 45"3ɹͱɹΈΜͳ͕٧·ͳ͍ͱΓ͘Έํ๏ ɾ'SBNF8PSL
    ɾ5PPMT ΞʔΩςΫνϟͷ̴̷̸̴̴̬̻̻̖̲̲̳́̓̓ͱ͍͏ߟ͑ํͰ͸
    ɹ̍ɿγεςϜ΍ֶͿ͜ͱͷ՝୊ʹରͯ͠օͰݟͯಥͬࠐΈ΍࿩͍ͨ͜͠ͱΛ
    
    
    ɹɹચ͍ग़͢
    ɹ̎ɿͲ͏͢Δ΂͖͔ɺੵຊ΍ΈΜͳͰΈͯͶ͍͍Αʔ͚͔ͩ͘
    ɹɹ
    
    ·Δͳ͛Ͱ΋͍͍
    ɹ̏ɿͲ͏ͨ͠Β͍͍ͷ͔ΛྫΛڍ͛ͯΈͨਓͷڵຯɾಈػ͚ͮΛଅ͢ɻ
    ɹɹɹํ๏Λڞ༗ɾ࿩͢
    
    
    
    
    
    
    ʢ͋Δ΂͖ɺϚαΧϦͰ͸ͳ͘ࡦͷநग़ɺϕετϓϥΫςΟεΛఏࣔʣ
    ɹ̐ɿͲ͏ͨ͠ΒͰ͖ΔΑ͏ʹͳΔͷ͔
    ɹɹɹ੒ޭɾࣦഊͯ͠΋ͷ݁Ռ͕·ͩग़ͳͯ͘΋ɺڞ༗૬खʹߦಈͷώϯτͱ
    
    
    
    
    
    
    
    
    ݟ͑ΔະདྷΛઆ໌Ͱ݁Ϳ
    ɹ˞ձࣾͷϨϏϡʔͱ͔͓קΊͰऴΘΔͷ͸ˌ̎·Ͱͷ͜ͱ͕͓͓͍͍
    ɹɹɹͷͰ༩͑ΒΕͨ΄͏͸ɺ٧ΜͰ͠·͏ΜͰ͢ΑͶɻ ͭͷப
24. 3݁ՌͲ͏ͳͬͨɿ ͜͏͠Α͏ ΈΜͳͰ؆୯ʹ͢Δํ๏ ɾͭͬ͜ΈͲ͜Ζ͕͢͞
    ɾ͋Δ΂͖࿦͍͏ɹɹఏҊ
    ɾͲ͏͢ΔͱͰ͖Δ͔ݕ౼
    ɾͲ͏ͨ͠ΒͰ͖Δ͔ఆٛ
25. ೔ߏ଄ͳσʔλ ΘΔ͍͝͸͍Ͷ͕ʔ ࣗݾ঺հ Θ͍͸஍ٿΛٹ͏