Snowparkで扱う非構造化データ

2021-10-05 Snowflake BUILD.local Japan
での登壇資料

Transcript

1. 4OPXQBSLͰѻ͏ඇߏ଄Խσʔλ 1MBZJOH
   XJUI
   6OTUSVDUVSFE
   %BUB
   6TJOH
   4OPXQBSL  4OPXGMBLF
   #6*-%MPDBM
   +BQBO ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"-
2. "(&/%" ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"- • จ໌ͷརث4OPXQBSL • ΋͏Կ΋ා͘ͳ͍ • ͦ͏͸ݴͬͯ΋/PUFCPPLͰ࡞ۀ͠·͢΍Μ • ΁͍΁ʔ͍ • ͑ɺඇߏ଄Խσʔλ΋ྑ͍ͷ͔ʁ • ͓͔ΘΓ΋͋Δͧ • ͦΕͰ͸͜ΕΑΓ܇࿅Λ࢝ΊΔ
3. ͬͦ͘͞Ͱ͕͢ ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"-
4. จ໌ͷརثͱ͸ ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"-
5. ෺࣭తจԽͷൃୡʹΑΓ΋ͨΒ͞Εͨɺ ศརͳػցɾث۩ɻ d8FCMJPࣙॻΑΓd ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"-
6. ࠓ೔͸จ໌ͷརث 4OPXQBSLΛ ͝঺հ͠·͢ ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"-
7. ҰݴͰ͍͏ͱ 4OPXQBSL ͱ͸ 4OPXGMBLF Λ 4QBSL ͷΑ͏ʹѻ͑Δ ͍͢͝΍ͭͰ͋Δ ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"-
8. ҰݴͰ͍͏ͱ 4OPXQBSL ͱ͸ 4OPXGMBLF Λ 4QBSL ͷΑ͏ʹѻ͑Δ ͍͢͝΍ͭͰ͋Δ ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"-
9. ҰݴͰ͍͏ͱ 4OPXQBSL ͱ͸ 4OPXGMBLF Λ 4QBSL ͷΑ͏ʹѻ͑Δ ͍͢͝΍ͭͰ͋Δ ˜
   
   $IVSB
   %"5"
   JOD
   13013*&5"3:
   
   $0/'*%&/5*"- ࠓ೔֮͑ͯؼΓ͍ͨ̏4
10. ເͷதͰѭͬͨɺΑ͏ͳɾɾɾɾɾ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- ͍΍ʔ͏ͪɺ4QBSLͷࢿ࢈͕ଟͯ͘ɺ ϚΠάϨʔγϣϯߟ͑ΔͱίετϝϦοτ͕ʜ 4OPXGMBLF ࠷ۙɺྑ͍ͬͯฉ͘Μ͚ͩͲʜ &5-͸4QBSL࢖ͬͯΔ͔ΒͶ͐ʜ /PUFCPPL͔ΒΞυϗοΫʹ4QBSL࣮ߦͯ͠ΔΜͰɺ %8)͋Μ·Γඞཁͳ͍ΜͰ͢ΑͶʜ
11. ͦΕ͸ͱͬͯ΋خ͍͠ͳͬͯ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- ͍΍ʔ͏ͪɺ4QBSLͷࢿ࢈͕ଟͯ͘ɺ ϚΠάϨʔγϣϯߟ͑ΔͱίετϝϦοτ͕ʜ 4OPXGMBLF ࠷ۙɺྑ͍ͬͯฉ͘Μ͚ͩͲʜ &5-͸4QBSL࢖ͬͯΔ͔ΒͶ͐ʜ /PUFCPPL͔ΒΞυϗοΫʹ4QBSL࣮ߦͯ͠ΔΜͰɺ %8)͋Μ·Γඞཁͳ͍ΜͰ͢ΑͶʜ ح੻΋ɺ4OPXQBSL΋ ͋ΔΜͩΑ
12. ΋͏Կ΋ා͘ͳ͍ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- 4QBSLͷࢿ࢈͕ʜ &5-͸4QBSLͰ΍ͬͯ ΔΜͰʜ ϚΠάϨʔγϣϯί ετߟ͑Δͱʜ /PUFCPPLͰ4QBSL࣮ ߦͯ͠ΔΜͰʜ 4OPXQBSL
13. /PUFCPPL Ͱಈ͔ͦ ಈ͔͢·Ͱ͸΄Μͱʹ؆୯ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- ̍ ̎ ̏ 4OPXUJSF DMPOF ͯ͠ EPDLFS Ͱىಈ /PUFCPPL Ͱ 4OPXQBSL Πϯετʔϧ /PUFCPPL ͔Β 4OPXQBSL ࣮ߦʂʂʂ ࢀߟɿ4OPXQBSL
    Λγϡγϡͬͱ࢝ΊΔ 4OPXUJSFΛ࢖ͬͯ IUUQTRJJUBDPNGPVSTVFJUFNTDDCFDDECBF
14. ࣮ࡍʹ΍ͬͯݟΑ͏ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
15. %&.0 ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
16. ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
17. ؆୯ͦ͏ͳͷ͸Θ͔͕ͬͨɺཪଆͲ͏ͳͬͯΜͷʁ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
18. ཪଆ͸Ͳ͏ͳͬͯΔͷʁ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- 4OPXQBSL 42-จ 4&-&$5
    IPHF '30. GVHB /PUFCPPLʹ 4QBSLॻ͘ 4QBSL  42- ʹม׵͢Δ /PUFCPPL   
19. ͍͔͕Ͱͨ͠Ͱ͠ΐ͏͔ʁ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
20. ࠓ೔͸4OPXQBSLΛʂʂ ̏4Λʂʂ ͓΅͑ͯؼ͍ͬͯͩ͘͞ʂʂ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
21. ɾɾɾ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
22. ͔ʔΒʔͷʔ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
23. ඇߏ଄Խσʔλʹ͍ͭͯ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
24. ͓͞Β͍ɿߏ଄Խσʔλɺ൒ߏ଄Խσʔλ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- ߏ଄Խσʔλ ൒ߏ଄Խσʔλ ͲΜͳ ϑΝΠϧʁ $47ʜ +40/ɺ03$ɺ"WSPɺ 1BSRVFUɺ9.-ʜ σʔλͷதʹσʔλ͕ೖΔΑ ͏ͳϑΝΠϧ 4OPXGMBLFͩͱ Ͳ͏࢖͏ʁ ςʔϒϧʹ ϩʔυͯ͠࢖͏ ςʔϒϧʹ ϩʔυͯ͠࢖͏
25. ߏ଄Խσʔλɺ൒ߏ଄Խσʔλɺඇߏ଄Խσʔλ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- ߏ଄Խσʔλ ൒ߏ଄Խσʔλ ඇߏ଄Խσʔλ ͲΜͳ ϑΝΠϧʁ $47ʜ +40/ɺ03$ɺ"WSPɺ 1BSRVFUɺ9.-ʜ σʔλͷதʹσʔλ͕ೖΔΑ ͏ͳϑΝΠϧ ը૾ɺಈըɺ1%'ʜ 4OPXGMBLFͩͱ Ͳ͏࢖͏ʁ ςʔϒϧʹ ϩʔυͯ͠࢖͏ ςʔϒϧʹ ϩʔυͯ͠࢖͏ εςʔδʹ ϑΝΠϧΛஔ͍ͯ࢖͏ ೥݄ʹΞφ΢ϯε͞Ε ݄ʹύϒϦοΫϓϨϏϡʔʹͳΓ·ͨ͠
26. 4OPXGMBLFͷඇߏ଄Խσʔλ༻ͷओͳػೳ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- εςʔδ 63- 42- • ඇߏ଄Խσʔλ͸εςʔ δ΁ઃஔͰ͖Δ • ಺෦ɾ֎෦ͲͪΒͷε ςʔδ΋ඇߏ଄Խσʔλ Λઃஔͯ͠ར༻Մೳ • ֎෦εςʔδͳΒ "NB[PO
    4ɺ(PPHMF
    $MPVE
    4UPSBHFɺ .JDSPTPGU
    "[VSFͷͲ͜ʹ ઃஔ0, • ඇߏ଄Խσʔλʹ͸63- Λ࢖ͬͯΞΫηεՄೳ • 63-ͷछྨ͸࣍ͷ͕ͭ ͋Δ • είʔϓ63- • ϑΝΠϧ63- • ࣄલॺ໊ࡁΈ63- • ༻్ʹԠͯ͡63-Λ࢖͍ ෼͚Α͏ • εςʔδ΁ΫΤϦ͢Δͨ ΊͷσΟϨΫτϦςʔϒ ϧͱ͍͏ػೳ͕৽ొ৔ • σΟϨΫτϦςʔϒϧΛ ࢖͑͹ɺεςʔδʹઃஔ ͞Εͨඇߏ଄Խσʔλͷ ৘ใʹΫΤϦͰΞΫηε Ͱ͖Δ • ඇߏ଄Խσʔλ༻ʹ42- ؔ਺΋௥Ճ͞Εͨ
27. ࢲ͕ඇߏ଄ԽσʔλΛѻ͏ͱ͖ͷύλʔϯ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- ඇߏ଄ԽσʔλΛε ςʔδʹ্͛Δ ֎෦'6/$5*0/࢖͏ 4OPXQBSL࢖͏ த਎͸಺෦'6/$5*0/ ಺෦'6/$5*0/࢖͏ '6/$5*0/ఆٛ࣌ʹґଘϑΝΠ ϧͱͯ͠ॲཧର৅ͷϑΝΠϧΛ هड़͢ΔͱϑΝΠϧΛ4OPXGMBLF ্ͰॲཧͰ͖Δ 63-Λؔ਺ͷҾ਺ʹ౉ͯ͠ɺ֎ ෦ؔ਺͔Β63-Λ࢖ͬͯඇߏ଄ ԽσʔλͷϑΝΠϧʹΞΫηε ͯ͠ॲཧ͢Δ   "  #  $
28. ࢲ͕ඇߏ଄ԽσʔλΛѻ͏ͱ͖ͷύλʔϯ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"- ඇߏ଄ԽσʔλΛε ςʔδʹ্͛Δ  ֎෦'6/$5*0/࢖͏ 4OPXQBSL࢖͏ த਎͸಺෦'6/$5*0/ ಺෦'6/$5*0/࢖͏  "  #  $ ͜ΕΛͪΐͬͱ͓ݟͤ͠·͢ '6/$5*0/ఆٛ࣌ʹґଘϑΝΠ ϧͱͯ͠ॲཧର৅ͷϑΝΠϧΛ هड़͢ΔͱϑΝΠϧΛ4OPXGMBLF ্ͰॲཧͰ͖Δ 63-Λؔ਺ͷҾ਺ʹ౉ͯ͠ɺ֎ ෦ؔ਺͔Β63-Λ࢖ͬͯඇߏ଄ ԽσʔλͷϑΝΠϧʹΞΫηε ͯ͠ॲཧ͢Δ
29. ࣮ࡍ΍ͬͯݟΔ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
30. %&.0 ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
31. ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
32. ͓͠·͍ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
33. σϞཪ࿩ 4OPXQBSL͔Βεςʔδʹ͋Δ ඇߏ଄ԽσʔλͬͯΞΫηε Ͱ͖ͳ͍ΜͰ͔͢ʂʁ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
34. ͋ͨͬͯ͠ɺ΄ΜͱόΧ KBSʹ͠ͳ͍ͱΞΫηεͰ͖ͳ͍ ʢKBSʹͳͬͯΕ͹Ͱ͖Δʣ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
35. ͘΍͍͠ʂ͍͔ͭϦϕϯδ͠·͢ʂ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
36. ·ͨͶʙ ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-
37. ˜
    
    $IVSB
    %"5"
    JOD
    13013*&5"3:
    
    $0/'*%&/5*"-