Snowflake Marketplaceには”PODB”という便利なオープンデータがあってAI Ready対応してるらしいよ/the-snowflake-marketplace-has-a-useful-open-data-source-called-PODB-that-is-apparently-AI-ready

Slide 1

Slide 1 text

1 4OPXGMBLF.BSLFUQMBDF ʹ͸z10%#zͱ͍͏ศརͳ Φʔϓϯσʔλ͕͋ͬͯ"* 3FBEZରԠͯ͠ΔΒ͍͠Α ۚ ʙ ࢼ͞Ε%"5"4"11030 CZ͠Μ΍ !TIJOZBB 試されDATA SAPPORO # 1 - connpass https://tamesaredatahokkaido.connpass.com/event/ 369 741 / ࢼ͞Εσʔλ

Slide 23

Slide 23 text

USVFTUBSJOD"MM3JHIUT3FTFSWFE 23 10%#ɿ౷ܭɾۭؒσʔλ ೔ຊͷ౎ಓ෎ݝϨϕϧ ࢼ͞Εσʔλ ttruestar inc.: Prepper Open Data Bank - Japanese Prefecture Data https://app.snowflake.com/marketplace/listing/GZT 2 Z 2 5 AYF/truestar-inc-prepper-open-data-bank-japanese-prefecture-data?search=PODB JAPANESE PREFECTURE DATA – Prepper Open Data Bank 　収集も加工も不要！すぐに使えるオープンデータ！ https://podb.truestar.co.jp/archives/pref-data [テーブル] 都道府県調査統計量データ【PR_ST】都道府県統計量マスタ【PR_ST_MST】都道府県調査マスタ【PR_TB_MST】都道府県マスタテーブル【PR_MST】都道府県代表点データ【PR_GEO_PT】都道府県ポリゴンデータ【PR_GEO_PG】 [ビュー] 国勢調査：人口等基本集計【PR_PCS 20 _ 0 1 】国勢調査：就業状態等基本集計【PR_PCS 20 _ 0 2 】国勢調査：移動人口等集計【PR_PCS 2 0 _ 0 3 】人口動態調査：人口動態統計確定数【PR_VS】住民基本台帳【PR_BRR】経済センサス活動調査：産業横断別集計【PR_ECS 16 _ 0 1 】【PR_ECS 21 _ 01 】経済センサス活動調査：産業別集計【PR_ECS 21 _ 0 2 】【PR_ECS 16 _ 02 】更新! 医療施設調査【PR_SES 2 3 】【PR_SES 2 2 】【PR_SES 19 】住宅・土地統計調査：住宅及び世帯に関する基本集計【PR_HLS 2 3 _ 0 1 】【PR_HLS 18 _ 0 1 】更新! 住宅・土地統計調査：住宅の構造等に関する集計【PR_HLS 2 3 _ 02 】【PR_HLS 1 8 _ 0 2 】更新! 住宅・土地統計調査：土地集計【PR_HLS 23 _ 0 3 】【PR_HLS 1 8 _ 0 3 】住宅・土地統計調査（2018年版）追加集計【PR_HLS 1 8 _ 0 4 】工業統計調査：確報【PR_CM 20 】基礎データ【PR_FD 20 】年齢階級別男女別国籍2区分別人口【PR_PA 1 5 】【PR_PA 20 】世帯の家族類型別世帯構成【PR_HT 15 】【PR_HT 20 】産業大分類別男女別15歳以上人口【PR_PI 15 】【PR_PI 20 】【PR_PI 2 0 _ 2 】職業大分類別男女別15歳以上人口【PR_PO 1 5 】【PR_PO 2 0 】【PR_PO 20 _ 2 】出生数及び出生率の推移【PR_TB】人口推計【PR_PTS】 ʻ͜ΜͳέʔεͰ׆༻ग़དྷͦ͏ʁʼ ɾ౎ಓ෎ݝผਓޱಈ޲෼ੳʹΑΔڌ఺ల։ɺ ɹϚʔέςΟϯάઓུͷ࠷దԽ ɾॅ୐ɾ౔஍౷ܭ×ҩྍࢪઃσʔλʹΑΔ ɹߴྸԽ஍Ҭ޲͚ҩྍɾ෱ࢱαʔϏε࠷దԽ ɾܦࡁηϯαεɾ࢈ۀผ౷ܭΛ׆༻ͨ͠৽نࢢ৔ࢀೖ਍அαʔϏε ɾ஍ཧۭؒϙϦΰϯɾަ௨ɾਓྲྀ౷ܭ࿈ܞʹΑΔ ɹ؍ޫ੓ࡦɾཱ஍ఏҊϞσϧ ɾॅ୐ߏ଄ɾੈଳߏ੒σʔλ͔Βͷ ɹෆಈ࢈/ϦϑΥʔϜधཁ༧ଌαʔϏε 政府統計ポータルサイト「e-stat」で公開されている日本の都道府県レベルの統計データと、国土交通省の国土数値情報で公開されている空間データをデータ分析ですくに活用できる形に加工

Slide 24

Slide 24 text

USVFTUBSJOD"MM3JHIUT3FTFSWFE 24 10%#ɿ౷ܭɾۭؒσʔλ ೔ຊͷࢢ۠ொଜϨϕϧ ࢼ͞Εσʔλ truestar inc.: Prepper Open Data Bank - Japanese City Data https://app.snowflake.com/marketplace/listing/GZT 2 Z 2 5 AW 5 /truestar-inc-prepper-open-data-bank-japanese-city-data?search=PODB JAPANESE CITY DATA – Prepper Open Data Bank 　収集も加工も不要！すぐに使えるオープンデータ！ https://podb.truestar.co.jp/archives/city-data [テーブル] 市区町村調査統計量データ【CI_ST】市区町村統計量マスタ【CI_ST_MST】市区町村調査マスタ【CI_TB_MST】市区町村マスタテーブル【CI_MST】市区町村代表点データ【CI_GEO_PT】市区町村ポリゴンデータ【CI_GEO_PG】 [ビュー] 国勢調査：人口等基本集計【CI_PCS 2 0 _ 0 1 】国勢調査：就業状態等基本集計【CI_PCS 2 0 _ 0 2 】国勢調査：移動人口等集計【CI_PCS 20 _ 0 3 】人口動態調査：人口動態統計確定数【CI_VS】住民基本台帳【CI_BRR】経済センサス活動調査：産業横断別集計【CI_ECS 21 _ 01 】【CI_ECS 1 6 _ 0 1 】経済センサス活動調査：産業別集計【CI_ECS 16 _ 02 】【CI_ECS 2 1 _ 0 2 】更新! 医療施設調査【CI_SES 23 】【CI_SES 22 】【CI_SES 1 9 】住宅・土地統計調査住宅及び世帯に関する基本集計【CI_HLS 2 3 _ 0 1 】【CI_HLS 1 8 _ 01 】更新! 住宅・土地統計調査：住宅の構造等に関する集計【CI_HLS 2 3 _ 02 】【CI_HLS 1 8 _ 0 2 】更新! 住宅・土地統計調査：土地集計【CI_HLS 23 _ 0 3 】【CI_HLS 1 8 _ 0 3 】住宅・土地統計調査：追加集計【CI_HLS 1 8 _ 04 】工業統計調査：確報【CI_CM 2 0 】基礎データ【CI_FD 2 0 】年齢階級別男女別国籍2区分別人口【CI_PA 2 0 】【CI_PA 1 5 】世帯の家族類型別世帯構成【CI_HT 2 0 】【CI_HT 1 5 】産業大分類別男女別15歳以上人口【CI_PI 2 0 】【CI_PI 2 0 _ 2 】【CI_PI 1 5 】職業大分類別男女別15歳以上人口【CI_PO 2 0 】【CI_PO 20 _ 2 】【CI_PO 15 】 ʻ͜ΜͳέʔεͰ׆༻ग़དྷͦ͏ʁʼ ɾళฮɾαʔϏεͷ஍Ҭผ࠷దग़ళઓུࢧԉ ɾ஍ҬผҩྍɾհޢαʔϏε഑උϞσϧߏங ɾॅ୐ɾ౔஍౷ܭͱ࢈ۀσʔλͷ࿈ܞʹΑΔ ɹෆಈ࢈ݐஙϦϑΥʔϜधཁ༧ଌ ɾ஍ҬΤϦΞϚʔέςΟϯάɾ޿ࠂ഑৴࠷దԽ ɾ஍ํ૑ੜɾҠॅ੓ࡦϨϙʔτੜ੒ 政府統計ポータルサイト「e-stat」で公開されている日本の市区町村レベルの統計データと、国土交通省の国土数値情報で公開されている空間データをデータ分析ですくに活用できる形に加工

Slide 25

Slide 25 text

USVFTUBSJOD"MM3JHIUT3FTFSWFE 25 10%#ɿ౷ܭɾۭؒσʔλ ೔ຊͷࠃ੎ௐࠪͷொஸ໨ খ஍Ҭ Ϩϕϧ ࢼ͞Εσʔλ truestar inc.: Prepper Open Data Bank - Japanese Street Data https://app.snowflake.com/marketplace/listing/GZT 2 Z 2 5 AW 1 /truestar-inc-prepper-open-data-bank-japanese-street-data?search=PODB JAPANESE STREET DATA – Prepper Open Data Bank 　収集も加工も不要！すぐに使えるオープンデータ！ https://podb.truestar.co.jp/archives/str-data [テーブル] 町丁目マスタデータ【ST_CS 2 0 _MST】町丁目ジオデータ【ST_CS 2 0 _GEO】 [ビュー] 表番号2 男女別人口，外国人人口及び世帯数【ST_CS 20 _T 0 2 】表番号3 男女，年齢（5歳階級）別人口，平均年齢及び総年齢【ST_CS 20 _T 03 】表番号4 男女，配偶関係別人口（15歳以上）【ST_CS 2 0 _T 04 】表番号5-1 世帯の種類別世帯数及び世帯人員【ST_CS 2 0 _T 0 5 _ 1 】表番号5-2 世帯人員の人数別一般世帯数及び一般世帯の1世帯当たり人員【ST_CS 20 _T 05 _ 2 】表番号6-1 世帯の家族類型，世帯員の年齢による世帯の種類別一般世帯数【ST_CS 2 0 _T 0 6 _ 1 】表番号6-2 世帯の家族類型別一般世帯人員【ST_CS 2 0 _T 0 6 _ 2 】表番号6-3 世帯の家族類型別一般世帯の1世帯当たり人員【ST_CS 20 _T 06 _ 3 】表番号7-1 住宅の所有の関係別一般世帯数【ST_CS 2 0 _T 0 7 _ 1 】表番号7-2 住宅の所有の関係別一般世帯人員【ST_CS 2 0 _T 0 7 _ 2 】表番号7-3 住宅の所有の関係別一般世帯の1世帯当たり人員【ST_CS 20 _T 07 _ 3 】表番号8-1 住宅の建て方別一般世帯数【ST_CS 2 0 _T 0 8 _ 1 】表番号8-2 住宅の建て方別一般世帯人員【ST_CS 2 0 _T 0 8 _ 2 】表番号8-3 住宅の建て方別一般世帯の1世帯当たり人員【ST_CS 20 _T 08 _ 3 】表番号9 男女，労働力状態別人口（15歳以上）【ST_CS 2 0 _T 09 】表番号10 男女，従業上の地位別就業者数（15歳以上）【ST_CS 20 _T 10 】表番号11 男女，産業（大分類）別就業者数（15歳以上）【ST_CS 2 0 _T 11 】表番号12 男女，職業（大分類）別就業者数（15歳以上）【ST_CS 2 0 _T 12 】表番号13 男女，在学か否かの別・最終卒業学校の種類別人口（15歳以上）【ST_CS 2 0 _T 13 】表番号14 男女，在学学校・未就学の種類別人口【ST_CS 2 0 _T 1 4 】表番号15 世帯の経済構成別一般世帯数【ST_CS 2 0 _T 1 5 】表番号18 男女，居住期間別人口【ST_CS 2 0 _T 1 8 】表番号19 男女，5年前の常住地別人口【ST_CS 2 0 _T 19 】 ʻ͜ΜͳέʔεͰ׆༻ग़དྷͦ͏ʁʼ ɾখ঎ݍλʔήςΟϯάʹΑΔళฮ഑ஔɾൢଅ࠷దԽ ɾ஍ҬີணܕαʔϏεͷधཁ༧ଌɾཱ஍ઓུ ɾδΦλʔήςΟϯάΛ׆༻ͨ͠σδλϧ޿ࠂ഑৴ ɾ஍ํ૑ੜɾۭ͖Ո׆༻ϏδωεϞσϧͷ։ൃ ɾΤϦΞ୯Ґͷ࿑ಇधڅɾਓࡐαʔϏεల։෼ੳ 政府統計ポータルサイト「e-stat」で公開されている日本の町丁目レベルの統計データと、国土交通省の国土数値情報で公開されている空間データをデータ分析ですくに活用できる形に加工

Slide 40

Slide 40 text

USVFTUBSJOD"MM3JHIUT3FTFSWFE 40 4OPXGMBLFʹ͓͚Δओͳੜ੒"*ؔ࿈ػೳ ࢼ͞Εσʔλ αʔϏεɾػೳ ֓ཁ ΋͏ͪΐ͍ͬ͘͟Γݴ͏ͱͲΜͳײ͡ʁ Cortex Agents Snowflakeデータクラウド上で構造化・非構造化データの分析を高度に自動化できるAIエージェント機能 AIを活用して、表形式のデータとファイル・文書などバラバラな情報の両方をまとめて分析・回答してくれる Cortex Intelligence Snowflake上の構造化・非構造化データを横断して、自然言語で質問や分析ができるAI機能群表データも文書データも、AIを使って会話形式で簡単に質問・解析・可視化できる Document AI PDFや画像、契約書、請求書などの非構造化ドキュメントデータから、AIを利用して自動的に情報を抽出するSnowflakeの機能 AIが文書や画像から必要なデータ(テーブル・値など)を探し出して、Snowflake上でそのまま活用できる Cortex AISQL SnowflakeのSQLエンジンにAI機能を直接統合し、SQL 文だけで画像・テキストなどの「マルチモーダル(多様)データ」も分析できる新しいSQL拡張機能群 AI × SQLを融合し、複雑なAI分析も標準SQLの感覚で書いて実行できるSnowflake独自の仕組み ML関数(予測・異常検知) SQLだけで時系列データの「将来予測」や「外れ値（異常値）」の検出ができる、フルマネージドなAI機能 SQLコマンドだけで未来予測や異常値発見ができる” 身近なAI”。 PythonやML知識ゼロでも、日常のデータ分析や業務効率化にすぐ活用できる Cortex Analyst Snowflake上のテーブルやビューに対して「( 日本語・英語と言った) 自然言語」で質問し、SQLを書かずに分析・集計・グラフ作成などをAIが自動で実行してくれる機能データのことが詳しくなくても、チャット感覚で『〜の売上教えて』と入力すれば、AIがSQLを作ってくれて即座に答えや図を返してくれる、AI搭載のBIアシスタントみたいなやつ Copilot Snowflake内で動作するAI搭載のSQLアシスタントです。自然言語でデータに質問すると、AIが最適なSQLクエリを自動生成して実行し、結果をグラフやテーブルで表示してくれる機能 SQLを書かずに自然言語で質問するだけで、AIが裏側で最適な SQLクエリを作成し、すぐに結果を見せてくれるAI搭載のSQLアシスタント

Slide 41

Slide 41 text

USVFTUBSJOD"MM3JHIUT3FTFSWFE 41 4OPXGMBLFʹ͓͚Δओͳੜ੒"*ؔ࿈ػೳ ࢼ͞Εσʔλ αʔϏεɾػೳ ֓ཁ ΋͏ͪΐ͍ͬ͘͟Γݴ͏ͱͲΜͳײ͡ʁ Universal Search Snowflakeプラットフォーム上で「データベースオブジェクト(テーブル・ビューなど)」「Snowflake Marketplaceのデータ製品」「公式ドキュメント」「コミュニティナレッジベース」などを横断的に素早く検索できる統合検索機能 Snowflake内外の必要なデータや情報を”Google検索のような感覚”で一括検索できる Cortex Search Snowflakeが提供するフルマネージド型の次世代エンタープライズサーチ機能：Snowflake上のテキスト・文書・ FAQ ・問い合わせ履歴など様々なデータに対し、ベクトル（意味）検索とキーワード検索をハイブリッドに組み合わせて、自然言語で高速・高精度な検索やチャット体験を実現テキスト・文書・ FAQなど“意味”ベースで探し出すAI検索エンジン。Snowflake上の情報に”Google検索＋AIチャット体験”の精度と速さを簡単に持ち込めるベクトル埋め込みテキストや画像の意味や特徴を「多次元の数値列（ベクトル）」として表現することで、類似検索やAIによる意味的な分析を可能にする技術文章などをAIで“意味”の数字列(ベクトル)に変換し、”意味が近いもの”を検索したり分析できるAI時代の新しいデータ表現・検索技術 LLM関数 ChatGPTのような大規模言語モデル（LLM）をSQLから直接呼び出せるAI関数群 SQL書くだけでChatGPTや翻訳・要約・感情分析などAI機能を全部活用できる便利ツール/ 非構造化データでも一発分析できる新時代のAIデータベース拡張

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text