コラボレーション大航海時代で生き残るデータリテラシーを身につけよう！ #未来のデータサイエンスコンテスト

Slide 1

Slide 1 text

Slide 11

Slide 11 text

© 2023 Snowflake Inc. All Rights Reserved オリジナリティを出していこう！手法例示唆時系列トレンド分析年間の天気データのトレンド分析都市や地域における天気傾向や変化パターンにインサイトがないか確認します。例えば、最高気温が過去数年で上昇しているか、降水量が過去数年で減少しているかなど、時系列トレンドを利用した示唆を得ることができるかもしれません。比較分析地域間の天気データの比較 +地域間の売上地域間の天気データを比較することで、地域間の類似点や差異点を特定することができます。例えば、2つの地域の最高気温が同じ時期に増加しているか、片方の地域の最高気温が他方よりも高いかなど。同じ軸で、データ内容を変えて発見があるかを探るとなにか発見できる可能性が広がります。統計分析年間の天気データの統計的分析年間の天気データを数学的に分析することで、平均気温、標準偏差などの統計量を求めることができます。例えば、全体の平均気温がどの程度であるか、最高気温と最低気温との差がどの程度あるかなど。数理モデリング天気データとPOSデータからの売上予測天気データとPOSデータを使って数学的なモデルを作成することで、将来の売上予測をすることができます。例えば、過去の天気データとPOSデータから将来1週間のセールス予測をすることができます。データマイニング天気データの分析天気データを使って有用な情報を抽出することができます。例えば、天気によってセールスに影響を与えることを発見することができます。また、天気とセールスの関係性をモデル化することもできます。クラスタリング天気データのクラスタリング天気データを使って似たような天気パターンを持つグループに分類することができます。例えば、晴れの日、曇りの日、雨の日などをグループ分けすることができます。各グループの特徴を特定することができます。分類天気データに基づくセールスのカテゴリ分類天気データを使ってセールスを複数のカテゴリーに分類することができます。例えば、天気が晴れの日にはセールスが高くなるか、天気が曇りの日にはセールスが低いかなど。回帰分析天気データとセールスの関連性分析天気データとセールスデータを使って、天気とセールスの関連性を分析することができます。例えば、天気が晴れの日にセールスが最も高くなるか、天気とセールスの関連性がどの程度であるかなど。 #SnowVillage

Slide 12

Slide 12 text

© 2023 Snowflake Inc. All Rights Reserved データの使用例　あくまで一例です手法使用データ時系列トレンド分析天気（ウェザーニューズ）、POS売上（インテージ）、株価（QUICK）、TVCMの放映内容（エム・データ）、フードデリバリー（マインディア）、診療内容（MDV）比較分析天気と売上の変動（ウェザーニューズ✖インテージORマインディア）、業界別の株価推移の変動（QUICK✖truestar）、天気と病気の相関（ウェザーニューズ✖MDV）、売上とTVCMの相関（インテージORマインディア✖エム・データ）統計分析天気（ウェザーニューズ）、株価（QUICK）数理モデリング天気とPOSデータからの売上予測（ウェザーニューズ✖インテージ）、天気とフードデリバリーからの売上予測（ウェザーニューズ✖マインディア）、TVCMとPOSデータからの売上予測（エム・データ✖インテージ）、TVCMとフードデリバリーからの売上予測（エム・データ✖マインディア）、病気とPOSデータからの売上予測（MDV✖インテージ）データマイニング要因：天気（ウェザーニューズ）、病気（MDV）、TVCM（エム・データ）結果：POS売上（インテージ）、フードデリバリー（マインディア）、株価（QUICK）クラスタリング天気データのクラスタリング（ウェザーニューズ）、TVCMデータのクラスタリング（エム・データ）分類天気データに基づく売上のカテゴリ分類（ウェザーニューズ✖インテージORマインディア）回帰分析天気データとセールスの関連性分析（ウェザーニューズ✖インテージORマインディア）、病気データとセールスの関連性分析（MDV✖インテージORマインディア）、TVCMデータとセールスの関連性分析（エム・データ✖インテージORマインディア） ※個別に記載していませんが、truestarさんのデータはカレンダー、駅、医療機関、地図など基準値に当たるデータなのですべての分析のベースラインとして使えそう。 ※株価（QUICK）✖法人（truestar）、患者診療情報（MDV）✖医療機関（truestar）などは鉄板 #SnowVillage

Slide 19

Slide 19 text

© 2023 Snowflake Inc. All Rights Reserved 他の方式との比較 Snowpark 以外にもデータにアクセスする方法はあります。Snowpark の良いところって？コネクタ ※ストリーミングデータは扱わないのでKafkaは割愛ドライバ BIツール ※接続はODBC・JDBC 言語 ODBC、JDBC、 Python、Go、etc. ノーコード、ローコードデータの場所 SQL は Snowflake 内部 DF化などで外部に例えば、to_pandas() で Dataframe 化すると、プログラムを実行している環境にデータが出てしまう。実行環境のセキュリティに注意。基本は Snowflake 内部操作によっては外部に抽出接続などで集計結果を保存すると Snowflake の外にデータが出るので、BIツールの実行環境は堅牢にしましょう。機能拡張性 Snowpark Python、 Scala、Java Snowflake 内部 toPandas() しなければ、実行環境に出ることはない。コンピューティングも Snowflake ウェアハウスを使う言語で使えるパッケージやライブラリを追加可能 Python、R などを使っていればパッケージ追加可能 Tabpy（Tableau）などを準備する必要あり Python では Anaconda が提供するパッケージを利用可能その他は持ち込みが必要 SQL Snowsight、 SnowSQL SQL Snowflake 内部 get コマンドなどでダウンロードしなければ、流出することはない。コンピューティングも Snowflake ウェアハウスを使うパッケージ等の拡張はなし UDF・ストアドで、 Python や Snowflake Script（ストアドのみ）を使うことは可能 Spark （Python、Scala）基本は Snowflake 内部場合によっては Spark クラスタ Snowflake のSQLに変換可能な操作なら、Snowflake 内で処理されるが、対応していない操作は Spark クラスタ内で行われる。セキュリティ考慮必須。言語で使えるパッケージやライブラリを追加可能 #SnowVillage

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text