データベース01: データベースを使わない世界

Slide 1

Slide 1 text

“データベース”を使わない世界⼭本祐輔名古屋市⽴⼤学データサイエンス研究科 [email protected] 第1回データベース

Slide 2

Slide 2 text

ガイダンス 1 授業をどう進めるか？

Slide 3

Slide 3 text

データベースと言えば何を思い浮かべる？

Slide 4

Slide 4 text

⼀般⼈が思い浮かべるデータベース新聞データベース画像出典: https://www.pokemon.co.jp/ex/sun_moon/pokemon/ ポケモン図鑑的たくさんのデータの集まりや図鑑的なもの

Slide 5

Slide 5 text

情報科学屋にとってのデータベースデータベース管理システムあるいはそれによって管理されたデータの集合画像出典: https://en.wikipedia.org/

Slide 6

Slide 6 text

授業⽬的データベース技術（特に関係データベース）⼤規模なデータを効率よく管理・処理するためのデータ分析者が最低限知っておくべきを学ぶ

Slide 7

Slide 7 text

この授業で学ぶこと lデータベースの概念 l関係データモデル l関係データベースの問い合わせ方法 l関係データベースの設計 l索引づけ lビッグデータ時代のデータベース

Slide 8

Slide 8 text

この授業で学ばないこと l前提知識の復習（集合と写像） l関係代数 & 関係論理 l問い合わせ最適化 lデータ格納方式 lトランザクション（障害回復，並列処理）関係データベース操作の理論的基礎ハードウェアに近い話データベースの内部処理上記内容はデータエンジニアなら知っておくべき内容!!

Slide 9

Slide 9 text

回実施日トピック 1 04/14 ガイダンス：データベースを使わない世界 2 04/21 データベースの概念 3 04/28 関係データモデル 4 05/12 SQL (1/3) 5 05/19 SQL (2/3) 6 05/26 SQL (3/3) 7 06/02 SQL演習 – レポート課題1 8 06/09 実体関連モデル (1/3) 9 06/16 実体関連モデル (2/3) 10 06/23 実体関連モデル (3/3) 11 06/30 正規化 (1/2) 12 07/07 正規化 (2/2) 13 07/14 データベース設計演習 – レポート課題2 14 07/21 索引付け 15 07/28 授業の振り返り or 発展的話題 16 08/04 期末試験授業計画 11 関係データベース「操作」関係データベース「設計」

Slide 10

Slide 10 text

授業の進め⽅理解を深めるクイズや演習 0：00 1:30 0：60 座学細かな練習を通じて DB技術を体得データベースの理論や技術の理解（プログラミングスキルは不要）

Slide 11

Slide 11 text

授業で使⽤するもの（1/2）配布スライドデータベースの講義ノート 13

Slide 12

Slide 12 text

授業で使⽤するもの（2/2） 14 Google Colaboratory - データベース問合わせ練習⽤ - ブラウザで動く - 要Googleアカウント draw.io - データベース設計練習⽤ - ブラウザで動く - ユーザアカウントは不要

Slide 13

Slide 13 text

成績評価授業中に課す課題（レポート）: 40% ・SQL演習（1回） + データベース設計（1回）・授業内に設けた演習時間（+⾃宅）で回答を作成期末試験: 60% ・授業中に出題範囲を宣⾔・⾃分で作成した資料を持ち込み「可」とする予定

Slide 14

Slide 14 text

参考図書（1/2）画像出典：https://www.ohmsha.co.jp/book/9784274223730/ 画像出典: https://www.ohmsha.co.jp/book/9784274225161/ 16

Slide 15

Slide 15 text

参考図書（2/2） https://www.saiensu.co.jp/search/?isbn=978-4-7819-1390-2&y=2017 17

Slide 16

Slide 16 text

講義ノート https://bit.ly/3xqTSds l 参考図書を踏まえて作成 l コラムや練習問題が充実 l 無料

Slide 17

Slide 17 text

連絡⽅法担当教員メールアドレス [email protected] 授業連絡 Microsoft Teams 学務情報システムデータサイエンス学部LMS みなさん，どれを連絡⼿段として希望しますか？

Slide 18

Slide 18 text

データベースを使わない世界 2 データベースを使う必要性はどこにある？

Slide 19

Slide 19 text

ある⼩売店のお話（1/3）山畑さんは家族で小さな小売店を営んでいる．個人経営ながら山畑さんのお店は繁盛している．とはいえ，街には大手チェーン小売店が進出してきており，このまま順調に経営を続けられるかは不安だ．何か手を打たなければならない． 2020年の4月，山畑さんは念願のショッピングサイトを立ち上げた．言うまでもない．ショッピングサイトを立ち上げたのは，オンラインにも顧客獲得の機会を求めるためだ．サイトは順調に立ち上がり，注文もポツポツ入ってきている．⼩売店店主の⼭畑さん

Slide 20

Slide 20 text

ある⼩売店のお話（2/3）ところで，最近世の中では「データサイエンス」なるものが注目を集めているらしい．データを活かせばビジネスチャンスが広がる，とのことだ．山畑さんは，Excelシートに入力しつつあった販売履歴を分析してみようと思い立った．⼩売店店主の⼭畑さんビジネスインサイト

Slide 21

Slide 21 text

ある⼩売店のお話（3/3） Excelシートには，いつ，誰が，何を，いくらで購入したかの情報が記録されている．⼩売店店主の⼭畑さんビジネスインサイトショッピングサイトは立ち上がったばかりであるため， Excelシートには200行しかデータが入っていないが，これからデータが貯まっていけば，売り上げを増やすための課題が見えるかもしれない!!

Slide 22

Slide 22 text

課題1 & 2 課題1 以下のURLから⼭畑さんが使っている Excelファイルをダウンロードし，中⾝を確認せよ https://bit.ly/4awIEms 課題2 Excelファイルを使って「岡⽥真綾」という⼈物が何回買い物をしていたかを数えよ

Slide 23

Slide 23 text

課題3〜5 オートフィルタ機能を使って，「ビタミン補助剤」を購⼊している⼈をピックアップせよ課題3 Excel関数のSUMを⽤いて，現時点での総売上⾦額を計算せよ．課題4 Excelのピボットテーブル機能を使って，集計期間中に「最も購買回数が多かった商品」「最も売上⾦額の合計が⼤きかった商品」のそれぞれを求めよ課題5

Slide 24

Slide 24 text

⼭畑さんのお話の続き（1/3）⼩売店店主の⼭畑さんショッピングサイト⽴ち上げ以降，順調に利⽤者数も増えていった．やはりメディアに取り上げられたのが⼤きかったのだろう．あのタイミングで認知度が⼀気に上がり，サイト利⽤頻度も加速度的に増えていった．それに伴い，サイト運営に関わるスタッフも増員した．増員されたスタッフ

Slide 25

Slide 25 text

⼭畑さんのお話の続き（2/3）販売履歴の管理は当初⼭畑さんが⼀⼈で担当していたが，さすがに⼀⼈では捌ききれなくなった．そこで，ある時点から数名体制で販売履歴の記録をすることになった．これまで販売履歴の管理に使ってきたExcelシートをクラウドストレージに置き，販売履歴記録のスタッフのPC間で同期を取るようにした．こうすることで，同じExcelファイルの上で記録をつけられるようにしたのである．

Slide 26

Slide 26 text

⼭畑さんのお話の続き（3/3）⼗分に販売履歴データが蓄積されたと判断した⼭畑さんは，いよいよ⼤規模に販売履歴データを分析しようと思った．シートを開き⾏数を数えてみるとその数90万⾏以上! データの数に⼩躍りした⼭畑さん．早速Excelシートでの分析に詳しいスタッフと⼀緒にデータ分析に取りかかった…

Slide 27

Slide 27 text

課題1 & 2 課題1 以下のURLから⼭畑さんが使っている Excelファイルをダウンロードし，中⾝を確認せよ完全版ファイル: https://bit.ly/3xxgWYc 課題2 Excelファイルを使って「岡⽥真綾」という⼈物が何回買い物をしていたかを数えよ⼩さめファイル: https://bit.ly/4as2sHv

Slide 28

Slide 28 text

課題3〜5 オートフィルタ機能を使って，「ビタミン補助剤」を購⼊している⼈をピックアップせよ課題3 Excel関数のSUMを⽤いて，現時点での総売上⾦額を計算せよ．課題4 Excelのピボットテーブルを使って，集計期間中に「最も購買回数が多かった商品」「最も売上⾦額の合計が⼤きかった商品」のそれぞれを求めよ課題5

Slide 29

Slide 29 text

お疲れ様でしたシナリオ2の課題に取り組んだ感想は？イライラしたとか，何でもOK

Slide 30

Slide 30 text

Excelが固まる… 日付の書き方が統一されていない… 全角数字が混じっている… 1マスに複数の商品が… 途中から数字がおかしい…?（疑心暗鬼に）

Slide 31

Slide 31 text

Excel vs. 情報技術屋の「データベース」 Excel § 個人用の表計算ソフト § 対象データは⽐較的⼩さい § データの管理には不向き（正しく管理できるかは⼈に依存） “データベース” l 大規模データを効率よく処理 l データを正しく管理 l データを複数⼈/複数アプリで同時に使うことを想定

Slide 32

Slide 32 text

余談）データ⼈材とその価値技術レベル Excel使い・Excelの関数やマクロを使う・総合職では⼤活躍

Slide 33

Slide 33 text

余談）データ⼈材とその価値 Excel使い・Excelの関数やマクロを使う・総合職では⼤活躍相関分析/仮説検定屋・Rにこだわる・研究・開発畑なら必要技術レベルビジネス上の価値

Slide 34

Slide 34 text

余談）データ⼈材とその価値技術レベルビジネス上の価値似非データサイエンティスト・どの学部でも学べる・AIと機械学習の区別ができない・データサイエンティストと名乗ったはら恥ずかしい相関分析/ 仮説検定屋 Excel使い

Slide 35

Slide 35 text

余談）データ⼈材とその価値技術レベルビジネス上の価値機械学習ホビーイストデータがあればちょっとした機械学習コードは書けるデータサイエンティストの卵・情報系学部の卒業生・AIと機械学習の区別ができる・中小企業でDS人材として雇われると悲劇相関分析/ 仮説検定屋 Excel使い似非データサイエンティスト

Slide 36

Slide 36 text

余談）データ⼈材とその価値 Excel使い相関分析/ 仮説検定屋技術レベルビジネス上の価値機械学習ホビーイスト似非データサイエンティスト非情報系の研究開発職なら使える人材になれる可能性ありデータサイエンティストの卵

Slide 37

Slide 37 text

従来のデータ分析 vs. ビッグデータ分析ビッグデータ分析仮説発見従来のデータ分析仮説検証（統計的検定・アンケート調査のような）（パターン，隠れたルールetc.）注意）どちらの分析も何を対象とするか（クエスチョン）は決まっていないと何も始まらない 39

Slide 38

Slide 38 text

余談）データ⼈材とその価値 Excel使い相関分析/ 仮説検定屋技術レベルビジネス上の価値機械学習ホビーイスト似非データサイエンティストデータサイエンティストの卵ビジネス的に価値が出てくるライン

Slide 39

Slide 39 text

余談）データ⼈材とその価値 Excel使い相関分析/ 仮説検定屋技術レベルビジネス上の価値機械学習ホビーイスト似非データサイエンティストデータサイエンティストの卵ビジネス的に価値が出てくるラインデータサイエンス系学部でしっかり学ぶ価値があるライン

Slide 40

Slide 40 text

余談）データ⼈材とその価値 Excel使い相関分析/ 仮説検定屋技術レベルビジネス上の価値機械学習ホビーイスト似非データサイエンティスト + ⼤規模データ分析者・データベースを扱える・⼤規模データ処理コードが書ける・ある程度機械学習ができる機械学習エンジニア・データベースを扱える・深層学習コードがかけるデータサイエンティストの卵戦力になるデータ人材

Slide 41

Slide 41 text

余談）データ⼈材とその価値 Excel使い相関分析/ 仮説検定屋技術レベルビジネス上の価値機械学習ホビーイスト似非データサイエンティスト + ⼤規模データ分析者機械学習エンジニア戦力になるデータ人材データサイエンティストの卵ポイントの1つは⼤規模データを扱うスキルがあるか

Slide 42

Slide 42 text

データサイエンス作業の分担と職種 https://www.oreilly.com/ideas/data-engineers-vs-data-scientists データサイエンティストデータエンジニア高度な数学・統計知識機械学習高度な分析技術高度なプログラミングデータベースデータパイプライン分散処理機械学習エンジニアデータラングリング機械学習の運用機械学習のチューニング

Slide 43

Slide 43 text

Excel vs. 情報技術屋の「データベース」 Excel § 個人用の表計算ソフト § 対象データは⽐較的⼩さい § データの管理には不向き（正しく管理できるかは⼈に依存） “データベース” l 大規模データを効率よく処理 l データを正しく管理 l データを複数⼈/複数アプリで同時に使うことを想定⼤規模データを扱うならデータベースを学ぶ意味は⼤いにあり