Rで学ぶデータハンドリング入門/Introduction_to_Data_Handling_with_R

1 2024.09.20 Tokyo.R #119 Rで学ぶデータハンドリング入門 - 雑然データから整然データへ -

2 今日のテーマ • Rでのデータ操作例(tidyverse) • データ分析に役立つデータ整理術整然データ(tidy data)という考え方

3 例：応募者の選考データ雑然データ.csv 整然データ.csv

4 雑然データ.csv • 一行に一人の応募者 • 変数「選考段階」の値である一次、二次が列として存在一見わかりやすく感じる

5 整然データ.csv • 応募者NOと選考段階でユニーク

6 整然データは扱いやすい(1) データを読み込む

7 整然データは扱いやすい(2) 一次・二次ごとの合否を簡単に集計できる！

8 整然データは扱いやすい(3) 通過人数だけを抽出

9 整然データは扱いやすい(4) 選考段階で並べ替え

10 整然データは扱いやすい(5) 上の行の件数を取得

11 整然データは扱いやすい(6) 選考段階が三次、四次と増えてもコードはそのまま！

12 雑然データは扱いにくい(1) 選考段階ごとにコード追加が必要

15 雑然データは扱いにくい(4) 選考段階が増えるたびにコード追加が必要

16 雑然データを整然データに変換雑然データ.csv pivot_longer

17 変換できたら後は同じ

18 整然データの定義 1.各変数は列に 2.各観測は行に 3.各観測単位は1テーブルに 4.各値はセルに

19 定義の確認（雑然データ.csv） • 1つの変数（選考段階）が複数の列（一次、二次）に割れている→NG • 1つの行に複数の観測（一次の結果、二次の結果）が入っている→NG

20 定義の確認（整然データ.csv） • 変数=列 • 観測=行整然データの定義を満たしている

21 定義の確認（各観測は1テーブルに） 1.ひとつのテーブルに種類の違う観測が入ってはならない 2.同じ種類の観測が複数のテーブルにまたがってはならない

22 定義の確認（各観測は1テーブルに）ひとつのテーブルに種類の違う観測が入ってはならない • 応募者名は「応募者」という単位の観測 • 選考段階や合否結果は「選考」という単位の観測本来は「応募者」テーブルと「選考」テーブルに分けるべき

23 定義の確認（各観測は1テーブルに）ひとつのテーブルに種類の違う観測が入ってはならない • 応募者テーブル：応募者NOをキーとして応募者の情報をまとめる • 選考テーブル：応募者NOと選考段階をキーにして合否を記録する分ける選考応募者
選考データに応募者の情報観測単位が違うものは別のテーブルにしておくことで、矛盾を防ぎ、管理が楽になる

24 定義の確認（各観測は1テーブルに）なぜテーブルを分けるのか • 応募者名を選考テーブルの各行に書いてしまうと誤って違う名前が入る可能性がある。 • 応募者の名前変更があった場合に全ての行を修正しなければならない。

25 定義の確認（各観測は1テーブルに） 1月応募.csv 2月応募.csv 3月応募.csv つなげる同じ種類の観測が複数のテーブルにまたがってはならない

26 定義の確認（各値はセルに）悪い例 • 「面接者」カラムに「伊藤、山本」のように複数の名前 • 分析するとき、「誰が面接したのか」を集計するのが難しい

27 定義の確認（各値はセルに）よい例 • 「選考」テーブルと「面接者」テーブルに分ける • 「面接者」テーブルは一行に一面接者分ける面接者選考

まとめ • 雑然データは処理が大変 • 整然データにすればコードが単純に、データ分析が楽になる「雑然データだから苦労しているのかも」と考えてみよう 28

Rで学ぶデータハンドリング入門/Introduction_to_Data_Handling_w...