Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データハンドリング/data_handling
Search
florets1
July 11, 2024
Education
2
220
データハンドリング/data_handling
florets1
July 11, 2024
Tweet
Share
More Decks by florets1
See All by florets1
仮説の取扱説明書/User_Guide_to_a_Hypothesis
florets1
4
320
複式簿記から純資産を排除する/eliminate_net_assets_from_double-entry_bookkeeping
florets1
1
390
カイ二乗検定は何をやっているのか/What_Does_the_Chi-Square_Test_Do
florets1
7
2.3k
直積は便利/direct_product_is_useful
florets1
3
390
butterfly_effect/butterfly_effect_in-house
florets1
1
200
カイ二乗検定との遭遇/The_path_to_encountering_the_chi-square_test
florets1
1
280
率の平均を求めてはいけない/Do_Not_Average_Rates
florets1
11
15k
請求と支払を照合する技術/using_full_join_in_r
florets1
2
260
応用セッション_同じデータでもP値が変わる話/key_considerations_in_NHST_2
florets1
1
1.2k
Other Decks in Education
See All in Education
【品女100周年企画】_抜粋
shinagawajoshigakuin_100th
0
770
Open Source Summit Japan 2025のボランティアをしませんか
kujiraitakahiro
0
730
Gamified Interventions for Composting Behavior: A Case Study Using the Gamiflow Framework in a Workplace Setting
ezefranca
1
140
ARアプリを活用した防災まち歩きデータ作成ハンズオン
nro2daisuke
0
100
推しのコミュニティはなんぼあってもいい / Let's join a lot of communities.
kaga
2
1.8k
2025年度春学期 統計学 第10回 分布の推測とは ー 標本調査,度数分布と確率分布 (2025. 6. 12)
akiraasano
PRO
0
150
マネジメント「される側」 こそ覚悟を決めろ
nao_randd
10
5.4k
Constructing a Custom TeX Ecosystem for Educational Institutions—Beyond Academic Typesetting
doratex
1
10k
2025年度春学期 統計学 第3回 クロス集計と感度・特異度,データの可視化 (2025. 4. 24)
akiraasano
PRO
0
130
2025年度春学期 統計学 第2回 統計資料の収集と読み方(講義前配付用) (2025. 4. 17)
akiraasano
PRO
0
150
OJTに夢を見すぎていませんか? ロールプレイ研修の試行錯誤/tryanderror-in-roleplaying-training
takipone
1
160
プレゼンテーション実践
takenawa
0
6.4k
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
6
300
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
690
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
740
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
820
Optimizing for Happiness
mojombo
379
70k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Transcript
1 2024.07.13 Tokyo.R #114 データハンドリング
2 応募者の選考データ 雑然データ.csv 整然データ.csv
3 整然データは扱いやすい(1)
4 整然データは扱いやすい(2)
5 整然データは扱いやすい(3)
6 整然データは扱いやすい(4)
7 整然データは扱いやすい(5) いいところ:選考段階が三次、四次と増えてもコード変更なしで通過率を求めることができる
8 雑然データは扱いにくい(1)
9 雑然データは扱いにくい(2)
10 雑然データは扱いにくい(3) つらいところ:選考段階が増えるごとにコード変更が必要
11 雑然データを整然データに変換 整然データ.csv 雑然データ.csv pivot_longer
12 変換できたら後は同じ
13 整然データの定義(1) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。
14 整然データの定義(2) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 変数が1つの列をなしていない
15 整然データの定義(3) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 応募者NO.1、選考段階「一次」の観測で1行 応募者NO.1、選考段階「二次」の観測で1行 となってほしい
16 整然データの定義(4) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしている
17 整然データの定義(5) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 分ける ・一つの事実は一つの場所へ ・矛盾した登録を防げる
18 整然データの定義(6) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 1月応募.csv 2月応募.csv 3月応募.csv つなげる
19 整然データの定義(7) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 1つのセルに複数の値が入っている
20 整然データの定義(8) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 分ける
雑然データに気を付けて データハンドリングが難しいなあ と感じたら、それは 雑然データかもしれません。 雑然データのままがんばるのではなく 整然データに変換できないか 検討してみましょう。