Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データハンドリング/data_handling
Search
florets1
July 11, 2024
Education
2
180
データハンドリング/data_handling
florets1
July 11, 2024
Tweet
Share
More Decks by florets1
See All by florets1
複式簿記から純資産を排除する/eliminate_net_assets_from_double-entry_bookkeeping
florets1
0
300
カイ二乗検定は何をやっているのか/What_Does_the_Chi-Square_Test_Do
florets1
6
2.1k
直積は便利/direct_product_is_useful
florets1
3
320
butterfly_effect/butterfly_effect_in-house
florets1
1
140
カイ二乗検定との遭遇/The_path_to_encountering_the_chi-square_test
florets1
1
250
率の平均を求めてはいけない/Do_Not_Average_Rates
florets1
11
15k
請求と支払を照合する技術/using_full_join_in_r
florets1
2
230
応用セッション_同じデータでもP値が変わる話/key_considerations_in_NHST_2
florets1
1
1.1k
お名前から性別を推測する/Guessing_gender_from_name
florets1
1
570
Other Decks in Education
See All in Education
Unraveling JavaScript Prototypes
debug_mode
0
140
情報処理工学問題集 /infoeng_practices
kfujita
0
280
Semantic Web and Web 3.0 - Lecture 9 - Web Technologies (1019888BNR)
signer
PRO
2
2.7k
Web からのデータ収集と探究事例の紹介 / no94_jsai_seminar
upura
0
110
リバースバケットリスト 〜 「死ぬまでにやることリスト」の欠点と対処法
takibi333
0
120
HCI Research Methods - Lecture 7 - Human-Computer Interaction (1023841ANR)
signer
PRO
0
850
保育士チームが実践している連続的な観察と多面的な観察を共有するための振り返り / Reflection to share “continuous and multifaceted observations” as practiced by a team of childcare professionals
psj59129
0
3.3k
Ilman kirjautumista toimivia sovelluksia
matleenalaakso
1
20k
自己紹介 / who-am-i
yasulab
PRO
2
4.5k
ニュースメディアにおける生成 AI の活用と開発 / UTokyo Lecture Business Introduction
upura
0
230
Ch2_-_Partie_2.pdf
bernhardsvt
0
130
Juvenile in Justice
oripsolob
0
210
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
PRO
50
11k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.4k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
9
440
A designer walks into a library…
pauljervisheath
205
24k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Transcript
1 2024.07.13 Tokyo.R #114 データハンドリング
2 応募者の選考データ 雑然データ.csv 整然データ.csv
3 整然データは扱いやすい(1)
4 整然データは扱いやすい(2)
5 整然データは扱いやすい(3)
6 整然データは扱いやすい(4)
7 整然データは扱いやすい(5) いいところ:選考段階が三次、四次と増えてもコード変更なしで通過率を求めることができる
8 雑然データは扱いにくい(1)
9 雑然データは扱いにくい(2)
10 雑然データは扱いにくい(3) つらいところ:選考段階が増えるごとにコード変更が必要
11 雑然データを整然データに変換 整然データ.csv 雑然データ.csv pivot_longer
12 変換できたら後は同じ
13 整然データの定義(1) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。
14 整然データの定義(2) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 変数が1つの列をなしていない
15 整然データの定義(3) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 応募者NO.1、選考段階「一次」の観測で1行 応募者NO.1、選考段階「二次」の観測で1行 となってほしい
16 整然データの定義(4) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしている
17 整然データの定義(5) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 分ける ・一つの事実は一つの場所へ ・矛盾した登録を防げる
18 整然データの定義(6) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 1月応募.csv 2月応募.csv 3月応募.csv つなげる
19 整然データの定義(7) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 定義を満たしていない 1つのセルに複数の値が入っている
20 整然データの定義(8) 1.個々の変数が1つの列をなす。 2.個々の観測が1つの行をなす。 3.個々の観測の構成単位の類型が1つの表をなす。 4.個々の値が1つのセルをなす。 分ける
雑然データに気を付けて データハンドリングが難しいなあ と感じたら、それは 雑然データかもしれません。 雑然データのままがんばるのではなく 整然データに変換できないか 検討してみましょう。