DevCoach 167: Data Science | Aku Bisa, Coders! Mengolah Data Amburadul Jadi Lebih Insightful

Transcript

1. Aku Bisa, Coders! Mengolah Data Amburadul Jadi Lebih Insightful Data Science Angel Metanosa Afinda Curriculum Developer Mochamad Rafy Ardhanie Curriculum Developer
2. Pokok Pembahasan • Review Siklus Analisis Data • Pertimbangan dalam Pengolahan Data • Data Wrangling • Exploratory dan Explanatory Data Analysis • Ngoding tipis-tipis~ Data Science
3. Review Siklus Analisis Data Data Science
4. Data Science
5. Pertimbangan dalam Pengolahan Data Data Science
7. Tantangan dalam Pengolahan Data
8. Bias dalam Data By definition, bias merupakan sebuah prasangka dan kecenderungan yang mendukung atau menentang suatu hal, individu, atau kelompok lain dengan cara yang kurang adil.
9. Jenis-Jenis Bias dalam Data Sampling bias Sampling bias terjadi ketika sampel tidak mewakili populasi secara keseluruhan. Bias seperti ini dapat dihindari menggunakan teknik random sampling ketika mengumpulkan sebuah data.
10. Jenis-Jenis Bias dalam Data Observer bias Bias tipe ini muncul karena adanya kecenderungan yang berbeda dari setiap individu ketika melakukan observasi. Bias jenis ini dapat dihindari dengan melakukan observasi berulang dan mengambil nilai rata-rata.
11. Jenis-Jenis Bias dalam Data Interpretation bias Bias yang terjadi karena adanya kecenderungan dalam menginterpretasikan situasi ambigu hanya ke dalam dua keadaan. Hal ini dapat dihindari dengan cara melibatkan orang lain untuk mengonfirmasi hasil interpretasi yang kita buat.
12. Jenis-Jenis Bias dalam Data Confirmation bias Bias ini muncul karena adanya kecenderungan kita dalam mencari atau menafsirkan informasi untuk mengonfirmasi keyakinan yang sudah ada sebelumnya. Hal ini dapat dihindari dengan cara melibatkan orang lain untuk mengonfirmasi hasil interpretasi yang kita buat.
13. Data Credibility
14. Reliabilitas Data Memuat informasi yang akurat, lengkap, dan tidak bias. Orisinalitas Data Ownership (kepemilikan) dan sumber data. Komprehensif Memiliki semua informasi yang dibutuhkan. Aktualitas Data Data terbaru dan terkini. Data berkualitas, yang seperti apa?
15. Privasi dan Etika dalam Pengolahan Data 1. Ownership 2. Transparency 3. Consent 4. Currency 5. Privacy & Openness
16. Keamanan Data
17. Data Wrangling Data Science
18. Define the Question Question Data Wrangling EDA Data Visualization Draw Storytelling 1
19. Kesalahan dalam Visualisasi Data Misleading Hides Question Data Wrangling EDA Data Visualization Draw Storytelling 4
20. Apa itu Data Storytelling? Data storytelling adalah mengomunikasikan makna dari sekumpulan data dengan visual dan narasi yang disesuaikan untuk setiap audiens tertentu. Question Data Wrangling EDA Data Visualization Draw Storytelling 5
21. Question Data Wrangling EDA Data Visualization Draw Storytelling 2 Data Wrangling Data wrangling adalah proses mengubah dan memetakan data mentah menjadi format yang lebih sesuai untuk analisis dan pelaporan. Data Wrangling
22. Question Data Wrangling EDA Data Visualization Draw Storytelling 2 Data Wrangling: Gathering Data Gathering Data Assessing Data Cleaning Data Proses pengumpulan data dari berbagai sumber untuk menjawab semua masalah yang ingin diselesaikan. Data yang dibutuhkan mungkin terdapat dalam berbagai sumber dan memiliki format yang berbeda-beda.
23. Question Data Wrangling EDA Data Visualization Draw Storytelling 2 Data Wrangling: Gathering Data Gathering Data Assessing Data Cleaning Data
24. Question Data Wrangling EDA Data Visualization Draw Storytelling 2 Data Wrangling: Gathering Data Gathering Data Assessing Data Cleaning Data
25. Question Data Wrangling EDA Data Visualization Draw Storytelling 2 Data Wrangling: Assessing Data Gathering Data Assessing Data Cleaning Data Proses ini dilakukan untuk menilai kualitas dan struktur dari sebuah data. Selain itu, proses ini juga bertujuan untuk mengidentifikasi berbagai masalah yang terdapat dalam data.
26. Question Data Wrangling EDA Data Visualization Draw Storytelling 2 Data Wrangling: Assessing Data Gathering Data Assessing Data Cleaning Data
27. Question Data Wrangling EDA Data Visualization Draw Storytelling 2 Data Wrangling: Cleaning Data Gathering Data Assessing Data Cleaning Data Define Membuat rancangan tahapan serta metode pembersihan data berdasarkan masalah yang ditemukan dalam proses assessing data. Code Mengonversi hal tersebut menjadi sebuah kode program yang dapat dijalankan. Test Memeriksa kembali data yang telah dibersihkan tersebut. 03 01 02
28. Question Data Wrangling EDA Data Visualization Draw Storytelling 2 Data Wrangling: Cleaning Data Gathering Data Assessing Data Cleaning Data Cleaning Data Missing Value/Duplikat Outlier Dropping Imputation Dropping Imputation
29. EDA Data Science
31. Question Data Wrangling EDA Data Visualization Draw Storytelling 3 Exploratory Data Analysis Exploratory Analysis Proses analisis data yang bertujuan untuk mengeksplorasi dan mengenal sebuah data. Explanatory Analysis Proses analisis data yang bertujuan untuk membagikan beberapa insight yang menarik dari sebuah data.
32. Question Data Wrangling EDA Data Visualization Draw Storytelling 3 Bagaimana cara mendefinisikan pertanyaan untuk EDA? Problem solving Membuat pertanyaan yang efektif (effective question) Mengeksplorasi parameter statistik (stats parameter) dari data Mengelompokkan data (data grouping)
33. 3 Question Data Wrangling EDA Data Visualization Draw Storytelling Problem Solving Effective Question Data Grouping EDA Problem Solving Stats Parameter
34. EDA: Effective Question 3 Question Data Wrangling EDA Data Visualization Draw Storytelling Problem Solving Effective Question Data Grouping Stats Parameter
35. EDA: Stats Parameter - Mean (Rata-Rata) 3 Question Data Wrangling EDA Data Visualization Draw Storytelling Problem Solving Effective Question Data Grouping Stats Parameter
36. EDA: Stats Parameter - Median (Nilai Tengah) 3 Question Data Wrangling EDA Data Visualization Draw Storytelling Problem Solving Effective Question Data Grouping Stats Parameter
37. EDA: Stats Parameter - Modus (Nilai Sering Muncul) 3 Question Data Wrangling EDA Data Visualization Draw Storytelling Problem Solving Effective Question Data Grouping Stats Parameter
38. 3.0 3.0 1.0 2.0 2.5 3.0 3.5 4.0 count mean std min 25% 50% 75% max 3 numbers mean or average Standard Deviation minimum value 25th percentiles 50th percentiles 75th percentiles Maximum value s=pd.Series([2,3,4]) s.describe() 3 Question Data Wrangling EDA Data Visualization Draw Storytelling Problem Solving Effective Question Data Grouping Stats Parameter
39. 3 Question Data Wrangling EDA Data Visualization Draw Storytelling Problem Solving Effective Question Data Grouping Stats Parameter
40. 3 Question Data Wrangling EDA Data Visualization Draw Storytelling Problem Solving Effective Question Data Grouping Stats Parameter
41. Ngoding Tipis-Tipis~ Data Science
42. Mari Diskusi! Data Science
43. Feedback! Hadiah: • 1 Token Langganan Academy (30 Hari) *untuk pengisi feedback terpilih! dicoding.id/devcoachfeedback
44. Thank You Data Science