와! 데이터 사이언스! 아시는구나!

2020-2 경북대학교 알고리즘 문제풀이 동아리 Gori 번외 스터디

Transcript

1. 와! 데이터 사이언스! 아시는구나! Hyunseung Jeon School of CSE, Kyungpook Nat’l Univ. hyunseung.jeon@knu.ac.kr 2021-01-07 Thu 2020-2 Gori 번외 스터디 1
2. 발표자 소개 • 전현승 • 컴퓨터학부 심화컴퓨터전공 3학년 2학기 • 2019. 03. ~ 2020. 06. Gori 회장 • 6개월만에 스터디를 하게 되다니… 2021-01-07 Thu 2020-2 Gori 번외 스터디 2
3. 스터디 소개 • 그냥 가볍게 들으시면 될 것 같습니당 • 저도 가볍게 준비해 왔습니당 • 회장님 한 번쯤은 도와줘야 할 것 같아서 가벼운 주제로… • 알고리즘이라는 주제에서 잠깐 벗어나서, “데이터 사이언스” 이야기 • 그런데 갑자기 왜? 2021-01-07 Thu 2020-2 Gori 번외 스터디 3
4. 이번 대경권 ML, 다들 하셨나요? 2021-01-07 Thu 2020-2 Gori 번외 스터디 4 0x00
5. 대경권 대학생 프로그래밍 경진대회 • 매년 “대경권 대학생 프로그래밍 경진대회” (대경권) 이라는 이름으로 PS 대회가 열렸었음 • 2018년을 첫 해로 1회가 개최됐었고, 2019년에는 두 번이나 열렸었고, 올해는 5월에 한 번, 11월(지금) 한 번 • 경북대, 계명대, 한동대 등 대경권 대학교 재학생들만 참가할 수 있는 대회 • (조금만 노력한다면) 수상실적 올리기에 꿀 같은 대회 • 그래도 ICPC 본선 가서 상 타는 것보단 쉽잖아요…? 2021-01-07 Thu 2020-2 Gori 번외 스터디 5
6. 2021-01-07 Thu 2020-2 Gori 번외 스터디 6
7. 2021-01-07 Thu 2020-2 Gori 번외 스터디 7
8. 대경권 대학생 “인공지능” 프로그래밍 경진대회 • 근데 갑자기 “인공지능” 프로그래밍 경진대회? • ML? 머신러닝? • 아이고 이게 무슨 일이야! • 대회의 양상이 크게 달라진 것을 알 수 있다 • 이전의 알고리즘 문제풀이(PS) 대회와는 달리, 이번 대경권은 머신러닝 컴페티션 형태로 진행됨 • 이젠 더 이상 PS로는 먹고살 수 없는 시대가 온 걸까요… 2021-01-07 Thu 2020-2 Gori 번외 스터디 8
9. 대회 방식을 간단히 소개하자면… • 이번 대회는 “중고차 가격 예측하기” • 대회 참가자에게는 중고차에 대한 데이터셋이 주어진다 • 데이터셋에는 여러 중고차의 데이터들이 담겨져 있고, 데이터 한 행은 모델명, 연식, 연료, 구동 방식 등 여러 특성 Feature 으로 이루어져 있음 2021-01-07 Thu 2020-2 Gori 번외 스터디 9
10. 대회 방식을 간단히 소개하자면… (cont’d) • 주어진 훈련 데이터셋 training set 을 이용해 모델을 학습시켜서, 평가 데이터셋 test set 의 데이터를 추측해라! • 모델명이랑 연식, 연료, 구동 방식 등 이런 특성들을 줄 테니까, 중고차 가격이 얼마일지 맞춰봐라! 2021-01-07 Thu 2020-2 Gori 번외 스터디 10
11. 주어지는 데이터들과 설명 • 주어지는 파일은 train.csv와 test.csv • “제출은 이런 식으로 하세요” 하는 submission.csv • 그리고 각 Feature들에 대한 설명 • 모델명은 어떤 형식으로 주어지고… • 연식에는 빈 데이터도 있으며… 2021-01-07 Thu 2020-2 Gori 번외 스터디 11
12. train.csv 2021-01-07 Thu 2020-2 Gori 번외 스터디 12
13. test.csv 2021-01-07 Thu 2020-2 Gori 번외 스터디 13
14. submission.csv 2021-01-07 Thu 2020-2 Gori 번외 스터디 14
15. 대회 방식을 간단히 소개하자면… (cont’d) • train.csv에는 여러 Feature들과 함께 중고차 가격(정답)이 존재함 2021-01-07 Thu 2020-2 Gori 번외 스터디 15 모델명 연식 연료 중고차 가격 … …
16. 대회 방식을 간단히 소개하자면… (cont’d) • 하지만 test.csv에는 정답은 없고 Feature들만 존재! 2021-01-07 Thu 2020-2 Gori 번외 스터디 16 모델명 연식 연료 … …
17. 대회 방식을 간단히 소개하자면… (cont’d) • 따라서 test.csv의 중고차 가격들을 직접 예측해서 제출하면 2021-01-07 Thu 2020-2 Gori 번외 스터디 17 no. 예상 중고차 가격
18. 대회 방식을 간단히 소개하자면… (cont’d) • 요렇게 제출한 csv에 대한 공개 점수들이 바로바로 나온다! 2021-01-07 Thu 2020-2 Gori 번외 스터디 18
19. 대회 방식을 간단히 소개하자면… (cont’d) • 대회 기간은 일주일 정도로 넉넉하게 주어지고, 기간동안 최대한 높은 점수를 따내면 됨 • 대회 동안에는 제출한 데이터의 60% 정도로만 채점한 ‘공개 점수’가 점수판에 표시되고, • 대회가 끝나면 전체 데이터로 다시 채점한 ‘최종 점수’가 발표됨 • 어? 그러면 막 숫자만 조금씩 바꿔서 엄청 많이 제출하면 100점 받을 수 있지 않나? • 그럴 줄 알고 하루에 최대 5회만 제출할 수 있지롱! • 이는 다른 머신러닝 컴페티션에서도 보통 적용하는 사항 2021-01-07 Thu 2020-2 Gori 번외 스터디 19
20. 저는 잘 했을까요? 2021-01-07 Thu 2020-2 Gori 번외 스터디 20
21. 방금 보니까 최우수상 탔네요 아싸! ＞▽＜ 2021-01-07 Thu 2020-2 Gori 번외 스터디 21
22. 어떻게 했냐면요… • 일단 이 스터디(세미나?)에서는 머신러닝 기법을 이야기하고 싶지는 않아서… • 나중에 다른 세션이 마련된다면, 또는 고리에서 머신러닝 스터디를 열게 된다면 • 경험담을 자세히 풀어보도록 할게요 • 아니면 참가하셨던 분들 중 궁금하신 분들은 개인적으로 물어보셔도 됩니당 >< 2021-01-07 Thu 2020-2 Gori 번외 스터디 22
23. 데이터 사이언스란 대체 뭘까요… 2021-01-07 Thu 2020-2 Gori 번외 스터디 23 0x01
24. Data Science • 다양한 데이터로부터 지식과 인사이트를 추출하는데 과학적 방법론, 프로세스, 알고리즘, 시스템을 동원하는 융합분야 • 데이터가 주어졌을 때, 데이터 간의 관계를 파악하거나, 파악된 관계를 사용해서 우리가 원하는 새로운 데이터를 만들어내는 과정 • 타이타닉에 탑승했던 사람들의 특성과 생존 여부가 주어졌을 때, 이를 예측하는 것을 생각해 보면… 2021-01-07 Thu 2020-2 Gori 번외 스터디 24
25. Data Science (cont’d) • 저는 개인적으로 이런 거라고 생각해요 • “주어진 Feature들을 가지고 결과물을 얼마나 잘 뽑아내느냐?” • 이러한 함수를 얼마나 잘 모델링하느냐 아닐까요? 2021-01-07 Thu 2020-2 Gori 번외 스터디 25 (모델명, 연식, 연료, …) = 중고차 가격
26. 어떤 것들이 필요할까? • 수리통계학을 비롯한 수학 • 정말로 ‘데이터 사이언스’를 하려면 수학은 기본 • 선형대수, 함수론, 미적분, 최적화 등등 2021-01-07 Thu 2020-2 Gori 번외 스터디 26
27. 어떤 것들이 필요할까? • 코딩 능력 • 손으로 하는 게 아닌, 코드로 짜서 결과를 내는 것인 만큼 • Python (또는 R) 정도는 다룰 줄 알아야 한다 • 행렬이랑 숫자 다루는 numpy • 데이터 다루는 pandas • 그래프 그리는 matplotlib • 정도는 알아야 한다고 생각해요 • 하면서 배워도 되긴 함 • 알고리즘 했으면 이 정도는 금방 배울 것 같아요 2021-01-07 Thu 2020-2 Gori 번외 스터디 27
28. 어떤 것들이 필요할까? (cont’d) • 정말 ‘분석력’, ‘인사이트’ • EDA(Exploratory Data Analysis, 탐색적 데이터 분석) • 본격적으로 머신러닝을 돌리기 전에, 데이터들 간의 관계를 먼저 분석해야 한다! • 두 데이터 간의 상관관계표 등등… 다양한 방법을 동원해서 데이터에서 얻을 수 있는 것들을 최대한 짜내기 • 솔직히 저는 경험이랑 직관이 가장 중요하다고 생각해요 • ‘타이타닉 생존자를 예측하는 데에 성별 데이터가 중요할까? 어 그런데 여성 승객이 생존 확률이 74% 로 더 높네?’ • ‘호실(Cabin)은 데이터 양도 적고, 중복도 많네? 일부 손님들이 호실을 공유한 건가?’ 2021-01-07 Thu 2020-2 Gori 번외 스터디 28
29. 어떤 것들이 필요할까? (cont’d) • 머신러닝 알고리즘 • 데이터를 정제하고 분류했으면, 이제 머신러닝이나 다른 알고리즘을 통해 결과를 내 볼 차례! • 기본적인 Linear Regression부터 • 심화 기법인 Random Forest 같은 것들을 거쳐 • 최근에 자주 쓰이는 Ensemble 기법인 XGBoost 등등… • 이 과정에서 아주 핫한 ‘딥러닝’ 도 써볼 수 있겠죠? 2021-01-07 Thu 2020-2 Gori 번외 스터디 29
30. 추천하는 공부 방법과 Material 2021-01-07 Thu 2020-2 Gori 번외 스터디 30 0x02
31. Kaggle! • 데이터 사이언스 계의 ‘백준’ • https://www.kaggle.com/ 2021-01-07 Thu 2020-2 Gori 번외 스터디 31
32. Kaggle! (cont’d) • 공부용으로 시작하기에 적합한 가장 대표적인 예제 컴페티션들이 많음 • 타이타닉 생존자 예측하기, 집값 예측하기 • MNIST 데이터 ‘손글씨 숫자 인식하기’ 등등… 2021-01-07 Thu 2020-2 Gori 번외 스터디 32
33. Kaggle! (cont’d) • 돈 주는 컴페티션들도 많아요 (이런거 잘해서 돈 벌고싶다) 2021-01-07 Thu 2020-2 Gori 번외 스터디 33
34. Kaggle! (cont’d) • 각 컴페티션마다 고수들이 제출한 코드와 결과물을 튜토리얼 형태로 올려두기도 함 • 이를 ‘커널’이라고 합니다 2021-01-07 Thu 2020-2 Gori 번외 스터디 34
35. Kaggle! (cont’d) • 튜토리얼도 제공해요! 영어가 된다면 들어 보심이… 2021-01-07 Thu 2020-2 Gori 번외 스터디 35
36. DACON • 캐글의 국내 버전이라고 생각하셔도…? • https://dacon.io/ 2021-01-07 Thu 2020-2 Gori 번외 스터디 36
37. DACON (cont’d) • 역시 돈 걸고 여러 기업이나 학교에서 주최하는 데이터 사이언스 컴페티션들이 있구요 2021-01-07 Thu 2020-2 Gori 번외 스터디 37
38. DACON (cont’d) • 이렇게 컴페티션 별로 코드와 설명, 테크닉 공유까지 이루어짐 2021-01-07 Thu 2020-2 Gori 번외 스터디 38
39. DACON (cont’d) • 설명이 정말 자세한 커널들이 많았어요 2021-01-07 Thu 2020-2 Gori 번외 스터디 39
40. DACON (cont’d) • 아직 돈 걸고 하는 컴페티션이 부담스럽다면 교육용 컴페티션들도… 2021-01-07 Thu 2020-2 Gori 번외 스터디 40
41. 책보다는 인강을 추천 • 처음 공부하는 분야라면 책보다 동영상 강의가 훨씬 효율이 좋습니다 • 인프런이나 패스트캠퍼스 같은 IT 강의 사이트에서 자신에게 맞는 강의 찾아보기 • 제가 들었던 건 이거 (홍보 아님) • 처음하는 파이썬 데이터 분석 [전처리, pandas, 시각화까지 전과정 기본 기술 쉽게 익히기] • https://inf.run/mudN 2021-01-07 Thu 2020-2 Gori 번외 스터디 41
42. 책보다는 인강을 추천 (cont’d) • 유튜브에도 무료로 풀리는 좋은 자료들이 많습니다 • 수비니움의 캐글 따라하기 • https://www.youtube.com/playlist?list=PLxpjN8IqlPc4IzZnA3F513qxuE4DkqpoZ • 수비니움의 머신러닝 튜토리얼 • https://www.youtube.com/playlist?list=PLxpjN8IqlPc7RvrVglO7T3F49KGTc7y4A • Stanford CS229: Machine Learning | Autumn 2018 • https://www.youtube.com/playlist?list=PLoROMvodv4rMiGQp3WXShtMGgzqpfVfbU 2021-01-07 Thu 2020-2 Gori 번외 스터디 42
43. 그래도 책 한권쯤 갖고 있으면 좋죠 2021-01-07 Thu 2020-2 Gori 번외 스터디 43 제가 갖고 있는 책은 요렇게 두 권
44. 기타 좋은 블로그 및 사이트들 • 수비니움의 캐글 따라하기 • https://subinium.github.io/kaggle-tutorial/ • 타이타닉 생존자 예측, 주택 가격 분류 등 기초 컴페티션 5가지 • 한국어로 친절히 설명까지 되어 있는 커널 • 자신이 노리는 수준에 따라 난이도별로 커널 세분화까지 해 주심 • 데이터 사이언스 스쿨 • https://datascienceschool.net/intro.html • 파이썬, 수학, 머신러닝 세 가지에 대해 심도 있게 배울 수 있음 • 다소 어려울 수 있지만 내용이 알차다 • 확실하게 공부하고 싶으신 분들에게 추천 2021-01-07 Thu 2020-2 Gori 번외 스터디 44
45. 기타 좋은 블로그 및 사이트들 (cont’d) • Machine Learning 강의노트 • https://wikidocs.net/book/587 • Andrew Ng 교수님의 Coursera 강의 내용을 개인적으로 정리하신 것 • 이외에도 wikidocs에 좋은 출판물들이 많으니 찾아보심을 추천 2021-01-07 Thu 2020-2 Gori 번외 스터디 45
46. Summary 2021-01-07 Thu 2020-2 Gori 번외 스터디 46 0x03
47. 그래서 결론은? • 알고리즘 PS 공부하다가 질리면, 또는 회의감이 느껴진다면 • 한 번쯤은 공부해볼만한 주제가 아닐까? 싶습니다 • 물론 막막하다는 느낌을 받을 수는 있겠지만, 알고리즘도 그랬잖아요! • 그리고 PS와는 달리, 이건 정말로 “현업에서 바로 써먹을 수 있는 지식들” • 이라고 생각해요… • 최근 빅데이터/AI 관련 공모전, 해커톤 등도 많이 열리는 추세고… • 데이터 사이언스 하실래요? 2021-01-07 Thu 2020-2 Gori 번외 스터디 47
48. 끝! 2021-01-07 Thu 2020-2 Gori 번외 스터디 48