Kaggleと実務

 Kaggleと実務

C5c09bfd9ee31f5aef8ce257643d50ea?s=128

Takanobu Nozawa

August 29, 2019
Tweet

Transcript

  1. ϚϚͷҰาΛࢧ͑Δ ΧάϧͱδπϜ $POOFIJUP*OD໺ᖒ఩র  ୈ̐ճLBHHMF΋͘΋͘ձ!߿ொ

  2.   Έͳ͞Μɺ,BHHMF͸޷͖Ͱ͔͢ʁ

  3.   ,BHHMFͷܦݧ͸࣮຿ʹ׆͖͍ͯ·͔͢ʁ

  4.   ࠓ೔࿩͢͜ͱ .-ΤϯδχΞʹͳͬͯϲ݄Ͱײͨ͡ ,BHHMFͱ࣮຿ͷIPHFIPHFʹ͍ͭͯ

  5.   ͪͳΈʹ͜ͷεϥΠυ͸

  6.   ൴ΒʹΑͬͯࢧ͑ΒΕ͍ͯ·͢

  7.  

  8.   ຊ୊΁

  9.   ΞδΣϯμ ࣗݾ঺հ αʔϏεʹ͍ͭͯ ૊৫ʹ͍ͭͯ ,BHHMFͱ࣮຿ʹ͍ͭͯ

  10.   ࣗݾ঺հ

  11.   ࣗݾ঺հ ໊લɿ໺ᖒ఩রʢ/P[BXB5BLBOPCVʣ ॴଐɿίωώτגࣜձࣾ ɹɹɿ!UBLBQZ w ʙίωώτʹ.-ΤϯδχΞͱͯ͠+0*/ w ػցֶशؔ࿈ΛϝΠϯʹ΍ΓͭͭɺΠϯϑϥ΋ษڧத

    w ,BHHMFͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺ ໺ٿͨ͠Γ͍ͯ͠·͢
  12.   αʔϏεʹ͍ͭͯ

  13.   αʔϏεʹ͍ͭͯ ˞ʮӾཡ਺ʯʮར༻ऀ਺ʯ͸ϝσΟΞͱΞϓϦͷ߹ܭ஋ʢ೥݄݄ͷฏۉ஋ʣ ˞ʮϚϚ޲͚/PΞϓϦʯ͸೥݄Πϯςʔδௐ΂ɹௐࠪର৅ɿ೛৷தʙ̎ࡀ̌ϲ݄ͷࢠڙΛ࣋ͭঁੑ O  Λநग़ ˞*OTUBHSBNͷϑΥϩϫʔ਺ɺ'BDFCPPLͷ͍͍Ͷ਺ɺ-*/&ͷͱ΋ͩͪ਺ͷ߹ܭ஋ ೥݄࣌఺

     ϚϚϦ ΞϓϦɾ8FC 4/4 *OTUBHSBNɾ-*/&ɾ'BDFCPPL هࣄ ϚϚಉ࢜Ͱ೰ΈΛ૬ஊ͠߹͏2"ίϛϡχςΟΛத৺ʹ ϢʔβʔΛ֦େ͍ͯ͠·͢ ʮϚϚϦʯͰϢʔβʔಉ͕࢜ ͲΜͲΜܨ͕͍ͬͯ·͢ ϚϚͷੜ׆ʹ໾ཱͭهࣄΛ ෯޿͍δϟϯϧͰ഑৴͍ͯ͠·͢ ϚϚ޲͚/P̍ΞϓϦʹબग़  ਓͷϚϚ͕બͿʮݱࡏ࢖͍ͬͯΔΞϓϦʯʹ ͯɺ߲໨ ଞͷϚϚʹΦεεϝ͍ͨ͠ɺೝ஌౓ɺ
 ར༻཰ɺརศੑɺ޷ײ౓ Ͱ̍ҐΛ֫ಘ͠·ͨ͠ هࣄ਺ 6,000 هࣄҎ্ ྦྷܭϑΝϯ਺ ໿ 85 ສਓ ˞ ݄ؒӾཡ਺ ໿ 1.5ԯճ ˞ ݄ؒར༻ऀ਺ ໿ 650ສਓ ˞ ˞ l೰ΈzͱzڞײzΛ࣠ʹϚϚʹدΓఴ͍ ΞϓϦɾ8FCɾ4/4ͱଟ֯తʹαʔϏεΛల։͍ͯ͠·͢
  14.   αʔϏεʹ͍ͭͯ 0 450,000 900,000 1,350,000 1,800,000 2014/4 2014/5

    2014/6 2014/7 2014/8 2014/9 2014/10 2014/11 2014/12 2015/1 2015/2 2015/3 2015/4 2015/5 2015/6 2015/7 2015/8 2015/9 2015/10 2015/11 2015/12 2016/1 2016/2 2016/3 2016/4 2016/5 2016/6 2016/7 2016/8 2016/9 2016/10 2016/11 2016/12 2017/1 2017/2 2017/3 2017/4 2017/5 2017/6 2017/7 2017/8 2017/9 2017/10 2017/11 2017/12 2018/1 2018/2 2018/3 2018/4 2018/5 2018/6 2018/7 2018/8 ݄ؒ౤ߘ਺ ໿ 150ສ݅ िʹ೔Ҏ্ىಈ͢Δ ΞΫςΟϒϢʔβʔ ໿ 50 ਓʹਓ 57$. ์ө ΞϓϦ૯%-਺ສ ਓʹਓ ਓʹਓ ਓʹਓ ਓʹਓ ˞ ˞ʮϚϚϦʯ಺ͷग़࢈༧ఆ೔Λઃఆͨ͠Ϣʔβʔ਺ͱɺްੜ࿑ಇলൃදʮਓޱಈଶ౷ܭʯͷग़ੜ਺͔Βࢉग़
 ˞िʹճҎ্ىಈ͢ΔϢʔβʔ ˞ ೥ʹग़࢈ͨ͠ϚϚͷʮਓʹਓʯ͕ϚϚϦΛར༻த ೔ຊ࠷େڃن໛ΛތΔϒϥϯυ΁ͱ੒௕͍ͯ͠·͢ ˞
  15.   ૊৫ʹ͍ͭͯ

  16.   ૊৫ʹ͍ͭͯ αʔόʔαΠυɿ ΢Σϒϑϩϯτɿ ϞόΠϧɿ Πϯϑϥɾ.-ɿ

  17.   ૊৫ʹ͍ͭͯ αʔόʔαΠυɿ ΢Σϒϑϩϯτɿ ϞόΠϧɿ Πϯϑϥɾ.-ɿ

  18.   ૊৫ʹ͍ͭͯ αʔόʔαΠυɿ ΢Σϒϑϩϯτɿ ϞόΠϧɿ Πϯϑϥɾ.-ɿ Լه৚݅ͷݩɺҎ߱Λ࿩͠·͢ w 8FCܥελʔτΞοϓ

    w #UP$αʔϏε w ΅ͬͪ.-ΤϯδχΞ
  19.   ,BHHMFͱ࣮຿ʹ͍ͭͯ

  20.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ࣭໰ऀ ճ౴ऀ ෆద੾ͳίϯςϯπͷ౤ߘ FH؆୯ʹՔ͛Δํ๏ڭ͑·͢Α ϚϚϦͰͷػցֶश׆༻ྫ

  21.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ࣭໰ऀ ճ౴ऀ ෆద੾ͳίϯςϯπͷ౤ߘ FH؆୯ʹՔ͛Δํ๏ڭ͑·͢Α ݕ Ӿ ϑ

    Ο ϧ λ /-1Λ࢖ͬͯ ෆద੾ͳ౤ߘΛݕ஌ ϚϚϦͰͷػցֶश׆༻ྫ
  22.   ҰൠతͳػցֶशϓϩδΣΫτͷϫʔΫϑϩʔ ՝୊ɾΰʔϧઃఆ σʔλऩू σʔλՃ޻ɾ෼ੳ Ϟσϧߏங ධՁɾݕূ ධՁɾӡ༻ ຊ൪

    ࡞Δ ࢖͏ σϓϩΠ 1P$ ఆظతͳ Ϟσϧߋ৽ ,BHHMFͱ࣮຿ʹ͍ͭͯ σʔλऩू Ϟσϧߋ৽
  23.   ҰൠతͳػցֶशϓϩδΣΫτͷϫʔΫϑϩʔ ՝୊ɾΰʔϧઃఆ σʔλऩू σʔλՃ޻ɾ෼ੳ Ϟσϧߏங ධՁɾݕূ ධՁɾӡ༻ ຊ൪

    ࡞Δ ࢖͏ σϓϩΠ 1P$ ఆظతͳ Ϟσϧߋ৽ ,BHHMFͱ࣮຿ʹ͍ͭͯ σʔλऩू Ϟσϧߋ৽ ,BHHMFͷλεΫ
  24.   ՝୊ɾΰʔϧઃఆ σʔλऩू σʔλՃ޻ɾ෼ੳ Ϟσϧߏங ධՁɾݕূ ධՁɾӡ༻ ຊ൪ ࡞Δ

    ࢖͏ σϓϩΠ 1P$ ఆظతͳ Ϟσϧߋ৽ ,BHHMFͱ࣮຿ʹ͍ͭͯ σʔλऩू Ϟσϧߋ৽ ,BHHMFͷλεΫ
  25.   ՝୊ɾΰʔϧઃఆ σʔλऩू σʔλՃ޻ɾ෼ੳ Ϟσϧߏங ධՁɾݕূ ධՁɾӡ༻ ຊ൪ ࡞Δ

    ࢖͏ σϓϩΠ 1P$ ఆظతͳ Ϟσϧߋ৽ ,BHHMFͱ࣮຿ʹ͍ͭͯ σʔλऩू Ϟσϧߋ৽ ,BHHMFͷλεΫ ࣮຿ͷλεΫ
  26.   ՝୊ɾΰʔϧઃఆ σʔλऩू σʔλՃ޻ɾ෼ੳ Ϟσϧߏங ධՁɾݕূ ධՁɾӡ༻ ຊ൪ ࡞Δ

    ࢖͏ σϓϩΠ 1P$ ఆظతͳ Ϟσϧߋ৽ ,BHHMFͱ࣮຿ʹ͍ͭͯ σʔλऩू Ϟσϧߋ৽ ࣮຿ͷλεΫ
  27.   ՝୊ɾΰʔϧઃఆ σʔλऩू σʔλՃ޻ɾ෼ੳ Ϟσϧߏங ධՁɾݕূ ධՁɾӡ༻ ຊ൪ ࡞Δ

    ࢖͏ σϓϩΠ 1P$ ఆظతͳ Ϟσϧߋ৽ ,BHHMFͱ࣮຿ʹ͍ͭͯ σʔλऩू Ϟσϧߋ৽ ࣮຿ͷλεΫ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛ ൺֱͯ͠ΈΔ
  28.   ՝୊ɾΰʔϧઃఆ σʔλऩू σʔλՃ޻ɾ෼ੳ Ϟσϧߏங ධՁɾݕূ ධՁɾӡ༻ ຊ൪ ࡞Δ

    ࢖͏ σϓϩΠ 1P$ ఆظతͳ Ϟσϧߋ৽ ,BHHMFͱ࣮຿ʹ͍ͭͯ σʔλऩू Ϟσϧߋ৽ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ
  29.   ՝୊ɾΰʔϧઃఆ σʔλऩू σʔλՃ޻ɾ෼ੳ Ϟσϧߏங ධՁɾݕূ ධՁɾӡ༻ ຊ൪ ࡞Δ

    ࢖͏ σϓϩΠ 1P$ ఆظతͳ Ϟσϧߋ৽ ,BHHMFͱ࣮຿ʹ͍ͭͯ σʔλऩू Ϟσϧߋ৽ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ
  30.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ
  31.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ
  32.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ,BHHMFͷܦݧ͕ ࣮຿ʹ໾ཱͭͷ͸͜ͷ෦෼
  33.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ྫ͑͹
  34.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ
  35.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ʮϞσϧͷ"1*ԽɾσϓϩΠʯ ͚ͩͰ΋݁ߏ΍Δ͜ͱ͕ଟ͔ͬͨΓ͢Δ
  36.   FH"1*ԽɾσϓϩΠʹඞཁͳ΋ͷ w ֶशࡁΈϞσϧ w SBXσʔλΛਪ࿦Ͱ͖Δܗʹॲཧ͢ΔͨΊͷϞδϡʔϧ  /-1ͷ৔߹͸ετοϓϫʔυϑΝΠϧ΍ࣙॻͳͲ w

    ࣮ߦ؀ڥʢ"1*αʔόʣ w "1*ʢQZϑΝΠϧͳͲʣ w $*$% ౳ʑ
  37.   w ֶशࡁΈϞσϧ w SBXσʔλΛਪ࿦Ͱ͖Δܗʹॲཧ͢ΔͨΊͷϞδϡʔϧ  /-1ͷ৔߹͸ετοϓϫʔυϑΝΠϧ΍ࣙॻͳͲ w ࣮ߦ؀ڥʢ"1*αʔόʣ

    w "1*ʢQZϑΝΠϧͳͲʣ w $*$% ౳ʑ ͋Εɺ ,BHHMF࣮ͬͯ຿ʹ׆͖Δͷʁʁ FH"1*ԽɾσϓϩΠʹඞཁͳ΋ͷ
  38.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ
  39.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ͜ͷ෦෼ͷ஌ݟʹؔͯ͠͸ ൺֱతੈͷதʹग़͖͍ͯͯΔҹ৅
  40.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ͜ͷ෦෼ʹؔͯ͠͸ ·ͩ·ͩ৘ใ͕গͳ͍ҹ৅
  41.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ͦͷதͰ΋ɺ࣮ࡍͷϏδωε՝୊ʹରͯ͠ Ͳ͏෼ੳͯ͠ɺͲ͏ϞσϦϯάͯ͠ɺͲ͏ݕূ͢Δ͔ ͱ͍ͬͨ৘ใ͸݁ߏগͳ͍
  42.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ·ͯ͠ɺ΅ͬͪ.-ΤϯδχΞͩͱ Ϟσϧͷ૊Έํͱ͔ݕূͷ࢓ํͱ͔΋݁ߏෆ҆
  43.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ͦ͏͍ͬͨதͰ ,BHHMFʢ෇ਵ͢ΔίϛϡχςΟؚΊʣ͸ ஌ݟͷๅੴശ
  44.   ,BHHMFͱ࣮຿ʹ͍ͭͯ ,BHHMF ࣮຿ ՝୊ɾΰʔϧઃఆ ෆཁ ཁ σʔλऩू ෆཁ

    ཁ σʔλՃ޻ɾ෼ੳ ཁ ཁ Ϟσϧߏங ཁ ཁ ϞσϧͷධՁɾݕূ ཁ ཁ Ϟσϧͷ"1*ԽɾσϓϩΠ ෆཁ ཁ Ϟσϧͷӡ༻ ෆཁ ཁ ,BHHMFͷλεΫͱ࣮຿ͷλεΫΛൺֱ ͏Θͬɾɾɾ ,BHHMFͷϙςϯγϟϧߴ͗͢ɾɾɾʁ
  45.   ·ͱΊʂ

  46.   ·ͱΊ w,BHHMFͰཆΘΕΔೳྗ͸.-ΤϯδχΞͱͯ͠ٻΊΒΕΔೳྗͷ Ұ෦ʢاۀن໛ɾϏδωεϞσϧɾ૊৫ମ੍ʹΑΔࠩ͸͋Δ͕ʣ w͕ͩɺ,BHHMFʢͱͦΕʹ෇ਵ͢ΔίϛϡχςΟʣ͔ΒಘΒΕΔ ஌ݟ͸ͱͯ΋ଟ͍ॿ͔Δ w͜Ε͔Β΋,BHHMF΍͍ͬͯͧ͘,BHHMFίϛϡχςΟʹߩݙ͠ ͍ͯͧ͘

  47.   ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ