Upgrade to Pro — share decks privately, control downloads, hide ads and more …

データ分析や機械学習などに用いる情報の集め方

 データ分析や機械学習などに用いる情報の集め方

SAWADA Tadashi

March 07, 2018
Tweet

More Decks by SAWADA Tadashi

Other Decks in Technology

Transcript

  1. ظ ٭ ذ ⮔ 卥 ׷ 塌 唩 㳔 肪

    ם ל מ 氠 ַ ׾ 䝠 㖥 ס 겏 ״ 偙 8FC槁㖪.FFUVQ
 4BXBEB5BEBTIJBLB!DFTBSF
  2. 蔦 䉁 箩 ♃ ˖ 屴氭婞 ˖ !DFTBSF ˖ ؠٚؗغ٠٭ؠتס偙־׼

    匡ױ׊ג ˖ XFCئ٭لت圸碎յ
 ظ٭ذ⮔卥յ塌唩㳔肪 ˖ 5PLZVSC
  3. ♀ 傽 ס 需 ˖ ⮔卥٬塌唩㳔肪םלסظ٭ذס겏״偙 ˖ ,1*㴻掾镸廠 ˖ ؓغٌشؠם겏阛

    ˖ 塌唩㳔肪氠ס㳔肪ظ٭ذ⹺겏
  4. 㝕 ◜ ם ׆ כ ע 劄 ⮴ מ ˖

    03NBQQFSךظ٭ذ겏阛؅׌׾סע׷״ױ׊׺ֹ ˖ 氠ꄫֿ沌ם׾ ˖ ֵ׼׹׾珺؅䬲ׂ ˖ 㵅갾מ熏糉׊ג ˖ ꬃ؅镆׀גַ偙ע䥡镩⚶ך
  5. ע ׋ ״ מ   ַ ה ֽ ֹ

    ئ ٭ ل ت ס 箩 ♃ ˖ ؠٚؗغ٠٭ؠتכַֹئ٭لت ˖ ؠٚؗغخ٭ب٤ء ˖ ֽ♐◜ס⮂⚶ַ笠 
  6. ⯼ 䳀   ؠ ٚ ؗ غ ٠ ٭

    ؠ ت ס بتطّ 圸 䧯 ˖ "84┪מ㺤ꪛ ˖ 3BJMTסXFCؓوٛآ٭ب٘٤ ˖ ئ٭لت؅佻ֻ׾ظ٭ذي٭تע.Z42- 3%4
  7. 겏 阛 ⽟ ׽ ס بتطّ 圸 䧯 R a

    i l s M y S Q L R e d s h i f t ू ܭ ܥ R e d a s h F l y D a t a Ͱ ς ʔϒϧ Λ ಉ ظ K P I ఆ ఺ ؍ ଌ ͷ όο ν ͳ Ͳ Ξ υ ϗ ο Ϋ ͳ ෼ ੳ ئ٭لت勓✄ %8)
  8. ؠ ٚ ؗ غ ٠ ٭ ؠ ت ך ⺅

    䪒 ז י ַ ׾ 겏 阛 ˖ ,1*겏阛 ˖ ؓغٌشؠ겏阛 ˖ 塌唩㳔肪氠ظ٭ذ
  9. , 1*  겏 阛 ˖ ⻄甦ס䭰埉؅㴻掾镸廠 ˖ 溫ꜗٗ٭ا٭俙䱿瓌 ˖

    傽嬐ס㛿┪溷ם俙㲻
  10. ؓ غ ٌ ش ؠ ם 겏 阛 ˖ 偡瞬׷✑䨏؅絊׾ג״ס⮔卥

    ˖ րوٞنؔ٭ٜ䝠㖥؅霄箖מ剹ַג偙ֿ⺇峜椙ע虘 ׂם׾ד؀ֹ־ց ˖ ⚕氺笠ס☭ך׵42-ֿ剹ׄ׾☭ֿ㝂ַ ˖ 42-Ⳉ䒣⚶םל؅ꪛ⥎׊ג׆כ׵
  11. 塌 唩 㳔 肪 氠 ס ظ ٭ ذ ⹺

    겏 ˖ 侷䊘ظ٭ذכם׾䝠㖥؅겏״יׂ׾ ˖ 杅䖇ꓪ溷ם俙⡑ ˖ ط؞تعס婞锺ⵊ ˖ )5.-ذءꯙ⹛ ˖ 銨阾䴓׿ס鞪俠 ˖ 䓺䡢筶闋卥
  12. ظ ٭ ذ ס 겏 ״ 偙

  13. 겏 阛 ⽟ ׽ ס بتطّ 圸 䧯  ⫙

    陧 R a i l s M y S Q L R e d s h i f t ू ܭ ܥ R e d a s h F l y D a t a Ͱ ς ʔϒϧ Λ ಉ ظ K P I ఆ ఺ ؍ ଌ ͷ όο ν ͳ Ͳ Ξ υ ϗ ο Ϋ ͳ ෼ ੳ
  14. ظ ٭ ذ 겏 阛 ס ׷ ׽ 偙 R

    a i l s M y S Q L Redshift ू ܭ ࡁ Έ σ ʔ λ ͷ ς ʔϒϧ ܈ ಉ ظ ू ܭ ݁ Ռ Λ อ ଘ Φ Ϧ δ φϧ ͷ ς ʔϒϧ ܈
  15. ظ ٭ ذ 겏 阛 ס ׷ ׽ 偙 ˖

    3FETIJGUמؠؙٛ؅䫋ׅי겏阛 ˖ 겏阛篙卸؅3FETIJGUס⯁סط٭هٜמ⟛㲽
  16. 㵅 갾 מ ❈ ז י ַ ׾ص ٭ٜ 꿔

    ˖ CSJDPMBHF ˖ 3FETIJGUמֵ׾ظ٭ذ؅겏阛׊י3FETIJGUמط٭هٜ؅✑זי 呬等 ˖ ٠٭ؠنٞ٭ؙ٤ة٤ס䔢ⰺ׵ ˖ FNCVML ˖ 3FETIJGUמֵ׾ظ٭ذ؅⯁ס%#םל׫瓌׌ ˖ نٜؔذ٭وٚءؕ٤ךظ٭ذס婞锺ⵊםל ˖ 겏阛笠ע׆סחךדַגַꪨמ⻉ֹ
  17. 㵅 갾 מ ❈ ז י ַ ׾ص ٭ٜ 꿔

    R a i l s M y S Q L Φ Ϧ δ φϧ ͷ ς ʔϒϧ ܈ Redshift E l a s t i c s e a rc h ू ܭ ࡁ Έ σ ʔ λ ͷ ς ʔϒϧ ܈ e m b u l k b r i c o l a g e
  18. 겏 阛 ס 鞏 꾴

  19. 겏 阛 ס 鞏 꾴 ˖ 塌ⳛ䙎ֿכי׵ꓨ锡

  20. 겏 阛 מ ֽ ׄ ׾ 塌 ⳛ 䙎 כ

    ע  ˖ 겏阛ظ٭ذסꃯⲎ٬㜟剳ֿ筶僃ׂך׀׾׆כ ˖ 雧鉿꜔靯ס㝂ַ塌唩㳔肪ךע杅מ㝕◜
  21. 塌 ⳛ 䙎 ֿ ם ַ 枱 䡢 כ ע

    ˖ ظ٭ذ؅㙟׷׌סמ䩘ꪨכ免ꪨֿ־־׾ ˖ 偆׊ַظ٭ذֿ䖩锡מם׾גצמյ
 ┞־׼겏阛؅篁ײ皑ייַ׾ ˖ 債㲽ؠֿؙٛ良㝕ⵊ׊יַיյ
 꽃潨؅┞ח鳉׌ס׵㝕㜟 ˖ ח׼ַ
  22. ؠ ٚ ؗ غ ٠ ٭ ؠت ך ס 

    㸴 ׊  ⪽ ✄ 溷 ם ❛ ˖ ր偆⹧ס☭כٛم٭ذס☭כךӶӶס⡑מ
 ꇙֵַֿ׾־ց ˖ ӶӶמע坎չםفؙٛ٭ب٘٤ֿ ˖ ؛ٛةػٜ%#מր偆⹧ցրٛم٭ذ٭ցס
 نٚءעםַ ˖ סךյ겏阛ך꽒䒟׾
  23. 偆 ⹧ כ ٛ م٭ ذ ٭ ˖ 偆גםր偆⹧כٛم٭ذ٭⯁סӝӝס겏阛⡑ց؅
 䖩锡מם׾䍲מ砯⮂׌׾כⲯ椙ֿ虘ׂםַ

    ˖ ր璓⚻סذٝ溷ؠؙٛցֿ嵣ꄼյ⻄䨾מؤمً׈׿׾ ˖ ئ٭لت勓✄⣨ךظ٭ذס䓺ֿ㜟؂׾כ媃ן׷ח ˖ ր偆⹧כٛم٭ذ٭⯁סӶӶ؅յ׈׼מ┾♣⯁מ⮔闋׊ גַցכ־阋؂׿׾ככי׵긖⠱ ˖ 㸐䗎מ䩘ꪨֿ־־׾׊յ債㲽ס겏阛׵㚷׿׷׌ַ
  24. 䖩 锡 ד ז ג ׵ ס ˖ ٗ٭ا٭ֿ偆⹧םס־ٛم٭ذ٭םס־؅銨׌نٚء ˖

    阛砯座ײסط٭هֵֿٜ׿ףKPJO׊י⫙⯈氠ך׀ ׾ ˖ ┾♣⯁מ׵⮔ׄגַ ˖ ٗ٭ا٭ס┾♣؅銨׌⡑؅䭥חط٭هٜ؅✑׾
  25. 䖩 锡 ד ז ג ׵ ס ˖ 劄箽溷מ姯׊ַظ٭ذדׄךעםׂ ˖

    겏阛ꇃ瓦סظ٭ذ׵⟛㲽׊יֽׂכ⫙⯈氠ך׀י➬⯈ ˖ ⛰׊յלַֹֹظ٭ذ؅氠䟨׌׾ס־ס陭阛עꓨ锡
  26. 겏 阛 ꇃ 瓦 ׵ ⟛ 㲽 ׌ ׾ ْؕ

    ٭ة Φ Ϧ δ φϧ ͷ ς ʔϒϧ ܈ Redshift ࠷ ऴ త ͳ ू ܭ ݁ Ռ ͷ ς ʔϒϧ ܈ ू ܭ ա ఔ ͷ ς ʔϒϧ ܈ • ৽ ࢀ o r Ϧ ϐʔ λ ʔ • ੈ ୅ ৽ ࢀ ɾ Ϧ ϐʔ λ ʔ ผ ͷ K P I Ξ υ ϗ ο Ϋ ू ܭ Ͱ 
 ར ༻
  27. 겏 阛 ꇃ 瓦 ظ ٭ ذ ؅ ל ֹ

    锶 ׎ ׾ ־ ˖ ✇؅⪪ꪛظ٭ذכ׌׾־ֿ㝕◜ ˖ ┞䍲⪪ꪛ׌׾כ摾ꬃמ㜟ֻ׼׿םׂם׾ ˖ ◦䳕䙎ゼ꾴 ˖ 熏׾כ㴻掾镸廠ؠؙٛםלֿ⻄䨾ך媃ן ˖ ր✇׵׊יםַסמ㚷׿ױ׊גց
  28. ظ ٭ ذ ⪪ ꪛ ס 㕈 勓 䭰 ꓹ

    ˖ ם؆ך׵־؆ך׵궢⮂׊םַ ˖ 꾗⮂قذ٭٤םל؅锶嚋״חחյ⮂׌׵ס؅⹌ꈷ ˖ وٞءِٚ٤ءכ⻎׋ ˖ QVCMJDQSJWBUF؅❈ַ⮔ׄ׾ ˖ 锶׎י虘ַ׵סדׄ؅QVCMJDמ ˖ QVCMJDמ׊גظ٭ذע◦䳕䙎מ宜؅ꏕ׾
  29. Q V C M J M D  ם ط

    ٭هٜյ Q S J WB U F ם ط ٭هٜ ˖ %#ס⻏⯼疾ꪨכ埫ꮹ陭㴻ס篁ײ⻉؂׎ ˖ ׆ס⻏⯼疾ꪨמֵ׾ط٭هٜעQVCMJD ˖ ׆סꏕ┫עQSJWBUF ˖ 3FETIJGUדכ
 ր׆ס⻏⯼疾ꪨסꏕ┫מյ
 ׆סٗ٭ا٭ֿ✑זגط٭هٜעյ
 ׆סٞ٭ٜ؅䭥ח☭ꇖמ锶ֻ׾׻ֹמ׌׾ց
 כַֹ陭㴻ֿך׀׾
  30. ⪪ ꪛ ظ ٭ ذ ط ٭هٜ ס 陭 阛

    ˖ ⷃ┞סր⪢ꌃ⪜׽ցط٭هٜךעםׂյ
 㝂俙ס㸯׈םط٭هٜמ ˖ 偆⹧PSٛم٭ذ٭؅銨׌ط٭هٜ ˖ ٗ٭ا٭ס┾♣؅銨׌ط٭هٜ ˖ 㸯׈ַط٭هٜ؅篁ײ⻉؂׎י姯׊ַ䝠㖥؅䕑׾ ˖ ٝإهٞشؠ؅✑׾ْؕ٭ة ˖ 劄㸯ⷃ⛺סهٞشؠ؅⺅׽䲩ֻ׾
  31. 鏿 겧 ׈ ס 갧 㺽 ˖ ⷃ⛺هٞشؠ؅篁ײ⻉؂׎יյ㸴׊㝕׀ַق٭ص؅✑ ׾ ˖

    ٗ٭ا٭ס偆⹧PSٛم٭ذ٭؅銨׌ط٭هٜ ˖ ֵ׾䗎Ⳬֿ偆⹧ٗ٭ا٭מ׻׾׵ס־ٛم٭ذ٭מ ׻׾׵ס־؅銨׌ط٭هٜ ˖ 嫘갧溷מ鏿겧םق٭ص؅篁ײ┪ׅ׾
  32. ෳ ࡶ ͞ ͷ ֊ ૚ Φ Ϧ δ φϧ

    ͷ ς ʔϒϧ ܈ Redshift ࠷ ऴ త ͳ ू ܭ ݁ Ռ ͷ ς ʔϒϧ ܈ ج ຊ ଐ ੑ ͷ ς ʔϒϧ ܈ γ ϯ ϓϧ ͳ ύʔ π Λ ἧ ͑Δ ೿ ੜ ς ʔϒϧ ܈ Α Γ ෳ ࡶ ͳ σ ʔ λ Λ ೿ ੜ
  33. ױ כ ״ ˖ ظ٭ذ겏阛ס塌ⳛ䙎 ˖ ꄫ╚겏阛ط٭هٜ؅⪪ꪛ׌׾ ˖ ⪪ꪛ׌׾ط٭هٜס偙ꓹ٬陭阛