Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Exploratory セミナー #59 テキストデータの加工

Exploratory セミナー #59 テキストデータの加工

分析の対象となるデータにテキストデータが入っている場合、余計な文字列やスペースを取り除いたり、またはある文字列を置換したり抽出したり、半角・全角を変換したりと様々な処理を行う必要がでてきます。

そこで、このセミナーではテキストデータの加工のさいによく出てくる問題を解決するための様々な手法を以下の4つの文法にまとめて紹介します。

1. 変換
2. 置換
3. 取り除く
4. 抽出

Kan Nishida

July 01, 2021
Tweet

More Decks by Kan Nishida

Other Decks in Technology

Transcript

  1. 2 εϐʔΧʔ നށ ܟొ Customer Succes EXPLORATORY ུྺ େֶࡏֶதʹϑʔυϩεΛݮΒͨ͢ΊʹɺֶੜஂମΛ্ཱͪ͛୅දΛ ຿ΊΔɻͦͷޙɺϏδωεΛ஌ΔͨΊʹԽֶϝʔΧʔͷσϡϙϯͱ

    ϑʔυςοΫܥελʔτΞοϓͰӦۀͱϚʔέςΟϯάΛܦݧɻ ΞϓϦͷ੒௕ͷͨΊʹ͸σʔλαΠΤϯε͕ඞཁͩͱײ͡ɺΞϓϦʹ ಛԽͨ͠Ϣʔβʔͷߦಈ෼ੳπʔϧΛ։ൃ͢ΔاۀʹͯɺΞϓϦۀք ͷKPI෼ੳͳͲΛ୲౰͢Δɻ ݱࡏ͸Exploratory, Inc. ͰΧελϚʔαΫηεΛ୲౰͢Δ๣Βɺσʔ λͷՄࢹԽͱ୳ࡧతσʔλ෼ੳΛઐ໳ͱͯ͠σʔλαΠΤϯεͷීٴ ʹऔΓ૊Ήɻ @ShirotoTakato
  2. ςΩετσʔλͷՃ޻ • ஔ׵ - ஋ͷஔ͖׵͑ • ஔ׵ - ࢦఆͨ͠จࣈྻͷஔ͖׵͑ •

    औΓআ͘ - ࢦఆͨ͠จࣈྻ • औΓআ͘ - ෆཁͳεϖʔεɺಛघจࣈྻʢվߦͳͲͷಛघจࣈʣ • நग़ʢ·ͨ͸औΓআ͘ʣ- ׅހͷதͷจࣈྻ • ม׵ - ൒֯ͱશ֯ 15
  3. ςΩετσʔλͷՃ޻ • ஔ׵ - ஋ͷஔ͖׵͑ • ஔ׵ - ࢦఆͨ͠จࣈྻͷஔ͖׵͑ •

    औΓআ͘ - ࢦఆͨ͠จࣈྻ • औΓআ͘ - ෆཁͳεϖʔεɺಛघจࣈྻʢվߦͳͲͷಛघจࣈʣ • நग़ʢ·ͨ͸औΓআ͘ʣ- ׅހͷதͷจࣈྻ • ม׵ - ൒֯ͱશ֯ 17
  4. ςΩετσʔλͷՃ޻ • ஔ׵ - ஋ͷஔ͖׵͑ • ஔ׵ - ࢦఆͨ͠จࣈྻͷஔ͖׵͑ •

    औΓআ͘ - ࢦఆͨ͠จࣈྻ • औΓআ͘ - ෆཁͳεϖʔεɺಛघจࣈྻʢվߦͳͲͷಛघจࣈʣ • நग़ʢ·ͨ͸औΓআ͘ʣ- ׅހͷதͷจࣈྻ • ม׵ - ൒֯ͱશ֯ 21
  5. ςΩετσʔλͷՃ޻ • ஔ׵ - ஋ͷஔ͖׵͑ • ஔ׵ - ࢦఆͨ͠จࣈྻͷஔ͖׵͑ •

    औΓআ͘ - ࢦఆͨ͠จࣈྻ • औΓআ͘ - ෆཁͳεϖʔεɺಛघจࣈྻʢվߦͳͲͷಛघจࣈʣ • நग़ʢ·ͨ͸औΓআ͘ʣ- ׅހͷதͷจࣈྻ • ม׵ - ൒֯ͱશ֯ 27
  6. ςΩετσʔλͷՃ޻ • ஔ׵ - ஋ͷஔ͖׵͑ • ஔ׵ - ࢦఆͨ͠จࣈྻͷஔ͖׵͑ •

    औΓআ͘ - ࢦఆͨ͠จࣈྻ • औΓআ͘ - ෆཁͳεϖʔεɺಛघจࣈྻʢվߦͳͲͷಛघจࣈʣ • நग़ʢ·ͨ͸औΓআ͘ʣ- ׅހͷதͷจࣈྻ • ม׵ - ൒֯ͱશ֯ 42
  7. ςΩετσʔλͷՃ޻ • ஔ׵ - ஋ͷஔ͖׵͑ • ஔ׵ - ࢦఆͨ͠จࣈྻͷஔ͖׵͑ •

    औΓআ͘ - ࢦఆͨ͠จࣈྻ • औΓআ͘ - ෆཁͳεϖʔεɺಛघจࣈྻʢվߦͳͲͷಛघจࣈʣ • நग़ʢ·ͨ͸औΓআ͘ʣ- ׅހͷதͷจࣈྻ • ม׵ - ൒֯ͱશ֯ 63
  8. ςΩετσʔλͷՃ޻ • ஔ׵ - ஋ͷஔ͖׵͑ • ஔ׵ - ࢦఆͨ͠จࣈྻͷஔ͖׵͑ •

    औΓআ͘ - ࢦఆͨ͠จࣈྻ • औΓআ͘ - ෆཁͳεϖʔεɺಛघจࣈྻʢվߦͳͲͷಛघจࣈʣ • நग़ʢ·ͨ͸औΓআ͘ʣ- ׅހͷதͷจࣈྻ • ม׵ - ൒֯ͱશ֯ 72
  9. ςΩετσʔλͷՃ޻ • ஔ׵ - ஋ͷஔ͖׵͑ • ஔ׵ - ࢦఆͨ͠จࣈྻͷஔ͖׵͑ •

    औΓআ͘ - ࢦఆͨ͠จࣈྻ • औΓআ͘ - ෆཁͳεϖʔεɺಛघจࣈྻʢվߦͳͲͷಛघจࣈʣ • நग़ʢ·ͨ͸औΓআ͘ʣ- ׅހͷதͷจࣈྻ • ม׵ - ൒֯ͱશ֯ 77
  10. 101

  11. 102

  12. 106

  13. 108 ࣌ؒ λΠτϧ ൃදऀ 12:00 ΦʔϓχϯάɾExploratory v6.7ͷ͝঺հ Exploratory, inc ੢ా

    צҰ࿠ 12:25 Ϛʔέοτɾόεέοτ෼ੳΛ׆༻ͨ͠ECαΠτͷߪങ෼ੳ גࣜձࣾΤʔτΡδΣΠ ࠤ౻ ࢙ব༷ 12:50 ٳܜ 13:00 ຊ౰ʹඞཁͳύʔιφϧσʔλͷݟۃΊํ DSInnovationגࣜձࣾ ໺৲ ধ༷ 13:25 ະఆ ೔ຊ੒௕౤ࢿΞϥΠΞϯεגࣜձࣾ ૔෋ ༤ฏ༷ 13:50 ࣭ٙԠ౴ ΞδΣϯμ