Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達

Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達

BizReach 社にお邪魔して発表したときのスライドです。

E77287648aff5484ac7659748e45c936?s=128

KOMIYA Atsushi

October 24, 2014
Tweet

Transcript

  1. Java Ͱ౷ܭͱ͔ػցֶशͱ͔ ࣗવݴޠॲཧͱ͔Λ΍Γ͍ͨ ͱ͖ʹ໾ཱͭϥΠϒϥϦୡ 2014-10-24 at BizReach @komiya_atsushi / SmartNews,

    Inc.
  2. τϐοΫ • ίϨΫγϣϯϥΠϒϥϦ • ܗଶૉղੳ • ਺ֶɾ౷ܭ • ػցֶश

  3. ίϨΫγϣϯϥΠϒϥϦ

  4. GNU Trove

  5. GNU Trove net.sf.trove4j:trove4j:3.0.3 • ϓϦϛςΟϒܕΛޮ཰Α֨͘ೲɾΞΫηε͢ ΔͨΊͷίϨΫγϣϯΛఏڙ͢Δ • ϥΠηϯεɿLGPL

  6. fastutil

  7. fastutil it.unimi.dsi:fastutil:6.5.15 • GNU Trove ͱಉ͘͡ɺϓϦϛςΟϒܕΛޮ཰ Α֨͘ೲɾΞΫηε͢ΔͨΊͷίϨΫγϣϯ Λఏڙ͢Δ • ଟ༷ͳ

    Map ࣮૷Λఏڙͯ͘͠ΕΔ • AVL tree, RB tree, Open Hash, Linked Open Hash (?)
  8. Koloboke

  9. Koloboke • Trove / fastutil ͱಉ༷ • ࠷ۙͷϓϩμΫτʁ • ଎౓తʹ͸Ұ൪଎͍ͬΆ͍ʁ

    • ґଘϥΠϒϥϦΛ 2 ͭ௥Ճ͢Δඞཁ͕͋Δ • compile 'net.openhft:koloboke-api-jdk6-7:0.6.3' • runtime ‘net.openhft:koloboke-impl-jdk6-7:0.6.3' • ݱࡏ͸ Map ͷΈͷఏڙ
  10. ܗଶૉղੳ

  11. kuromoji

  12. kuromoji org.atilika.kuromoji:kuromoji:0.7.7 • ೔ຊޠจʹରͯ͠Θ͔ͪॻ͖ˍ඼ࢺਪఆΛ͠ ͯ͘ΕΔ • ґଘϥΠϒϥϦʢͱΦϨΦϨϦϙδτϦʣΛ ௥Ճ͢Δ͚ͩͰ࢖ָ͑ͯͪΜ • Α͘ϦϙδτϦ͕མ͍ͪͯͯ͠ΐΜ΅Γ͢

    Δ͜ͱ͕ଟ͍ͱ͔…
  13. Stanford CoreNLP

  14. Stanford CoreNLP edu.stanford.nlp:stanford-corenlp:3.4.1 • ϤʔϩούܥݴޠͷॲཧΛ͍ͨ͠ͱ͖͸͜Ε͕͓͢͢ Ί • ඼ࢺಉఆ΍ lemmatization ʢ׆༻ܗ

    → ݪܗʹ͢Δͳ ͲʣΛͯ͘͠ΕΔ • ϞσϧϑΝΠϧ΋ Maven Central Repo ʹ͋ΔͷͰɺ ηοτΞοϓָ͕ͪΜ • ͕͔ͩ͠͠਺ඦ MB…
  15. ਺ֶɾ౷ܭ

  16. commons-math3

  17. commons-math3 org.apache.commons:commons-math3:3.2 • ਺ֶɾ౷ܭํ໘ͷػೳ͕๛෋ • Ծઆݕఆ΍Β֬཰෼෍͕ѻ͑ΔͷͰݸਓత ʹͱͯ΋ॏๅͯ͠·͢ • ػցֶशΞϧΰϦζϜͷࣗલ࣮૷Λ͢Δࡍͷ ͓ڙʹ

  18. ػցֶश

  19. liblinear-java

  20. liblinear-java de.bwaldvogel:liblinear:1.94 • ΈΜͳ͍͖ͩ͢ LIBSVM ͷઢܗ෼ྨಛԽ൛ LIBLINEAR Λ Java ʹϙʔςΟϯάͨ͠΋ͷ

    • ΞϠϝσʔλͩͬͨΓχϡʔεهࣄΛΧςΰ Ϧ෼ྨͱ͔͔ͨͬͨ͠Βɺ·ͣ͸͜ΕΛ࢖ͬ ͯΈΑ͏
  21. MLlib

  22. MLlib org.apache.spark:spark-mllib_2.10:1.1.0 • Apache Spark ্Ͱಈ͘ػցֶशϥΠϒϥϦ • 1.1.0 ΑΓ Word2Vec

    ࣮૷͞Ε·ͨ͠ʂ
  23. σϞ

  24. ίϨΫγϣϯϥΠϒϥϦͷ ൺֱ

  25. None
  26. None
  27. None
  28. liblinear-java Ͱ ϩδεςΟοΫճؼ

  29. None
  30. MLlib ͷ Word2Vec Λ ৮ͬͯΈΔ

  31. None