Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達

Transcript

1. Java Ͱ౷ܭͱ͔ػցֶशͱ͔ ࣗવݴޠॲཧͱ͔Λ΍Γ͍ͨ ͱ͖ʹ໾ཱͭϥΠϒϥϦୡ 2014-10-24 at BizReach @komiya_atsushi / SmartNews,

   Inc.

2. τϐοΫ • ίϨΫγϣϯϥΠϒϥϦ • ܗଶૉղੳ • ਺ֶɾ౷ܭ • ػցֶश

3. ίϨΫγϣϯϥΠϒϥϦ

4. GNU Trove

5. GNU Trove net.sf.trove4j:trove4j:3.0.3 • ϓϦϛςΟϒܕΛޮ཰Α֨͘ೲɾΞΫηε͢ ΔͨΊͷίϨΫγϣϯΛఏڙ͢Δ • ϥΠηϯεɿLGPL

6. fastutil

7. fastutil it.unimi.dsi:fastutil:6.5.15 • GNU Trove ͱಉ͘͡ɺϓϦϛςΟϒܕΛޮ཰ Α֨͘ೲɾΞΫηε͢ΔͨΊͷίϨΫγϣϯ Λఏڙ͢Δ • ଟ༷ͳ

   Map ࣮૷Λఏڙͯ͘͠ΕΔ • AVL tree, RB tree, Open Hash, Linked Open Hash (?)

8. Koloboke

9. Koloboke • Trove / fastutil ͱಉ༷ • ࠷ۙͷϓϩμΫτʁ • ଎౓తʹ͸Ұ൪଎͍ͬΆ͍ʁ

   • ґଘϥΠϒϥϦΛ 2 ͭ௥Ճ͢Δඞཁ͕͋Δ • compile 'net.openhft:koloboke-api-jdk6-7:0.6.3' • runtime ‘net.openhft:koloboke-impl-jdk6-7:0.6.3' • ݱࡏ͸ Map ͷΈͷఏڙ

10. ܗଶૉղੳ

11. kuromoji

12. kuromoji org.atilika.kuromoji:kuromoji:0.7.7 • ೔ຊޠจʹରͯ͠Θ͔ͪॻ͖ˍ඼ࢺਪఆΛ͠ ͯ͘ΕΔ • ґଘϥΠϒϥϦʢͱΦϨΦϨϦϙδτϦʣΛ ௥Ճ͢Δ͚ͩͰ࢖ָ͑ͯͪΜ • Α͘ϦϙδτϦ͕མ͍ͪͯͯ͠ΐΜ΅Γ͢

    Δ͜ͱ͕ଟ͍ͱ͔…

13. Stanford CoreNLP

14. Stanford CoreNLP edu.stanford.nlp:stanford-corenlp:3.4.1 • ϤʔϩούܥݴޠͷॲཧΛ͍ͨ͠ͱ͖͸͜Ε͕͓͢͢ Ί • ඼ࢺಉఆ΍ lemmatization ʢ׆༻ܗ

    → ݪܗʹ͢Δͳ ͲʣΛͯ͘͠ΕΔ • ϞσϧϑΝΠϧ΋ Maven Central Repo ʹ͋ΔͷͰɺ ηοτΞοϓָ͕ͪΜ • ͕͔ͩ͠͠਺ඦ MB…

15. ਺ֶɾ౷ܭ

16. commons-math3

17. commons-math3 org.apache.commons:commons-math3:3.2 • ਺ֶɾ౷ܭํ໘ͷػೳ͕๛෋ • Ծઆݕఆ΍Β֬཰෼෍͕ѻ͑ΔͷͰݸਓత ʹͱͯ΋ॏๅͯ͠·͢ • ػցֶशΞϧΰϦζϜͷࣗલ࣮૷Λ͢Δࡍͷ ͓ڙʹ

18. ػցֶश

19. liblinear-java

20. liblinear-java de.bwaldvogel:liblinear:1.94 • ΈΜͳ͍͖ͩ͢ LIBSVM ͷઢܗ෼ྨಛԽ൛ LIBLINEAR Λ Java ʹϙʔςΟϯάͨ͠΋ͷ

    • ΞϠϝσʔλͩͬͨΓχϡʔεهࣄΛΧςΰ Ϧ෼ྨͱ͔͔ͨͬͨ͠Βɺ·ͣ͸͜ΕΛ࢖ͬ ͯΈΑ͏

21. MLlib

22. MLlib org.apache.spark:spark-mllib_2.10:1.1.0 • Apache Spark ্Ͱಈ͘ػցֶशϥΠϒϥϦ • 1.1.0 ΑΓ Word2Vec

    ࣮૷͞Ε·ͨ͠ʂ

23. σϞ

24. ίϨΫγϣϯϥΠϒϥϦͷ ൺֱ

25. None
26. None
27. None

28. liblinear-java Ͱ ϩδεςΟοΫճؼ

29. None

30. MLlib ͷ Word2Vec Λ ৮ͬͯΈΔ

31. None