Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達
Search
KOMIYA Atsushi
October 24, 2014
Programming
12
9k
Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達
BizReach 社にお邪魔して発表したときのスライドです。
KOMIYA Atsushi
October 24, 2014
Tweet
Share
More Decks by KOMIYA Atsushi
See All by KOMIYA Atsushi
#JJUG Java における乱数生成器とのつき合い方
komiya_atsushi
5
5.1k
#JJUG Fork/Join フレームワークを効率的に正しく使いたい
komiya_atsushi
0
440
[#JSUG] SmartNews における container friendly な Spring Boot アプリケーション開発
komiya_atsushi
1
11k
Java のデータ圧縮ライブラリを極める #jjug_ccc #ccc_c7
komiya_atsushi
4
4.6k
#devsumi 自然言語処理・機械学習によるファクトチェック業務の支援
komiya_atsushi
1
4.3k
SmartNews Ads における機械学習の活用とその運用 #mlops
komiya_atsushi
3
19k
GBDT によるクリック率予測を高速化したい #オレシカナイト vol.4
komiya_atsushi
5
1.3k
Maven central repository の artifact をランキングする #渋谷java
komiya_atsushi
0
1.2k
確率的データ構造を Java で扱いたい! #JJUG
komiya_atsushi
6
2.2k
Other Decks in Programming
See All in Programming
CPython 인터프리터 구조 파헤치기 - PyCon Korea 24
kennethanceyer
0
250
讓數據說話:用 Python、Prometheus 和 Grafana 講故事
eddie
0
380
C++でシェーダを書く
fadis
6
3.8k
JavaでLチカしたい! / JJUG CCC 2024 Fall LT
nhayato
0
110
Streams APIとTCPフロー制御 / Web Streams API and TCP flow control
tasshi
2
330
From Subtype Polymorphism To Typeclass-based Ad hoc Polymorphism- An Example
philipschwarz
PRO
0
190
JaSST 24 九州:ワークショップ(は除く)実践!マインドマップを活用したソフトウェアテスト+活用事例
satohiroyuki
0
310
Webの技術スタックで マルチプラットフォームアプリ開発を可能にするElixirDesktopの紹介
thehaigo
2
1k
Java ジェネリクス入門 2024
nagise
0
670
Modern Angular: Renovation for Your Applications
manfredsteyer
PRO
0
240
約9000個の自動テストの 時間を50分->10分に短縮 Flakyテストを1%以下に抑えた話
hatsu38
24
12k
破壊せよ!データ破壊駆動で考えるドメインモデリング / data-destroy-driven
minodriven
17
4.3k
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.1k
The Art of Programming - Codeland 2020
erikaheidi
52
13k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Adopting Sorbet at Scale
ufuk
73
9.1k
Practical Orchestrator
shlominoach
186
10k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
43
6.8k
Agile that works and the tools we love
rasmusluckow
327
21k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Transcript
Java Ͱ౷ܭͱ͔ػցֶशͱ͔ ࣗવݴޠॲཧͱ͔ΛΓ͍ͨ ͱ͖ʹཱͭϥΠϒϥϦୡ 2014-10-24 at BizReach @komiya_atsushi / SmartNews,
Inc.
τϐοΫ • ίϨΫγϣϯϥΠϒϥϦ • ܗଶૉղੳ • ֶɾ౷ܭ • ػցֶश
ίϨΫγϣϯϥΠϒϥϦ
GNU Trove
GNU Trove net.sf.trove4j:trove4j:3.0.3 • ϓϦϛςΟϒܕΛޮΑ֨͘ೲɾΞΫηε͢ ΔͨΊͷίϨΫγϣϯΛఏڙ͢Δ • ϥΠηϯεɿLGPL
fastutil
fastutil it.unimi.dsi:fastutil:6.5.15 • GNU Trove ͱಉ͘͡ɺϓϦϛςΟϒܕΛޮ Α֨͘ೲɾΞΫηε͢ΔͨΊͷίϨΫγϣϯ Λఏڙ͢Δ • ଟ༷ͳ
Map ࣮Λఏڙͯ͘͠ΕΔ • AVL tree, RB tree, Open Hash, Linked Open Hash (?)
Koloboke
Koloboke • Trove / fastutil ͱಉ༷ • ࠷ۙͷϓϩμΫτʁ • తʹҰ൪͍ͬΆ͍ʁ
• ґଘϥΠϒϥϦΛ 2 ͭՃ͢Δඞཁ͕͋Δ • compile 'net.openhft:koloboke-api-jdk6-7:0.6.3' • runtime ‘net.openhft:koloboke-impl-jdk6-7:0.6.3' • ݱࡏ Map ͷΈͷఏڙ
ܗଶૉղੳ
kuromoji
kuromoji org.atilika.kuromoji:kuromoji:0.7.7 • ຊޠจʹରͯ͠Θ͔ͪॻ͖ˍࢺਪఆΛ͠ ͯ͘ΕΔ • ґଘϥΠϒϥϦʢͱΦϨΦϨϦϙδτϦʣΛ Ճ͢Δ͚ͩͰָ͑ͯͪΜ • Α͘ϦϙδτϦ͕མ͍ͪͯͯ͠ΐΜ΅Γ͢
Δ͜ͱ͕ଟ͍ͱ͔…
Stanford CoreNLP
Stanford CoreNLP edu.stanford.nlp:stanford-corenlp:3.4.1 • ϤʔϩούܥݴޠͷॲཧΛ͍ͨ͠ͱ͖͜Ε͕͓͢͢ Ί • ࢺಉఆ lemmatization ʢ׆༻ܗ
→ ݪܗʹ͢Δͳ ͲʣΛͯ͘͠ΕΔ • ϞσϧϑΝΠϧ Maven Central Repo ʹ͋ΔͷͰɺ ηοτΞοϓָ͕ͪΜ • ͕͔ͩ͠͠ඦ MB…
ֶɾ౷ܭ
commons-math3
commons-math3 org.apache.commons:commons-math3:3.2 • ֶɾ౷ܭํ໘ͷػೳ͕๛ • ԾઆݕఆΒ͕֬ѻ͑ΔͷͰݸਓత ʹͱͯॏๅͯ͠·͢ • ػցֶशΞϧΰϦζϜͷࣗલ࣮Λ͢Δࡍͷ ͓ڙʹ
ػցֶश
liblinear-java
liblinear-java de.bwaldvogel:liblinear:1.94 • ΈΜͳ͍͖ͩ͢ LIBSVM ͷઢܗྨಛԽ൛ LIBLINEAR Λ Java ʹϙʔςΟϯάͨ͠ͷ
• ΞϠϝσʔλͩͬͨΓχϡʔεهࣄΛΧςΰ Ϧྨͱ͔͔ͨͬͨ͠Βɺ·ͣ͜ΕΛͬ ͯΈΑ͏
MLlib
MLlib org.apache.spark:spark-mllib_2.10:1.1.0 • Apache Spark ্Ͱಈ͘ػցֶशϥΠϒϥϦ • 1.1.0 ΑΓ Word2Vec
࣮͞Ε·ͨ͠ʂ
σϞ
ίϨΫγϣϯϥΠϒϥϦͷ ൺֱ
None
None
None
liblinear-java Ͱ ϩδεςΟοΫճؼ
None
MLlib ͷ Word2Vec Λ ৮ͬͯΈΔ
None