Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達
Search
KOMIYA Atsushi
October 24, 2014
Programming
12
9.2k
Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達
BizReach 社にお邪魔して発表したときのスライドです。
KOMIYA Atsushi
October 24, 2014
Tweet
Share
More Decks by KOMIYA Atsushi
See All by KOMIYA Atsushi
#JJUG Java における乱数生成器とのつき合い方
komiya_atsushi
5
5.4k
#JJUG Fork/Join フレームワークを効率的に正しく使いたい
komiya_atsushi
0
520
[#JSUG] SmartNews における container friendly な Spring Boot アプリケーション開発
komiya_atsushi
1
11k
Java のデータ圧縮ライブラリを極める #jjug_ccc #ccc_c7
komiya_atsushi
4
5.1k
#devsumi 自然言語処理・機械学習によるファクトチェック業務の支援
komiya_atsushi
1
4.6k
SmartNews Ads における機械学習の活用とその運用 #mlops
komiya_atsushi
3
19k
GBDT によるクリック率予測を高速化したい #オレシカナイト vol.4
komiya_atsushi
5
1.4k
Maven central repository の artifact をランキングする #渋谷java
komiya_atsushi
0
1.5k
確率的データ構造を Java で扱いたい! #JJUG
komiya_atsushi
6
2.3k
Other Decks in Programming
See All in Programming
CSC305 Lecture 02
javiergs
PRO
1
260
Pythonスレッドとは結局何なのか? CPython実装から見るNoGIL時代の変化
curekoshimizu
4
1.3k
Breaking Up with Big ViewModels — Without Breaking Your Architecture (droidcon Berlin 2025)
steliosf
PRO
1
330
ИИ-Агенты в каждый дом – Алексей Порядин, PythoNN
sobolevn
0
150
Railsだからできる 例外業務に禍根を残さない 設定設計パターン
ei_ei_eiichi
0
190
Introducing ReActionView: A new ActionView-Compatible ERB Engine @ Kaigi on Rails 2025, Tokyo, Japan
marcoroth
3
920
CSC509 Lecture 02
javiergs
PRO
0
400
明日から始めるリファクタリング
ryounasso
0
110
複雑化したリポジトリをなんとかした話 pipenvからuvによるモノレポ構成への移行
satoshi256kbyte
1
760
Reduxモダナイズ 〜コードのモダン化を通して、将来のライブラリ移行に備える〜
pvcresin
2
680
フロントエンド開発に役立つクライアントプログラム共通のノウハウ / Universal client-side programming best practices for frontend development
nrslib
7
3.9k
Le côté obscur des IA génératives
pascallemerrer
0
120
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
514
110k
Unsuck your backbone
ammeep
671
58k
Building Adaptive Systems
keathley
43
2.8k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
960
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
32
2.2k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Navigating Team Friction
lara
189
15k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Visualization
eitanlees
148
16k
Transcript
Java Ͱ౷ܭͱ͔ػցֶशͱ͔ ࣗવݴޠॲཧͱ͔ΛΓ͍ͨ ͱ͖ʹཱͭϥΠϒϥϦୡ 2014-10-24 at BizReach @komiya_atsushi / SmartNews,
Inc.
τϐοΫ • ίϨΫγϣϯϥΠϒϥϦ • ܗଶૉղੳ • ֶɾ౷ܭ • ػցֶश
ίϨΫγϣϯϥΠϒϥϦ
GNU Trove
GNU Trove net.sf.trove4j:trove4j:3.0.3 • ϓϦϛςΟϒܕΛޮΑ֨͘ೲɾΞΫηε͢ ΔͨΊͷίϨΫγϣϯΛఏڙ͢Δ • ϥΠηϯεɿLGPL
fastutil
fastutil it.unimi.dsi:fastutil:6.5.15 • GNU Trove ͱಉ͘͡ɺϓϦϛςΟϒܕΛޮ Α֨͘ೲɾΞΫηε͢ΔͨΊͷίϨΫγϣϯ Λఏڙ͢Δ • ଟ༷ͳ
Map ࣮Λఏڙͯ͘͠ΕΔ • AVL tree, RB tree, Open Hash, Linked Open Hash (?)
Koloboke
Koloboke • Trove / fastutil ͱಉ༷ • ࠷ۙͷϓϩμΫτʁ • తʹҰ൪͍ͬΆ͍ʁ
• ґଘϥΠϒϥϦΛ 2 ͭՃ͢Δඞཁ͕͋Δ • compile 'net.openhft:koloboke-api-jdk6-7:0.6.3' • runtime ‘net.openhft:koloboke-impl-jdk6-7:0.6.3' • ݱࡏ Map ͷΈͷఏڙ
ܗଶૉղੳ
kuromoji
kuromoji org.atilika.kuromoji:kuromoji:0.7.7 • ຊޠจʹରͯ͠Θ͔ͪॻ͖ˍࢺਪఆΛ͠ ͯ͘ΕΔ • ґଘϥΠϒϥϦʢͱΦϨΦϨϦϙδτϦʣΛ Ճ͢Δ͚ͩͰָ͑ͯͪΜ • Α͘ϦϙδτϦ͕མ͍ͪͯͯ͠ΐΜ΅Γ͢
Δ͜ͱ͕ଟ͍ͱ͔…
Stanford CoreNLP
Stanford CoreNLP edu.stanford.nlp:stanford-corenlp:3.4.1 • ϤʔϩούܥݴޠͷॲཧΛ͍ͨ͠ͱ͖͜Ε͕͓͢͢ Ί • ࢺಉఆ lemmatization ʢ׆༻ܗ
→ ݪܗʹ͢Δͳ ͲʣΛͯ͘͠ΕΔ • ϞσϧϑΝΠϧ Maven Central Repo ʹ͋ΔͷͰɺ ηοτΞοϓָ͕ͪΜ • ͕͔ͩ͠͠ඦ MB…
ֶɾ౷ܭ
commons-math3
commons-math3 org.apache.commons:commons-math3:3.2 • ֶɾ౷ܭํ໘ͷػೳ͕๛ • ԾઆݕఆΒ͕֬ѻ͑ΔͷͰݸਓత ʹͱͯॏๅͯ͠·͢ • ػցֶशΞϧΰϦζϜͷࣗલ࣮Λ͢Δࡍͷ ͓ڙʹ
ػցֶश
liblinear-java
liblinear-java de.bwaldvogel:liblinear:1.94 • ΈΜͳ͍͖ͩ͢ LIBSVM ͷઢܗྨಛԽ൛ LIBLINEAR Λ Java ʹϙʔςΟϯάͨ͠ͷ
• ΞϠϝσʔλͩͬͨΓχϡʔεهࣄΛΧςΰ Ϧྨͱ͔͔ͨͬͨ͠Βɺ·ͣ͜ΕΛͬ ͯΈΑ͏
MLlib
MLlib org.apache.spark:spark-mllib_2.10:1.1.0 • Apache Spark ্Ͱಈ͘ػցֶशϥΠϒϥϦ • 1.1.0 ΑΓ Word2Vec
࣮͞Ε·ͨ͠ʂ
σϞ
ίϨΫγϣϯϥΠϒϥϦͷ ൺֱ
None
None
None
liblinear-java Ͱ ϩδεςΟοΫճؼ
None
MLlib ͷ Word2Vec Λ ৮ͬͯΈΔ
None