Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達
Search
KOMIYA Atsushi
October 24, 2014
Programming
12
9.2k
Java で統計とか機械学習とか自然言語処理とかをやりたい ときに役立つライブラリ達
BizReach 社にお邪魔して発表したときのスライドです。
KOMIYA Atsushi
October 24, 2014
Tweet
Share
More Decks by KOMIYA Atsushi
See All by KOMIYA Atsushi
#JJUG Java における乱数生成器とのつき合い方
komiya_atsushi
5
5.4k
#JJUG Fork/Join フレームワークを効率的に正しく使いたい
komiya_atsushi
0
520
[#JSUG] SmartNews における container friendly な Spring Boot アプリケーション開発
komiya_atsushi
1
11k
Java のデータ圧縮ライブラリを極める #jjug_ccc #ccc_c7
komiya_atsushi
4
5.1k
#devsumi 自然言語処理・機械学習によるファクトチェック業務の支援
komiya_atsushi
1
4.6k
SmartNews Ads における機械学習の活用とその運用 #mlops
komiya_atsushi
3
19k
GBDT によるクリック率予測を高速化したい #オレシカナイト vol.4
komiya_atsushi
5
1.3k
Maven central repository の artifact をランキングする #渋谷java
komiya_atsushi
0
1.4k
確率的データ構造を Java で扱いたい! #JJUG
komiya_atsushi
6
2.3k
Other Decks in Programming
See All in Programming
FindyにおけるTakumi活用と脆弱性管理のこれから
rvirus0817
0
450
開発チーム・開発組織の設計改善スキルの向上
masuda220
PRO
18
10k
Testing Trophyは叫ばない
toms74209200
0
760
Rancher と Terraform
fufuhu
2
210
OSS開発者という働き方
andpad
5
1.7k
サーバーサイドのビルド時間87倍高速化
plaidtech
PRO
0
710
速いWebフレームワークを作る
yusukebe
5
1.7k
アプリの "かわいい" を支えるアニメーションツールRiveについて
uetyo
0
210
ぬるぬる動かせ! Riveでアニメーション実装🐾
kno3a87
1
130
CloudflareのChat Agent Starter Kitで簡単!AIチャットボット構築
syumai
2
440
Protocol Buffersの型を超えて拡張性を得る / Beyond Protocol Buffers Types Achieving Extensibility
linyows
0
110
「手軽で便利」に潜む罠。 Popover API を WCAG 2.2の視点で安全に使うには
taitotnk
0
780
Featured
See All Featured
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
We Have a Design System, Now What?
morganepeng
53
7.8k
The Invisible Side of Design
smashingmag
301
51k
Context Engineering - Making Every Token Count
addyosmani
1
15
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
KATA
mclloyd
32
14k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.1k
Unsuck your backbone
ammeep
671
58k
Transcript
Java Ͱ౷ܭͱ͔ػցֶशͱ͔ ࣗવݴޠॲཧͱ͔ΛΓ͍ͨ ͱ͖ʹཱͭϥΠϒϥϦୡ 2014-10-24 at BizReach @komiya_atsushi / SmartNews,
Inc.
τϐοΫ • ίϨΫγϣϯϥΠϒϥϦ • ܗଶૉղੳ • ֶɾ౷ܭ • ػցֶश
ίϨΫγϣϯϥΠϒϥϦ
GNU Trove
GNU Trove net.sf.trove4j:trove4j:3.0.3 • ϓϦϛςΟϒܕΛޮΑ֨͘ೲɾΞΫηε͢ ΔͨΊͷίϨΫγϣϯΛఏڙ͢Δ • ϥΠηϯεɿLGPL
fastutil
fastutil it.unimi.dsi:fastutil:6.5.15 • GNU Trove ͱಉ͘͡ɺϓϦϛςΟϒܕΛޮ Α֨͘ೲɾΞΫηε͢ΔͨΊͷίϨΫγϣϯ Λఏڙ͢Δ • ଟ༷ͳ
Map ࣮Λఏڙͯ͘͠ΕΔ • AVL tree, RB tree, Open Hash, Linked Open Hash (?)
Koloboke
Koloboke • Trove / fastutil ͱಉ༷ • ࠷ۙͷϓϩμΫτʁ • తʹҰ൪͍ͬΆ͍ʁ
• ґଘϥΠϒϥϦΛ 2 ͭՃ͢Δඞཁ͕͋Δ • compile 'net.openhft:koloboke-api-jdk6-7:0.6.3' • runtime ‘net.openhft:koloboke-impl-jdk6-7:0.6.3' • ݱࡏ Map ͷΈͷఏڙ
ܗଶૉղੳ
kuromoji
kuromoji org.atilika.kuromoji:kuromoji:0.7.7 • ຊޠจʹରͯ͠Θ͔ͪॻ͖ˍࢺਪఆΛ͠ ͯ͘ΕΔ • ґଘϥΠϒϥϦʢͱΦϨΦϨϦϙδτϦʣΛ Ճ͢Δ͚ͩͰָ͑ͯͪΜ • Α͘ϦϙδτϦ͕མ͍ͪͯͯ͠ΐΜ΅Γ͢
Δ͜ͱ͕ଟ͍ͱ͔…
Stanford CoreNLP
Stanford CoreNLP edu.stanford.nlp:stanford-corenlp:3.4.1 • ϤʔϩούܥݴޠͷॲཧΛ͍ͨ͠ͱ͖͜Ε͕͓͢͢ Ί • ࢺಉఆ lemmatization ʢ׆༻ܗ
→ ݪܗʹ͢Δͳ ͲʣΛͯ͘͠ΕΔ • ϞσϧϑΝΠϧ Maven Central Repo ʹ͋ΔͷͰɺ ηοτΞοϓָ͕ͪΜ • ͕͔ͩ͠͠ඦ MB…
ֶɾ౷ܭ
commons-math3
commons-math3 org.apache.commons:commons-math3:3.2 • ֶɾ౷ܭํ໘ͷػೳ͕๛ • ԾઆݕఆΒ͕֬ѻ͑ΔͷͰݸਓత ʹͱͯॏๅͯ͠·͢ • ػցֶशΞϧΰϦζϜͷࣗલ࣮Λ͢Δࡍͷ ͓ڙʹ
ػցֶश
liblinear-java
liblinear-java de.bwaldvogel:liblinear:1.94 • ΈΜͳ͍͖ͩ͢ LIBSVM ͷઢܗྨಛԽ൛ LIBLINEAR Λ Java ʹϙʔςΟϯάͨ͠ͷ
• ΞϠϝσʔλͩͬͨΓχϡʔεهࣄΛΧςΰ Ϧྨͱ͔͔ͨͬͨ͠Βɺ·ͣ͜ΕΛͬ ͯΈΑ͏
MLlib
MLlib org.apache.spark:spark-mllib_2.10:1.1.0 • Apache Spark ্Ͱಈ͘ػցֶशϥΠϒϥϦ • 1.1.0 ΑΓ Word2Vec
࣮͞Ε·ͨ͠ʂ
σϞ
ίϨΫγϣϯϥΠϒϥϦͷ ൺֱ
None
None
None
liblinear-java Ͱ ϩδεςΟοΫճؼ
None
MLlib ͷ Word2Vec Λ ৮ͬͯΈΔ
None