Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
グラフ解析で社長の脳内さらす!
Search
Chanmoro
October 26, 2017
Technology
0
290
グラフ解析で社長の脳内さらす!
社長の発言をグラフ解析して何を考えているのかをさらします
Chanmoro
October 26, 2017
Tweet
Share
More Decks by Chanmoro
See All by Chanmoro
LAPRAS クローラーの変遷
chanmoro
3
2.2k
クローラーをテストしよう!
chanmoro
2
1.7k
Shiva 〜Nextremerをscale upする機械学習環境〜
chanmoro
0
160
対話AI on Kubernetes
chanmoro
0
73
Other Decks in Technology
See All in Technology
20241218_今年はSLI/SLOの導入を頑張ってました!
zepprix
0
250
大規模言語モデルとそのソフトウェア開発に向けた応用 (2024年版)
kazato
2
410
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
1
4.9k
ソフトウェア開発における「パーフェクトな意思決定」/Perfect Decision-Making in Software Development
yayoi_dd
2
2.6k
スタートアップで取り組んでいるAzureとMicrosoft 365のセキュリティ対策/How to Improve Azure and Microsoft 365 Security at Startup
yuj1osm
0
280
信頼されるためにやったこと、 やらなかったこと。/What we did to be trusted, What we did not do.
bitkey
PRO
0
1k
OPENLOGI Company Profile for engineer
hr01
1
17k
ハイテク休憩
sat
PRO
2
190
AWS環境におけるランサムウェア攻撃対策の設計
nrinetcom
PRO
1
320
株式会社ログラス − エンジニア向け会社説明資料 / Loglass Comapany Deck for Engineer
loglass2019
3
33k
OCI技術資料 : ファイル・ストレージ 概要
ocise
3
12k
[Oracle TechNight#85] Oracle Autonomous Databaseを使ったAI活用入門
oracle4engineer
PRO
1
200
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.7k
The World Runs on Bad Software
bkeepers
PRO
66
11k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
How STYLIGHT went responsive
nonsquared
96
5.3k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Code Reviewing Like a Champion
maltzj
521
39k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
GraphQLとの向き合い方2022年版
quramy
44
13k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Transcript
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! 26th Oct. 2017 株式会社 Nextremer
両⾓和軌 皆 さ ん こ ん に ち は
©2017 Nextremer Co., Ltd. ⾃⼰紹介 両⾓ 和軌 (もろずみ かずき) 株式会社
Nextremer プログラマー / 採⽤・⼈事 ※対話システムの研究開発をしている企業です • やってること • エンジニアのスカウト・⾯接 • ⼈事制度の整備 • サーバーサイド開発 • ここ最近扱った技術 • Terraform, Ansible, Packer ← Infrastructure as Code! • Docker, kubernetes, Apache Mesos ← ポータビリティさいこう! • Python, Scala, javascript(ES6) ← 関数型うまく書けると気持ちいい! • Finagle, React.js ← マイクロサービスしたい!リアクティブしたい!
©2017 Nextremer Co., Ltd. Nextremer CEO 向井とは 「僕は全部オープンデータだから好きに使って!」と⾔ってくれます お⾔葉に⽢えて脳内を晒してやりました ヤバイBotになったり
イケてるCEOみたいになったりします
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! 弊社社⻑の向井が Slack, facebook に投稿したデータをグラフ解析 こ
う な っ て る ん だ
©2017 Nextremer Co., Ltd. どうやって脳内を晒すか? 1. 単語の共起関係からグラフを作る 2. PMI を計算しエッジ(辺)の重みにする
3. PageRankを計算しノード(点)の重みにする 4. ノードをクラスタリングする 5. 可視化する
©2017 Nextremer Co., Ltd. 1. 単語の共起関係からグラフを作る • 単語をノード、同じ⽂に出た単語間にエッジ • ストップワード、特定の品詞を除く
• 単語の出現回数、単語ペアの共起回数を記録しておく • 後のPMIの計算で使うので
©2017 Nextremer Co., Ltd. 2. PMI を計算しエッジ(辺)の重みにする • PMIを計算してエッジの重みにセット •
1でカウントした単語の出現回数、共起回数を利⽤
©2017 Nextremer Co., Ltd. 2. PMI を計算しエッジ(辺)の重みにする • PMIって?? •
Pointwise Mutual Information (⾃⼰相互情報量) • ある2つのデータがどれくらい⼀緒に出現しやすいかを表す尺度 • PMIが⼤きいほどその単語ペアは同じ⽂に出現しやすいということ • 計算式 , = log+ (, ) () = log+ 共起回数 / 総単語数 単語0の出現回数 / 単語1の出現回数
©2017 Nextremer Co., Ltd. 3. PageRankを計算しノード(点)の重みにする • PageRankを計算し、スコアをノードの重みにセット • エッジの重みを考慮したPageRankを計算
©2017 Nextremer Co., Ltd. 4. ノードをクラスタリングする • Infomapでノードをクラスタリング • エッジ媒介中⼼性,
貪欲アルゴリズム, スペクトラル, スピングラス, ラベル伝播法 …など多数のクラスタリングアルゴリズム • 構造に⼤きく左右されるので、どれがベストとは⼀概には⾔えない
©2017 Nextremer Co., Ltd. 5. 可視化する • Gephi を利⽤して可視化 •
全体を俯瞰して⾒れて、必要に応じて部分にフォーカスできる • javascriptベースのものは巨⼤なグラフ全体を⾒るのは使いにくい
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! それらの⼿順を経てこの図が作られています な る ほ ど
©2017 Nextremer Co., Ltd. Neo4jとの使い分け • データ設計の検討にR, Python や Gephi
などのツールを使う • 全体を俯瞰していろいろなパターンを試したい • システムに組み込むために neo4j を使う • Cypher のクエリは超強⼒ • ⼤量データの格納や分析 • Spark GraphX とかも使えるらしい
©2017 Nextremer Co., Ltd. 続きはWebで! • 詳しくは「もろずblog 社⻑の脳内晒す」で検索! • 今回話した内容についてのブログ記事です
©2017 Nextremer Co., Ltd. 最後に・・・! Nextremerでは⼀緒に対話システムを開発して頂けるエンジニアを 探しています! Facebookから両⾓へメッセージ or Wantedly
よりご連絡いただければ、 いつでもNextremerオフィスの雰囲気をご案内させていただきます 両⾓のFacebookアカウント Nextremer Wantedly ページ
©2017 Nextremer Co., Ltd. これで本当におしまい ありがとうございました! Nextremer東京オフィス 開発⽤GPUマシン 謎に包まれた対話ロボット AI-Samurai
待 っ て る よ
©2017 Nextremer Co., Ltd. 補⾜. GML (Graph Modeling Language) •
グラフ構造をテキストで表すデータ形式 • ノード、エッジのプロパティが記述できる点がGood
©2017 Nextremer Co., Ltd. 補⾜. Gephi • グラフ可視化・解析ができるデスクトップアプリケーション • Windows,
Mac, Linux に対応 • GMLファイルをロードできる
©2017 Nextremer Co., Ltd. 補⾜. igraph • R, Python, C
から利⽤できるグラフ解析のパッケージ • GMLファイルをロードできる • PageRank, infomap 等の多くのアルゴリズムをサポート