Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
グラフ解析で社長の脳内さらす!
Search
Chanmoro
October 26, 2017
Technology
0
200
グラフ解析で社長の脳内さらす!
社長の発言をグラフ解析して何を考えているのかをさらします
Chanmoro
October 26, 2017
Tweet
Share
More Decks by Chanmoro
See All by Chanmoro
LAPRAS クローラーの変遷
chanmoro
3
2k
クローラーをテストしよう!
chanmoro
2
1.6k
Shiva 〜Nextremerをscale upする機械学習環境〜
chanmoro
0
130
対話AI on Kubernetes
chanmoro
0
68
Other Decks in Technology
See All in Technology
生産性向上チームの紹介
cybozuinsideout
PRO
1
870
GrafanaMeetup_AmazonManagedGrafanaのアクセス制御機能とマルチテナント環境下でのアクセス制御について
daitak
0
240
Meta Quest 3 で動く桜マシマシ WebXR アプリを IBM Cloud Code Engine と Babylon.js で作った話
1ftseabass
PRO
0
120
Reducing Cross-Zone Egress at Spotify with Custom gRPC Load Balancing Recap
koh_naga
0
210
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
1.2k
今年のRubyKaigiはProfiler Year🤘
osyoyu
0
130
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
200
Terraformあれやこれ/terraform-this-and-that
emiki
8
1.4k
Cloud Native Java with Spring Boot (CNCF Aarhus, April 2024)
thomasvitale
1
170
私が trocco を推す理由
__allllllllez__
1
240
複雑な構成要素を持つUIとの向き合い方 〜新・支出グラフでの実例〜 / B43 TECH TALK
nakamuuu
0
140
開発生産性大幅アップ!Postman VS Code拡張機能
nagix
2
380
Featured
See All Featured
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
244
20k
Designing the Hi-DPI Web
ddemaree
276
33k
Design by the Numbers
sachag
274
18k
[RailsConf 2023] Rails as a piece of cake
palkan
23
4k
Mobile First: as difficult as doing things right
swwweet
216
8.6k
Docker and Python
trallard
34
2.7k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Building an army of robots
kneath
300
41k
Bash Introduction
62gerente
604
210k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Transcript
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! 26th Oct. 2017 株式会社 Nextremer
両⾓和軌 皆 さ ん こ ん に ち は
©2017 Nextremer Co., Ltd. ⾃⼰紹介 両⾓ 和軌 (もろずみ かずき) 株式会社
Nextremer プログラマー / 採⽤・⼈事 ※対話システムの研究開発をしている企業です • やってること • エンジニアのスカウト・⾯接 • ⼈事制度の整備 • サーバーサイド開発 • ここ最近扱った技術 • Terraform, Ansible, Packer ← Infrastructure as Code! • Docker, kubernetes, Apache Mesos ← ポータビリティさいこう! • Python, Scala, javascript(ES6) ← 関数型うまく書けると気持ちいい! • Finagle, React.js ← マイクロサービスしたい!リアクティブしたい!
©2017 Nextremer Co., Ltd. Nextremer CEO 向井とは 「僕は全部オープンデータだから好きに使って!」と⾔ってくれます お⾔葉に⽢えて脳内を晒してやりました ヤバイBotになったり
イケてるCEOみたいになったりします
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! 弊社社⻑の向井が Slack, facebook に投稿したデータをグラフ解析 こ
う な っ て る ん だ
©2017 Nextremer Co., Ltd. どうやって脳内を晒すか? 1. 単語の共起関係からグラフを作る 2. PMI を計算しエッジ(辺)の重みにする
3. PageRankを計算しノード(点)の重みにする 4. ノードをクラスタリングする 5. 可視化する
©2017 Nextremer Co., Ltd. 1. 単語の共起関係からグラフを作る • 単語をノード、同じ⽂に出た単語間にエッジ • ストップワード、特定の品詞を除く
• 単語の出現回数、単語ペアの共起回数を記録しておく • 後のPMIの計算で使うので
©2017 Nextremer Co., Ltd. 2. PMI を計算しエッジ(辺)の重みにする • PMIを計算してエッジの重みにセット •
1でカウントした単語の出現回数、共起回数を利⽤
©2017 Nextremer Co., Ltd. 2. PMI を計算しエッジ(辺)の重みにする • PMIって?? •
Pointwise Mutual Information (⾃⼰相互情報量) • ある2つのデータがどれくらい⼀緒に出現しやすいかを表す尺度 • PMIが⼤きいほどその単語ペアは同じ⽂に出現しやすいということ • 計算式 , = log+ (, ) () = log+ 共起回数 / 総単語数 単語0の出現回数 / 単語1の出現回数
©2017 Nextremer Co., Ltd. 3. PageRankを計算しノード(点)の重みにする • PageRankを計算し、スコアをノードの重みにセット • エッジの重みを考慮したPageRankを計算
©2017 Nextremer Co., Ltd. 4. ノードをクラスタリングする • Infomapでノードをクラスタリング • エッジ媒介中⼼性,
貪欲アルゴリズム, スペクトラル, スピングラス, ラベル伝播法 …など多数のクラスタリングアルゴリズム • 構造に⼤きく左右されるので、どれがベストとは⼀概には⾔えない
©2017 Nextremer Co., Ltd. 5. 可視化する • Gephi を利⽤して可視化 •
全体を俯瞰して⾒れて、必要に応じて部分にフォーカスできる • javascriptベースのものは巨⼤なグラフ全体を⾒るのは使いにくい
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! それらの⼿順を経てこの図が作られています な る ほ ど
©2017 Nextremer Co., Ltd. Neo4jとの使い分け • データ設計の検討にR, Python や Gephi
などのツールを使う • 全体を俯瞰していろいろなパターンを試したい • システムに組み込むために neo4j を使う • Cypher のクエリは超強⼒ • ⼤量データの格納や分析 • Spark GraphX とかも使えるらしい
©2017 Nextremer Co., Ltd. 続きはWebで! • 詳しくは「もろずblog 社⻑の脳内晒す」で検索! • 今回話した内容についてのブログ記事です
©2017 Nextremer Co., Ltd. 最後に・・・! Nextremerでは⼀緒に対話システムを開発して頂けるエンジニアを 探しています! Facebookから両⾓へメッセージ or Wantedly
よりご連絡いただければ、 いつでもNextremerオフィスの雰囲気をご案内させていただきます 両⾓のFacebookアカウント Nextremer Wantedly ページ
©2017 Nextremer Co., Ltd. これで本当におしまい ありがとうございました! Nextremer東京オフィス 開発⽤GPUマシン 謎に包まれた対話ロボット AI-Samurai
待 っ て る よ
©2017 Nextremer Co., Ltd. 補⾜. GML (Graph Modeling Language) •
グラフ構造をテキストで表すデータ形式 • ノード、エッジのプロパティが記述できる点がGood
©2017 Nextremer Co., Ltd. 補⾜. Gephi • グラフ可視化・解析ができるデスクトップアプリケーション • Windows,
Mac, Linux に対応 • GMLファイルをロードできる
©2017 Nextremer Co., Ltd. 補⾜. igraph • R, Python, C
から利⽤できるグラフ解析のパッケージ • GMLファイルをロードできる • PageRank, infomap 等の多くのアルゴリズムをサポート