Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
グラフ解析で社長の脳内さらす!
Search
Chanmoro
October 26, 2017
Technology
0
270
グラフ解析で社長の脳内さらす!
社長の発言をグラフ解析して何を考えているのかをさらします
Chanmoro
October 26, 2017
Tweet
Share
More Decks by Chanmoro
See All by Chanmoro
LAPRAS クローラーの変遷
chanmoro
3
2.1k
クローラーをテストしよう!
chanmoro
2
1.7k
Shiva 〜Nextremerをscale upする機械学習環境〜
chanmoro
0
160
対話AI on Kubernetes
chanmoro
0
73
Other Decks in Technology
See All in Technology
LeSSに潜む「隠れWF病」とその処方箋
lycorptech_jp
PRO
2
120
とあるユーザー企業におけるリスクベースで考えるセキュリティ業務のお話し
4su_para
3
320
CyberAgent 生成AI Deep Dive with Amazon Web Services / genai-aws
cyberagentdevelopers
PRO
1
480
プロダクトエンジニアが活躍する環境を作りたくて 事業責任者になった話 ~プロダクトエンジニアの行き着く先~
gimupop
1
480
Java x Spring Boot Warm up
kazu_kichi_67
2
490
Automated Promptingを目指すその前に / Before we can aim for Automated Prompting
rkaga
0
110
Autify Company Deck
autifyhq
1
39k
君は隠しイベントを見つけれるか?
mujyun
0
290
物価高なラスベガスでの過ごし方
zakky
0
380
バクラクにおける可観測性向上の取り組み
yuu26
3
420
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
49k
コンテンツを支える 若手ゲームクリエイターの アートディレクションの事例紹介 / cagamefi-game
cyberagentdevelopers
PRO
1
130
Featured
See All Featured
RailsConf 2023
tenderlove
29
880
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
Speed Design
sergeychernyshev
24
570
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.2k
Ruby is Unlike a Banana
tanoku
96
11k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
41
2.1k
The Invisible Side of Design
smashingmag
297
50k
Statistics for Hackers
jakevdp
796
220k
Transcript
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! 26th Oct. 2017 株式会社 Nextremer
両⾓和軌 皆 さ ん こ ん に ち は
©2017 Nextremer Co., Ltd. ⾃⼰紹介 両⾓ 和軌 (もろずみ かずき) 株式会社
Nextremer プログラマー / 採⽤・⼈事 ※対話システムの研究開発をしている企業です • やってること • エンジニアのスカウト・⾯接 • ⼈事制度の整備 • サーバーサイド開発 • ここ最近扱った技術 • Terraform, Ansible, Packer ← Infrastructure as Code! • Docker, kubernetes, Apache Mesos ← ポータビリティさいこう! • Python, Scala, javascript(ES6) ← 関数型うまく書けると気持ちいい! • Finagle, React.js ← マイクロサービスしたい!リアクティブしたい!
©2017 Nextremer Co., Ltd. Nextremer CEO 向井とは 「僕は全部オープンデータだから好きに使って!」と⾔ってくれます お⾔葉に⽢えて脳内を晒してやりました ヤバイBotになったり
イケてるCEOみたいになったりします
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! 弊社社⻑の向井が Slack, facebook に投稿したデータをグラフ解析 こ
う な っ て る ん だ
©2017 Nextremer Co., Ltd. どうやって脳内を晒すか? 1. 単語の共起関係からグラフを作る 2. PMI を計算しエッジ(辺)の重みにする
3. PageRankを計算しノード(点)の重みにする 4. ノードをクラスタリングする 5. 可視化する
©2017 Nextremer Co., Ltd. 1. 単語の共起関係からグラフを作る • 単語をノード、同じ⽂に出た単語間にエッジ • ストップワード、特定の品詞を除く
• 単語の出現回数、単語ペアの共起回数を記録しておく • 後のPMIの計算で使うので
©2017 Nextremer Co., Ltd. 2. PMI を計算しエッジ(辺)の重みにする • PMIを計算してエッジの重みにセット •
1でカウントした単語の出現回数、共起回数を利⽤
©2017 Nextremer Co., Ltd. 2. PMI を計算しエッジ(辺)の重みにする • PMIって?? •
Pointwise Mutual Information (⾃⼰相互情報量) • ある2つのデータがどれくらい⼀緒に出現しやすいかを表す尺度 • PMIが⼤きいほどその単語ペアは同じ⽂に出現しやすいということ • 計算式 , = log+ (, ) () = log+ 共起回数 / 総単語数 単語0の出現回数 / 単語1の出現回数
©2017 Nextremer Co., Ltd. 3. PageRankを計算しノード(点)の重みにする • PageRankを計算し、スコアをノードの重みにセット • エッジの重みを考慮したPageRankを計算
©2017 Nextremer Co., Ltd. 4. ノードをクラスタリングする • Infomapでノードをクラスタリング • エッジ媒介中⼼性,
貪欲アルゴリズム, スペクトラル, スピングラス, ラベル伝播法 …など多数のクラスタリングアルゴリズム • 構造に⼤きく左右されるので、どれがベストとは⼀概には⾔えない
©2017 Nextremer Co., Ltd. 5. 可視化する • Gephi を利⽤して可視化 •
全体を俯瞰して⾒れて、必要に応じて部分にフォーカスできる • javascriptベースのものは巨⼤なグラフ全体を⾒るのは使いにくい
©2017 Nextremer Co., Ltd. グラフ解析で社⻑の脳内さらす! それらの⼿順を経てこの図が作られています な る ほ ど
©2017 Nextremer Co., Ltd. Neo4jとの使い分け • データ設計の検討にR, Python や Gephi
などのツールを使う • 全体を俯瞰していろいろなパターンを試したい • システムに組み込むために neo4j を使う • Cypher のクエリは超強⼒ • ⼤量データの格納や分析 • Spark GraphX とかも使えるらしい
©2017 Nextremer Co., Ltd. 続きはWebで! • 詳しくは「もろずblog 社⻑の脳内晒す」で検索! • 今回話した内容についてのブログ記事です
©2017 Nextremer Co., Ltd. 最後に・・・! Nextremerでは⼀緒に対話システムを開発して頂けるエンジニアを 探しています! Facebookから両⾓へメッセージ or Wantedly
よりご連絡いただければ、 いつでもNextremerオフィスの雰囲気をご案内させていただきます 両⾓のFacebookアカウント Nextremer Wantedly ページ
©2017 Nextremer Co., Ltd. これで本当におしまい ありがとうございました! Nextremer東京オフィス 開発⽤GPUマシン 謎に包まれた対話ロボット AI-Samurai
待 っ て る よ
©2017 Nextremer Co., Ltd. 補⾜. GML (Graph Modeling Language) •
グラフ構造をテキストで表すデータ形式 • ノード、エッジのプロパティが記述できる点がGood
©2017 Nextremer Co., Ltd. 補⾜. Gephi • グラフ可視化・解析ができるデスクトップアプリケーション • Windows,
Mac, Linux に対応 • GMLファイルをロードできる
©2017 Nextremer Co., Ltd. 補⾜. igraph • R, Python, C
から利⽤できるグラフ解析のパッケージ • GMLファイルをロードできる • PageRank, infomap 等の多くのアルゴリズムをサポート