JOI夏季セミナー2014

Transcript

1. 集合知プログラミング shirase1827
2. クラスタリング ・ｋ平均法によるクラスタリング ・階層的クラスタリング
3. ｋ平均法 ｋ個のクラスタを作るときに便利 初期値としてｋを決めないといけない
4. ｋ平均法 1.ランダムにｋ個の重心をおきます（ｋ＝2）
5. ｋ平均法 2.アイテムを一番、近い重心に割りあてます
6. ｋ平均法 3.重心を割りあてられたアイテムの平均の場 所へ移動します
7. ｋ平均法 4.再びアイテムを一番、近い重心に割り当て ます
8. ｋ平均法 5.再び重心を割りあてられたアイテムの平均 の場所へ移動します
9. ｋ平均法 6.重心が安定するまで割り当てと移動（2～3） を行います
10. ｋ平均法 7.ｋ個のクラスタが完成します（ｋ＝2）
11. 階層的クラスタリング ツリー形式にできる グループをまとめる時にグループごとの距離 をだすので大きなデータには向いていない
12. 階層的クラスタリング 2つのグループを近いもの同士でまとめる
13. 階層的クラスタリング 2つのグループを近いもの同士でまとめる
14. 階層的クラスタリング 2つのグループを近いもの同士でまとめる
15. 階層的クラスタリング 2つのグループを近いもの同士でまとめる
16. 階層的クラスタリング 階層的クラスタリングを可視化したものが 　デンドログラム 実際にTwitterからのデータをもとにデンドロ グラムをつくってみました
17. Twitter 夏季セミナー参加者の最近の500ツイートを 収集 ツイートを単語に分割して同じ単語をいって いるアカウント同士でクラスタリングしていき ます
18. Twitter それでは実際に作ってみよう！
19. Twitter
20. Twitter とてもクラスタリングに偏りがでてしまった
21. Twitter 原因 　・リプライやRTのツイートをカウントしてしまっ　　 ている ・見て分かるようにaskの影響をうけている
22. Twitter askとは？ Ask.fm（アスク･エフエム）とは、利用者同士が質 問や回答が出来るQ&Aサイトである。（wikipedia 引用） Twitter上では 「質問ー回答　（URL）」 このような形でツイートされてしまい、質問文の単語 をカウントしてしまう
23. Twitter 解決策 ＠からはじまるツイートを省く RTがふくまれるツイートを省く askのツイートを省く
24. Twitter 再び作成！
25. Twitter
26. Twitter 問題点 ・500ツイートしていないアカウントの情報量が 少ない ・askのツイートを省いてしまうと極端に情報 量が減るアカウントがあった ・競プロ界隈の造語をカウントしてくれない
27. Twitter 原因 　夏季セミナー参加者のアカウントを選んでし まったこと
28. 最後に
29. Twitter（おまけ） いろいろとツイートの単語を見てみると おもしろいものがみつかったので紹介します
30. Twitter(おまけ) 還暦　12ツイート つぶれろ　12ツイート 女の子　12ツイート ポテトチップス　12ツイート ガチ　9ツイート にゃ　10ツイート Haskell　12ツイート 負け　14ツイート しょうが　11ツイート
31. Twitter(おまけ) TopCoder　9ツイート コーディング　8ツイート 藤原　10ツイート TL　9ツイート 精進　14ツイート 解く　14ツイート 徹夜　8ツイート ファッ　7ツイート
32. Twitter（おまけ） 他にもいろいろとおもしろい単語がありますが 作成時間が間に合わないので省きます
33. ご清聴ありがとうございます