How To Use Gensim

Transcript

1. HFOTJNךאְַַ׋
   )PX
   UP
   VTF
   HFOTJN ٽփٽׯƕ
   ӥڧӥ
   
   !DBGFEPNBODFS
2. HFOTJN
   ָדֹ׷ֿהכ
 UPQJDNPEFMMJOH
 XPSEWFD
 זוזו˘
3. HFOTJN
   ָדֹ׷ֿהכ
 UPQJDNPEFMMJOH
 XPSEWFD
 זוזו˘ $ pip install gensim
4. UPQJDNPEFMMJOH
   8JLJQFEJB
   ך鎸✲כ
 ו׿זزؾحؙחאְג
 剅ַ׸גְ׷ד׃׳ֲַ
5. 番組 ム 監督 作曲 ゲ 収録 ドラマ 制作 選手 アニメ 小学校 isbn tbs 優勝 ラジオ 明治 鉄道 フジテレビ 高等 劇場 nhk 攻撃 試合 グ 市立 リ 選挙 チ km cm バス 神社 シ px 野球 国道 ret 江戸 fc 丁目 jr 京都 ダム 大正 廃止 設置 設定 ホ cd リリ ス 企業 文学 必要 対応 店舗 ガン 採用 状態 自分 法人 th love 事件 楽曲 医療 施設 製造 バンド 機関 改称 メンバ 空港 文化 専攻 学部 テ マ 工場 業務 管理 現代 書房 dvd live 小説 問題 共著 のち 講談社 公開 人口 作詞 政府 路線 記録 道路 議員 販売 教会 会社 獲得 搭載 戦闘 方面 装備 専門 病院 ライブ 追加 経済 大会 ドイツ 出場 製作 企画 中学校 原作 アルバム 漫画 教育 海軍 フランス イギリス 主義 選手権 戦争 株式会社 政治 世紀 編曲 都市 ズン 部隊 シングル 教授 営業 ロシア 事業 大統領 運行 プロ 委員 列車 サッカ 回戦 車両 クラブ 出版 合併 文庫 科学 指定 大阪 女子 成績 センタ 決勝 エンジン 区間 学科 システム モデル 元年 キャラクタ 交通 運転 公園 機能 県立 社会 能力 地区 交差点 郵便 地方 編入 設立 航空 課程
6. ׋ֻׁ׿ך俑剅ָ֮׷הֹח
 ׉ך⚥חו׿זزؾحָؙろת׸גְ׷ַ׾
 ؝ٝؾُ٦ةח鋅אֽג׮׵ֲךָ
 زؾحٌؙرؚٔٝדׅ
7. Ɏ ɔ ɔ ɔ ? زؾحؙ 俑剅 俑剅醡鸡堣
8. Ɏ ɔ ɔ ɔ 俑剅 زؾحؙ 俑剅醡鸡堣
9. 鳤剅׾אֻ׷
   ؝٦ػأ׾אֻ׷
   ٌرٕ׾אֻ׷
   زؾحؙ׾⳿⸂ׅ׷    
10. 鳤剅׾אֻ׷
    from gensim import corpora, models 
11. 鳤剅׾אֻ׷
    from gensim import corpora, models
 
 documents = ['ޗഐ͸ೣͰ͋Δɻ',
 '໊લ͸·ͩແ͍ɻ',
 'Ͳ͜ͰੜΕ͔ͨͱΜͱݟ౰͕͔ͭ͵ɻ'] 
12. 鳤剅׾אֻ׷
    from gensim import corpora, models
 
 documents = ['ޗഐ͸ೣͰ͋Δɻ',
 '໊લ͸·ͩແ͍ɻ',
 'Ͳ͜ͰੜΕ͔ͨͱΜͱݟ౰͕͔ͭ͵ɻ']
 
 texts = [['ޗഐ', '͸', 'ೣ', 'Ͱ', '͋Δ', 'ɻ'],
 ['໊લ', '͸', '·ͩ', 'ແ͍', 'ɻ'],
 ['Ͳ͜', 'Ͱ', 'ੜΕ', 'ͨ', '͔', 'ͱΜͱ', 'ݟ౰', '͕', '͔ͭ', '͵', 'ɻ']] 
13. 鳤剅׾אֻ׷
    from gensim import corpora, models
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 texts = [['ޗഐ', '͸', 'ೣ', 'Ͱ', '͋Δ', 'ɻ'],
 ['໊લ', '͸', '·ͩ', 'ແ͍', 'ɻ'],
 ['Ͳ͜', 'Ͱ', 'ੜΕ', 'ͨ', '͔', 'ͱΜͱ', 'ݟ౰', '͕', '͔ͭ', '͵', 'ɻ']]
 
 texts = [['ޗഐ', 'ೣ'],
 ['໊લ'],
 ['Ͳ͜', 'ݟ౰']] 
14. 鳤剅׾אֻ׷
    from gensim import corpora, models
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 texts = [['ޗഐ', ‘ೣ’], ...]
 
 dictionary = corpora.Dictionary(texts)
 
15. ؝٦ػأ׾אֻ׷
    from gensim import corpora, models
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 texts = [['ޗഐ', ‘ೣ’], ...]
 
 dictionary = corpora.Dictionary(texts)
 
 corpus = [dictionary.doc2bow(t) for t in texts] 
16. ٌرٕ׾אֻ׷
    from gensim import corpora, models
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 texts = [['ޗഐ', ‘ೣ’], ...]
 
 dictionary = corpora.Dictionary(texts)
 
 corpus = [dictionary.doc2bow(t) for t in texts]
 
 model = models.HdpModel(corpus, dictionary) 
17. زؾحؙ׾⳿⸂ׅ׷
    from gensim import corpora, models
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 texts = [['ޗഐ', ‘ೣ’], ...]
 
 dictionary = corpora.Dictionary(texts)
 
 corpus = [dictionary.doc2bow(t) for t in texts]
 
 model = models.HdpModel(corpus, dictionary)
 
 print(model.show_topics()) 
18. EFNP
19. XPSEWFD
    ⽃铂וֲ׃ך䠐㄂׾
 鎘皾ד罋ִ׷ֿהָדֹ׋׵
 ו׿ז䠬ׄחז׷ד׃׳ֲ
20. ؿٓٝأה⡂גְ׷⽃铂כ
21. ؿٓٝأ
22. ؿٓٝأ س؎خ كؘٕ٦ ؎ؘٔأ ؎ةٔ، أل؎ٝ
23. ؿٓٝأ ؝ٗٝؽ، ؒآفز ؚٕؐ،؎ كزشي ًٕؕ٦ٝ س؎خ كؘٕ٦ ؎ؘٔأ ؎ةٔ، أل؎ٝ
24. 傈劤הٗٝسٝ׾駈׃ג
 ׉ַֿ׵؎ؘٔأ׾䒷ֻה
25. ٗٝسٝ ؎ؘٔأ
    傈劤
    
26. ٗٝسٝ ؎ؘٔأ
    傈劤
    
27. ٗٝسٝ ؎ؘٔأ
    傈劤
    
28. ٗٝسٝ ؎ؘٔأ
    傈劤
    匌❨
    
29. ٗٝسٝ ؎ؘٔأ
    傈劤
    匌❨
    
    
    껷鿪
    
30. ⽃铂וֲ׃ך䠐㄂ח㛇בְג
 ⽃铂׾侧⦼ד邌植ׅ׷倯岀׾
 ؝ٝؾُ٦ةח罋ִג׮׵ֲךָ
 XPSEWFD
    דׅ
31. ؝٦ػأ׾אֻ׷
    ٌرٕ׾אֻ׷
    ⡂גְ׷⽃铂׾⳿⸂ׅ׷   
32. ؝٦ػأ׾אֻ׷
    from gensim import models 
33. ؝٦ػأ׾אֻ׷
    from gensim import models
 
 sentences = ['ޗഐ͸ೣͰ͋Δɻ',
 '໊લ͸·ͩແ͍ɻ',
 'Ͳ͜ͰੜΕ͔ͨͱΜͱݟ౰͕͔ͭ͵ɻ'] 
34. ؝٦ػأ׾אֻ׷
    from gensim import models
 
 sentences = ['ޗഐ͸ೣͰ͋Δɻ',
 '໊લ͸·ͩແ͍ɻ',
 'Ͳ͜ͰੜΕ͔ͨͱΜͱݟ౰͕͔ͭ͵ɻ']
 
 sentences = [[‘ޗഐ ͸ ೣ Ͱ ͋Δ ɻ'],
 [‘໊લ ͸ ·ͩ ແ͍ ɻ'],
 [‘Ͳ͜ Ͱ ੜΕ ͨ ͔ ͱΜͱ ݟ౰ ͕ ͔ͭ ͵ ɻ']] 
35. ٌرٕ׾אֻ׷
    from gensim import models
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 sentences = [[‘ޗഐ ͸ ೣ Ͱ ͋Δ ɻ’], ...]
 
 model = models.Word2Vec(sentences) 
36. ⡂גְ׷⽃铂׾⳿⸂ׅ׷
    from gensim import models
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 sentences = [[‘ޗഐ ͸ ೣ Ͱ ͋Δ ɻ’], ...]
 
 model = models.Word2Vec(sentences)
 
 print(model.most_similar(positive=[’ೣ’])) 
37. ⡂גְ׷⽃铂׾⳿⸂ׅ׷
    from gensim import models
 
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
 sentences = [[‘ޗഐ ͸ ೣ Ͱ ͋Δ ɻ’], ...]
 
 model = models.Word2Vec(sentences)
 
 print(model.most_similar(positive=[’ೣ’]))
 
 print(model.most_similar(positive=[’ޗഐ’, ’ೣ’], negative=[’໊લ’])) 
38. EFNP
39. ⿫罋俑柃
 HFOTJN
    5PQJD
    NPEFMMJOH
    GPS
    IVNBOT 
 IUUQTSBEJNSFIVSFLDPNHFOTJN
    03FJMMZ
    +BQBO
    
    ⰅꟌ
    荈搫鎉铂Ⳣ椚
 IUUQXXXPSFJMMZDPKQCPPLT
    03FJMMZ
    +BQBO
    
    㹋騧
    堣唒㷕统ءأذي
 IUUQXXXPSFJMMZDPKQCPPLT
    03FJMMZ
    +BQBO
    
    XPSEWFDח״׷荈搫鎉铂Ⳣ椚
 IUUQXXXPSFJMMZDPKQCPPLT