コーパス分析ツールの 選択肢の一つとしての CasualConc @ 英語コーパス学会 2015

Transcript

1. コーパス分析ツールの 選択肢の一つとしての CasualConc 今尾 康裕 大阪大学 英語コーパス学会 2015
2. 本日の目的 新しい CasualConc のご紹介 選択肢の一つとして CasualConc も考えてください
3. 本日のお題目 • CasualConc とは？ • 現行バージョン開発に至るまで • 新バージョンの機能 • 研究への応用と今後
4. CasualConc とは？
5. Mac OS X 用コンコーダンサー
6. 基本機能 • KWIC 検索 • 単語・n-gram リスト作成 • コロケーション表 • ファイルをグループとして管理 • ファイルごとの頻度表（指定文字列） • SQLite を使った高速検索
7. 基本機能 • KWIC 検索 • 単語・n-gram リスト作成 • コロケーション表 • ファイルをグループとして管理 • ファイルごとの頻度表（指定文字列） • SQLite を使った高速検索
8. めざすところは Mac らしいアプリケーション
9. 開発の経緯
10. Conc
11. 今世紀初頭で まともなコンコーダンサーと言えば Windows 用のものしかなかった
12. TXTANA WordSmith Tools
13. MonoConc Pro Concordance
14. Mac で使えるコンコーダンサーが現れた！
15. AntConc
16. X11 依存のため お世辞にも使えるアプリケーションとは 言えなかった
17. そのような状況で 自らコンコーダンサーを作る試みをはじめた まあ、Javascript でしょ
18. 痕跡
19. ただ、 ローカルファイルを扱うのが難しかった Ruby というスクリプト言語の存在を知る OS X (Leopard) で Ruby に ネイティブインターフェイスがつけられる アプリケーションブリッジ標準搭載
20. 2008 年 CasualConc リリース
21. Mac らしいインターフェイス WordSmith Tools と TXTANA の機能で 自分が使いたいものを移植 SQLite データベースを使った高速検索 用例検索が主目的
22. その後改良を重ね 現在に至る
23. 現行バージョン
24. なぜ新バージョン？
25. 開発に利用しているブリッジアプリケーション RubyCocoa の開発が止まっている 最新の OS X では開発環境が整わない ブリッジアプリケーションならではの問題が 顕在化してきている 初期の頃からの古いコードが多い
26. CasualConc 2.0
28. RubyCocoa 後継の RubyMotion で ほぼ一から書き直し
29. 基本機能は継承 • KWIC 検索 • 単語・n-gram リスト作成 • コロケーション表 • ファイルをグループとして管理 • ファイルごとの頻度表（指定文字列） • SQLite を使った高速検索
30. Concord (KWIC)
31. Word Count
32. Word Count (sorting)
33. Word Count (filtering with -ly)
34. Collocation
35. (Word) Cluster
36. Basic File Information
37. Word Frequency (by file/corpus)
38. TF-IDF
39. Key Group Frequency
40. Collocation Frequency
41. ただ問題も 文字列処理が遅くなった 並列処理を導入 スクリプトの書き直しでの高速化
42. 新機能
43. OS 標準 tagger と TreeTagger との連携
44. 統計環境 R との連携 Mann-Whitney-U と Random Forest を 利用した特徴語抽出
45. Mann-Whitney-U Random Forest
46. 統計環境 R との連携 Mann-Whitney-U と Random Forest を 利用した特徴語抽出 頻度表の視覚化・分析
47. Word Cloud Line Chart
48. Bar Chart Pie Chart
49. Scatter Plot
50. Cluster Analysis Multi-dimensional Scaling (MDS)
51. Correspondence Analysis
53. Principal Component Analysis
54. Network Analysis Concordance Plot
55. グラフは PDF 統計値など
56. R のスクリプトを 確認、変更、再実行 R のスクリプトと データを保存可能
57. おまけ的機能
58. 複数のファイル・ファイルグループから すべてにある単語、それぞれにしかない単語を 抜き出す
59. Vocab Profiler
60. 正規表現練習
61. 単語リスト結合
62. 研究への応用
63. 目指している方向性 研究初期段階での 探索的な作業の簡略化 データの可視化 本格的な分析への下準備
64. コーパス（ファイルグループ）選択
65. 頻度表作成（stop words/lemma 処理）
66. Random Forest
67. Random Forest の結果で抽出
69. もう一つ
70. コーパス ICNALE 学習者（L2 使用者） ICNALE 英語母語使用者
71. Reporting Verbs と -ly で終わる Adverbs の コロケーションテーブルを作成
72. コロケーションテーブル
73. 分析 ネットワーク分析 CasualConc の ネットワーク分析ツールで作図 NNS と NS を分けて作成
74. Reporting Verbs - Adverbs NNS ENS
75. 今後の方向性 インターフェイスの日本語化 日本語マニュアルの整備 さらなる機能の追加 具体的な応用例の提示