Langsmith (自然言語処理システム) と良い関係を築くには

Laboratory Automation月例勉強会 / 2021.09でのトーク資料です．
https://laboratoryautomation.connpass.com/event/215795/

Langsmith Editorの詳細: https://ja.langsmith.co.jp/
ブラウザ版システム: https://editor.langsmith.co.jp/
フリートライアルなど提供しております．

Transcript

1. 自然言語処理技術で支援する論文執筆 ～Langsmith (自然言語処理システム) と良い関係を築くには～ 1 Langsmith株式会社
2. 
   自然言語処理？
   人間が日常的に使う言語 (自然言語) を機械で扱う技術
   分野の究極的なゴールは，人のように言語を「理解」するシステムの実現 自然言語処理で論文執筆支援 2 認知科学・ 言語学・心理学… 情報科学・ 人工知能・数学… 自然言語 処理 身近な応用例: 機械翻訳 (最近はDeepLも有名)
3. 
   自然言語処理？
   人間が日常的に使う言語 (自然言語) を機械で扱う技術
   分野の究極的なゴールは，人のように言語を「理解」するシステムの実現
   深層学習の発展により，特に近年盛り上がり中 自然言語処理で論文執筆支援 3 認知科学・ 言語学・心理学… 情報科学・ 人工知能・数学… 自然言語 処理 身近な応用例: 機械翻訳 (最近はDeepLも有名) 言語理解を問うベンチマークタスクでの性能 人間 2019年 2021年 分野内で最も権威ある学会への論文投稿数 2019年時点 モデルの超大規模化 https://leaderboard.allenai.org/anli/submissions/public https://medium.com/syncedreview/acl-2019-reports-record-high-paper- submissions-begins-notifying-accepted-authors-bbfb13adf405 https://www.arxiv-vanity.com/papers/2104.04473/
4. 
   自然言語処理システムが論文執筆時の推敲を手伝う
   近年進展した深層学習による自然言語処理の応用事例の一つ 自然言語処理で論文執筆支援 4 ユーザが文章を書いていく 自然言語処理システムが言い回しを提案 https://editor.langsmith.co.jp/
5. 
   (広く物書きにおいて) よくある失敗ケース
   「自分は」伝わると思っていた
   他にもっと良い言い回しはありそうだが，良い表現を思いつけなかった
   客観的な読み手・アドバイザーがいると助かる
   こういうことを言いたいということであってますか？
   こんな言い方のほうが良いのでは？(こういう言い方をしない理由はありますか？) 背景: 論文執筆・研究室あるある 5 一人の世界
6. 
   英語論文執筆指導を一人ひとりに対してきめ細かに行う人的リソースが 足りない
   日本人が多い研究室の場合，マジョリティが英語ノンネイティブなので，そもそも英語について相談でき る人が少ない
   リモート環境，気軽に聞けない 背景: 論文執筆・研究室あるある 6
7. 
   英語論文執筆指導を一人ひとりに対してきめ細かに行う人的リソースが 足りない
   日本人が多い研究室の場合，マジョリティが英語ノンネイティブなので，そもそも英語について相談でき る人が少ない
   リモート環境，気軽に聞けない
   学生側が英語論文執筆が初めてで，そもそもアカデミック・ライティン グについてよく分かっていない
   (そもそも，同じ内容・結果でも，どう書くか・伝えるかという部分で論文の完成度が大きく変わることに 気づいていない) 背景: 論文執筆・研究室あるある 7
8. 
   英語論文執筆指導を一人ひとりに対してきめ細かに行う人的リソースが 足りない
   日本人が多い研究室の場合，マジョリティが英語ノンネイティブなので，そもそも英語について相談でき る人が少ない
   リモート環境，気軽に聞けない
   学生側が英語論文執筆が初めてで，そもそもアカデミック・ライティン グについてよく分かっていない
   (そもそも，同じ内容・結果でも，どう書くか・伝えるかという部分で論文の完成度が大きく変わることに 気づいていない) 背景: 論文執筆・研究室あるある 8 ???「論文またアップデートしたら見せてね」
   (何をしたら良いか一人で悩む)
   締め切り前に事故 論文をアップデートしながら，共著者や周りの人に読んでもらう．わかりにくい部分に気づき修正していく． 理想 起こり得る現実
9. 
   英語論文執筆指導を一人ひとりに対してきめ細かに行う人的リソースが 足りない
   日本人が多い研究室の場合，マジョリティが英語ノンネイティブなので，そもそも英語について相談でき る人が少ない
   リモート環境，気軽に聞けない
   学生側が英語論文執筆が初めてで，そもそもアカデミック・ライティン グについてよく分かっていない
   (そもそも，同じ内容・結果でも，どう書くか・伝えるかという部分で論文の完成度が大きく変わることに 気づいていない) 背景: 論文執筆・研究室あるある 9 ???「論文またアップデートしたら見せてね」
   (何をしたら良いか一人で悩む)
   締め切り前に事故 論文をアップデートしながら，共著者や周りの人に読んでもらう．わかりにくい部分に気づき修正していく． 理想 起こり得る現実 ここを自動化したい！
10. 想定している利用方法 10 翻訳 推敲 原稿 効率的な脱初稿 drafting (下書き) revising & editing (推敲) proofreading (校正)
11. 想定している利用方法 11 コピー・ペースト 既にある程度執筆した文章の質を上げる 集中的に推敲 反映 drafting (下書き) revising & editing (推敲) proofreading (校正) 反映 原稿
12. 
    良い関係？
    Langsmith (自然言語処理技術) に何を期待すると，うまく協働できるか
    ユーザの期待とシステムの挙動に乖離があると，フラストレーションがたまる Langsmith (自然言語処理システム) と良い関係を築くには 12
13. 
    良い関係？
    Langsmith (自然言語処理技術) に何を期待すると，うまく協働できるか
    ユーザの期待とシステムの挙動に乖離があると，フラストレーションがたまる Langsmith (自然言語処理システム) と良い関係を築くには 13 自然言語処理技術が進展したので，言語処理システムは間違ったことを言わない なんか分野が進展しているらしいし… 例えば…
14. 
    良い関係？
    Langsmith (自然言語処理技術) に何を期待すると，うまく協働できるか
    ユーザの期待とシステムの挙動に乖離があると，フラストレーションがたまる Langsmith (自然言語処理システム) と良い関係を築くには 14 自然言語処理技術が進展したので，言語処理システムは間違ったことを言わない 特に常識的な知識が言語処理システムには欠如しているので， 人にとってありえない間違いをする．数量表現や否定も苦手． 時々わけの分からない記号列の繰り返しを生成したりもする． 今のところの人知 (分野) の限界． なんか分野が進展しているらしいし… 例えば… https://huggingface.co/cl-tohoku/bert-base-japanese-whole-word-masking   
     
        言語処理システムで稀に起きそうな誤生成の例: ユーザ 怖いよーーー
15. 
    良い関係？
    Langsmith (自然言語処理技術) に何を期待すると，うまく協働できるか
    ユーザの期待とシステムの挙動に乖離があると，フラストレーションがたまる Langsmith (自然言語処理システム) と良い関係を築くには 15 自然言語処理技術が進展したので，言語処理システムは間違ったことを言わない 機械翻訳の結果が 間違ってた！危険！ もう使わない！ そもそも翻訳誤りが許されない状況で使うべきでない 間違っているかもしれないという前提で使うべき なんか分野が進展しているらしいし… 例えば… よく見る光景 特に常識的な知識が言語処理システムには欠如しているので， 人にとってありえない間違いをする．数量表現や否定も苦手． 時々わけの分からない記号列の繰り返しを生成したりもする． 今のところの人知 (分野) の限界．
16. 
    良い関係？
    Langsmith (自然言語処理技術) に何を期待すると，うまく協働できるか
    ユーザの期待とシステムの挙動に乖離があると，フラストレーションがたまる Langsmith (自然言語処理システム) と良い関係を築くには 16 例えば… 自然言語処理システムは間違ったことを言う可能性があるので使えない 使う使わないは個人の自由だが，正しく使いこなせる人とそうでない人で 生きやすさ？が大きく変わる可能性はある． (自然言語処理技術に限らず) 間違う≠使えない
17. 
    良い関係？
    Langsmith (自然言語処理技術) に何を期待すると，うまく協働できるか
    ユーザの期待とシステムの挙動に乖離があると，フラストレーションがたまる Langsmith (自然言語処理システム) と良い関係を築くには 17 例えば… 自然言語処理システムは間違ったことを言う可能性があるので使えない 使う使わないは個人の自由だが，正しく使いこなせる人とそうでない人で 生きやすさ？が大きく変わる可能性はある． (自然言語処理技術に限らず) 間違う≠使えない 例：機械翻訳のうまい使い方 - 自分で書いた英文が想定した意味になっているかを確かめるために，英
    日翻訳をかけながら見直しをする 機械翻訳ですらちゃんと理解してくれるなら，そこまで複雑で誤解を与えるような文ではないだろう - 英語の別の言い回しを探すために，自分で書いた英文を一旦適当な言語に翻訳して，もう一度英語への翻訳を かける (綺麗な英文になることが多い) - 長い英語の文章を一旦翻訳して全体の大まかな論旨を掴んでから，英文を読みはじめる 実は，Langsmithはこれと 似たようなアプローチ
18. 
    良い関係？
    Langsmith (自然言語処理技術) に何を期待すると，うまく協働できるか
    ユーザの期待とシステムの挙動に乖離があると，フラストレーションがたまる Langsmith (自然言語処理システム) と良い関係を築くには 18 Langsmithをどのような心持ちで使ってほしいか
19. 
    こんなことを言いたいということで良いですね？(言い換えて確認してくれている)
    他にこんな言い方も考えられそうですが，本当にその言い方で良いんで すね？ (この言い回しでもこの言い回しでもなく，あなたがその言い回しを選んでいる理由，言えますか？) という確認・問題提起を，論文に関する先入観 (常識的な先入観も) 抜き， 具体例付きで行ってくれる「読み手」と思うとよい Langsmithを擬似読み手・自習教材だと思って欲しい 19 エラーチェッカーではない こう書き換えなさいという修正ではない
20. 
    Langsmith利用の勝ちパターン Langsmithを擬似読み手・自習教材だと思って欲しい 20 あなたが書いている文と提案されている文の違いを説明できますか？ 主語をWeにすべき特別な理由があるんですね？ どういう時に”We”という主語を置くべきな んだろう？ 文頭に置くべき要素はどんな情報なのだろう 受動態はダメと言われるけど，どういう場合 は許容なのかな 考えるべきことへの気付き 聞く・調べる 文を改善 質問が提起されたと考える ???「論文またアップデートしたら見せてね」
    (何をしたら良いか一人で悩む)
    締め切り前に事故 Langsmithにかけながら，自分の文章を省みる
21. 
    自然言語処理サービスに対して持つべきマインド
    システムは言語を「理解する」ところまでは至っていないため間違う．
    技術の使い方・捉え方次第で恩恵を享受できる．（気づいたもの勝ち）（絶対に間違えないことを求めた使い方は正しくないかも？）
    Langsmithについて持つべきマインド
    システムの提案は「この言い回しではなくていいのですね？」という質問．問題提起．
    提案を受け入れるべきか考えることがトレーニングになる
    人らしい先入観も時に無いため，変な提案をすることもある
    システムはあなたが頭の中で考えている書きたいことや，書かれていない実験結果などを知らない
    Langsmith使い方のコツ
    書き換え機能で修正がたくさんある場合，何か不自然な文になっている可能性が高いと疑うと良い
    同じ文に何回も書き換え機能を適用すると，どんどん良くなっていく場合がある
    書き換え機能以外にも色々な機能がある
    有料会員になると，機能の制限が外れる まとめ 21
22. 具体的な使い方 22
23. 
    設定すると各機能の精度が向上 分野・セクション名・タイトル 23 言語処理分野以外は有料プランで利用可能 分野名 セクション名 タイトル
24. 
    本文中の文を選択すると言い回しが提案される
    方法1: マウスカーソルで範囲指定
    方法2: キーボードショートカット
    command+. 文全体選択
    command+, 単語選択 書き換え 24
25. 
    上に出る候補ほど論文に書かれる文として典型的
    緑: 足された単語
    赤: 消された単語が存在した場所 書き換え 25 前後の文脈も出力に (若干) 影響を与える (ただし現状，冠詞や接続詞の選択については弱い印象) 書き換えがうまく行われない場合は，文区切りを確認したり，特殊なトークン (latexの記号など) を除くとより良い候補が提示される場合がある．
26. 
    選択された単語やフレーズが重点的に編集される 書き換え 26 単語境界以外のところで選択範囲が終了した場合は， 最寄りの境界まで選択されたことになる
27. 
    文に “()” を入れて書き換え機能を適用すると， ”()” に対して適切な表現を埋めてくれる
    どんな動詞を使おうか，形容詞を使おうかなど思いつかない時に 書き換え 27
28. どの文を書き換えればよいか 28 書き換え候補がたくさん存在する 文が色で強調される 色付けを消す クリック
    書き換え機能を重点的に適用すべき文を強調してくれる
29. 
    汚ない文を論文として適切な文に書き換えるよう ニューラルネットワークを学習
    決まったルールを適用しているわけではない
    変な出力をする可能性もある．あくまで探索的な推敲を支援する (気づきを与え る) ことが目的であり，校正ツールではない．
    既存の論文にある文をコピーしているわけではない
    とはいえ，偶然既存論文と同じ文を書く可能性はあるので， (本ツールの使用に関係なく) 剽窃チェックはしてほしい． 補足: 書き換え 29 We shows results at Table 1 モデル The results are shown in Table 1.
30. 
    Tabキーを押すと続きが補完される
    文章の途中で補完をした場合は，そこよりも前の文章を参考にして続き が補完される
    コロケーションの確認に有用
    書き換え機能よりも多様な生成を する傾向がある 自動補完 30
31. 誤り訂正 31
    スペルエラーが赤線で示される
    カーソルをのせると修正案が表示され，クリックで修正を適用
32. 用例検索 32
    既存の論文を対象に用例を検索
    論文のヒット数を「どれぐらいその表現が使われているか」の参考に クリック
33. 
    2文の流暢さを比較
    ピンポイントにどちらの文が良いかで迷っているときに
    複数文からなる文章の比較も可能 比較機能 (有料版のみ) 33 クリック
34. 
    Langsmith Editorで書いたテキストは、デフォル トではブラウザ（ローカルストレージ）に自動で保 存されます。
    Google Driveと連携をすると，Google Drive上の テキストファイルの読み込み、保存、新規作成など が可能になります。
    複数のプロジェクトを管理するときなどに便利 テキストの保存 34