2020.11.21 昔の論文読み会 発表資料

2020.11.21 昔の論文読み会でELIZAの論文を紹介しました。

書誌情報
ELIZA--a computer program for the study of natural language communication between man and machine
Joseph Weizenbaum (MIT)
Communications of the ACM, 1966

Transcript

1. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 2020.11.21 昔の論文読み会 ELIZA—a computer program for the study of natural language communication between man and machine Joseph Weizenbaum (MIT) Communications of the ACM, 1966 読み手：品川 政太朗 (NAIST) 1/23
2. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 自己紹介 品川 政太朗(@sei_shinagawa) NAIST知能コミュニケーション研究室で助教をして います 専門はvision and language+対話システム 自然言語を用いた画像生成・編集とかやってました この論文を読んだ動機 • 人工知能や対話の話題だと本や論文でよく目にするルールベー スシステムだけど、原論文を読んだことが無かったのでここらで 一度読んでみようと思った • 当時、どういう発想からシステムを作りこんでいったのかそのプ ロセスに興味があった 2/23
3. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA イントロを読んでみると結構poeticで良さ It is said that to explain is to explain away. This maxim is nowhere so well fulfilled as in the area of computer programming, especially in what is called heuristic programming and artificial intelligence. For in those realms machines are made to behave in wondrous ways, often sufficient to dazzle even the most experienced observer. But once a particular program is unmasked, once its inner workings are explained in language sufficiently plain to induce understanding, its magic crumbles away; it stands revealed as a mere collection of procedures, each quite comprehensible. The observer says to himself "I could have written that". With that thought he moves the program in question from the shelf marked "intelligent", to that reserved for curios, fit to be discussed only with people less enlightened than he. The object of this paper is to cause just such a re-evaluation of the program about to be "explained". Few programs ever needed it more. ELIZAの生まれた理由： 時に専門家すら騙してしまうように知的なフリをするシステムをつく りたい。それも、中身を知ると「ああ、なんだこんな仕組みだったの か」と思わせる方法で 3/23
4. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA ELIZAの由来 戯曲『Pygmalion』の登場人物イライザが名前の由来 • オードリー・ヘップバーンのマイ・フェア・レディの原作にあたる • 粗野な言葉遣いをする町娘のイライザが、言語学のヒギンズ教授 の教育を受けて上流階級の社交界のレディになりすます話 著者のWeizenbaum曰く、 「ELIZAという名前にしたのはユーザや教師によって継続的に改善 する存在であることを強調するため」とのこと 4/23
5. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA ELIZAが実現したい会話例 ELIZA （IBM7040） Men are all alike. 男なんてみんな同じ。 IN WHATWAY どのようにですか？ They’re always bugging us about something or other. 皆いつもなんやかんやで私たちのこ とを悩ませてばっかり。 CAN YOU THINK OF A SPECIFIC EXAMPLE 特定の事例を考えてみることはでき ますか？ テキストのチャット形式で、利用者がテキストを送信したらさも相手に 同情的な応答を返す（利用者には心理療法士が相手と説明） 赤は品川が推測するELIZAが 反応しているキーワード （発表後に辿ってみてください） 5/23
6. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA このまま会話を聞いてみる(1/7) Well, my boyfriend made me come here. えっと、私の彼氏がここに来させたの。 YOUR BOYFRIEND MADE YOU COME HERE あなたの彼氏があなたをここに来させた He says I’m depressed much of the time. 彼は私がずっと落ち込んでるって言うの。 I AM SORRY TO HEAR YOU ARE DEPRESSED あなたが落ち込んでいると聞いて私は 残念に思います ELIZA （IBM7040） 6/23
7. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 会話を聞いてみる(2/7) It’s true. I am unhappy. そうなの。私は不幸なの。 DO YOU THINK COMING HERE WILL HELP YOU NOT TO BE UNHAPPY ここに来たことで不幸な状態を解消する役に立ち そうですか？ I need some help, that much seems certain. 助けが欲しいの。ある程度は役に立ちそう。 WHAT WOULD IT MEAN TO YOU IF YOU GOT SOME HELP 助けを受けるとしたら、それはあなたに とってどういう意味がありますか？ ELIZA （IBM7040） 7/23
8. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 会話を聞いてみる(3/7) Perhaps I could learn to get along with my mother たぶん、母と仲良くできるようになると思う TELL ME ABOUT MORE ABOUT YOUR FAMILY ご家族のことをもっと教えてください My mother takes care of me. 母は私の面倒を見てくれるの。 WHO ELSE IN YOUR FAMILY TAKES CARE OF YOU あなたの面倒を見てくれるご家族は他 にも誰かいますか？ ELIZA （IBM7040） 8/23
9. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 会話を聞いてみる(4/7) My father 父がいる。 YOUR FATHER 父がいる。 You are like my father in some ways. あなたは私の父みたいなところがあるね。 WHAT RESEMBLANCE DO YOU SEE どこが似ているでしょうか？ ELIZA （IBM7040） 9/23
10. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 会話を聞いてみる(5/7) You are not very aggressive but I think you don’t want me to notice that. あなたはあまり攻撃的でないけど、私にそれ を気づいて欲しくないんだ。 WHATMAKES YOU THINK I AM NOT VERY AGGRESSIVE どうして私があまり攻撃的でないと思うのですか？ You don’t argue with me. あなたは私に主張しないじゃない。 WHY DO YOU THNK I DON’T ARGUE WITH YOU なぜ私があなたに主張しないと思うので すか？ ELIZA （IBM7040） 10/23
11. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 会話を聞いてみる(6/7) You are afraid of me. あなた私を恐がってるでしょ。 DOES IT PLEASE YOU TO BELIEVE I AM AFRAID OF YOU 私があなたを恐がってないことを信じてください。 My father is afraid of everybody. 父は皆を恐がってる。 WHAT ELSE COMES TO MIND WHEN YOU THINK OF YOUR FATHER あなたが父親のことを考える時 他に思い浮かぶことはありますか？ ELIZA （IBM7040） 11/23
12. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 会話を聞いてみる(7/7) Bullies. いじめ。 DOES THAT HAVE ANYTHING TO DO WITH THE FACT THATYOUR BOYFRIEND MADE YOU COME HERE それはあなたの彼氏があなたをここに連れてきた 事実と関係していますか？ 今回は省きますが、キーワードが 見当たらなかったときに以前の キーワード使うMEMORY という機能もあるようです ELIZA （IBM7040） 12/23
13. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA どのような仕組みでこの対話を実現しているのか？ 基本的には「キーワード」に反応して決めている ルールによって、ユーザの入力文を編集するなどの適当な操作をし て応答している キーワードは重要度を順位付けされていて、低い重要度のキー ワードは無視する（後述） ピリオドや区切り文字は認識する 認識した時点でキーワードを得ていれば、残りの文は無視する フレーズor文を左から走査して最初のキーワードを抽出する 13/23
14. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA キーワード抽出処理のワークフロー 1フレーズごとに処理する 1つでもキーワードが見つ かったらそのフレーズ処 理後に終了 2つ以上キーワードが見 つかった場合は優先度に 従ってkeystockに格納 14/23
15. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA ELIZAが直面する課題 言語理解 ◼ 最も重要なキーワードは何か？ ◼ キーワードが発生する時の最小の文脈とは何か？ • 例：”you”がキーワードだとすると”are”を伴う 対話管理 ◼ 文の操作について、適切な操作を選ぶには、また操作自体ど のようにつくればよいか？(decompositionという操作に対応) ◼ キーワードがみつからない時に、ELIZAが「知的」に振る舞うに はどのような応答を想定すればよいか？ 応答生成（？） ◼ どのようにして機械的に入力文に編集を加えるか？ (reassembleという操作に対応) 与えられたタスクの下で、どのようなデータ（反応できるキー ワード、入力文に対する操作ルール）を用意すればよいか？ 15/23
16. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 操作の基本コンセプト わからないところはコピペしていい感じに聞き返す 「いや～最近◦◦を続けるのも大変で・・・」と言われたときに、 ◦◦がわからないけど会話を続けつつ相手に同情する感を出す にはどうしたらよいか？ おそらくこう返す 「ああ～それは大変ですね。◦◦は昔からされてたんですか？」 16/23
17. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 実践的な操作の手順 “It seems that you hate me”という入力を考える “you”, “me”がキーワードなら、これで分割して４つに分けられる →[“It seems that“, “you”, “hate”, “me”] “you”を”I”に、”me”を”you”に変更する →[“It seems that“, “me”, “hate”, “you”] ストックしてあるフレーズから”What makes you think”を選んで 先頭を置き換える →[“What makes you think“, “me”, “hate”, “you”] なんか会話してる感が出る！ 17/23
18. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 実践的な操作の手順 実際には、Decomposition ruleとReassembly ruleが用意されてい て、テンプレートマッチングをしてReassembly ruleから応答の型を 選んで返すということをしている Decomposition rule (template) 1. (0 YOU 0 ME) 2. (0 YOU 1 ME) Reassembly rule （What makes you think I 3 you) 3は入力文を分割した時の 3番目のかたまりを指す （つまり“hate”） 0はundefined、1以上だと特定 の単語数を指す （つまり1.はより広くマッチする） 18/23
19. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA キーワードから探索する計算量を削減するために キーワードが無い時、すべてのdecomposition ruleとreassembly ruleを探索する羽目になり時間がかかる（昔の計算機では特に重 大な問題） キーワードからdecomposition ruleとreassembly ruleの組を検索す るための辞書を作っておいて計算量を削減する 最大で50のキーワードを扱える（逆に50で十分動くのすごい！？） K: keyword D: decomposition rule R: reassembly rule 19/23
20. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA ランキングの必要性 単純な変換だけでなく、キーワードごとの重要性も考える “I know everybody laugh at me.” これを最初に出てきたキーワード”I”に注目して単純に変換すると、 “You say you know everybody laugh at you.” になるが、 “everybody”とか”nobody”とか”always”のような一般性の高い表現を 使う時、人はだいたい特定のイベントや人を思い浮かべている よって、”everybody”が出てきた時にはこちらを重視して “Who in particular are you thinking of?” と答える方がより知的に見える 20/23
21. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA Discussion ELIZAは、利用者に相手が心理療法士だと伝えた場合に機能する • 具体的な結果は載っておらず。ただ、利用者にはこれが機械だと 言っても信じない人もいたらしい。 人間同士の会話ではある種相手に寛大な仮定（これは理解できてる でしょ）を置きがち。ELIZAはこれをハックしており、利用者は「自分 は理解されている」という錯覚を起こす ELIZAはあえて、なるべく現実世界の明示的な情報に触れないよう に会話を誘導している。これにより簡単な仕組みで知的な応答を演 出できている 重要な決定はますます機械によって行われていくが、最終的に人間 が意思決定する上で、機械の出力に対してどれだけ信用を置くこと ができるかは、慎重に考えていく必要がある 21/23
22. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA Discussionで言及されていた課題 ELIZAの理解力の拡張性には限界がある • 理解力を測るテストは、言われたことから有効な結論を導くことで、 会話を続けることではない • 入力の選択された部分を記憶しておく能力が必要だがELIZAは 入力の大部分を捨ててしまう ELIZAの目指した未来 • 現実世界の情報にアクセスしつつ、人々との会話によって何を 知っているか、拡張は必要かどうかを明らかにすること（対話から の知識獲得を行うシステムという感じ？） • 対象者のモデリングを対話から行うこと（対話からの情報抽出と ユーザのモデリング、個人適応という感じ？） 22/23
23. 2020/11/21 2020 Ⓒ SEITARO SHINAGAWA 感想 ◼ ELIZAはどういう発想でシステムを作りこんでいったのか？ 1. まず面白アイデアがあった 2. どんな対話ができると望ましいか考えた 3. タスクや機能を選定し現実的に可能な手段で実装した →対話研究者に脈々と受け継がれているアプローチと同じで感動 ◼ キーワードといったら名詞などの内容語を意識するが、ELIZAは 計算能力の制約から、”I”や”you”などの人称名詞、”everyone” や”always”など特定の名詞を厳選し他はコピーして利用している ◼ キーワードの選出方法はかなり思い切った方法だった。むしろこ の割り切りの良さは対話システム構築に重要なのかも ◼ 対話からの知識獲得やユーザのモデリングは今後アツいと思わ れるトピック。私も同じ方向を目指して頑張っていきたいお気持ち が溢れました 23/23