Upgrade to Pro — share decks privately, control downloads, hide ads and more …

発話者分類研究の現状とその応用

Yuki Zenimoto
November 04, 2022

 発話者分類研究の現状とその応用

Yuki Zenimoto

November 04, 2022
Tweet

More Decks by Yuki Zenimoto

Other Decks in Research

Transcript

  1. 発話者分類研究の
    現状とその応用
    銭本友樹
    筑波大学知能機能システム学位プログラムM1
    宇津呂研究室
    @第2回創作+機械学習LT会

    View full-size slide

  2. 2
    今日お話すること
    1. 発話者分類というタスクのざっくりとした説明
    2. 日本語小説を対象とした研究の現状
    3. 筆者が取り組んでいること
    4. 発話者分類の有用性について
    (みなさんの意見もお聞きしたいな~~~|д゚)チラッ)

    View full-size slide

  3. 発話者分類の概要

    View full-size slide

  4. 4
    発話者分類のより詳しい説明は以下を参照
    https://speakerdeck.com/yukizenimoto/snlp2022-what-does-the-sea-say-to-the-shore-a-bert-based-
    dst-style-approach-for-speaker-to-dialogue-attribution-in-novels

    View full-size slide

  5. 5
    導入:小説の発話者分類
    5
    Elizabeth Bennet
    Mr. Collins

    Mr. Darcy
    “Do you really think so?” cried
    Elizabeth, brightening up
    ...
    “You are uniformly charming!”
    cried he, with an air of awkward

    “I see your design, Bingley,”
    said his friend.

    Texts in Novels
    Character List

    View full-size slide

  6. 6
    導入:発話者分類の流れ
    6
    Direct Speech Identification
    Mention Extraction
    Entity Linking
    Speaker Attribution
    Poole was asleep, and Bowman was
    reading on the control deck, when Hal
    announced:
    “Er—Dave, I have a report for you.”
    “What’s up?”
    “We have another bad AE-35 unit. My
    fault predictor indicates failure within
    twenty-four hours.”

    View full-size slide

  7. 7
    導入:発話者分類の流れ
    7
    Direct Speech Identification Poole was asleep, and Bowman was
    reading on the control deck, when Hal
    announced:
    “Er—Dave, I have a report for you.”
    “What’s up?”
    “We have another bad AE-35 unit.
    My fault predictor indicates failure
    within twenty-four hours.”
    Mention Extraction
    Entity Linking
    Speaker Attribution

    View full-size slide

  8. 8
    導入:発話者分類の流れ
    8
    Poole was asleep, and Bowman was
    reading on the control deck, when Hal
    announced:
    “Er—Dave, I have a report for you.”
    “What’s up?”
    “We have another bad AE-35 unit.
    My fault predictor indicates failure
    within twenty-four hours.”
    Direct Speech Identification
    Mention Extraction
    Entity Linking
    Speaker Attribution

    View full-size slide

  9. 9
    導入:発話者分類の流れ
    9
    Poole was asleep, and Bowman was
    reading on the control deck, when Hal
    announced:
    “Er—Dave, I have a report for you.”
    “What’s up?”
    “We have another bad AE-35 unit.
    My fault predictor indicates failure
    within twenty-four hours.”
    BOWMAN
    POOLE
    BOWMAN
    HAL
    Direct Speech Identification
    Entity Linking
    Speaker Attribution
    Mention Extraction

    View full-size slide

  10. 10
    導入:発話者分類の流れ
    10
    Poole was asleep, and Bowman was
    reading on the control deck, when Hal
    announced:
    “Er—Dave, I have a report for you.”
    “What’s up?”
    “We have another bad AE-35 unit.
    My fault predictor indicates failure
    within twenty-four hours.”
    BOWMAN
    POOLE
    BOWMAN
    HAL
    Direct Speech Identification
    Speaker Attribution
    Entity Linking
    Mention Extraction

    View full-size slide

  11. 11
    既存手法-1発話毎に処理[1][2]
    11
    ⚫Rule Based Speaker Matching
    … “Do you really think so?” cried Elizabeth, ...
    Utterance by Elizabeth Verb Speaker
    “My dear Mr. Bennet,…” “Is that his … ”
    Vocative
    “Aye, so it …” … “Then, my …” … “Is that a …”
    by speaker A by speaker B by speaker A
    by Mr. Bennet
    ⚫Vocative Detection
    ⚫Conversational Pattern
    [1] Muzny et al. A Two-stage Sieve Approach for Quote Attribution, 2017, EACL
    [2] He et al. Identification of Speakers in Novels, 2013, ACL

    View full-size slide

  12. 12
    3. 小説毎にルールと特徴量の有効性が異なる
    - ルールと特徴量の網羅性/汎用性の議論も不十分
    既存手法の課題と現状のSoTA[3]の取り組み
    1. 登場人物リストが必要
    - 人手で作成するか、とりあえず近くの人物名に紐づけ
    12
    小説全体から人物名を抽出⇛クラスタリングで作成
    1パラグラフ全体をBERT/GRUの入力に使用
    2. 発話文/地の文の中身を見ていない
    - 前後の文脈も無視
    異なる年代/文体の18小説について評価
    [3] Cuesta-Lazaro et al. What does the sea say to the shore? A BERT based DST style approach for speaker to dialogue attribution in novels,
    2022, ACL

    View full-size slide

  13. 日本語小説を対象とした研究の現状

    View full-size slide

  14. 14
    先行研究の紹介
    ⚫日本語での研究が少ない
    ⚫不特定多数の発話者を識別[4]
    ⚫特定の発話者の分類[5][6][7]
    ⚫素晴らしい日本語データセットが爆誕[8]
    ⚫2,932小説 665,828発話文(Entity付与)
    [8] Yamazaki et al.小説会話文への話者情報付与, 2022, 国⽴国語研究所「日常会話コーパス」プロジェクト報告書 5
    [4] Du et al.小説からの自由対話コーパスの自動構築, 2019, 言語処理学会第25会年次大会
    [5] Miyazaki et al.発話テキストへのキャラクタ性付与のための音変化表現の分類, 2019, 自然言語処理
    [6] Ishikawa et al.口調ベクトルを用いた小説発話の話者推定, 2022, 自然言語処理研究発表会
    [7] Zenimoto et al. Speaker Identification of Quotes in Japanese Novels based on Gender Classification Model by BERT, 2022, PACLIC

    View full-size slide

  15. ルールベースによる識別

    View full-size slide

  16. 16
    話者特定パターン[4]
    [4] Du et al.小説からの自由対話コーパスの自動構築, 2019, 言語処理学会第25会年次大会

    View full-size slide

  17. 17
    話者特定パターン[4]
    [4] Du et al.小説からの自由対話コーパスの自動構築, 2019, 言語処理学会第25会年次大会

    View full-size slide

  18. 18
    識別精度[4]
    [4] Du et al.小説からの自由対話コーパスの自動構築, 2019, 言語処理学会第25会年次大会
    ⚫精度は小説によってマチマチ
    ⚫評価データ数が少ない
    ⚫ルールごとの有用性が知りた
    かった…

    View full-size slide

  19. 口調による識別

    View full-size slide

  20. 20
    アイデア[7]
    male female
    俺の番だな
    ore no ban da na
    (It is my turn)
    俺は家に戻るぜ
    ore wa ie ni modoru ze
    (I am going home)
    私の番だね
    watashi no ban da ne
    (It is my turn)
    私は家に戻るわ
    watashi wa ie ni modoru wa
    (I am going home)
    俺はこの町が好きだぜ
    ore wa kono machi ga suki da ze
    (I love this town)
    発話者分類に有用
    [7] Zenimoto et al. Speaker Identification of Quotes in Japanese Novels based on Gender Classification Model by BERT, 2022, PACLIC

    View full-size slide

  21. 21
    アイデア[7]
    male female
    俺の番だな
    ore no ban da na
    (It is my turn)
    俺は家に戻るぜ
    ore wa ie ni modoru ze
    (I am going home)
    私の番だね
    watashi no ban da ne
    (It is my turn)
    私は家に戻るわ
    watashi wa ie ni modoru wa
    (I am going home)
    一人称と性別的な表現は共起しやすい
    [7] Zenimoto et al. Speaker Identification of Quotes in Japanese Novels based on Gender Classification Model by BERT, 2022, PACLIC

    View full-size slide

  22. 22
    訓練データ[7]
    小説家になろう
    Shosetsuka ni naro
    (Aim to be a novelist)
    83,571 男性発話文
    (“俺”を含む文)
    118,997 女性発話文
    (“私”を含む文)
    [7] Zenimoto et al. Speaker Identification of Quotes in Japanese Novels based on Gender Classification Model by BERT, 2022, PACLIC

    View full-size slide

  23. 23
    分類例[7]
    [7] Zenimoto et al. Speaker Identification of Quotes in Japanese Novels based on Gender Classification Model by BERT, 2022, PACLIC

    View full-size slide

  24. 24
    評価用データセット[7]
    対象小説
    ➢恋愛をテーマとした現代小説*
    登場人物
    ➢マリー (女性) : 1,178 発話文
    ➢キュロス (男性) : 1,030 発話文
    ➢その他 : 1,785 発話文
    発話文例
    例文 発話者(性別)
    ……キュロス様は、今、どちらに……? マリー(female)
    おはよう、マリー。 キュロス(male)
    分類対象
    * https://ncode.syosetu.com/n1860fv/
    [7] Zenimoto et al. Speaker Identification of Quotes in Japanese Novels based on Gender Classification Model by BERT, 2022, PACLIC

    View full-size slide

  25. 25
    性別分類モデルによる発話者分類[7]
    女性⇛マリー
    男性⇛キュロス
    性別分類
    モデル
    俺の番だな
    ore no ban da na
    (It is my turn)
    96.5%
    3.5%
    88.4%の分類精度
    [7] Zenimoto et al. Speaker Identification of Quotes in Japanese Novels based on Gender Classification Model by BERT, 2022, PACLIC

    View full-size slide

  26. 今取り組んでいること

    View full-size slide

  27. 27
    日本語End-to-End発話者分類
    27
    Poole was asleep, and Bowman was
    reading on the control deck, when Hal
    announced:
    “Er—Dave, I have a report for you.”
    “What’s up?”
    “We have another bad AE-35 unit.
    My fault predictor indicates failure
    within twenty-four hours.”
    BOWMAN
    POOLE
    BOWMAN
    HAL
    Direct Speech Identification
    Speaker Attribution
    Entity Linking
    Mention Extraction

    View full-size slide

  28. 28
    口調に特化した文ベクトルの埋め込み

    View full-size slide

  29. 発話者分類の応用

    View full-size slide

  30. 30
    ペルソナ対話システムの訓練
    女子高生AI りんな
    出典 https://www.rinna.jp/profile
    なりきりAI
    出典 https://narikiri-qa.jp/
    NTT CS研のjapanese-dialog-transformers
    出典 https://github.com/nttcslab/japanese-dialog-transformers

    View full-size slide

  31. 31
    ペルソナ対話システムの訓練
    小説C
    小説B
    小説A
    多様なキャラクタ・類似したキャラクタが無数に存在
    多数の小説
    キャラクタ 発話文
    お嬢様(小説A) あら、ごきげんよう
    お嬢様(小説B) 元気ですわ!
    ・・・ ・・・
    お嬢様対話システム
    対話データ
    発話者分類
    様々なキャラクタの言動を
    大規模に分析できる

    View full-size slide

  32. 32
    小説の自動生成への応用
    自動生成された小説の欠点[9]
    ⚫登場人物がバラバラ
    ⚫登場人物の情報に一貫性がない
    [9] Papalampidi et al. Towards Coherent and Consistent Use of Entities in Narrative Generation, 2022, arXiv

    View full-size slide

  33. 33
    小説の自動生成への応用
    自動生成された小説の欠点[9]
    ⚫登場人物がバラバラ
    ⚫登場人物の情報に一貫性がない
    [9] Papalampidi et al. Towards Coherent and Consistent Use of Entities in Narrative Generation, 2022, arXiv
    …目を合わせて逸らさない、というのはそれだけで真摯に見える。
    内心でどう思っていても、少なくとも見た目は。
    <ゼニス>「ルディ、もしかして、この本に書いてあるのを声に出
    して読んじゃった?」
    <ルーデウス>「ごめんなさい」
    俺はこくりと頷き、謝罪を口にする。
    悪いことをした時は、潔く謝ったほうがいい。…
    発話者を明示的にして改善できないか?
    発話者分類結果を挿入した文章*
    * https://ncode.syosetu.com/n9669bk/

    View full-size slide