$30 off During Our Annual Pro Sale. View Details »

AI王 〜クイズAI日本一決定戦〜

AI王 〜クイズAI日本一決定戦〜

AI王 〜クイズAI日本一決定戦〜の説明スライドです.

Koji Matsuda

April 17, 2020
Tweet

More Decks by Koji Matsuda

Other Decks in Research

Transcript

  1. "*ԦӡӦҕһ

    View Slide

  2. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    概要
    l 本コンペティションは,
    日本の(日本語を対象とした)質問応答研究
    を促進させることを目的としています.
    1

    View Slide

  3. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    問題例
    童 謡 『 た な ば た さ ま 』 の 歌 詞 で 、 「 さ ら
    さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ?
    ササ
    2

    View Slide

  4. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    タスク設定
    l クイズ作家の方に実際に作成してもらったクイズ番
    組などで用いられるクイズ問題を使用
    l そのクイズ問題に選択肢(20個)を自動付与
    => 選択肢から正解を選ぶ択一問題
    Q1:童 謡 『 た な ば た
    さ ま 』 の 歌 詞 で,「 さ
    ら さ ら 」 と 歌 わ れ る
    植 物 は 何 の 葉 ?
    Q2:北 海 道 の 中 心 に 位 置
    す る こ と か ら 「 北 海 道 の へ
    そ 」 を 名 乗 る , ラ ベ ン ダ ー
    で 有 名 な 都 市 は ど こ ?
    1:"サ サ",
    2:"チ シ マ ザ サ",
    3:"ク マ ザ サ",
    4:"ア ダ ン",
    5:"チ ガ ヤ",
    ...
    20:"オ オ ウ バ ユ リ"
    1:北 見 市
    ...
    8:富 良 野 市
    9:滝 川 市
    ...
    19:岩 見 沢 市
    20:ニ セ コ 町
    選択肢/
    解答例
    質問例
    3

    View Slide

  5. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    日程
    l 2020/04/17より:順次説明資料をアップロード
    l
    本資料を含む
    l 2020/06中 :中間説明会
    l 2020/09/28:最終報告会・表彰
    l
    昨今の情勢(新型コロナウイルスの感染拡大状況等)に
    応じて,日程は大幅に変更される可能性があります.
    4

    View Slide

  6. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    ルール
    l 基本的には,あらゆる情報を使ってクイズの正解
    率を上げることが目的のコンペです.
    l 利用可能なデータ
    l
    一般に無償公開されているもののみ
    • 研究促進が目的であるため,一部のユーザしか使えないデータ
    を使ったシステムは禁止
    • 独自に作成したデータであっても,無償公開すれば利用可能
    l 利用可能計算機リソース
    l
    基本的に単一の計算機内のリソースで動作
    • (どこまでを単一計算機と思うかは常識的な範囲で).
    l
    外部リソース(インターネット検索など)の利用禁止
    「他の組織/ユーザでも結果を再現
    できるか?」が一つの目安
    5

    View Slide

  7. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    ルール
    l 利用可能なデータ,計算リソースに関して疑問点が
    生じた場合は,その都度運営委員で(場合によって
    は参加者も含めて)議論をおこない決定
    6

    View Slide

  8. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    評価
    l 最終評価
    l 最終報告会(現状9/28予定)にて,未公開の評価用クイ
    ズ問題を配布
    l 規定時間内(現状30分を予定)に得られた回答に対して
    正解率でランキング
    l 問題数1000問(予定)
    l リーダーボード上での評価
    l 主に進捗を競うために,(評価用クイズ問題とは別の)配
    布済み開発用データを用い評価
    l リーダーボードにて正解率によるランキング (随時)
    7

    View Slide

  9. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    配布データ
    l 学習データ 約12,000問
    l 開発用データ1 約 1,000問
    l 開発用データ2 約 1,000問
    l 解答候補リスト 約100万項目
    l 未公開評価データも含め,本コンペティションで用いられ
    るクイズ問題の解答は,この解答候補リスト内の項目に
    必ず含まれる
    l 解答候補リストの項目をタイトルとするWikipedia本
    文記事
    8

    View Slide

  10. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    ベースラインシステム
    l 日本語BERTを用いたクイズ用質問応答システムプ
    ログラム
    l BERT [Devlin et al. 2019] をベースにした読解に基づく
    解答モデル
    l Github上に公開されている huggingface/transformers を
    ベースに改変を加えたもの
    9

    View Slide