AI王 〜クイズAI日本一決定戦〜

AI王 〜クイズAI日本一決定戦〜の説明スライドです．

Transcript

1. "*ԦӡӦҕһ
   

   View Slide

2. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
   概要
   l 本コンペティションは，
   日本の（日本語を対象とした）質問応答研究
   を促進させることを目的としています．
   1
   

   View Slide

3. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
   問題例
   童 謡 『 た な ば た さ ま 』 の 歌 詞 で 、 「 さ ら
   さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ?
   ササ
   2
   

   View Slide

4. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
   タスク設定
   l クイズ作家の方に実際に作成してもらったクイズ番
   組などで用いられるクイズ問題を使用
   l そのクイズ問題に選択肢（20個）を自動付与
   => 選択肢から正解を選ぶ択一問題
   Q1：童 謡 『 た な ば た
   さ ま 』 の 歌 詞 で，「 さ
   ら さ ら 」 と 歌 わ れ る
   植 物 は 何 の 葉 ?
   Q2：北 海 道 の 中 心 に 位 置
   す る こ と か ら 「 北 海 道 の へ
   そ 」 を 名 乗 る ， ラ ベ ン ダ ー
   で 有 名 な 都 市 は ど こ ?
   1："サ サ",
   2："チ シ マ ザ サ",
   3："ク マ ザ サ",
   4："ア ダ ン",
   5："チ ガ ヤ",
   ．．．
   20："オ オ ウ バ ユ リ"
   1：北 見 市
   ．．．
   8：富 良 野 市
   9：滝 川 市
   ．．．
   19：岩 見 沢 市
   20：ニ セ コ 町
   選択肢/
   解答例
   質問例
   3
   

   View Slide

5. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
   日程
   l 2020/04/17より：順次説明資料をアップロード
   l
   本資料を含む
   l 2020/06中 ：中間説明会
   l 2020/09/28：最終報告会・表彰
   l
   昨今の情勢（新型コロナウイルスの感染拡大状況等）に
   応じて，日程は大幅に変更される可能性があります．
   4
   

   View Slide

6. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
   ルール
   l 基本的には，あらゆる情報を使ってクイズの正解
   率を上げることが目的のコンペです．
   l 利用可能なデータ
   l
   一般に無償公開されているもののみ
   • 研究促進が目的であるため，一部のユーザしか使えないデータ
   を使ったシステムは禁止
   • 独自に作成したデータであっても，無償公開すれば利用可能
   l 利用可能計算機リソース
   l
   基本的に単一の計算機内のリソースで動作
   • （どこまでを単一計算機と思うかは常識的な範囲で）．
   l
   外部リソース（インターネット検索など）の利用禁止
   「他の組織/ユーザでも結果を再現
   できるか？」が一つの目安
   5
   

   View Slide

7. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
   ルール
   l 利用可能なデータ，計算リソースに関して疑問点が
   生じた場合は，その都度運営委員で（場合によって
   は参加者も含めて）議論をおこない決定
   6
   

   View Slide

8. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
   評価
   l 最終評価
   l 最終報告会（現状9/28予定）にて，未公開の評価用クイ
   ズ問題を配布
   l 規定時間内（現状30分を予定）に得られた回答に対して
   正解率でランキング
   l 問題数1000問（予定）
   l リーダーボード上での評価
   l 主に進捗を競うために，（評価用クイズ問題とは別の）配
   布済み開発用データを用い評価
   l リーダーボードにて正解率によるランキング （随時）
   7
   

   View Slide

9. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
   配布データ
   l 学習データ 約12,000問
   l 開発用データ1 約 1,000問
   l 開発用データ2 約 1,000問
   l 解答候補リスト 約100万項目
   l 未公開評価データも含め，本コンペティションで用いられ
   るクイズ問題の解答は，この解答候補リスト内の項目に
   必ず含まれる
   l 解答候補リストの項目をタイトルとするWikipedia本
   文記事
   8
   

   View Slide

10. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17
    ベースラインシステム
    l 日本語BERTを用いたクイズ用質問応答システムプ
    ログラム
    l BERT [Devlin et al. 2019] をベースにした読解に基づく
    解答モデル
    l Github上に公開されている huggingface/transformers を
    ベースに改変を加えたもの
    9
    

    View Slide