AI王 〜クイズAI日本一決定戦〜

69a58cd8d6859519604c54ee656f0b66?s=47 Koji Matsuda
April 17, 2020

AI王 〜クイズAI日本一決定戦〜

AI王 〜クイズAI日本一決定戦〜の説明スライドです.

69a58cd8d6859519604c54ee656f0b66?s=128

Koji Matsuda

April 17, 2020
Tweet

Transcript

  1. "*ԦӡӦҕһ

  2. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 概要 l 本コンペティションは, 日本の(日本語を対象とした)質問応答研究 を促進させることを目的としています. 1

  3. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 問題例 童 謡 『 た な

    ば た さ ま 』 の 歌 詞 で 、 「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? ササ 2
  4. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 タスク設定 l クイズ作家の方に実際に作成してもらったクイズ番 組などで用いられるクイズ問題を使用 l そのクイズ問題に選択肢(20個)を自動付与

    => 選択肢から正解を選ぶ択一問題 Q1:童 謡 『 た な ば た さ ま 』 の 歌 詞 で,「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? Q2:北 海 道 の 中 心 に 位 置 す る こ と か ら 「 北 海 道 の へ そ 」 を 名 乗 る , ラ ベ ン ダ ー で 有 名 な 都 市 は ど こ ? 1:"サ サ", 2:"チ シ マ ザ サ", 3:"ク マ ザ サ", 4:"ア ダ ン", 5:"チ ガ ヤ", ... 20:"オ オ ウ バ ユ リ" 1:北 見 市 ... 8:富 良 野 市 9:滝 川 市 ... 19:岩 見 沢 市 20:ニ セ コ 町 選択肢/ 解答例 質問例 3
  5. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 日程 l 2020/04/17より:順次説明資料をアップロード l 本資料を含む l

    2020/06中 :中間説明会 l 2020/09/28:最終報告会・表彰 l 昨今の情勢(新型コロナウイルスの感染拡大状況等)に 応じて,日程は大幅に変更される可能性があります. 4
  6. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 基本的には,あらゆる情報を使ってクイズの正解 率を上げることが目的のコンペです. l 利用可能なデータ

    l 一般に無償公開されているもののみ • 研究促進が目的であるため,一部のユーザしか使えないデータ を使ったシステムは禁止 • 独自に作成したデータであっても,無償公開すれば利用可能 l 利用可能計算機リソース l 基本的に単一の計算機内のリソースで動作 • (どこまでを単一計算機と思うかは常識的な範囲で). l 外部リソース(インターネット検索など)の利用禁止 「他の組織/ユーザでも結果を再現 できるか?」が一つの目安 5
  7. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 利用可能なデータ,計算リソースに関して疑問点が 生じた場合は,その都度運営委員で(場合によって は参加者も含めて)議論をおこない決定 6

  8. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 評価 l 最終評価 l 最終報告会(現状9/28予定)にて,未公開の評価用クイ ズ問題を配布

    l 規定時間内(現状30分を予定)に得られた回答に対して 正解率でランキング l 問題数1000問(予定) l リーダーボード上での評価 l 主に進捗を競うために,(評価用クイズ問題とは別の)配 布済み開発用データを用い評価 l リーダーボードにて正解率によるランキング (随時) 7
  9. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 配布データ l 学習データ 約12,000問 l 開発用データ1

    約 1,000問 l 開発用データ2 約 1,000問 l 解答候補リスト 約100万項目 l 未公開評価データも含め,本コンペティションで用いられ るクイズ問題の解答は,この解答候補リスト内の項目に 必ず含まれる l 解答候補リストの項目をタイトルとするWikipedia本 文記事 8
  10. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ベースラインシステム l 日本語BERTを用いたクイズ用質問応答システムプ ログラム l BERT

    [Devlin et al. 2019] をベースにした読解に基づく 解答モデル l Github上に公開されている huggingface/transformers を ベースに改変を加えたもの 9