AI王 〜クイズAI日本一決定戦〜

AI王 〜クイズAI日本一決定戦〜の説明スライドです．

Transcript

1. "*ԦӡӦҕһ
2. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 概要 l 本コンペティションは， 日本の（日本語を対象とした）質問応答研究 を促進させることを目的としています． 1
3. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 問題例 童 謡 『 た な ば た さ ま 』 の 歌 詞 で 、 「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? ササ 2
4. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 タスク設定 l クイズ作家の方に実際に作成してもらったクイズ番 組などで用いられるクイズ問題を使用 l そのクイズ問題に選択肢（20個）を自動付与 => 選択肢から正解を選ぶ択一問題 Q1：童 謡 『 た な ば た さ ま 』 の 歌 詞 で，「 さ ら さ ら 」 と 歌 わ れ る 植 物 は 何 の 葉 ? Q2：北 海 道 の 中 心 に 位 置 す る こ と か ら 「 北 海 道 の へ そ 」 を 名 乗 る ， ラ ベ ン ダ ー で 有 名 な 都 市 は ど こ ? 1："サ サ", 2："チ シ マ ザ サ", 3："ク マ ザ サ", 4："ア ダ ン", 5："チ ガ ヤ", ．．． 20："オ オ ウ バ ユ リ" 1：北 見 市 ．．． 8：富 良 野 市 9：滝 川 市 ．．． 19：岩 見 沢 市 20：ニ セ コ 町 選択肢/ 解答例 質問例 3
5. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 日程 l 2020/04/17より：順次説明資料をアップロード l 本資料を含む l 2020/06中 ：中間説明会 l 2020/09/28：最終報告会・表彰 l 昨今の情勢（新型コロナウイルスの感染拡大状況等）に 応じて，日程は大幅に変更される可能性があります． 4
6. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 基本的には，あらゆる情報を使ってクイズの正解 率を上げることが目的のコンペです． l 利用可能なデータ l 一般に無償公開されているもののみ • 研究促進が目的であるため，一部のユーザしか使えないデータ を使ったシステムは禁止 • 独自に作成したデータであっても，無償公開すれば利用可能 l 利用可能計算機リソース l 基本的に単一の計算機内のリソースで動作 • （どこまでを単一計算機と思うかは常識的な範囲で）． l 外部リソース（インターネット検索など）の利用禁止 「他の組織/ユーザでも結果を再現 できるか？」が一つの目安 5
7. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ルール l 利用可能なデータ，計算リソースに関して疑問点が 生じた場合は，その都度運営委員で（場合によって は参加者も含めて）議論をおこない決定 6
8. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 評価 l 最終評価 l 最終報告会（現状9/28予定）にて，未公開の評価用クイ ズ問題を配布 l 規定時間内（現状30分を予定）に得られた回答に対して 正解率でランキング l 問題数1000問（予定） l リーダーボード上での評価 l 主に進捗を競うために，（評価用クイズ問題とは別の）配 布済み開発用データを用い評価 l リーダーボードにて正解率によるランキング （随時） 7
9. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 配布データ l 学習データ 約12,000問 l 開発用データ1 約 1,000問 l 開発用データ2 約 1,000問 l 解答候補リスト 約100万項目 l 未公開評価データも含め，本コンペティションで用いられ るクイズ問題の解答は，この解答候補リスト内の項目に 必ず含まれる l 解答候補リストの項目をタイトルとするWikipedia本 文記事 8
10. AI王 〜クイズAI日本一決定戦〜 || 2020/4/17 ベースラインシステム l 日本語BERTを用いたクイズ用質問応答システムプ ログラム l BERT [Devlin et al. 2019] をベースにした読解に基づく 解答モデル l Github上に公開されている huggingface/transformers を ベースに改変を加えたもの 9